Beyond the Checkbox: Strengthening DSA Compliance Through Social Media Algorithmic Auditing
Dit artikel onderzoekt kritisch de huidige DSA-auditrapporten voor sociale mediaplatforms, waarbij significante methodologische inconsistenties en een gebrek aan technische diepgang bij het beoordelen van algoritmische naleving worden onthuld, en stelt de adoptie van algoritmische auditing voor — waarbij gesimuleerd gebruikersgedrag wordt gebruikt om AI-responsen te observeren en te analyseren — als een effectiever middel om de handhaving door toezichthouders te versterken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de Digital Services Act (DSA) voor als een nieuwe, strikte set verkeersregels voor het internet. Het doel is om ervoor te zorgen dat gigantische sociale mediaplatforms (zoals TikTok, YouTube en Instagram) niet roekeloos rijden, vooral als het gaat om het beschermen van kinderen, het verbergen van gevoelige gegevens en het eerlijk zijn over hoe hun "aanbevelingsmotoren" werken.
Om ervoor te zorgen dat deze platforms zich aan de regels houden, zegt de wet dat ze onafhankelijke auditors moeten inhuren. Zie deze auditors als de "veiligheidsinspecteurs" die auto's controleren voordat ze de weg op gaan.
Dit artikel, geschreven door onderzoekers uit Slowakije, kijkt nauwgezet naar de eerste reeks inspectierapporten die deze auditors eind 2024 hebben ingediend. Ze ontdekten dat de inspecteurs verouderde, achterhaalde instrumenten gebruiken om gloednieuwe, zelfrijdende auto's te controleren.
Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:
1. Het Probleem: Een "Statische" Checklist Gebruiken op een "Levende" Machine
De auditors maken gebruik van Traditionele Auditing.
- De Analogie: Stel je voor dat je een huis op veiligheid controleert door naar de blauwdrukken te kijken en de eigenaar te vragen: "Heeft u een rookmelder?" Als de eigenaar "Ja" zegt en een doos laat zien, vinkt de inspecteur dit af op de lijst.
- De Realiteit: Algoritmen van sociale media zijn geen statische huizen; het zijn levende, ademende organismen die elke seconde veranderen op basis van wat je klikt, bekijkt of typt.
- De Fout: De auditors controleerden of de "rookmelder" (de instellingen) op de blauwdruk stond. Ze controleerden niet of de detector daadwerkelijk werkte wanneer er een echte brand uitbrak, of dat het huis van indeling veranderde terwijl de inspecteur keek.
2. De Drie "Verkeersovertredingen" die ze Controleerden
De onderzoekers keken naar hoe auditors drie specifieke regels controleerden:
- Regel A: De "Aanbevelings"-schakelaar (Kunnen gebruikers controleren wat ze zien?)
- Wat de auditors deden: Ze bekeken het menu en zagen een knop met de tekst "Personalisatie uitschakelen." Ze vinkten dit af als "Conform."
- De Misser: Ze hebben de knop niet daadwerkelijk ingedrukt om te kijken of de video's echt veranderden. Het is alsof je controleert of een auto een rempedaal heeft zonder ooit op de pedaal te trappen om te zien of de auto stopt.
- Regel B: Bescherming van Minderjarigen (Zien kinderen advertenties die ze niet zouden mogen zien?)
- Wat de auditors deden: Ze vroegen het platform: "Weten jullie wie een kind is?" Het platform zei: "Ja, we vragen hen om hun geboortedatum in te vullen." De auditor zei: "Geweldig, u bent conform."
- De Misser: Kinderen liegen vaak over hun leeftijd. De auditors testten niet of het systeem kon doorhebben dat een kind aan het kijken was op basis van hun gedrag (zoals het kijken naar tekenfilms om 3 uur 's nachts). Ze vertrouwden simpelweg op de "geboortedatum-box" zonder de "kind-detecterende radar" te testen.
- Regel C: Advertenties met Gevoelige Gegevens (Geen advertenties gebaseerd op gezondheid of politiek)
- Wat de auditors deden: Ze controleerden of het advertsysteem een "blokkeerlijst" had voor woorden als "kanker" of "stemmen."
- De Misser: Ze testten niet of het systeem stiekem kon raden dat je kanker hebt omdat je drie video's over chemotherapie hebt bekeken, zelfs als je het woord "kanker" nooit hebt getypt.
3. De Grote Problemen die werden Gevonden
Het artikel benadelt twee hoofdproblemen met de huidige inspectiestijl:
- Het "Snapshot"-probleem: Traditionele audits zijn als het maken van een enkele foto. Ze controleren het systeem op één specifief moment. Maar algoritmen van sociale media leren en veranderen constant. Een systeem dat vandaag veilig lijkt, kan morgen gevaarlijk zijn. De auditors gaven toe dat ze niet konden zien hoe het systeem zich in de loop van de tijd gedraagt.
- Het "Liniaal"-probleem: Verschillende auditors gebruikten verschillende linialen om hetzelfde te meten. De ene auditor kan zeggen "Dit is veilig" omdat ze naar de code keken, terwijl een andere zegt "Dit is onveilig" omdat ze naar de gebruikersinterface keken. Omdat er geen standaardmethode is om deze complexe AI-systemen te meten, zijn de resultaten inconsistent.
4. De Voorgestelde Oplossing: "Algoritmische Auditing"
De auteurs stellen een nieuwe manier voor om deze platforms te inspecteren, die zij Algoritmische Auditing noemen.
- De Analogie: In plaats van alleen naar de blauwdrukken te kijken, stel je voor dat je een team van acteurs (of robots) inhuurt om te doen alsoen dat ze echte gebruikers zijn.
- Hoe het werkt:
- Maak "Sock Puppets": De auditors maken nepgebruikersprofielen aan (bijv. een 15-jarige gamer, een 40-jarige ouder).
- Live Testen: Deze nepgebruikers brengen weken door op het platform, waarbij ze klikken, kijken en interageren net als echte mensen.
- Bekijk de Reactie: De auditors kijken naar wat het algoritme hen daadwerkelijk laat zien. Krijgt de 15-jarige gokadvertenties te zien? Verandert de mening van het systeem na een week?
- Waarom het beter is: Dit is geen snapshot; het is een film. Het laat zien hoe het systeem zich gedraagt over een langere periode, met de complexiteit van de echte wereld, in plaats van alleen maar te controleren of de instellingen op papier bestaan.
Samenvatting
Het artikel betoogt dat we momenteel proberen zelfrijdende auto's te reguleren door te controleren of ze een stuurwiel hebben, zonder ze ooit een proefrit te laten maken. De huidige "checklist"-audits zijn te oppervlakkig en statisch. Om gebruikers echt te beschermen, hebben we gedragsaudits nodig waarbij we het gedrag van echte gebruikers simuleren die met het systeem interageren over een langere periode, om te zien wat de AI daadwerkelijk doet, en niet alleen wat de AI zegt te doen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.