Beyond the Checkbox: Strengthening DSA Compliance Through Social Media Algorithmic Auditing
Diese Arbeit untersucht kritisch aktuelle DSA-Audit-Berichte für Social-Media-Plattformen, deckt signifikante methodische Inkonsistenzen sowie einen Mangel an technischer Tiefe bei der Bewertung der algorithmischen Compliance auf und schlägt die Einführung von Algorithmen-Auditing – unter Verwendung simulierten Nutzerverhaltens, um KI-Antworten zu beobachten und zu analysieren – als ein effektiveres Mittel zur Stärkung der regulatorischen Durchsetzung vor.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich den Digital Services Act (DSA) wie eine neue, strenge Verkehrsordnung für das Internet vor. Sein Ziel ist es, sicherzustellen, dass riesige Social-Media-Plattformen (wie TikTok, YouTube und Instagram) nicht rücksichtslos fahren, insbesondere wenn es um den Schutz von Kindern, das Verbergen sensibler Daten und die Ehrlichkeit über die Funktionsweise ihrer „Empfehlungs-Engines“ geht.
Um sicherzustellen, dass diese Plattformen die Regeln befolgen, schreibt das Gesetz vor, dass sie unabhängige Prüfer (Auditor) einstellen müssen. Betrachten Sie diese Prüfer als „Sicherheitsinspektoren“, die die Autos prüfen, bevor sie auf die Straße gelangen.
Dieses Papier, geschrieben von Forschern aus der Slowakei, untersucht den ersten Schwung von Inspektionsberichten, die diese Prüfer Ende 2024 eingereicht haben. Sie fanden heraus, dass die Inspektoren veraltete Werkzeuge benutzen, um brandneue, selbstfahrende Autos zu überprüfen.
Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:
1. Das Problem: Eine „statische“ Checkliste für eine „lebendige“ Maschine verwenden
Die Prüfer wenden die traditionelle Prüfung (Traditional Auditing) an.
- Die Analogie: Stellen Sie sich vor, Sie prüfen die Sicherheit eines Hauses, indem Sie die Baupläne betrachten und den Besitzer fragen: „Haben Sie einen Rauchmelder?“ Wenn der Besitzer „Ja“ sagt und Ihnen eine Schachtel zeigt, hakt der Inspektor dies auf der Liste ab.
- Die Realität: Social-Media-Algorithmen sind keine statischen Häuser; sie sind lebendige, atmende Organismen, die sich jede Sekunde ändern, basierend darauf, was Sie klicken, schauen oder tippen.
- Der Fehler: Die Prüfer haben kontrolliert, ob der „Rauchmelder“ (die Einstellungen) auf dem Bauplan existierte. Sie haben nicht geprüft, ob der Detektor tatsächlich funktionierte, wenn ein echter Brand ausbrach, oder ob sich das Haus veränderte, während der Inspektor zusah.
2. Die drei „Verkehrsverstöße“, die sie geprüft haben
Die Forscher untersuchten, wie die Prüfer drei spezifische Regeln kontrollierten:
- Regel A: Der „Empfehlungs“-Schalter (Können Nutzer kontrollieren, was sie sehen?)
- Was die Prüfer taten: Sie sahen im Menü nach und fanden einen Button mit der Aufschrift „Personalisierung ausschalten“. Sie haken dies als „Konform“ ab.
- Das Versäumnis: Sie haben den Button nicht tatsächlich gedrückt und beobachtet, ob sich die Videos wirklich änderten. Es ist, als würde man prüfen, ob ein Auto ein Bremspedal hat, ohne jemals das Pedal zu drücken, um zu sehen, ob das Auto auch stoppt.
- Regel B: Schutz Minderjähriger (Sehen Kinder Werbung, die sie nicht sehen sollten?)
- Was die Prüfer taten: Sie fragten die Plattform: „Wissen Sie, wer ein Kind ist?“ Die Plattform antwortete: „Ja, wir fragen sie, ihr Geburtsdatum einzugeben.“ Der Prüfer sagte: „Großartig, Sie sind konform.“
- Das Versäumnis: Kinder lügen oft über ihr Alter. Die Prüfer testeten nicht, ob das System ein Kind anhand seines Verhaltens erkennen konnte (wie etwa durch das Anschauen von Zeichentrickfilmen um 3 Uhr morgens). Sie vertrauten einfach der „Geburtsdatum-Box“, ohne den „Kind-Erkennungs-Radar“ zu testen.
- Regel C: Sensible Daten-Werbung (Keine Werbung basierend auf Gesundheit oder Politik)
- Was die Prüfer taten: Sie prüften, ob das Werbesystem eine „Blacklist“ für Wörter wie „Krebs“ oder „Wahlkampf“ besaß.
- Das Versäumnis: Sie testeten nicht, ob das System heimlich erraten konnte, dass Sie an Krebs leiden könnten, weil Sie sich drei Videos über Chemotherapie angesehen haben, selbst wenn Sie das Wort „Krebs“ nie getippt haben.
3. Die Hauptprobleme, die gefunden wurden
Das Papier hebt zwei Hauptprobleme des aktuellen Prüfungsstils hervor:
- Das „Schnappschuss“-Problem: Traditionelle Audits sind wie ein einzelnes Foto. Sie prüfen das System zu einem ganz bestimmten Zeitpunkt. Aber Social-Media-Algorithmen lernen und verändern sich ständig. Ein System, das heute sicher aussieht, kann morgen gefährlich sein. Die Prüfer gaben zu, dass sie nicht sehen konnten, wie sich das System über die Zeit verhält.
- Das „Lineal“-Problem: Verschiedene Prüfer verwendeten unterschiedliche Lineale, um dasselbe zu messen. Ein Prüfer sagt vielleicht „Dies ist sicher“, weil er den Code betrachtet hat, während ein anderer sagt „Dies ist unsicher“, weil er die Benutzeroberfläche betrachtet hat. Da es keinen Standardweg gibt, diese komplexen KI-Systeme zu messen, sind die Ergebnisse inkonsistent.
4. Die vorgeschlagene Lösung: „Algorithmisches Auditing“
Die Autoren schlagen eine neue Art der Untersuchung dieser Plattformen vor, die sie „Algorithmisches Auditing“ nennen.
- Die Analogie: Anstatt nur die Baupläne anzusehen, stellen Sie sich vor, Sie engagieren ein Team von Schauspielern (oder Robotern), die vorgeben, echte Nutzer zu sein.
- Wie es funktioniert:
- „Sock Puppets“ erstellen: Die Prüfer erstellen gefälschte Nutzerprofile (z. B. einen 15-jährigen Gamer, einen 40-jährigen Elternteil).
- Live-Tests: Diese Fake-Nutzer verbringen Wochen auf der Plattform, klicken, schauen und interagieren genau wie echte Menschen.
- Die Reaktion beobachten: Die Prüfer beobachten, was der Algorithmus ihnen tatsächlich zeigt. Bekommt der 15-Jährige Glücksspiel-Werbung angezeigt? Ändert das System nach einer Woche seine Meinung?
- Warum es besser ist: Dies ist kein Schnappschuss; es ist ein Film. Es zeigt, wie sich das System über die Zeit verhält, mit der Komplexität der realen Welt, anstatt nur zu prüfen, ob die Einstellungen auf dem Papier existieren.
Zusammenfassung
Das Papier argumentet, dass wir derzeit versuchen, selbstfahrende Autos zu regulieren, indem wir prüfen, ob sie ein Lenkrad haben, ohne sie jemals eine Testfahrt fahren zu lassen. Die aktuellen „Checklisten“-Audits sind zu oberflächlich und statisch. Um Nutzer wirklich zu schützen, benötigen wir verhaltensbasierte Audits, bei denen wir reale Nutzer simulieren, die mit dem System interagieren, um zu sehen, was die KI tatsächlich tut, und nicht nur, was sie zu tun behauptet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.