Using AI Agents to Automate Black-Box Audits of Personalization Algorithms at Scale
Dieses Paper führt ein neuartiges Framework für das Black-Box-Auditing von Personalisierungsalgorithmen unter Verwendung von generativen KI-Agenten mit festen Personas ein, um eine skalierbare, kontrafaktische Analyse darüber zu ermöglichen, wie Nutzerattribute die Inhaltsbereitstellung beeinflussen, wobei durch eine groß angelegte Studie auf X demonstriert wird, dass der Algorithmus der Plattform polarisierende Inhalte verstärkt und je nach Nutzerideologie unterschiedlich auf demografische Signale reagiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten eine riesige, unsichtbare Bibliothek, in der sich die Bücher in den Regalen je nach Ihnen verändern. Wenn Sie wie ein junger Mensch aussehen, sehen Sie andere Bücher als wenn Sie wie eine ältere Person aussehen. Wenn es so wirkt, als würden Sie in einer Stadt leben, sehen Sie andere Bücher als wenn es so scheint, als würden Sie auf dem Land leben. So funktionieren Social-Media-Algorithmen: Sie kuratieren das, was Sie sehen, basierend auf Ihrem Profil und Ihrem vergangenen Verhalten.
Das Problem ist, dass diese Bibliotheken „Black Boxes“ sind. Wir können das Regelbuch des Bibliothekars nicht einsehen. Wir können nicht fragen: „Warum wurde mir das gezeigt?“ Wir können nur beobachten, was passiert.
Dieses Paper stellt eine clevere neue Methode vor, um hinter den Vorhang zu blicken, indem es KI-Agenten (Computerprogramme, die von fortgeschrittener KI angetrieben werden) anstelle von echten Menschen verwendet.
Das Problem mit alten Methoden
Bisher versuchten Forscher, diese Bibliotheken auf zwei Arten zu prüfen, von denen beide Mängel aufwiesen:
- Echte Menschen: Sie engagierten echte Menschen, die die App nutzten. Das war realistisch, aber teuer, schwer zu kontrollieren und unmöglich zu skalieren. Man kann nicht einfach fragen: „Was würde passieren, wenn dieser 25-Jährige eigentlich 55 wäre?“, ohne eine neue Person finden zu müssen.
- Skriptgesteuerte Bots (Sock Puppets): Sie erstellten Fake-Accounts, die von einfachen Computerskripten gesteuert wurden. Diese waren günstig und skalierbar, aber sie waren „flach“. Sie handelten wie Roboter, die einem strengen Regelwerk folgen (z. B. „Wenn du eine Katze siehst, klicke auf ‚Gefällt mir‘“). Sie dachten nicht nach und reagierten nicht natürlich, sodass die Bibliothek sie nicht wie echte Menschen behandelte.
Die neue Lösung: „KI-Schauspieler“
Die Autoren entwickelten ein Framework unter Verwendung von generativen KI-Agenten. Betrachten Sie diese nicht als Roboter, sondern als Schauspieler in einem Theaterstück.
- Das Skript (Persona): Bevor das Stück beginnt, erhält jeder Schauspieler ein detailliertes Charakter-Skript. Dieses Skript definiert, wer sie sind: ihr Alter, ihr Geschlecht, ihr Standort, ihre Bildung und ihre politischen Überzeugungen. Dieses Skript basiert auf realen Daten des US-Zensus und des Pew Research Center.
- Die Performance: Wenn der Schauspieler einen Post auf dem Bildschirm sieht, „denkt“ die KI basierend auf ihrem Charakter-Skript darüber nach und entscheidet, was sie tun soll (liken, folgen, lesen oder ignorieren). Es ist keine starre Regel, sondern eine natürliche Reaktion.
- Das Experiment: Die Forscher erstellten 1.120 dieser Akteure. Sie gruppierten sie in 14 verschiedene „Charaktertypen“ (Personas). Für jeden Charaktertyp erstellten sie mehrere Kopien (Replikate).
- Der Clou: Alle Kopien von „Charakter A“ handeln exakt gleich. Die Forscher änderten jedoch für einige von ihnen nur ein sichtbares Detail. Vielleicht sagt eine Kopie, dass sie 25 ist, während eine andere sagt, sie sei 55. Vielleicht sagt die eine, sie lebe in New York, eine andere in Texas.
Dieser Aufbau ermöglicht es den Forschern, eine mächtige Frage zu stellen: „Wenn dieselbe Person (mit demselben Verhalten) ihr Alter oder ihren Standort ändern würde, würde die Bibliothek ihr dann andere Bücher zeigen?“
Die Fallstudie: Die Wahl 2024
Das Team setzte diese 1.120 KI-Akteure auf der Social-Media-Plattform X (ehemals Twitter) unmittelbar nach der US-Präsidentschaftswahl 2024 ein. Sie beobachteten, wie sich der „Für dich“-Feed (der algorithmische Feed) im Vergleich zum „Folge ich“-Feed (dem chronologischen Feed) verhielt.
Hier ist das, was sie fanden:
1. Der Algorithmus liebt Drama und rechtsgerichtete Ansichten
Im Vergleich zur standardmäßigen chronologischen Liste zeigte der „Für dich“-Feed signifikant mehr:
- Toxische Inhalte: Gemeine oder wütende Posts.
- Polarisierende Inhalte: Posts, die Gruppen gegeneinander aufhetzen.
- Politische Inhalte: Speziell Inhalte, die zur Rechten neigen.
- Überraschung: Er verstärkte linksgerichtete Inhalte nicht signifikant. Tatsächlich unterdrückte der Algorithmus für Nutzer, die rechts eingestellt waren, aktiv linksgerichtete Inhalte.
2. Die „Echo Chamber“ ist asymmetrisch
Der Algorithmus zeigte nicht einfach jedem mehr rechtsgerichtete Inhalte. Er behandelte verschiedene Nutzer unterschiedlich:
- Linksgerichtete Nutzer erlebten einen massiven Anstieg toxischer Inhalte (+80 % mehr als der Basiswert).
- Rechtsgerichtete Nutzer sahen einen Anstieg rechtsgerichteter Inhalte, aber ihre toxischen Inhalte änderten sich nicht wesentlich.
- Ergebnis: Rechtsgerichtete Nutzer wurden in eine einseitige Blase gesetzt, in der gegensätzliche Ansichten verborgen wurden, während linksgerichtete Nutzer mit Wut und Toxizität überflutet wurden.
3. Demografie spielt eine Rolle, aber es ist kompliziert
Die Forscher testeten, ob die Änderung des sichtbaren Alters, des Geschlechts oder des Standorts eines Nutzers veränderte, was er sah.
- Das Durchschnittsergebnis: Wenn man alle Nutzer zusammen betrachtet, schien die Änderung dieser Details nicht viel auszumachen. Der Durchschnittseffekt lag nahe bei Null.
- Die wahre Geschichte: Wenn sie sich spezifische Charaktertypen ansah, waren die Ergebnisse extrem. Das Ändern eines Signals (wie das Alter) konnte dazu führen, dass ein Charakter mehr toxische Inhalte sah, während ein anderer Charakter dadurch weniger sah.
- Die Metapher: Stellen Sie sich einen Thermostat vor, der nicht einfach nur die Heizung hoch- oder runterdreht, basierend auf der Raumtemperatur. Stattdessen dreht er die Heizung für einige Menschen hoch und für andere runter, basierend darauf, wer sie sind. Wenn man nur die „Durchschnittstemperatur“ des ganzen Hauses misst, könnte man denken, der Thermostat würde gar nicht funktionieren. Aber wenn man in jedes einzelne Zimmer schaut, sieht man, dass er sehr spezifische, unterschiedliche Dinge tut.
Warum das wichtig ist
Das Paper kommt zu dem Schluss, dass wir bei der Prüfung von Algorithmen nicht nur nach „Durchschnittsergebnissen“ schauen dürfen. Wenn wir die Daten mitteln, übersehen wir die Tatsache, dass der Algorithmus verschiedene Gruppen von Menschen auf völlig unterschiedliche Weise behandelt.
Durch den Einsatz dieser KI-„Schauspieler“ können Forscher nun kontrollierte Experimente durchführen, um genau zu sehen, wie ein Algorithmus auf spezifische Merkmale reagiert, ohne Tausende von echten Menschen rekrutieren oder sich auf dumme, skriptgesteuerte Bots verlassen zu müssen. Es ist ein neues Werkzeug, um die unsichtbaren Regeln zu verstehen, die bestimmen, was wir online sehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.