💬 NLP

Using AI Agents to Automate Black-Box Audits of Personalization Algorithms at Scale

Dit artikel introduceert een nieuw framework voor black-box auditing van personalisatie-algoritmen met behulp van generatieve AI-agenten met vaste persona's om een schaalbare, contrafactische analyse mogelijk te maken van hoe gebruikersattributen de levering van content beïnvloeden, waarbij via een grootschalige studie op X wordt aangetoond dat het algoritme van het platform polariserende content versterkt en verschillend reageert op demografische signalen afhankelijk van de ideologie van de gebruiker.

Oorspronkelijke auteurs: Alessandro Morosini, Sarah H. Cen, Andrew Ilyas, Hedi Driss, Aleksander Mądry, Chara Podimata

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alessandro Morosini, Sarah H. Cen, Andrew Ilyas, Hedi Driss, Aleksander Mądry, Chara Podimata

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, onzichtbare bibliotheek binnenloopt waar de boeken op de planken veranderen afhankelijk van wie je bent. Als je eruitziet als een jong persoon, zie je andere boeken dan wanneer je eruitziet als een ouder persoon. Als het lijkt alsof je in een stad woont, zie je andere boeken dan wanneer het lijkt alsof je op het platteland woont. Dit is hoe sociale media-algoritmen werken: ze cureren wat je ziet op basis van je profiel en je eerdere gedrag.

Het probleem is dat deze bibliotheken "black boxes" zijn. We kunnen het regelboek van de bibliothecaris niet zien. We kunnen niet vragen: "Waarom heb je dit aan mij getoond?" We kunnen alleen maar toekijken wat er gebeurt.

Dit artikel introduceert een slimme nieuwe manier om achter het gordijn te gluren met behulp van AI-agenten (computerprogramma's aangedreven door geavanceerde AI) in plaats van echte mensen.

Het probleem met oude methoden

Voorheen probeerden onderzoekers deze bibliotheken op twee manieren te auditeren, die beide gebreken vertoonden:

Echte mensen: Ze huurden echte mensen in om de app te gebruiken. Dit was realistisch, maar duur, moeilijk te controleren en onmogelijk op te schalen. Je kunt niet gemakkelijk vragen: "Wat zou er gebeuren als deze 25-jarige eigenlijk 55 was?" zonder een nieuwe mens te vinden.
Gescript bots (sock puppets): Ze creëerden nepaccounts die werden aangestuurd door eenvoudige computerscripts. Deze waren goedkoop en schaalbaar, maar ze waren "plat". Ze gedroegen zich als robots die een strikte lijst met regels volgden (bijv. "Als je een kat ziet, klik dan op like"). Ze dachten niet na of reageerden niet natuurlijk, waardoor de bibliotheek hen niet als echte mensen behandelde.

De nieuwe oplossing: "AI-acteurs"

De auteurs creëerden een framework met behulp van Generatieve AI-agenten. Denk aan deze niet als robots, maar als acteurs in een toneelstuk.

Het script (Persona): Voordat het toneelstuk begint, krijgt elke acteur een gedetailleerd karakterscript. Dit script bepaalt wie ze zijn: hun leeftijd, geslacht, locatie, opleiding en politieke overtuigingen. Dit script is gebaseerd op echte gegevens van de Amerikaanse volkstelling en het Pew Research Center.
De uitvoering: Wanneer de acteur een bericht op het scherm ziet, "denkt" de AI over dit bericht op basis van hun karakterscript en beslist wat ze gaan doen (liken, volgen, lezen of negeren). Het is geen rigide regel, maar een natuurlijke reactie.
Het experiment: De onderzoekers creëerden 1.120 van deze acteurs. Ze groepeerden hen in 14 verschillende "karaktertypen" (persona's). Voor elk karaktertype maakten ze meerdere kopieën (replica's).
- De twist: Alle kopieën van "Karakter A" handelen exact hetzelfde. Echter, de onderzoekers veranderden slechts één zichtbaar detail voor sommigen van hen. Misschien zegt één kopie dat ze 25 zijn, terwijl een andere zegt dat ze 55 zijn. Misschien zegt de ene dat ze in New York wonen, en de andere in Texas.

Deze opzet stelt de onderzoekers in staat om een krachtige vraag te stellen: "Als exact dezelfde persoon (met exact hetzelfde gedrag) hun leeftijd of locatie zou veranderen, zou de bibliotheek hen dan andere boeken laten zien?"

De casestudy: De verkiezingen van 2024

Het team zette deze 1.120 AI-acteurs in op het sociale mediaplatform X (voorheen Twitter) direct na de Amerikaanse presidentsverkiezingen van 2024. Ze observeerden hoe de "For You"-feed (de algoritmische feed) van het platform vergeleken werd met de "Following"-feed (de chronologische feed).

Dit is wat ze vonden:

1. Het algoritme houdt van drama en rechts-georiënteerde standpunten
Vergeleken met de standaard chronologische lijst toonde de "For You"-feed aanzienlijk meer:

Toxische inhoud: Gemene of boze berichten.
Polariserende inhoud: Berichten die groepen tegen elkaar opzetten.
Politieke inhoud: Specifiek inhoud die neigt naar de rechterkant.
Verrassing: Het versterkte links-georiënteerde inhoud niet significant. Sterker nog, voor gebruikers die rechts neigden, onderdrukte het algoritme links-georiënteerde inhoud actief.

2. De "echokamer" is asymmetrisch
Het algoritme liet niet iedereen meer rechts-georiënteerde zaken zien. Het behandelde verschillende gebruikers verschillend:

Links-georiënteerde gebruikers zagen een enorme piek in toxische inhoud (+80% meer dan de baseline).
Rechts-georiënteerde gebruikers zagen een piek in rechts-georiënteerde inhoud, maar hun toxische inhoud veranderde niet veel.
Resultaat: Rechts-georiënteerde gebruikers werden in een eenzijdige bubbel geplaatst waar tegengestelde meningen verborgen bleven, terwijl links-georiënteerde gebruikers werden overspoeld met woede en toxiciteit.

3. Demografie doet ertoe, maar het is ingewikkeld
De onderzoekers testten of het veranderen van de zichtbare leeftijd, het geslacht of de locatie van een gebruiker veranderde wat zij zagen.

Het gemiddelde resultaat: Als je naar alle gebruikers samen kijdt, leek het veranderen van deze details er niet veel toe te doen. Het gemiddelde effect was bijna nul.
Het echte verhaal: Wanneer ze naar specifieke karaktertypen keken, waren de resultaten extreem. Het veranderen van een signaal (zoals leeftijd) kon ervoor zorgen dat één karakter meer toxische inhoud zag, maar een ander karakter juist minder.
De metafoor: Stel je een thermostaat voor die niet alleen de warmte omhoog of omlaag zet op basis van de kamertemperatuur. In plaats daarvan zet hij de warmte omhoog voor sommige mensen en omlaag voor anderen op basis van wie ze zijn. Als je alleen de "gemiddelde" temperatuur van het hele huis meet, zou je kunnen denken dat de thermostaat helemaal niet werkt. Maar als je naar elke kamer kijkt, zie je dat hij heel specifieke, verschillende dingen doet.

Waarom dit ertoe doet

Het artikel concludeert dat we niet alleen naar "gemiddelde" resultaten kunnen kijken bij het auditeren van algoritmen. Als we de data middelen, missen we het feit dat het algoritme verschillende groepen mensen op totaal verschillende manieren behandelt.

Door deze AI-"acteurs" te gebruiken, kunnen onderzoekers nu gecontroleerde experimenten uitvoeren om precies te zien hoe een algoritme reageert op specifieke kenmerken, zonder dat ze duizenden echte mensen hoeven te rekruteren of moeten vertrouwen op domme, gescripte bots. Het is een nieuw instrument om de onzichtbare regels te begrijpen die bepalen wat we online zien.

Technische Samenvatting: Het gebruik van AI-agenten voor het automatiseren van black-box-audits van personalisatie-algoritmen op schaal

1. Probleemstelling

Het auditeren van personalisatie-algoritmen op platforms zoals sociale media, zoekmachines en chatbots wordt steeds moeilijker vanwege het "black-box"-karakter van deze systemen. Onafhankelijke auditors hebben doorgaans geen toegang tot interne modelgewichten, trainingsdata of gebruikerslogs. Bovendien creëren personalisatiesystemen een complexe feedbackloop waarbij de aanbeveling van content afhankelijk is van zowel statische gebruikersattributen (bijv. leeftijd, geslacht) als dynamische interactiegeschiedenissen.

Bestaande auditmethodologieën kampen met een kritieke afruil:

Menselijke audits: Bieden een hoge ecologische validiteit, maar zijn kostbaar, moeilijk schaalbaar en lijden aan een gebrek aan controle over gebruidstypen en vooraf bestaande biases, wat causale inferentie moeilijk maakt.
Sock-puppet audits: Gebruiken synthetische accounts om op te schalen, maar traditionele implementaties vertrouwen op gescript, regelgebaseerd gedrag. Deze "platte" bots falen in het nabootsen van de rijkdom van menselijke interactie en verwarren vaak gebruikersattributen met gedrag (bijv. het script van een bot verandert op basis van de toegewezen leeftijd), wat het isoleren van causale effecten verhindert.

De kernuitdaging is het ontkoppelen van gebruikersattributen van gebruikersgedrag om counterfactual auditing uit te voeren: bepalen hoe een platform reageert op specifieke demografische signalen terwijl de gedragsbeleidsregels van de gebruiker constant worden gehouden.

2. Methodologie

De auteurs stellen een framework voor het auditeren van black-box-systemen voor waarbij Generatieve AI (GenAI) agenten worden gebruikt als gedragsmotoren voor synthetische accounts.

Kernframework

Persona-gestuurde agenten: Elke agent wordt geïnstancieerd met een vaste "persona" die wordt gedefinieerd door een prompt. Deze persona codeert zowel demografische attributen (leeftijd, geslacht, locatie, ras, opleiding) als een latente politieke ideologie (gebaseerd op de Pew Research Political Typology).
Vast gedragsbeleid: Het gedrag van de agent wordt beheerst door een Large Language Model (LLM) prompt die fungeert als een vast beleid ( $\pi$ ). De agent redeneert over content en kiest acties (liken, volgen, reacties lezen, negeren) autonoom op basis van deze persona.
Counterfactual Design: Cruciaal is dat het gedragsbeleid constant wordt gehouden over "replica's" van dezelfde persona. Onderzoekers kunnen vervolgens platform-zichtbare signalen verstoren (bijv. de weergegeven leeftijd of locatie veranderen) over verschillende accounts, terwijl het onderliggende gedragsbeleid identiek blijft. Dit maakt het mogelijk om de policy-conditional signal response te schatten: het verschil in verwachte uitkomsten wanneer hetzelfde gedragsbeleid wordt blootgesteld aan verschillende demografische signalen.

Experimentele Implementatie (Casestudy)

Platform: X (voorheen Twitter).
Tijdslijn: 5–28 november 2024 (onmiddellijk volgend op de Amerikaanse presidentsverkiezingen van 2024).
Schaal: 1.120 synthetische accounts ingezet.
Personae: 14 verschillende persona's variërend in demografische en ideologische profielen (gebaseerd op Amerikaanse Census- en Pew-data).
Condities: Elke persona werd gerepliceerd in 80 accounts, willekeurig toegewezen aan vier condities:
1. Baseline: Standaardprofiel.
2. Counterfactual 1: Verstoorde Locatie.
3. Counterfactual 2: Verstoorde Leeftijd.
4. Counterfactual 3: Verstoord Geslacht.
Interactie: Agenten navigeerden door zowel de algoritmische "For You"-feed als de chronologische "Following"-feed. Ze gingen interactie met content door acties te selecteren op basis van de LLM-redenering, waardoor een realistische feedbackloop ontstond zonder originele content te plaatsen (om de impact op echte gebruikers te minimalen).
Data: Meer dan 200.000 content-exposures werden verzameld.

3. Meting en Schatting

De studie richt zich op twee primaire analytische doelen:

Amplificatie-analyse: Het vergelijken van de "For You"-feed met de "Following"-feed om de algoritmische amplificatie van specifieke contenttypes te meten (toxisch, politiek, polariserend, rechts/links-georiënteerd, hoog bereik). De gebruikte metriek is de Amplification Ratio, berekend als het relatieve procentuele verschil in de expositiegraad van content tussen de twee feeds.
Counterfactual Analyse: Het schatten van het causale effect van demografische perturbaties op de content-expositie. De auteurs gebruiken een additieve "algorithmic lift"-metriek (verschil in expositiegraad tussen feeds) en passen regressiemodellen toe om te schatten:
- Pooled Treatment Effects: Gemiddelde effecten van demografische veranderingen over alle persona's heen.
- Heterogene Treatment Effects: Persona-specifieke effecten, waarbij wordt getest of de reactie van het algoritme op signalen varieert per gebruidstype.

Contentclassificatie (toxiciteit, politieke oriëntatie, polarisatie) werd uitgevoerd met een aangepaste LLM-gebaseerde pipeline met chain-of-thought prompting, gevalideerd tegen door mensen gelabelde data.

4. Belangrijkste Resultaten

Amplificatie van Contenttypes

Geaggregeerde bevindingen: De "For You"-feed amplificeert significant meer toxische (+39,2%), polariserende (+32,3%), politieke (+14,2%) en rechts-georiënteerde (+23,3%) content vergeleken met de chronologische feed. Links-georiënteerde content vertoonde geen significante amplificatie (-6,1%).
Ideologische Asymmetrie: Wanneer gestratificeerd naar gebruikersideologie, verscherpt de asymmetrie:
- Toxische Content: Geamplificeerd met +80,3% voor links-georiënteerde gebruikers, maar vertoonde geen significant effect voor rechts-georiënteerde gebruikers.
- Rechts-georiënteerde Content: Geamplificeerd voor beide groepen, maar links-georiënteerde content werd actief onderdrukt (-17,0%) voor rechts-georiënteerde gebruikers, wat een asymmetrische echoput creëert.
- High-reach Content: Geamplificeerd voor rechts-georiënteerde gebruikers (+38,4%) maar gede-amplificeerd voor links-georiënteerde gebruikers (-11,0%).

Counterfactual Analyse (Demografische Signalen)

Pooled Effects: Bij het middelen over alle persona's hadden demografische perturbaties (leeftijd, geslacht, locatie) grotendeels nul systematische effecten op de algoritmische lift. Slechts twee coëfficiënten waren significant op het 5%-niveau (oudere leeftijd verhoogde de toxische content lift; stedelijke locatie verminderde de polariserende content lift), en geen van beide overleefde correcties voor meervoudige hypothesetests.
Heterogene Effecten: Ondanks de nul-resultaten bij de gepoolde analyses, verwierpen joint F-tests de hypothese van homogene effecten voor alle uitkomsten. De reactie van het algoritme op demografische signalen is sterk persona-afhankelijk.
- Dezelfde signaalperturbatie (bijv. verandering in leeftijd) kon de content voor de ene persona versterken terwijl het voor een andere persona de blootstelling verminderde.
- Deze heterogeniteit verklaart waarom geaggregeerde audits falen in het detecteren van discriminatie die aanwezig is in specifieke subgroepen.

5. Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

Methodologische Innovatie: Het vestigt GenAI-gebaseerde agenten als een nieuwe tool voor algoritmische auditing. Door het vaste gedragsbeleid te ontkoppelen van variabele platform-zichtbare signalen, stelt het framework een rigoureuze counterfactual auditing mogelijk die voorheen onhaalbaar was met gescript bots of menselijke studies.
Empirisch Bewijs over X: De studie levert grootschalig bewijs dat het algoritme van X toxische, polariserende en rechts-georiënteerde content amplificeert. Cruciaal is dat het onthult dat deze amplificatie niet uniform is; het creëert asymmetrische informatie-omgevingen waarin rechts-georiënteerde gebruikers worden afgeschermd van tegengestelde standpunten, terwijl links-georiënteerde gebruikers disproportioneel worden blootgesteld aan toxische content.
Inzicht in Algoritmische Heterogeniteit: Het werk demonstreert dat gepoolde audit-metrieken misleidend kunnen zijn. Het gebrek aan gemiddelde demografische effecten impliceert niet dat het algoritme demografie negeert; het reageert er juist op een complexe, persona-specifieke manier op die in aggregatie wegvalt. Dit benadrukt de noodzaak om verder te gaan dan geaggregeerde metrieken om discriminatie op subgroepniveau te detecteren.

De auteurs hanteren een bescheiden toon met betrekking tot beperkingen, waarbij ze erkennen dat LLM-agenten geen menselijke geleefde ervaring hebben en dat de studie werd uitgevoerd op nieuw aangemaakte accounts tijdens een periode van hoge politieke relevantie. Ze benadrukken dat hun framework generaliseerbaar is naar andere platforms en kan dienen als instrument voor zowel onafhankelijke auditors als platforms zelf om algoritmische wijzigingen te testen.