💰 quantitative finance

Auditing the Auditors: Does Community-based Moderation Get It Right?

Deze studie toont aan dat het consensusgebaseerde auditmechanisme van X's Community Notes leidt tot strategische conformiteit bij minderheidsbijdragers, en stelt een alternatief algoritme voor dat bijdragers baseert op de stabiliteit van hun eerdere afwijkingen in plaats van op overeenstemming met de meerderheid, waardoor de voorspellende prestaties worden verbeterd zonder onterechte straffen voor meningsverschillen.

Oorspronkelijke auteurs: Yeganeh Alimohammadi, Karissa Huang, Christian Borgs, Jennifer Chayes

Gepubliceerd 2026-03-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yeganeh Alimohammadi, Karissa Huang, Christian Borgs, Jennifer Chayes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Audit van de Auditors: Krijgt de "Volksmening" het wel goed?

Stel je voor dat je een enorme, drukke stad hebt (zoals X, vroeger Twitter) waar iedereen constant nieuws deelt. Soms is het nieuws waar, soms is het nepnieuws. De stad heeft een probleem: hoe kun je in één oogopslag zien wat waar is en wat niet, zonder dat er een team van duizenden experts naar elke post kijkt?

De oplossing die ze bedachten was slim: laat de burgers het doen. Iedereen mag een "nootje" (een korte uitleg) schrijven onder een post om te zeggen: "Dit is misleidend" of "Dit is waar". Dit heet Community Notes.

Maar hier zit een addertje onder het gras: niet iedereen is even goed in het detecteren van nepnieuws. Sommigen zijn experts, anderen zijn slordig, en weer anderen zijn bevooroordeeld. De vraag is dus: Hoe weet je wie je kunt vertrouwen?

Het Oude Systeem: "Wie met de meerderheid instemt, heeft gelijk"

Tot een paar jaar geleden keek het systeem naar de "meerderheid". Als de meeste mensen dachten dat een nootje nuttig was, dan kreeg de schrijver van dat nootje een sterretje (punten). Als je vaak in de minderheid zat, kreeg je geen punten en mocht je misschien zelfs niet meer meedoen.

De auteurs van dit paper noemen dit "Consensus-based auditing" (auditeren op basis van overeenstemming).

De Analogie van de Klok:
Stel je voor dat er een klok in de stad staat die de tijd aangeeft. Iedereen mag een tijd noemen.

Het oude systeem: Als de meeste mensen zeggen "Het is 12:00", dan krijgt iedereen die "12:00" zegt een beloning. Als jij zegt "Het is 12:05" (en dat is misschien wel de juiste tijd), word je gestraft.
Het gevolg: Mensen gaan niet meer luisteren naar hun eigen oren. Ze gaan raden wat de massa gaat zeggen en zeggen dat ook. Ze worden "schapen" die in de kudde lopen.

Wat Vonden Ze? (De Problematiek)

De onderzoekers keken naar de data van X en zagen drie dingen gebeuren na het invoeren van dit systeem:

De Minderheid Houdt Kapsel: Mensen met een minderheidspunt van view (bijvoorbeeld een andere politieke kleur) begonnen hun mening aan te passen aan wat ze dachten dat de meerderheid zou denken. Ze durfden niet meer anders te denken.
Controversiële Onderwerpen Verdwenen: Onderwerpen waarover veel wordt gediscussieerd (zoals oorlog of politiek) kregen plotseling veel minder aandacht. Waarom? Omdat het risico groot was om in de minderheid te zitten en gestraft te worden. Mensen hielden zich daarom stil bij moeilijke onderwerpen.
Het Systeem werd Slomer: Omdat iedereen hetzelfde zei, werd het voor het computersysteem lastiger om te voorspellen wat er echt gaande was. Het werd een echo-kamer in plaats van een waarheidsvinder.

De Metaphor:
Het is alsof je een groep mensen vraagt om de temperatuur te meten. Als je iedereen straft die niet precies hetzelfde zegt als de gemiddelde meting, zullen mensen hun thermometer niet meer gebruiken. Ze gaan gewoon zeggen wat ze denken dat de ander zegt. Uiteindelijk heb je een perfecte meting van... de angst voor straf, niet van de temperatuur.

De Oplossing: "De Stabiele Waarnemer"

De auteurs zeggen: "Laten we stoppen met belonen voor het meezwemmen met de meerderheid. Laten we belonen voor het stabiel en betrouwbaar zijn in je eigen waarneming."

Ze stellen een nieuw systeem voor, een Twee-Stappen Systeem:

Stap 1: Luister naar de "Ruis"
Het systeem kijkt eerst naar wat iemand zegt en vergelijkt dat met wat het systeem verwachtte dat die persoon zou zeggen (gebaseerd op hun eerdere gedrag en het onderwerp).

Als iemand altijd precies doet wat het systeem verwacht, is dat saai.
Als iemand soms afwijkt, maar die afwijking is consistent (bijvoorbeeld: "Ik heb altijd een slechte neus voor nepnieuws over gezondheid, zelfs als de rest het niet ziet"), dan is dat waardevol.

Stap 2: Beloon de Stabiliteit, niet de Overeenstemming
In plaats van te kijken of iemand met de meerderheid instemt, kijken ze naar de variatie in de fouten.

Analogie met de Weerwaarnemer: Stel je hebt twee weermanagers.
- Manager A zegt elke dag: "Het regent" (ook als het zonneschijnt). Hij is consistent fout, maar voorspelbaar.
- Manager B zegt soms "Zon" en soms "Regen". Maar als hij "Regen" zegt, regent het echt, en als hij "Zon" zegt, schijnt het echt. Hij heeft een eigen, stabiel patroon van waarheid, zelfs als hij soms in de minderheid zit.
- Het nieuwe systeem geeft Manager B meer punten, omdat zijn voorspellingen betrouwbaar zijn, niet omdat hij met de massa meegaat.

Waarom is dit beter?

Minder Angst: Mensen hoeven niet meer te raden wat de meerderheid denkt. Ze kunnen hun eigen, eerlijke mening geven.
Meer Diversiteit: Mensen met minderheidspunten van view blijven actief, omdat ze niet worden gestraft voor het hebben van een ander standpunt.
Betere Voorspellingen: Het systeem wordt slimmer. Door mensen te belonen die consequent goed zijn (zelfs als ze in de minderheid zijn), krijgt het systeem een scherpere lens op de werkelijkheid.

Conclusie

De boodschap van dit paper is simpel maar krachtig: Een democratie van meningen werkt alleen als mensen durven te denken wat ze denken.

Als je mensen straft voor het niet meegeven met de stroom, krijg je een stroom van leugens die allemaal hetzelfde klinken. Als je mensen beloont voor hun eigen, stabiele waarheid, krijg je een systeem dat echt helpt om nepnieuws te vangen, zelfs op de meest controversiële onderwerpen.

Kortom: Houd de auditors (de mensen die controleren) niet vast aan de meerderheid, maar aan hun eigen integriteit.

Probleemstelling

Online platformen vertrouwen steeds vaker op crowdsourced systemen (zoals X's Community Notes) om misinformatie te identificeren. Een fundamentele uitdaging is echter hoe deze platformen de betrouwbaarheid van de gebruikers ("de auditors") kunnen beoordelen.

Huidige aanpak: Veel platformen gebruiken consensus-based auditing. Hierbij wordt de betrouwbaarheid van een gebruiker bepaald door de mate waarin hun eerdere beoordelingen overeenkomen met het uiteindelijke geaggregeerde platformresultaat (de "consensus"). Gebruikers die afwijken van de meerderheid, verliezen invloed of worden uitgesloten van deelname.
Het risico: Deze koppeling tussen aggregeren en auditeren creëert een zelfversterkende dynamiek. Gebruikers hebben een prikkel om strategisch te handelen en zich aan te passen aan wat ze verwachten dat de consensus zal zijn, in plaats van hun onafhankelijke oordeel te geven. Dit leidt tot strategische conformiteit, vermindert de zichtbaarheid van minderheidsperspectieven en verstoort de aggregatie van waardevolle informatie, vooral op controversiële onderwerpen.

Methodologie

De auteurs combineren empirische analyse, gedragsmodellen en statistische algoritme-ontwikkeling.

1. Empirische Analyse (X Community Notes)

De auteurs analyseren data van X's Community Notes rondom de invoering van de "Rating Impact"-regel in september 2022.

Data: Een dataset met alle notities en beoordelingen van juni 2022 tot mei 2023.
Herconstructie: Omdat de platform-interne latent-factoren (ideologische uitlijning van gebruikers en notities) niet publiek zijn, reconstrueerden de auteurs deze door de open-source matrix-factorisatie-algoritme van X op de ruwe beoordelingsdata te draaien.
Analyse: Ze vergelijken het gedrag van gebruikers voor en na de invoering van de regel, met name gericht op minderheidsgroepen (gebaseerd op hun latent-factoren) en controversiële onderwerpen.

2. Gedragsmodel (Strategische Conformiteit)

De auteurs ontwikkelen een theoretisch model waarin gebruikers een afweging maken tussen:

Het rapporteren van hun private signaal (hun eigen oordeel).
Het vermijden van een straf voor het afwijken van de verwachte consensus.
Aannames: Gebruikers maximaliseren een nutfunctie die een kwadratische straal bevat voor afwijking van de verwachte consensus. De gewichtsfactor voor conformiteit ( $\rho$ ) neemt toe naarmate een onderwerp controversieler is.
Resultaat: Het model toont wiskundig aan dat onder deze regels de geschatte latent-factoren vertekend raken. Minderheidsgebruikers worden "samengedrukt" naar het midden of de meerderheid, waardoor de schatting van de echte bruikbaarheid van een notie ( $\hat{i}_n$ ) niet meer consistent is met de waarheid.

3. Alternatief Algoritme: Twee-staps Gewogen Matrix Factorisatie

Om het probleem op te lossen, stellen de auteurs een nieuw auditie- en aggregatie-algoritme voor dat niet kijkt naar overeenstemming met de meerderheid, maar naar stabiliteit van residuen.

Stap 1: Voer een standaard, ongewogen matrix-factorisatie uit om latent-factoren en intercepten te schatten. Bereken de residuen ( $e_{un}$ ) voor elke gebruiker-notitie-paar.
Stap 2: Schat de variantie van deze residuen per gebruiker ( $\hat{\sigma}^2_u$ ). Gebruikers met een lage variantie (d.w.z. hun beoordelingen zijn consistent voorspelbaar binnen het model) krijgen een hogere weging.
Aggregatie: Voer een tweede matrix-factorisatie uit met inverse-variantie gewichten ( $1/\hat{\sigma}^2_u$ ).
Principe: Dit is analoog aan Feasible Generalized Least Squares (FGLS). Het belooft gebruikers die consequent informatief zijn, zelfs als ze in de minderheid zijn, terwijl het gebruikers met willekeurige of onstabiele beoordelingen straft.

Belangrijkste Resultaten

Empirische Bevindingen

Strategische Conformiteit: Na de invoering van Rating Impact verschuiven minderheidsgebruikers hun beoordelingen systematisch dichter naar de meerderheid. De verdeling van hun latent-factoren wordt minder bimodaal en meer unimodaal (gericht op het midden).
Verminderde Participatie op Controversiële Onderwerpen: Op controversiële onderwerpen (zoals politiek en geopolitiek) daalt het aantal bruikbare notities en de betrokkenheid van gebruikers aanzienlijk in vergelijking met niet-controversiële onderwerpen. Minderheidsgebruikers vermijden het beoordelen van controversiële content om hun "Rating Impact" niet te riskeren.
Afname van Voorspellende Kwaliteit: Het latent-factorenmodel van het platform presteert slechter na de invoering van de regel. De Mean Squared Error (MSE) voor out-of-sample voorspellingen steeg met meer dan 76%, wat aangeeft dat het model minder goed in staat is om de onderliggende waarheid te reconstrueren door de strategische vertekening.

Resultaten van het Alternatieve Algoritme

Het voorgestelde twee-staps algoritme (gewogen op residu-stabiliteit) verbetert de out-of-sample voorspellende prestaties aanzienlijk ten opzichte van het huidige algoritme.
Het reduceert de gemiddelde absolute residu's met ongeveer 5,7% en de mediaan met bijna 28%.
Cruciaal: Het algoritme behoudt de invloed van minderheidsgebruikers zolang hun oordelen consistent en informatief zijn, zonder hen te straffen voor het niet overeenkomen met de meerderheid.

Bijdragen en Significantie

Empirisch Bewijs: Het artikel levert het eerste gedetailleerde empirische bewijs dat consensus-based auditing systematisch het gedrag van minderheidsbijdragers verandert en de dekking van controversiële onderwerpen vermindert.
Theoretisch Model: Het introduceert een formeel model dat aantoont hoe incentives voor consensus leiden tot een vertekende schatting van de "waarheid" in crowdsourcing-systemen, zelfs als het onderliggende model van de platformen correct is.
Oplossing voor Design: Het stelt een nieuw, statistisch onderbouwd auditieprincipe voor. In plaats van gebruikers te belonen voor het matchen van de uitkomst, moeten ze worden beoordeeld op de stabiliteit van hun signalen. Dit lost het dilemma op tussen betrouwbaarheid en diversiteit.

Conclusie:
De studie concludeert dat crowdsourced moderatie niet alleen afhankelijk is van hoe men stemt, maar vooral van hoe men wordt beloofd. Systemen die overeenstemming met de meerderheid belonen, ondermijnen de onafhankelijkheid die nodig is voor de "wijsheid van de menigte". Door over te schakelen op auditing gebaseerd op statistische stabiliteit (residuen) in plaats van consensus, kunnen platformen de voorspellende nauwkeurigheid verbeteren en de vertegenwoordiging van diverse perspectieven behouden, wat essentieel is voor het effectief bestrijden van misinformatie op controversiële thema's.