The Benefit of Collective Intelligence in Community-Based Content Moderation is Limited by Overt Political Signalling

Technische Samenvatting: Het voordeel van collectieve intelligentie in door de gemeenschap gebaseerde contentmoderatie wordt beperkt door expliciete politieke signalering

Probleemstelling
Sociale mediaplatforms worden geconfronteerd met aanzienlijke uitdagingen met betrekking tot de snelle verspreiding van misinformatie en misleidende inhoud. Terwijl traditionele deskundige factchecking beperkt is in schaalbaarheid en geautomatiseerde algoritmen lijden onder biases in trainingsdata, hebben platforms steeds vaker gebruikgemaakt van community-gebaseerde moderatiesystemen (bijv. X's Community Notes, Meta's Community Notes, TikTok's Footnotes). Deze systemen vertrouwen op gebruikers om contextuele noten te schrijven en deze te beoordelen op behulpzaamheid, met als doel het weergeven van noten die positieve beoordelingen ontvangen van een ideologisch diverse groep beoordelaars.

De huidige implementaties kampen echter met kritieke beperkingen. Onderzoek wijst uit dat het bestaande ontwerp, dat rust op individueel geschreven noten die door anderen worden beoordeeld, zeer gevoelig is voor bias bij beoordelaars en in-group voorkeuren. Simulatie- en observationele studies suggereren dat partijdigheid de evaluaties zwaar beïnvloedt, waarbij gebruikers disproportioneel tegenpartijdige inhoud flaggen en co-partijdige noten als behulpzamer beoordelen. Bovereindertijd is het proces vaak traag, met een aanzienlijke vertraging tussen de publicatie van een post en de weergave van de noot. Er bestaat een belangrijke theoretische kloof over de vraag of de overstap van een aggregatie van onafhankelijke bijdragen naar expliciete Collectieve Intelligentie (CI) — waarbij gebruikers direct samenwerken om noten te schrijven — de kwaliteit kan verbeteren, en hoe politieke diversiteit en identiteitssignalering binnen deze collaboratieve groepen de uitkomsten beïnvloeden.

Methodologie
De auteurs voerden een gecontroleerd online experiment uit met 432 deelnemers gerekruteerd via Prolific, die zichzelf identificeerden als Democraten of Republikeinen. De studie maakte gebruik van een 2x3 factorieel ontwerp om de effecten van samenwerking, teamcompositie en identiteitssignalering te testen:

1. Taakverloop: Deelnemers schreven eerst individuele noten die context boden voor 40 politiek misleidende posts (afkomstig van Democratische en Republikeinse accounts). Vervolgens werden zij gekoppeld in teams om via een chatinterface te communiceren en hun noten te herzien tot één gezamenlijke versie.
2. Teamconfiguraties: Deelnemers werden willekeurig gekoppeld om drie typen groepen te vormen:
   • Democraat–Democraat (DD)
   • Republikein–Republiek (RR)
   • Democraat–Republiek (DR)
3. Behandelingscondities: Teams werden willekeurig toegewezen aan één van de twee condities:
   • Overt (Expliciet): Deelnemers werden expliciet geïnformeerd over de politieke voorkeur van hun partner (bijv. bijnamen zoals "Democraat 1").
   • Covert (Verborgen): Politieke voorkeuren werden niet onthuld (neutrale bijnamen).
4. Evaluatie: Om de kwaliteit van de noten te beoordelen, rekruteerden de onderzoekers 1.610 aanvullende Prolific-deelnemers (805 Democraten, 805 Republikeinen) om de behulpzaamheid van zowel individuele als collaboratieve noten te beoordelen op een schaal van 0–10. Daarnaast bood een panel van drie niet-Amerikaanse deskundige PhD-studenten neutrale evaluaties.
5. Metrieken: De studie mat de verandering in behulpzaamheid ($I$) tussen de collaboratieve noten ($H_{ab}$) en het gemiddelde van de oorspronkelijke individuele noten ($H_a, H_b$) bij Democratische beoordelaars ($I_D$), Republikeinse beoordelaars ($I_R$) en experts ($I_E$). De statistische analyse omvatte parametrische t-testen, non-parametrische bootstrap-resampling en Ordinary Least Squares (OLS) regressie, waarbij werd gecontroleerd voor de lengte van de noot en het aantal links.

Belangrijkste Resultaten
De studie leverde drie primaire bevindingen op die overeenkomen met de hypothesen van de auteurs:

• H1: Samenwerking verbetert de kwaliteit. Collaboratief geschreven noten werden door experts aanzienlijk behulpzamer beoordeeld dan individueel geschreven noten (gemiddelde stijging van ~17%; $p < 0,01$). Hoewel het effect kleiner was bij crowdsourced beoordelingen, bleef het statistisch significant voor Republikeinse beoordelaars.
• H2: Asymmetrische impact van diversiteit. Het voordeel van politieke diversiteit (DR-teams) was niet uniform. Voor Republikeinse posts produceerden politiek diverse teams significant betere noten dan homogene Republikeinse teams. Echter, voor Democratische posts had de teamcompositie (DD, RR of DR) geen betekenisvol effect op de verbetering van de kwaliteit van de noot. Dit suggereert een asymmetrie in hoe politieke diversiteit functioneert, afhankelijk van de bron van de doelgerichte inhoud.
• H3: De kosten van expliciete signalering. De voordelen van samenwerking werden aanzienlijk verminderd wanneer politieke identiteiten expliciet werden onthuld. In de covert conditie vertoonden collaboratieve noten een substantiële toename in behulpzaamheid. In de overt conditie vervaagde dit voordeel bijna volledig, en in sommige gevallen werden collaboratieve noten als minder behulpzaam beoordeeld dan individuele noten. Dit negatieve effect hield stand bij expert-, Democratische en Republikeinse beoordelingen. Chat-analyse gaf aan dat expliciete signalering de partijdige identiteitssaliëntie, onenigheid en concessiegedrag verhoogde, wat suggereert dat zichtbare identiteitskenmerken frictie introduceren die collectieve probleemoplossing ondermijnen.

Betekenis en Claims
Het artikel stelt dat hoewel community-gebaseerde contentmoderatie veelbelovend is, de effectiviteit ervan afhankelijk is van het specifieke ontwerp van de collaboratieve interacties. De auteurs beweren dat:

1. Samenwerking een levensvatbaar mechanisme is om de kwaliteit van contextuele noten te verbeteren, maar het is geen op zichzelf staande oplossing; de interactionele omgeving is cruciaal.
2. Politieke identiteitssignalering fungeert als een beperking op collectieve intelligentie. Het expliciet maken van politieke affiliaties tijdens het proces van het schrijven van de noten triggert partijdige frictie, waardoor de epistemische voordelen van samenwerking worden verminderd.
3. Ontwerpimplicaties: Platforms moeten ontwerpen overwegen die blootstelling aan diverse perspectieven stimuleren (bijv. algoritmische koppeling van gebruikers met verschillende afgeleide standpunten), terwijl de anonimiteit met betrekking tot politieke identiteit behouden blijft. Deze aanpak beoogt de voordelen van diverse input te behouden zonder de stereotypering en het wantrouwen te triggeren die gepaard gaan met expliciete identiteitskenmerken.

De auteurs nemen een bescheiden standpunt in door te erkennen dat hun experimentele setting (gestructureerd, geprikkeld, synchroon) verschilt van de real-world asynchrone vrijwillige moderatie. Ze merken ook op dat de studie samenwerking niet volledig isoleert van volgorde-effecten, aangezien deelnemers altijd eerst individueel schreven voordat ze samenwerkten. Desalniettemin benadrukken de bevindingen dat de structuur van samenwerking en het beheer van sociale cues even belangrijk zijn als de diversiteit van de deelnemers zelf bij het bepalen van het succes van community-gebaseerde moderatiesystemen.