From Birdwatch to Community Notes, from Twitter to X: four years of community-based content moderation

Dit artikel presenteert een uitgebreide vierjarige beschrijvende analyse van X's Community Notes (voorheen Birdwatch) programma, waarbij de taalkundige diversiteit, bronvermeldingen, bijdrageractiviteit en interactienetwerken worden onderzocht, terwijl een gecureerde dataset en code worden vrijgegeven om onderzoek naar gemeenschapsgestuurde contentmoderatie te bevorderen.

De kern

Stel je sociale media voor als een enorme, chaotische dorpspleinen waar miljoenen mensen elke seconde hun gedachten naar buiten schreeuwen. Soms schreeuwen mensen leugens, geruchten of verwarrende verhalen. In het verleden probeerde een kleine groep "stadswachten" (experts) of een "robotscanner" (AI) om naar iedereen te luisteren en de slechte dingen te markeren. Maar er zijn te veel mensen die schreeuwen voor de wachters om het bij te houden, en de robotscanner maakt vaak fouten omdat deze getraind is op bevooroordeelde gegevens.

Om dit op te lossen, lanceerde X (voorheen Twitter) een nieuw idee genaamd Community Notes (oorspronkelijk "Birdwatch"). Zie dit als een buurtpreventieprogramma waarbij gewone burgers worden uitgenodigd om de pleinen te controleren.

Dit is wat dit paper ons vertelt over hoe die buurtpreventie heeft gewerkt tijdens de eerste vier jaar (2021–2025):

1. De Opzet: Hoe de Wacht Werkt

In dit systeem kan iedereen die zes maanden een goede burger is geweest, een "Contributor" (bijdrager) worden.

• De Taak: Als je een bericht ziet dat misleidend lijkt, kun je een "Note" (notitie) schrijven om ontbrekende context of feiten toe te voegen.
• De Stem: Andere Contributors lezen je Note en stemmen of deze "Helpful" (nuttig), "Somewhat Helpful" (behalve nuttig) of "Not Helpful" (niet nuttig) is.
• De Regel: Een Note wordt alleen aan het publiek getoond als mensen van verschillende politieke kanten het erover eens zijn dat het nuttig is. Dit is als een brug; als alleen mensen van één kant van de rivier ermee eens zijn dat de brug veilig is, wordt deze niet gebouwd. Het doel is om de waarheid te vinden waar iedereen het over eens kan zijn.

2. Wie Doet het Werk? (De "Super-Contributors")

Het onderzoek vond dat het werk niet gelijkmatig verdeeld is. Het is als een buurt waar een klein aantal toegewijde vrijwilligers bijna al het vegen en het ophalen van het vuilnis doet.

• De Harde Werkers: Een piepklein aantal mensen schrijft het overgrote deel van de Notes. Eén persoon (die een bot lijkt te zijn) schreef meer dan 33.000 notes, voornamelijk over crypto-scams.
• De Rating Gap: Op dezelfde manier doet een kleine groep mensen bijna al het stemwerk.
• Het Resultaat: Omdat zo weinig mensen het zware werk doen, krijgen veel berichten die een Note nodig hebben nooit een Note, of krijgen de Notes die ze krijgen nooit genoeg stemmen om getoond te worden.

3. Waar Praten Ze Over? (De Onderwerpen)

De "dorpspleinen" zijn luidruchtig, maar de vrijwilligers richten zich op specifieke soorten lawaai:

• Politiek is Koning: Het grootste deel van het werk (ongeveer 30–45%) gaat over politiek en de overheid.
• Gezondheid: In het begin was er een enorme golf van notes over vaccins en de pandemie.
• Oorlog & Crypto: Naarmate de tijd verstreek, verschenen er meer notes over oorlogen (zoals Oekraïne en Gaza) en cryptocurrency-scams.
• Het "NNN"-Fenomeen: Soms schrijven vrijwilligers een note met de tekst "Note Not Needed" (NNN). Dit is als een buurman die zegt: "Hé, dat verhaal is eigenlijk geen leugen, stop met proberen het te fact-checken!" Het onderzoek merkt op dat dit is veranderd in een manier om te debatteren of iets gecorrigeerd moet worden, en niet alleen wat er fout is.

4. De Taalbarrière

Hoewel het systeem globaal is, zijn de "buurten" voornamelijk gescheiden.

• Eén Taal, Eén Groep: De meeste mensen schrijven in slechts één taal. Zelfs als iemand vijf talen spreeelt, gebruiken ze meestal slechts één taal wanneer ze notes schrijven.
• Engelse Dominantie: Engels is de hoofdtaal van het dorpsplein. De onderzoekers hebben hun diepgaande analyse gefocust op Engelse notes, omdat daar de meeste activiteit plaatsvindt.

5. Het Snelheidsprobleem: Het "Te Laat en Te Weinig" Probleem

Dit is de meest kritieke bevinding. Het systeem is traag.

• Het Wachten: Gemiddeld duurt het 26 uur voordat een Note van het geschreven worden tot het getoond worden aan het publiek.
• Het Gemiste Venster: Tegen de tijd dat een "Helpful" Note eindelijk verschijnt, is de leugen meestal al de wereld rondgereisd. Het paper merkt op dat tegen de tijd dat een note wordt gepubliceerd, het bericht al 80% van zijn publiek heeft bereikt.
• Het Succespercentage: Van elke 100 berichten die een Note voorgesteld krijgen, krijgen er slechts ongeveer 13 daadwerkelijk een "Helpful" Note getoond aan het publiek. De meeste Notes blijven hangen in een wachtkamer, omdat ze nooit genoeg diverse stemmen krijgen om door te komen.

6. Waar Halen Ze de Feiten Vandaan?

Bij het schrijven van een Note worden bijdragers aangemoedigd om bewijs aan te leveren.

• De Bron: De meeste Notes bevatten een link naar een bron.
• De Favorieten: De populairste bronnen zijn Wikipedia, YouTube en X zelf.
• De Bias-Check: De onderzoekers hebben de politieke bias van de gebruikte websites gecontroleerd. Verrassend genoeg zijn de meeste topbronnen beschouwd als "neutraal", hoewel er een lichte neiging is naar links. Echter, het paper vond één verdachte zaak waarbij één gebruiker herhaaldelijk naar een specifieke antivirussite voor crypto-scams linkte, wat suggereert dat sommige "vrijwilligers" geautomatiseerde bots zijn die specifieke agenda's pushen.

De Kernboodschap

Community Notes is een gedurfd experiment in het laten controleren van de menigte door zichzelf. Het heeft succesvol een enorme bibliotheek van context en feiten opgebouwd. Echter, het paper concludeert dat het systeem een bottleneck (flessehals) heeft.

• Het leunt te zwaar op een paar super-vrijwilligers.
• Het is te traag om leugens te stoppen voordat ze zich verspreiden.
• Het worstelt om genoeg diverse mensen te krijgen die het met een note eens zijn voordat de nieuwscyclus verder beweegt.

De auteurs hebben al hun data en code vrijgegeven (zoals het overhandigen van de blauwdrukken van de buurtpreventie) zodat andere onderzoekers kunnen bestuderen hoe ze dit systeem in de toekomst sneller en eerlijker kunnen maken.

Technische samenvatting

Technische Samenvatting: Van Birdwatch naar Community Notes, van Twitter naar X

Probleemstelling

De snelle proliferatie van door gebruikers gegenereerde inhoud op sociale mediaplatforms, die vaak een gebrek aan redactioneel toezicht heeft, heeft de blootstelling aan valse en misleidende informatie vergroot. Traditionele strategieën voor contentmoderatie — die vertrouwen op deskundige evaluatie of geautomatiseerde systemen — kampen met significante beperkingen wat betreft kosten, schaalbaarheid en de versterking van systemische vooroordelen. Hoewel community-gebaseerde moderatie een veelbelovend alternatief is geworden, is er een kritieke behoefte aan een empirische beoordeling van de onderliggende dynamiek, effectiviteit en operationele kenmerken van grootschalige initiatieven zoals X's (voorheen Twitter) Community Notes (voorheen Birdwatch). Specifiek streeft het onderzoek ernaar om de functionaliteit van het systeem op schaal te karakteriseren, waarbij vragen worden behandeld over de distributie van de aandacht van bijdragers, de efficiëntie van het bereiken van consensus, linguïstische diversiteit, bronpraktijken en de temporele dynamiek van onderwerpdekking.

Methodologie

Deze studie presenteert een descriptief, observationeel onderzoek naar Community Notes over de eerste vier jaar (23 januari 2021 – 23 januari 2025). Het onderzoek steunt op een uitgebreide, gecureerde dataset afgeleid van publiekelijk beschikbare TSV-bestanden die door X zijn vrijgegeven.

Dataverzameling en Verwerking:

• Dataset Omvang: De auteurs hebben Notes en beoordelingsgegevens geparsed die de volledige vierjarige periode beslaan. De uiteindelijke dataset bevat 1.614.743 Notes geschreven door 227.702 unieke Bijdragers over 1.016.673 verschillende Posts.
• Taaldetectie: Een vooraf getraind FastText taalidentificatiemodel is toegepast op alle Notes om de linguïstische diversiteit te detecteren.
• URL- en Domeinextractie: Voor Engelstalige Notes is een regex-gebaseerd script gebruikt om ingebedde URL's te extraheren. Root-domeinen zijn geïsoleerd, genormaliseerd om rekening te houden met rebranding (bijv. Twitter naar X) en regionale varianten, en geclassificeerd op politieke kleur middels de 2023-beoordelingen van Ad Fontes Media.
• Topic Modeling: Er is een tweestaps geautomatiseerde classificatiepipeline gehanteerd. Dit omvatte een gestratificeerde steekproef (10%) van Engelstalige Notes die door GPT-4.1-mini zijn verwerkt om onderwerp-labels te induceren, gevolgd door iteratieve menselijke verfijning om een definitieve taxonomie van 42 categorieën (verdeeld in algemeen en onderwerp-specifiek) op te stellen.
• Netwerkconstructie: Maandelijkse interactienetwerken zijn geconstrueerd waarbij knopen (nodes) bijdragers vertegenwoordigen en gerichte randen (edges) beoordelingen (nuttig, enigszins nuttig, of niet nuttig) vertegenwoordigen. De gewichten van de randen komen overeen met het aantal beoordelingen.

Analytische Benadering:
De studie maakt gebruik van descriptieve statistiek, rank-plot analyse (log-log schaal) om de scheefheid van de distributie te onderzoeken, en netwerkvisualisatie (met behulp van het Louvain-algoritme) om de gemeenschapsstructuur te analyseren. De analyse richt zich primair op Engelstalige inhoud vanwege de prominentie van het Engels in de dataset, hoewel taaldetectie globaal is uitgevoerd.

Belangrijkste Resultaten

1. Bijdragersactiviteit en Distributie:

• Sterk Scheve Participatie: Activiteit is niet gelijkmatig verdeeld. Een klein aantal Bijdragers is verantwoordelijk voor een overweldigende meerderheid van de Notes en beoordelingen. Eén geautomatiseerd uitziend account schreef 33.186 Notes, voornamelijk gericht op het signaleren van NFT- en cryptovaluta-scams.
• Concentratie op Content: Op een vergelijkbare manier trekt een kleine subset van Posts een onevenredige hoeveelheid aandacht. De meest geannoteerde Post (een bericht van Donald Trump over zijn mugshot) ontving 90 Notes, maar geen enkele bereikte de status "Nuttig".
• Lage Publicatiegraad: Slechts 13,55% van de Posts met ten minste één voorgestelde Note ontving ooit een "Nuttige" Note. Verspreid over de dataset bleef 87,7% van de Notes in de categorie "Heeft meer beoordelingen nodig" staan, waarbij slechts 8,3% de status "Nuttig" bereikte.

2. Linguïstische en Bronkenmerken:

• Linguïstische Segmentatie: Notes werden geschreven in 103 talen. De activiteit van Bijdragers is echter grotendeels gesegmenteerd; slechts ~16% van de auteurs schrijft in meer dan één taal, en zelfs meertalige bijdragers concentreren hun output doorgaans in een enkele dominante taal.
• Bronafhankelijkheid: 79,6% van de Engelstalige Notes bevat ten minste één URL. De meest frequent geciteerde domeinen zijn crowdsourced platforms (X, Wikipedia, YouTube) en zijn overwegend als politiek neutraal geclassificeerd. Een specifieke anomalie werd opgemerkt waarbij één enkele bijdrager uitsluitend web3antivirus.io citeerde in cryptovaluta-gerelateerde Notes.

3. Thematische Dynamiek:

• Dominante Onderwerpen: "Politiek & bestuur" domineert consistent, goed voor 30–45% van de maandelijkse activiteit. "Gezondheid & geneeskunde" was prominent in 2021–2022 (gedreven door de COVID-19 discussie), maar nam daarna af. "Oorlog & gewapend conflict" zag een duidelijke toename vanaf eind 2023, samenvallend met het Israël-Gaza conflict en de oorlog in Oekraïne.
• Temporele Verschuivingen: De samenstelling van de Note-schrijfactiviteit reflecteert dynamisch de real-world nieuwscycli.

4. Netwerk en Interactie:

• Gepolariseerde Clusters: Interactienetwerken laten zien dat Bijdragers clusters vormen op basis van gedeelde politieke ideologieën. De netwerken van "niet nuttige" beoordelingen benadrukken in het bijzonder negatieve interacties die deze verdeeldheid versterken.
• Vertraagde Impact: De gemiddelde vertraging voordat een Note de status "Nuttig" bereikt, is 26 uur. Deze vertraging overschrijdt vaak de piekzichtbaarheidperiode van veel Posts, wat het potentieel van de interventie kan beperken.

Belangrijkste Bijdragen

1. Descriptief Onderzoek: Dit artikel biedt de eerste uitgebreide, vierjarige descriptieve analyse van Community Notes, waarbij de linguïstische diversiteit, bronpraktijken, bijdragersactiviteit en interactienetwerken worden gekarakteriseerd.
2. Open Data Release: De auteurs stellen een gecureerde dataset beschikbaar met Note ID's, gedetecteerde talen, geëxtraheerde onderwerpen, geciteerde links en domeinen voor Engelstalige Notes.
3. Netwerkdata: Maandelijkse interactienetwerken gebaseerd op drie typen beoordelingen (nuttig, enigszins nuttig, niet nuttig) worden beschikbaar gesteld.
4. Reproduceerbare Code: Bijbehorende broncode wordt vrijgegeven om toekomstig onderzoek te ondersteunen, waardoor de dataset en analysepipelines kunnen worden gereproduceerd, uitgebreid of aangepast.
5. Literatuuronderzoek: Het artikel bevat een overzicht van eerder onderzoek naar Community Notes, waarbij het huidige werk wordt gepositioneerd binnen de bredere context van community-gebaseerde contentmoderatie.

Betekenis en Beperkingen

Het artikel positioneert zichzelf als een fundamentele bron voor het bevorderen van onderzoek naar Community Notes en community-gebaseerde contentmoderatie. Door de operationele realiteiten van het systeem te documenteren — specificaal de concentratie van activiteit, de lage mate van consensus en de vertragingen in publicatie — biedt het een baseline voor het begrijpen van de schaalbaarheid en grenzen van vrijwilligersgestuurd bestuur.

De auteurs vermelden expliciet enkele beperkingen:

• Data Volledigheid: De dataset weerspiegelt het publieke archief dat beschikbaar was op 7 april 2025, en sluit Posts of Notes uit die vóór die datum zijn verwijderd.
• Scope van Analyse: Hoewel taaldetectie globaal was, waren gedetailleerde topic modeling en netwerkconstructie beperkt tot Engelstalige Notes.
• Causaliteit: Als een observationele studie beschrijft de analyse correlaties en patronen, maar stelt geen causale mechanismen vast voor de geobserveerde vertragingen of polarisatie.

Het werk concludeert dat hoewel Community Notes een schaalbaar alternatief biedt voor traditionele moderatie, de effectiviteit wordt beperkt door een ongelijkmatige distributie van aandacht, politieke polarisatie en aanzienlijke publicatievertragingen. De vrijgegeven middelen zijn bedoeld om verdere descriptieve en verklarende research naar deze uitdagingen te faciliteren.