💻 computer science

Who Checks the Checkers? Exploring Source Credibility in Twitter's Community Notes

Deze studie analyseert de Community Notes van Twitter om aan te tonen dat hoewel het rangschikkingsalgoritme van het platform effectief gebruikmaakt van de feitelijkheid van bronnen om gebruikersinstemming te beïnvloeden, het door de massa aangedreven factcheckingsproces een links georiënteerde bias vertoont in de selectie en het gebruik van bronnen.

Oorspronkelijke auteurs: Uku Kangur, Roshni Chakraborty, Rajesh Sharma

Gepubliceerd 2026-01-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Uku Kangur, Roshni Chakraborty, Rajesh Sharma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Twitter (nu X) voor als een enorm, chaotisch dorpsplein waar iedereen nieuws, meningen en geruchten schreeuwt. In het verleden, als iemand iets onjuists schreeuwde, probeerde een klein team van professionele bibliothecarissen (deskundige factcheckers) dat te stoppen. Maar met zoveel geschreeuw dat elke seconde plaatsvond, konden de bibliothecarissen het niet bijhouden.

Daarom introduceerde Twitter Community Notes. Zie dit als een "buurtpreventie"-programma. In plaats van alleen maar bibliothecarissen, kan elke gewone burger een stap zetten, een geschreeuw als onwaar markeren en een notitie schrijven om uit te leggen waarom, compleet met links naar bewijs.

Het artikel dat je deelde, stelt een zeer belangrijke vraag: "Wie controleert de controleurs?" Met andere woorden: wanneer deze gewone burgers notities schrijven om misinformatie te corrigeren, welke "bewijzen" (bronnen) gebruiken zij dan, en heeft dat bewijs op zichzelf verborgen vooroordelen?

Hier is een overzicht van wat de onderzoekers hebben gevonden, met behulp van eenvoudige analogieën:

1. De "Go-To" Bronnen (De Favoriete Boeken)

Waar halen de buren hun feiten vandaan wanneer ze hun correctienotities schrijven?

De Zwaargewichten: De twee populairste bronnen zijn Twitter zelf (mensen die andere tweets citeren om een punt te bewijzen) en Wikipedia. Het is alsof buren zeggen: "Ik weet dat je dat op Twitter zag, maar kijk eens wat een andere tweet zei," of "Laten we de gemeenschap-encyclopedie controleren."
De Nieuwsmedia: Wanneer ze naar externe nieuwsbronnen linken, gebruiken ze voornamelijk links georiënteerde nieuwsbronnen (zoals BBC of Reuters).
De Specialisten: Voor wetenschap en gezondheid vertrouwen ze zwaar op overheidsinstanties en onderzoeksgroepen (zoals de WHO of CDC).

2. De Politieke "Smaak" van het Bewijs

De onderzoekers proefden de "smaak" van deze bronnen om te zien of ze bevooroordeeld waren.

De Links Georiënteerde Trend: De meerderheid van de bronnen die gebruikt worden voor factchecking is Links-Centraal en heeft een Hoge Feitelijkheid. Stel je een stad voor waar de meeste mensen die correctienotities schrijven boeken gebruiken van de "Linkse" kant van de bibliotheek, en die boeken zijn over het algemeen zeer accuraat.
Het Probleem aan de Rechterkant: Wanneer bronnen naar de Rechterkant neigen, is de kans groter dat ze worden beoordeeld als te hebben een lagere feitelijkheid. Het is also al of de "Rechter" kant van de bibliotheek meer boeken heeft die een mix zijn van waarheid en fictie.
De "Centrum" Paradox: Interessant genoeg worden bronnen die perfect neutraal (Centraal) zijn, vaker gebruikt om een tweet te weerleggen (ontkrachten), terwijl bevooroordeelde bronnen soms worden gebruikt om een tweet te ondersteunen.

3. De "Nuttigheids"-test (De Hamer van de Rechter)

Twitter heeft een speciaal algoritme (een digitale rechter) dat beslist welke notities "Nuttig" zijn en dus aan iedereen getoond moeten worden, en welke "Niet Nuttig" zijn.

Kwaliteit Telt: De rechter is slim. Notities die hoogwaardige, feitelijke bronnen gebruiken, worden gemarkeerd als "Nuttig". Notities die laagwaardige bronnen gebruiken, worden gemarkeerd als "Niet Nuttig".
De Blinde Vlek voor Vooroordelen: Hier is een twist: de rechter heeft de neiging om notities als "Nuttig" te markeren, zelfs als ze Links of Rechts bevooroordeelde bronnen gebruiken, zolang de bron maar feitelijk is. Echter, als een notitie een Rechts-bevooroordeelde bron gebruikt die ook nog eens van lage kwaliteit is, wordt deze afgewezen.
Ondersteunen versus Weerleggen: De onderzoekers vonden iets verdachts: Notities die proberen een tweet te ondersteunen (verdedigen) zijn eerder geneigd om Rechts-georiënteerde bronnen en lagerwaardige bronnen te gebruiken. Het is alsof een groep buren een gerucht probeert te verdedigen met wankel bewijs, terwijl de groep die geruchten probeert te ontkrachten gebruik maakt van solide, hoogwaardig bewijs.

4. De "Instemming"-meter (Het Knikken van de Menigte)

Ten slotte keken de onderzoekers naar hoeveel de menigte instemde met de notities.

Waarheid Wint: Wanneer een notitie een bron gebruikt met een Hoge Feitelijkheid, stemt de menigte er vaker mee in.
De Wrijving aan de Rechterkant: Notities die Rechts-georiënteerde bronnen citeerden, kregen de laagste instemming van de menigte. Mensen waren minder geneigd om met hen mee te knikken.
De Neutrale Sweet Spot: Notities die Centrale of Links-georiënteerde bronnen citeerden, kregen een hoge instemming, wat suggereert dat de menigte neutrale of links-georiënteerde feiten meer vertrouwt dan rechts-georiënteerde in deze specifieke omgeving.

Het Grote Plaatje

De studie concludeert dat hoewel de "buurtpreventie" (Community Notes) een goede baan doet bij het filteren van laagwaardige troep (het algoritme werkt!), is er een systemisch vooroordeel in wie de controle uitvoert.

De "controleurs" gebruiken voornamelijk Links-georiënteerde, hoogwaardige bronnen. Dit betekent dat het factchecking-ecosysteem van het platform onbedoeld één politiek perspectief boven een ander kan bevoordelen. Het is niet dat de buren liegen; het is dat de bibliotheek waar zij uit lenen, voornamelijk gevuld is met boeken van één specifieke politieke zijde.

Kortom: Het systeem werkt goed bij het opsporen van slechte feiten, maar de "feiten" die gebruikt worden om die feiten op te sporen, komen uit een specifieke, links-georiënteerde hoek van het internet.

Technische Samenvatting: Wie controleert de controleurs? Een onderzoek naar bronbetrouwbaarheid in Twitter's Community Notes

Probleemstelling
De proliferatie van misinformatie op sociale mediaplatforms, met name Twitter (nu X), vormt aanzienlijke risico's voor de volksgezondheid, verkiezingen en nationale veiligheid. Hoewel traditionele deskundige factchecking en geautomatiseerde machine learning-detectoren bestaan, kampen zij met schaalbaarheidsuitdagingen of een gebrek aan contextuele interpreteerbaarheid. Om dit aan te pakken, introduceerde Twitter "Community Notes", een door de community gedreven factchecking-mechanisme waarbij gebruikers tweets voorzien van context en externe bronnen. Hoewel eerder onderzoek zich heeft gericht op gebruikersconsensus en sentiment binnen Community Notes, is er een kritiek gat in het begrip van de bronnen die binnen deze noten worden geciteerd. Specifiek blijft het onduidelijk of de door de community gestuurde selectie van bronnen systematische vooroordelen introduceert of de feitelijke integriteit van de verspreide informatie beïnvloedt, en hoe deze bronkenmerken de publieke perceptie en instemming beïnvloeden.

Methodologie
De studie maakt gebruik van een grootschalige dataset van publiekelijk beschikbare Community Notes-gegevens verzameld van 23 januari 2021 tot 27 januari 2024. De dataset bestaat uit 544.995 noten van 87.294 gebruikers en meer dan 6,5 miljoen beoordelingen.

De methodologie omvat een meerfasige analyse:

Data Preprocessing en Bronextractie: De auteurs extraheerden 44.523 unieke weblinks uit de inhoud van de noten. URL's werden vereenvoudigd tot hostnames, redirects en korte links werden opgelost, en vergelijkbare domeinen (bijv. landspecifieke versies, mobiele/desktop varianten) werden gegroepeerd. De top 500 brongroepen, die ongeveer 56% van alle noten vertegenwoordigen, werden geselecteerd voor analyse.
Categorisering en Annotatie:
- Type: Bronnen werden gecategoriseerd in acht typen (bijv. Nieuws, Fact-checking, Overheid/Civiel, Onderzoek) op basis van mediabiasfactcheck.com en "Over"-secties.
- Bias (Vooringenomenheid): Bias-labels werden geaggregeerd van drie media-monitoringplatforms (mediabiasfactcheck.com, allsides.com, adfontes.com) met behulp van meerderheidsstemming. Bij onenigheid werd de bron uitgesloten. De uiteindelijke bias-schaal omvatte Links, Links-Centrum, Centrum, Rechts-Centrum en Rechts.
- Feitelijkheid: Factuality-beoordelingen werden exclusief afkomstig van mediabiasfactcheck.com vanwege inconsistente metrieken over verschillende platforms. Beoordelingen varieerden van "Zeer hoge feitelijkheid" tot "Satire".
Statistische Analyse:
- Correlatieanalyse: Pearson correlatiecoëfficiënten ( $r$ ) werden berekend om relaties tussen bron Type, Bias en Feitelijkheid te identificeren.
- Analyse van Publieke Perceptie: De studie analyseerde hoe bronkenmerken de noten-beoordelingen beïnvloeden. Noten werden gescoord op Bias en Feitelijkheid door de scores van de bronnen te aggregeren. De analyse onderzocht de distributie van bronnen die gebruikt worden om tweets te ondersteunen versus te weerleggen, de "nuttigheid"-beoordelingen toegekend door de community, en de "agreement index" (de ratio van instemming versus onenigheid).

Belangrijkste Bijdragen
Dit artikel onderscheidt zich van eerder werk door de focus te verschuiven van gebruikersconsensus en sentiment naar de bronbetrouwbaarheid die ten grondslag ligt aan Community Notes. De studie biedt:

Een systematische evaluatie van de typen, biases en feitelijkheidsniveaus van de meest geciteerde bronnen in het factchecking-ecosysteem van Twitter.
Een analyse van hoe bronkenmerken correleren met de intentie van de noot (ondersteunen versus weerleggen van een tweet).
Een beoordeling van hoe bronbias en feitelijkheid de publieke metrieken beïnvloeden, specifدiek "nuttigheid" en "instemming".
Bewijs met betrekking tot de effectiviteit van het Community Notes Ranking-algoritme bij het filteren van inhoud van lage kwaliteit of met een bias.

Resultaten

Dominantie van Bronnen: Twitter (intra-domein factchecking) en Wikipedia zijn de meest frequent geciteerde bronnen. Onder de externe bronnen vormen nieuwsmedia bijna 50% van de citaten, gevolgd door fact-checking sites (Snopes, PolitiFact, FactCheck) en overheids-/civiele bronnen.
Verdeling van Bias en Feitelijkheid: De meerderheid van de geciteerde bronnen neigt naar Links-Centrum (45,3%) en bezit een Hoge Feitelijkheid (40,3%). Dit suggereert een feitelijke, links-georiënteerde bias binnen het factchecking-ecosysteem van de community.
Correlaties:
- Onderzoekbronnen correleren sterk met "Centrum" en een "Zeer Hoge Feitelijkheid".
- Nieuwsbronnen correleren negatief met "Centrum" en een "Zeer Hoge Feitelijkheid".
- Rechts-georiënteerde bronnen vertonen een positieve correlatie met "Lage Feitelijkheid" en "Gemengde Feitelijkheid".
Ondersteunen versus Weerleggen:
- Rechts-georiënteerde bronnen worden significant vaker gebruikt om tweets te ondersteunen dan om ze te weerleggen.
- Bronnen met lagere feitelijkheidsscores worden disproportioneel vaak gebruikt om tweets te ondersteunen, wat mogelijk duidt op een poging om valse geloofwaardigheid te verlenen aan misleidende claims.
Publieke Perceptie:
- Nuttigheid: Noten die Links of Rechts geciteerde bronnen gebruiken, worden vaker als "nuttig" beoordeeld dan noten die Centrum bronnen gebruiken, waarschijnlijk door bevestigingsvooroordeel (confirmation bias). Echter, noten die bronnen met een lage feitelijkheid citeren, worden consequent als "niet nuttig" beoordeeld, wat aangeeft dat het rankingalgoritme effectief bronnen van lage kwaliteit filtert.
- Instemming: Noten die Rechts-georiënteerde bronnen citeren, ontvangen significant lagere instemmingsscores (vaak onder de 0,5). Daarentegen ontvangen noten die Links of Centrum bronnen citeren een hoge mate van instemming. Noten die bronnen met een hoge feitelijkheid citeren, ontvangen een hogere instemming dan noten die bronnen met een lage feitelijkheid citeren.

Betekenis en Claims
Het artikel stelt dat community-gebaseerde factchecking op Twitter niet neutraal is; het vertoont een duidelijke links-georiënteerde bias in de bronnen die door bijdragers worden geselecteerd. Hoewel het rankingalgoritme van het platform effectief lijkt te zijn in het filteren van inhoud met een lage feitelijkheid (zoals blijkt uit de lagere nuttigheids- en instemmingsscores voor dergelijke noten), benadrukt de studie een systemisch probleem waarbij rechts-georiënteerde gebruikers echokamers kunnen creëren door bronnen met een lagere feitelijkheid te gebruiken om hun narratieven te ondersteunen.

De auteurs concluderen dat hoewel Community Notes een schaalbare oplossing bieden voor misinformatie, de afhankelijkheid van specifieke brontypen en de inherente politieke biases van bijdragers het publieke debat op manieren vormgeven die een kritische evaluatie vereisen. De bevindingen onderstrepen het belang van bronkwaliteit voor het bereiken van een consensus binnen de community en suggereren dat platformontwikkelaars en beleidsmakers waakzaam moeten blijven voor het potentieel van bias in crowd-sourced verificatiesystemen. De studie stelt geen nieuwe algoritmen of toekomstige interventies voor, maar dient als een empirische baseline voor het begrijpen van de huidige staat van bronbetrouwbaarheid in het factchecking-ecosysteem van Twitter.

1. De "Go-To" Bronnen (De Favoriete Boeken)

2. De Politieke "Smaak" van het Bewijs

3. De "Nuttigheids"-test (De Hamer van de Rechter)

4. De "Instemming"-meter (Het Knikken van de Menigte)

Het Grote Plaatje

Meer zoals dit