From Birdwatch to Community Notes, from Twitter to X: four years of community-based content moderation

Questo articolo presenta un'analisi descrittiva quadriennale completa del programma Community Notes di X (precedentemente Birdwatch), esaminando la sua diversità linguistica, le pratiche di reperimento delle fonti, l'attività dei contributori e le reti di interazione, rilasciando al contempo un dataset curato e del codice per far avanzare la ricerca sulla moderazione dei contenuti basata sulla comunità.

L'essenziale

Immagina i social media come una piazza cittadina enorme e caotica dove milioni di persone urlano i propri pensieri ogni secondo. A volte, le persone urlano bugie, voci o storie confuse. In passato, un piccolo gruppo di "guardie cittadine" (esperti) o uno "scanner robotico" (IA) cercava di ascoltare tutti e segnalare le cose brutte. Ma ci sono troppe persone che urlano perché le guardie possano stare al passo, e lo scanner robotico spesso commette errori perché è stato addestrato su dati distorti.

Per risolvere questo problema, X (precedentamente Twitter) ha lanciato una nuova idea chiamata Community Notes (originariamente "Birdwatch"). Immagina questo come un programma di vigilanza di quartiere dove i cittadini comuni sono invitati ad aiutare a sorvegliare la piazza.

Ecco cosa ci dice questo documento su come quella vigilanza di quartiere ha funzionato durante i suoi primi quattro anni (2021–2025):

1. L'impostazione: Come funziona la vigilanza

In questo sistema, chiunque sia stato un buon cittadino per sei mesi può diventare un "Contributor" (Collaboratore).

• Il lavoro: Se vedi un post che sembra fuorviante, puoi scrivere una "Nota" per aggiungere il contesto o i fatti mancanti.
• Il voto: Altri Collaboratori leggono la tua Nota e votano se è "Utile", "Abbastanza Utile" o "Non Utile".
• La regola: Una Nota viene mostrata al pubblico solo se persone di diversi schieramenti politici concordano sul fatto che sia utile. È come un ponte; se solo le persone da un lato del fiume concordano sul fatto che il ponte sia sicuro, il ponte non viene costruito. L'obiettivo è trovare la verità su cui tutti possono concordare.

2. Chi sta facendo il lavoro? (I "Super-Collaboratori")

Il documento ha scoperto che il lavoro non è condiviso equamente. È come un quartiere dove un piccolo numero di volontari dedicati fa quasi tutto il lavoro di pulizia e raccolta dei rifiuti.

• I grandi sforzati: Un numero minuscolo di persone scrive la stragrande maggioranza delle Note. Una persona (che sembra essere un bot) ha scritto oltre 33.000 note, principalmente su truffe crypto.
• Il divario di valutazione: Allo stesso modo, un piccolo gruppo di persone effettua quasi tutti i voti.
• Il risultato: Poiché così poche persone stanno facendo il grosso del lavoro, molti post che avrebbero bisogno di una Nota non ne ricevono mai una, o le Note che ricevono non ottengono abbastanza voti per essere mostrate.

3. Di cosa stanno parlando? (Gli Argomenti)

La "piazza cittadina" è rumorosa, ma i volontari si concentrano su tipi specifici di rumore:

• La politica è Re: La fetta più grande di lavoro (circa il 30–45%) riguarda la politica e il governo.
• Salute: All'inizio, c'è stata un'enorme ondata di note riguardanti i vaccini e la pandemia.
• Guerra e Crypto: Con il passare del tempo, sono apparse più note su guerre (come Ucraina e Gaza) e truffe di criptovalute.
• Il fenomeno "NNN": A volte, i volontari scrivono una nota dicendo "Nota Non Necessaria" (NNN). Questo è come un vicino che dice: "Ehi, quella storia non è affatto una bugia, smettila di cercare di smentirla!". Il documento nota che questo si è trasformato in un modo per dibattere se qualcosa debba essere corretto, non solo cosa sia sbagliato.

4. La barriera linguistica

Anche se il sistema è globale, i "quartieri" sono per lo più separati.

• Una lingua, un gruppo: La maggior parte delle persone scrive in una sola lingua. Anche se qualcuno parla cinque lingue, di solito ne resta fedele a una sola quando scrive note.
• Dominio dell'inglese: L'inglese è la lingua principale della piazza cittadina. I ricercatori hanno concentrato la loro analisi approfondita sulle note in inglese perché è lì che avviene la maggior parte dell'attività.

5. Il problema della velocità: Il problema del "Troppo poco, troppo tardi"

Questa è la scoperta più critica. Il sistema è lento.

• L'attesa: In media, occorrono 26 ore affinché una Nota passi dall'essere scritta all'essere mostrata al pubblico.
• La finestra mancata: Quando una Nota "Utile" viene finalmente mostrata, la bugia ha solitamente già viaggiato per tutto il mondo. Il documento nota che, nel momento in cui una nota viene pubblicata, il post ha già raggiunto l'80% del suo pubblico.
• Il tasso di successo: Su ogni 100 post che ricevono una proposta di Nota, solo circa 13 ottengono effettivamente una Nota "Utile" mostrata al pubblico. La maggior parte delle Note rimane bloccata in una sala d'attesa, non ottenendo mai abbastanza voti diversi per passare.

6. Dove prendono i fatti?

Quando scrivono una Nota, i collaboratori sono incoraggiati a portare delle prove.

• La fonte: La maggior parte delle Note include un link a una fonte.
• I preferiti: Le fonti più popolari sono Wikipedia, YouTube e X stesso.
• Il controllo del bias: I ricercatori hanno controllato il pregiudizio politico dei siti web utilizzati. Sorprendentemente, la maggior parte delle fonti principali è considerata "neutrale", sebbene ci sia una leggera tendenza a sinistra. Tuttavia, il documento ha trovato un caso sospetto in cui un utente continuava a collegare a un sito specifico di antivirus per truffe crypto, suggerendo che alcuni "volontari" potrebbero essere bot automatizzati che spingono agende specifiche.

Il succo del discorso

Community Notes è un esperimento coraggioso che lascia che la folla controlli se stessa. Ha costruito con successo una vasta libreria di contesti e fatti. Tuttavia, il documento conclude che il sistema è in una fase di collo di bottiglia.

• Si affida troppo pesantemente a pochi super-volontari.
• È troppo lento per fermare le bugie prima che si diffondano.
• Fatica a ottenere abbastanza persone diverse che concordino su una nota prima che il ciclo di notizie si sposti oltre.

Gli autori hanno rilasciato tutti i loro dati e codici (come consegnare i progetti della vigilanza di quartiere) in modo che altri ricercatori possano studiare come rendere questo sistema più veloce e più equo in futuro.

Sommario tecnico

Riepilogo Tecnico: Da Birdwatch a Community Notes, da Twitter a X

Definizione del Problema

La rapida proliferazione di contenuti generati dagli utenti sulle piattaie social, spesso privi di supervisione editoriale, ha aumentato l'esposizione a informazioni false e fuorvianti. Le strategie tradizionali di moderazione dei contenuti — basate sulla valutazione di esperti o su sistemi automatizzati — affrontano limitazioni significative in termini di costi, scalabilità e rafforzamento di bias sistemici. Sebbene la moderazione basata sulla comunità sia emersa come un'alternativa promettente, esiste un critico bisogno di valutare empiricamente le dinamiche sottostanti, l'efficacia e le caratteristiche operative di iniziative su larga scala come le Community Notes di X (precedentemente Twitter, precedentemente Birdwatch). Nello specifico, la ricerca mira a caratterizzare la funzionalità del sistema su scala globale, affrontando questioni riguardanti la distribuzione dell'attenzione dei contributori, l'efficienza nel raggiungere il consenso, la diversità linguistica, le pratiche di reperimento delle fonti e la dinamica temporale della copertura degli argomenti.

Metodologia

Questo studio presenta un'indagine descrittiva e osservazionale sulle Community Notes durante i suoi primi quattro anni (23 gennaio 2021 – 23 gennaio 2025). La ricerca si basa su un dataset completo e curato derivato dai file TSV pubblicamente disponibili rilasciati da X.

Raccolta e Elaborazione dei Dati:

• Ambito del Dataset: Gli autori hanno analizzato i dati relativi a Note e valutazioni coprendo l'intero periodo di quattro anni. Il dataset finale include 1.614.743 Note scritte da 227.702 Contributori unici su 1.016.673 Post distinti.
• Rilevamento della Lingua: Un modello pre-addestrato per l'identificazione della lingua FastText è stato applicato a tutte le Note per rilevare la diversità linguistica.
• Estrazione di URL e Domini: Per le Note in lingua inglese, uno script basato su regex ha estratto gli URL incorporati. I domini radice sono stati isolati, normalizzati per tenere conto del rebranding (ad esempio, da Twitter a X) e delle varianti regionali, e classificati per orientamento politico utilizzando le valutazioni 2023 di Ad Fontes Media.
• Modellazione degli Argomenti (Topic Modeling): È stata impiegata una pipeline di classificazione automatizzata a due stadi. Questa ha previsto un campione casuale stratificato (10%) di Note in inglese elaborato da GPT-4.1-mini per indurre etichette tematiche, seguito da un raffinamento umano iterativo per costruire una tassonomia finale di 42 categorie (divise in generali e specifiche per argomento).
• Costruzione della Rete: Sono state costruite reti di interazione mensili in cui i nodi rappresentano i Contributori e gli archi diretti rappresentano le valutazioni (utile, parzialmente utile o non utile). I pesi degli archi corrispondono al numero di valutazioni.

Approccio Analitico:
Lo studio utilizza statistiche descrittive, analisi dei rank-plot (su scala log-log) per esaminare la asimmetria della distribuzione e visualizzazione di rete (utilizzando l'algoritmo di Louvain) per analizzare la struttura della comunità. L'analisi si concentra principalmente sui contenuti in lingua inglese a causa della prominenza dell'inglese nel dataset, sebbene il rilevamento della lingua sia stato eseguito a livello globale.

Risultati Chiave

1. Attività dei Contributori e Distribuzione:

• Partecipazione Altamente Asimmetrica: L'attività non è distribuita uniformemente. Un piccolo numero di Contributori è responsabile della stragrande maggioranza di Note e valutazioni. Un account dall'aspetto automatizzato ha redatto 33.186 Note, principalmente per segnalare truffe legate a NFT e criptovalute.
• Concentrazione sui Contenuti: Allo stesso modo, un piccolo sottoinsieme di Post attira un'attenzione sproporzionata. Il Post più annotato (un post di Donald Trump riguardante la sua foto segnaletica) ha ricevuto 90 Note, ma nessuna ha raggiunto lo stato di "Utile".
• Basso Tasso di Pubblicazione: Solo il 13,55% dei Post con almeno una proposta di Nota ha mai ricevuto una Nota "Utile". In tutto il dataset, l'87,7% delle Note è rimasto nella categoria "In attesa di ulteriori valutazioni", con solo l'8,3% che ha raggiunto lo stato di "Utile".

2. Caratteristiche Linguistiche e delle Fonti:

• Segmentazione Linguistica: Le Note sono state scritte in 103 lingue. Tuttavia, l'attività dei Contributori è ampiamente segmentata; solo circa il 16% degli autori scrive in più di una lingua, e anche i contributori multilingue concentrano tipicamente la loro produzione in una singola lingua dominante.
• Affidamento alle Fonti: Il 79,6% delle Note in inglese contiene almeno un URL. I domini citati più frequentemente sono piattaforme di crowdsourcing (X, Wikipedia, YouTube) e sono prevalentemente classificati come politicamente neutrali. È stata notata una specifica anomalia in cui un singolo contributore citava esclusivamente web3antivirus.io nelle Note relative alle criptovalute.

3. Dinamiche Tematiche:

• Argomenti Dominanti: "Politica e governance" domina costantemente, rappresentando il 30-45% dell'attività mensile. "Salute e medicina" è stata prominente nel 2021-2022 (spinta dal discorso sul COVID-19), ma è declinata successivamente. "Guerra e conflitti armati" ha visto un marcato aumento dalla fine del 2023, in coincidenza con il conflitto Israele-Gaza e la guerra in Ucraina.
• Spostamenti Temporali: La composizione dell'attività di scrittura delle Note riflette dinamicamente i cicli di notizie del mondo reale.

4. Rete e Interazione:

• Cluster Polarizzati: Le reti di interazione rivelano che i Contributori formano cluster basati su ideologie politiche condivise. Le reti di valutazione "non utile", in particolare, evidenziano interazioni negative che rinforzano queste divisioni.
  i. Impatto Ritardato: Il ritardo medio affinché una Nota raggiunga lo stato di "Utile" è di 26 ore. Questo ritardo spesso supera il periodo di massima visibilità di molti Post, limitando potenzialmente l'efficacia dell'intervento.

Contributi Chiave

1. Indagine Descrittiva: Questo articolo fornisce la prima analisi descrittiva completa di quattro anni sulle Community Notes, caratterizzando la loro diversità linguistica, le pratiche di reperimento delle fonti, l'attività dei contributori e le reti di interazione.
2. Rilascio di Open Data: Gli autori rilasciano un dataset curato contenente ID delle Note, lingue rilevate, argomenti estratti, link citati e domini per le Note in lingua inglese.
3. Dati di Rete: Le reti di interazione mensili basate su tre tipi di valutazione (utile, parzialmente utile, non utile) sono messe a disposizione.
4. Codice Riproducibile: Il codice sorgente di accompagnamento viene rilasciato per supportare la ricerca futura, consentendo la riproduzione, l'estensione o l'adattamento dei dataset e delle pipeline di analisi.
5. Revisione della Letteratura: Il documento include una revisione delle ricerche precedenti sulle Community Notes, posizionando il presente lavoro nel contesto più ampio della moderazione dei contenuti basata sulla comunità.

Significato e Limitazioni

Il documento si pone come una risorsa fondamentale per far avanzare la ricerca sulle Community Notes e sulla moderazione dei contenuti basata sulla comunità. Documentando le realtà operative del sistema — specificamente la concentrazione dell'attività, il basso tasso di consenso e i ritardi nella pubblicazione — fornisce una linea di base per comprendere la scalabilità e i limiti della governance basata sul volontariato.

Gli autori segnalano esplicitamente diverse limitazioni:

• Completezza dei Dati: Il dataset riflette l'archivio pubblico disponibile al 7 aprile 2025 ed esclude Post o Note eliminati prima di tale data.
• Ambito dell'Analisi: Sebbene il rilevamento della lingua sia stato globale, la modellazione dettagliata degli argomenti e la costruzione delle reti sono state limitate alle Note in lingua inglese.
• Causalità: In quanto studio osservazionale, l'analisi descrive correlazioni e modelli, ma non stabilisce meccanismi causali per i ritardi o la polarizzazione osservati.

Il lavoro conclude che, sebbene le Community Notes offrano un'alternativa scalabile alla moderazione tradizionale, la loro efficacia è limitata da una distribuzione disomogenea dell'attenzione, dalla polarizzazione politica e dai significativi ritardi nella pubblicazione. Le risorse rilasciate sono destinate a facilitare ulteriori ricerche descrittive ed esplicative su queste sfide.