💬 NLP

Misinformation Span Detection in Videos via Audio Transcripts

Questo lavoro introduce due nuovi dataset e un metodo basato su trascrizioni audio per rilevare e localizzare specifici segmenti di disinformazione all'interno di video, ottenendo un punteggio F1 di 0,68.

Autori originali: Breno Matos, Rennan C. Lima, Savvas Zannettou, Fabricio Benevenuto, Rodrygo L. T. Santos

Pubblicato 2026-04-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Breno Matos, Rennan C. Lima, Savvas Zannettou, Fabricio Benevenuto, Rodrygo L. T. Santos

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🎥 Il Problema: Trovare l'Ago nel Fienile Video

Immagina che YouTube e TikTok siano due enormi magazzini pieni di video. Ogni giorno, arrivano nuovi video come se fossero pioggia: milioni di ore di contenuti. Il problema è che, nascosti in mezzo a tutto questo, ci sono dei video che raccontano bugie (disinformazione).

Fino a poco tempo fa, i "cacciatori di bugie" (i fact-checker) avevano un compito impossibile: dovevano guardare un video intero, magari lungo un'ora, per capire se c'era una menzogna. Era come cercare di trovare un ago in un fienile, ma peggio ancora: dovevano trovare l'ago, e poi dire esattamente in quale paglia si nascondeva.

Se un video dura 60 minuti e c'è una bugia detta solo per 10 secondi, i sistemi vecchi dicevano: "Attenzione, questo video è falso!". Ma non dicevano quando o dove. Per un fact-checker umano, questo è frustrante: deve rivedere tutto il video per trovare quel singolo secondo di menzogna.

🔍 La Soluzione: La "Lente Magica" sui Sottotitoli

Gli autori di questo studio (un gruppo di ricercatori brasiliani ed europei) hanno pensato: "Aspetta, perché non trasformiamo il video in testo e cerchiamo la bugia lì?".

Hanno creato un nuovo sistema che funziona così:

Ascolta e Scrivi: Prende il video e usa un'intelligenza artificiale (chiamata Whisper) per trascrivere tutto ciò che viene detto, trasformando l'audio in testo, come se fosse un sottotitolo automatico.
Taglia a Fette: Divide questo testo in piccoli pezzi (segmenti), come se tagliasse una torta in fette.
Cerca la Bugia: Confronta ogni "fetta" di testo con un elenco di bugie già note. Se una fetta di testo assomiglia molto a una bugia, il sistema la segna.

L'analogia: Immagina di avere un libro di 500 pagine (il video). Invece di leggerlo tutto per trovare una parola sbagliata, il sistema legge solo le righe dove c'è scritto qualcosa di sospetto e ti dice: "Ehi, guarda alla pagina 42, riga 3: qui c'è la bugia!".

📚 I Due Tesori: I Nuovi Dataset

Per insegnare ai computer a fare questo, i ricercatori hanno creato due nuovi "libri di esercizi" (dataset) che prima non esistevano:

BOL4Y (Il caso Bolsonaro): Hanno preso migliaia di video del presidente brasiliano uscente, Jair Bolsonaro. Hanno raccolto tutte le sue affermazioni false verificate dai giornalisti e hanno collegato ogni bugia al momento esatto in cui è apparsa nel video.
EI22 (Elezioni 2022): Hanno fatto lo stesso con video di cittadini che parlavano di frodi elettorali durante le elezioni brasiliane del 2022.

Questi dataset sono come una mappa del tesoro: dicono esattamente dove si trova la "X" (la bugia) sulla mappa del video.

🤖 Come hanno fatto i computer a imparare?

Hanno usato dei "cervelli digitali" molto avanzati (modelli linguistici come BERT e T5, ma addestrati sulla lingua portoghese).
Hanno insegnato a questi cervelli a leggere le trascrizioni e a dire: "Questa frase è vera" oppure "Questa frase è una bufala".

Il risultato?
Hanno scoperto che i computer sono abbastanza bravi a fare questo lavoro! Riescono a individuare la parte sbagliata di un video con una precisione di circa il 68-70% (un punteggio chiamato F1 score). Non è perfetto (ancora non sono umani), ma è un inizio enorme. È come se un assistente digitale ti dicesse: "Probabilmente c'è una bugia qui, controlla tu!", risparmiando ore di lavoro.

🚀 Perché è importante?

Immagina di guardare un video su TikTok dove qualcuno dice una cosa assurda.

Senza questo sistema: Il video rimane online, la gente ci crede, e i fact-checker impiegano giorni a smontarlo.
Con questo sistema: L'algoritmo potrebbe mettere un avviso giallo proprio sopra la parte del video in cui viene detta la bugia, spiegando subito che è falsa.

È come avere un guardiano intelligente che non blocca tutto il video, ma ti indica esattamente dove guardare con attenzione. Questo è fondamentale per le nuove leggi europee (come il Digital Services Act) che chiedono alle piattaforme di essere più trasparenti e veloci nel moderare i contenuti.

In sintesi

Gli autori hanno detto: "Non basta dire che un video è falso. Dobbiamo dire esattamente DOVE è falso".
Hanno creato gli strumenti per farlo, hanno insegnato ai computer a farlo, e ora hanno aperto le porte a tutti i ricercatori del mondo per migliorare questo sistema. È un passo avanti per rendere internet un posto dove le bugie vengono smascherate più velocemente, proprio mentre accadono.

1. Il Problema

La disinformazione online rappresenta una delle sfide più critiche per la società moderna, con conseguenze che vanno dalla polarizzazione politica ai rischi per la salute pubblica. Sebbene esistano numerosi studi sulla rilevazione della disinformazione in testi e immagini, la disinformazione basata su video rimane un problema complesso e sottostudiato.

Il limite principale degli approcci precedenti è la classificazione a livello di video intero (binaria: "il video contiene disinformazione o no"). Questo approccio offre una visione limitata e poco interpretabile, poiché non identifica quando all'interno di un video (spesso lungo ore) avviene la disinformazione né quali specifici segmenti contengono le affermazioni false. Di conseguenza, i fact-checker e le piattaforme di moderazione devono analizzare manualmente interi video per localizzare i punti critici, un processo estremamente laborioso e non scalabile.

L'obiettivo di questo lavoro è colmare questo gap introducendo il compito di Misinformation Span Detection (rilevamento degli intervalli di disinformazione): identificare i segmenti temporali specifici all'interno di un video in cui vengono formulate affermazioni false.

2. Metodologia

Gli autori propongono un approccio basato su tre fasi principali, utilizzando trascrizioni audio come ponte tra il contenuto video e l'analisi testuale:

Raccolta e Creazione dei Dataset:
- Sono stati creati due nuovi dataset annotati:
  - BOL4Y: 538 video relativi alle affermazioni del ex-presidente brasiliano Jair Bolsonaro durante il suo mandato (4 anni), basati su fact-checking dell'agenzia Aos Fatos.
  - EI22: 77 video relativi ad affermazioni su frodi elettorali durante le elezioni presidenziali brasiliane del 2022.
- In totale, i dataset contengono oltre 2.400 segmenti con affermazioni verificate come false.
Estrazione e Allineamento delle Trascrizioni:
- Trascrizione: L'audio dei video è stato convertito in testo utilizzando il modello OpenAI Whisper (uno stato dell'arte per il riconoscimento vocale). Le trascrizioni sono state segmentate in finestre temporali (max 30 secondi).
- Embedding e Matching: I segmenti di trascrizione e le affermazioni false (claim) sono stati convertiti in vettori densi utilizzando BERTimbau (un modello BERT pre-addestrato su corpus portoghesi brasiliani).
- Corrispondenza Semantica: È stata calcolata la similarità coseno tra gli embedding delle affermazioni false e quelli dei segmenti trascritti. I segmenti con la similarità più alta sono stati selezionati come candidati.
- Annotazione Umana: Due annotatori hanno verificato manualmente i candidati (con una soglia di similarità $\ge$ 0.7) per confermare se il segmento conteneva effettivamente la disinformazione, correggendo eventuali errori di trascrizione o frammentazione del claim.
Classificazione:
- Il problema è stato modellato come un compito di classificazione a livello di segmento.
- Sono stati utilizzati due modelli pre-addestrati in portoghese brasiliano: BERTimbau (encoder-only) e PTT5 (encoder-decoder basato su T5).
- A causa dello sbilanciamento estremo dei dati (molti segmenti "puliti" vs pochi "sporchi"), sono state testate diverse strategie di undersampling (rapporti da 1:1 a 1:100) per bilanciare il set di addestramento.

3. Contributi Chiave

Primo approccio allo "Span Detection": Questo è il primo lavoro che affronta sistematicamente il rilevamento degli intervalli di disinformazione nei video, andando oltre la semplice classificazione binaria del video intero.
Nuovi Dataset Pubblici: Rilascio di due dataset unici (BOL4Y e EI22) contenenti video, trascrizioni, audio e annotazioni temporali precise di oltre 2.400 affermazioni false. Questi sono i primi dataset di questo tipo al mondo.
Benchmark e Baseline: Stabilimento del primo benchmark per questo compito, dimostrando la fattibilità del task tramite l'uso di modelli linguistici moderni.
Analisi Temporale e Cross-Dataset: Valutazione della robustezza dei modelli nel tempo (prevedendo disinformazione futura) e tra diversi domini (addestramento su un dataset, test su un altro).

4. Risultati

Performance di Classificazione:
- Il modello BERTimbau addestrato con un rapporto di undersampling 1:75 ha ottenuto il miglior punteggio, raggiungendo un Macro F1 score di 0.68.
- È stato osservato che l'uso dell'intero dataset (senza undersampling) ha portato a performance peggiori e tempi di addestramento più lunghi, suggerendo che un bilanciamento intelligente dei dati è cruciale.
- L'uso di una versione "Editata" delle affermazioni (più pulita e curata dai giornalisti) ha migliorato le prestazioni rispetto all'uso delle trascrizioni grezze, evidenziando la sfida del rumore nelle trascrizioni automatiche.
Analisi Temporale (Walk-Forward e Expand):
- I modelli sono stati testati per prevedere la disinformazione in mesi futuri basandosi su dati passati. I punteggi F1 sono variati tra 0.5 e 0.8, mostrando una certa robustezza, sebbene con un calo di performance nel secondo semestre del 2022.
Performance Cross-Dataset:
- Addestrando su BOL4Y e testando su EI22, il modello ha raggiunto un Macro F1 di 0.72 (con rapporto 1:10). Questo dimostra che i modelli possono generalizzare bene tra diversi speaker e contesti tematici.

5. Significato e Implicazioni

Questo lavoro apre una nuova strada per la ricerca sulla moderazione dei contenuti:

Supporto ai Fact-Checker: Fornisce strumenti per automatizzare la localizzazione delle affermazioni false, riducendo drasticamente il tempo necessario per l'analisi manuale.
Moderazione delle Piattaforme: Permette alle piattaforme (come YouTube o TikTok) di applicare etichette di avvertimento o contesti specifici esattamente nel momento in cui viene fatta un'affermazione falsa, invece di rimuovere o segnalare l'intero video.
Conformità Normativa: Supporta l'implementazione di regolamenti come il Digital Services Act (DSA), che richiedono trasparenza e moderazione efficace dei contenuti.
Futuri Sviluppi: I dataset rilasciati permetteranno alla comunità scientifica di esplorare strategie multimodali (unendo audio, testo e video) e l'uso di Large Language Models (LLM) per questo compito specifico.

In sintesi, il paper dimostra che è tecnicamente fattibile identificare automaticamente le parti specifiche di un video che contengono disinformazione, fornendo risorse e baseline fondamentali per il futuro sviluppo di sistemi di difesa contro la disinformazione video.