Misinformation Span Detection in Videos via Audio Transcripts

Probleemstelling

Online desinformatie is een van de grootste uitdagingen van onze tijd, met gevolgen zoals politieke polarisatie en risico's voor de volksgezondheid. Hoewel er veel onderzoek is gedaan naar het detecteren van desinformatie in video's, focussen bestaande methoden voornamelijk op videoniveau: ze bepalen of een hele video desinformatie bevat of niet.

Dit benadering heeft echter beperkingen:

1. Het biedt geen context over wanneer binnen de video de desinformatie optreedt.
2. Het identificeert niet welke specifieke claims (inhoud) verantwoordelijk zijn voor de desinformatie.
3. Voor fact-checkers en moderatoren is het zeer arbeidsintensief om uren aan videomateriaal te doorzoeken om de foutieve segmenten te vinden.

Het doel van dit werk is om deze kloof te dichten door Misinformation Span Detection te introduceren: het automatisch identificeren van de specifieke tijdssegmenten (spans) binnen een video waarin valse claims worden gedaan.

Methodologie

De auteurs hanteren een drie-staps aanpak om dit probleem op te lossen:

1. Dataverzameling en Transcriptie:

   • Er zijn twee nieuwe datasets samengesteld (zie hieronder bij bijdragen).
   • De audio van de video's wordt omgezet naar tekst met behulp van OpenAI's Whisper (een state-of-the-art spraakherkenningsmodel).
   • Voor het BOL4Y-dataset worden bestaande fact-checks van het Braziliaanse agentschap Aos Fatos gebruikt. De auteurs matchen deze valse claims semantisch met de gegenereerde transcriptsegmenten.
   • Voor het EI22-dataset worden fact-checked video's over verkiezingsfraude gebruikt met reeds geannoteerde tijdstippen.

2. Segment Matching en Annotatie:

   • Transcriptsegmenten worden omgezet naar dichte vectorrepresentaties (embeddings) met behulp van BERTimbau (een op BERT gebaseerd model dat is voorgeïmplementeerd op Braziliaans-Portugese tekst).
   • Er wordt Cosine Similarity gebruikt om de embeddings van de valse claims te vergelijken met de embeddings van de transcriptsegmenten.
   • Segmenten met een hoge gelijkenis (drempel > 0,7) worden geselecteerd en handmatig geannoteerd om te verifiëren of ze daadwerkelijk de valse claim bevatten.
   • Het resultaat is een dataset met positieve voorbeelden (segmenten met desinformatie) en negatieve voorbeelden (segmenten zonder desinformatie).

3. Classificatie:

   • Het probleem wordt gemodelleerd als een segment-classificatietaken.
   • Twee modellen worden getraind en geëvalueerd: BERTimbau (encoder-only) en PTT5 (encoder-decoder, gebaseerd op T5).
   • Vanwege de extreme onbalans in de dataset (veel meer negatieve dan positieve segmenten) worden verschillende undersampling-strategieën toegepast (bijv. 1:1, 1:10, 1:75 verhouding) om de prestaties te optimaliseren.

Belangrijkste Bijdragen

1. Eerste Span-Detectie Dataset: Dit is het eerste onderzoek dat zich richt op het detecteren van spans (specifieke segmenten) van desinformatie in video's, in plaats van alleen het videoniveau.
2. Publicatie van Twee Nieuwe Datasets:
   • BOL4Y: Bevat 538 video's van de voormalige Braziliaanse president Jair Bolsonaro, met 2.355 geannoteerde valse claims.
   • EI22: Bevat 77 video's over verkiezingsfraudeclaims tijdens de Braziliaanse presidentsverkiezingen van 2022, met 78 claims.
   • Beide datasets omvatten de originele video's, audio, transcripties en de exacte tijdstippen van de claims.
3. Openbare Beschikbaarheid: Alle datasets, code en modellen zijn vrijgegeven via Zenodo, HuggingFace en GitHub, in lijn met FAIR-principes.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd om de haalbaarheid van de taak te beoordelen:

• Classificatieprestaties:
  • De beste resultaten werden behaald met BERTimbau getraind op een dataset met een 1:75 undersampling-ratio.
  • Dit model behaalde een Macro F1-score van 0,68 op het originele dataset.
  • Op het "Edited"-dataset (waarbij claims door journalisten zijn gezuiverd) waren de prestaties hoger (F1 tot 0,81), wat aantoont dat de kwaliteit van transcripties een grote uitdaging vormt.
• Tijdsanalyse (Temporal Analysis):
  • Modellen getraind op data van eerdere maanden konden redelijk goed presteren op data van toekomstige maanden (Walk-Forward en Expand experimenten).
  • Er werd een daling in prestaties waargenomen in het tweede semester van 2022, wat suggereert dat de aard van desinformatie kan veranderen of dat modellen moeite hebben met nieuwe contexten.
• Cross-Dataset Performance:
  • Modellen getraind op BOL4Y (Bolsonaro-claims) en getest op EI22 (verkiezingsfraude) behaalden een Macro F1-score van 0,72 (bij 1:10 ratio).
  • Dit toont aan dat de modellen redelijk goed generaliseren naar verschillende sprekers en onderwerpen.

Betekenis en Toekomstperspectief

Dit werk is significant omdat het een nieuwe richting opent voor onderzoek naar desinformatie:

• Praktische Toepassing: Het stelt fact-checkers en platformen in staat om automatisch waarschuwingen of contextlabels te tonen op het exacte moment dat een valse claim wordt gedaan, in plaats van de hele video te markeren.
• Regulering: Het ondersteunt de naleving van nieuwe regelgeving zoals de Europese Digital Services Act (DSA), die platforms verplicht om schadelijke content effectief te modereren.
• Onderzoeksbasis: Door de eerste datasets en baselines te publiceren, creëren de auteurs een fundament voor toekomstig onderzoek, inclusief het gebruik van Large Language Models (LLMs) en vision-language modellen voor deze specifieke taak.

Kortom, het artikel bewijst dat automatische detectie van desinformatie op segmentniveau technisch haalbaar is, hoewel er nog ruimte is voor verbetering, vooral door de kwaliteit van transcripties en de dynamiek van desinformatiecampagnes.