Beyond speculation: Measuring the growing presence of LLM-generated texts in multilingual disinformation

Technische Samenvatting: Voorbij Speculatie: Het Meten van de Groeiende Aanwezigheid van door LLM gegenereerde Teksten in Multilinguale Desinformatie

Probleemstelling
De snelle vooruitgang van Large Language Models (LLM's) en hun toegankelijkheid via gebruiksvriendelijke interfaces (bijv. ChatGPT) heeft de zorgen over hun misbruik bij het genereren van desinformatie geïntensiveerd. Hoewel onderzoek bevestigt dat LLM's in staat zijn om valse inhoud te produceren, blijft de werkelijke omvang van hun inzet in real-world desinformatiecampagnes grotendeels onbekend. De wetenschappelijke gemeenschap is verdeeld: sommigen beweren dat de angsten overdreven zijn vanwege natuurlijke ecosysteembeperkingen, terwijl anderen suggereren dat specifieke "longtail"-contexten over het hoofd geziene risico's vormen. Momenteel is er een gebrek aan empirisch bewijs dat de prevalentie van door machines gegenereerde tekst in bestaande, real-world desinformatie-datasets kwantificeert, met name over verschillende talen, platforms en perioden heen.

Methodologie
Om deze hiaten aan te pakken, hebben de auteurs een uitgebreide empirische analyse uitgevoerd met behulp van twee verschillende groepen datasets:

1. Benchmark Datasets: Multilinguale gelabelde datasets (bijv. MULTITuDE, MultiSocial, SemEval, GenAI, MIX) die grondwaarheid bevatten voor door mensen geschreven versus door machines gegenereerde teksten. Deze werden gebruikt om de robuustheid en prestaties van detectiemethoden op out-of-distribution data te evalueren.
2. Real-World Desinformatie Datasets: Vier datasets waarvan wordt aangenomen dat ze desinformatie, misinformatie of propaganda bevatten:
   • MultiClaim: Professioneel gefactcheckte multilinguale sociale mediaberichten (tot maart 2024).
   • FakeNews: Engelse nieuwsartikelen over Amerikaanse verkiezingen (april–oktober 2023).
   • USC_X: Een gesamplede multilinguale Amerikaanse Twitter/X-dataset voor verkiezingen (mei–november 2024).
   • FIGNEWS: Multilinguale Facebook-berichten over de Israël-Gaza oorlog (oktober 2023–januari 2024).

Detectiekader:
De studie maakte gebruik van twee fine-tuned detectoren gebaseerd op het Gemma-2-9b-it model, waarbij QLoRA werd gebruikt voor efficiënte fine-tuning:

• Gemma_GenAI: Fine-tuned op de GenAI dataset train split.
• Gemma_MultiDomain: Fine-tuned op de gecombineerde train splits van MULTITuDE en MultiSocial.

Om robuustheid te garanderen, gebruikten de auteurs een gecombineerde vertrouwensstrategie voor detectie (combined confident detection). Een tekst wordt geclassificeerd als machine-gegenereerd als één detector de positieve klasse voorspelt met 100% zekerheid (waarschijnlijkheid 1.0) en de andere niet de negatieve klasse voorspelt met 100% zekerheid (waarschijnlijkheid > 0.0). Om fout-positieven in specifieke talen te beperken, werden de positieve voorspellingen van de Gemma_GenAI detector gediskwalificeerd voor Arabisch, Duits, Italiaans en Russisch als deze de 0.1 false positive rate op benchmark data overschreden.

Voor de schatting van de prevalentie volgden de auteurs ook de Mean Score (de gemiddelde waarschijnlijkheid dat een tekst door een machine is gegenereerd) om trends te observeren zonder afhankelijk te zijn van strikte classificatiedrempels.

Belangrijkste Resultaten
De studie levert het eerste empirische bewijs van door LLM gegenereerde inhoud in real-world desinformatiecontexten, wat het volgende onthult:

• Temporele Evolutie: Er is een duidelijke opwaartse trend in machine-gegenereerde inhoud volgend op de publieke release van ChatGPT (november 2022). In de MultiClaim dataset steeg het aandeel teksten dat als machine-gegenereerd werd gedetecteerd van 0,93% in 2021 naar 1,85% in 2023 (een relatieve stijging van 99%). Tegen 2024 bereikte de prevalentie 2,15%. De Mean Score voor detectoren nam ook significant toe tussen 2021 en 2023.
• Taalverschillen: De prevalentie is niet uniform over verschillende talen. Terwijl Engels en Spaans de hoogste absolute aantallen gedetecteerde teksten hebben, vertonen Pools (4,7%) en Frans (4,2%) de hoogste relatieve proporties machine-gegenereerde inhoud in de MultiClaim dataset. In de FIGNEWS dataset vertoonden Franse teksten meer dan 10% LLM-generatie, vergeleken met ~4,7% voor Engels.
• Platformvariaties: Verschillen werden waargenomen tussen verschillende sociale mediaplatforms, waarbij Instagram het hoogste aandeel liet zien (1,5%), gevolgd door Facebook (1,29%) en Twitter/X (0,64%).
• Dataset-specifieke bevindingen:
  • FakeNews: 2,61% van de "echte" gelabelde teksten en 3,27% van de "valse" gelabelde teksten werden geïdentificeerd als machine-gegenereerd.
  • FIGNEWS: 3,16% van de teksten werd gedetecteerd als machine-gegenereerd, met een hogere prevalentie in teksten die gelabeld waren als "Bevooroordeeld tegen Israël" (5,11%) vergeleken met "Bevooroordeeld tegen Palestina" (3,13%).
  • USC_X (2024 Verkiezingen): De prevalentie steeg van 0,44% in januari 2024 naar 2,39% in november 2024, samenvallend met de Amerikaanse verkiezingsperiode.
• Detectieprestaties: Op benchmark datasets bereikte de gecombineerde detectiemethode een hoge precisie (variërend van 93,58% tot 99,85%), wat garandeert dat de geïdentificeerde positieve monsters zeer waarschijnlijk daadwerkelijk door machines zijn gegenereerd.

Betekenis en Bijdragen
Het artikel claimt drie primaire bijdragen aan het vakgebied:

1. Empirische Validatie: Het gaat verder dan speculatie door de eerste uitgebreide beoordeling te bieden van de aanwezigheid van LLM's in real-world desinformatie-datasets, waarmee wordt bevestigd dat machine-gegenereerde inhoud al een meetbare realiteit is (bereikend ~2,15% in 2024).
2. Patroonherkenning: De studie onthult dat LLM-misbruik niet uniform is, maar specifieke patronen volgt over bepaalde talen (bijv. Pools, Frans) en platforms, wat suggereert dat "longtail"-contexten inderdaad kwetsbaar zijn en specifieke aandacht vereisen.
3. Methodologisch Kader: De auteurs vestigen een robuust analytisch kader met behulp van fine-tuned detectoren en vertrouwen-gebaseerde aggregatie om de prevalentie in out-of-distribution data te meten, wat een repliceerbare aanpak biedt voor toekomstige monitoring.

Conclusie
De auteurs concluderen dat hoewel LLM's nog niet worden gebruikt voor desinformatie in volumes die de legitieme inzet aanzienlijk overtreffen, de zorgen over misbruik gerechtvaardigd zijn. De gedocumenteerde toename van machine-gegenereerde inhoud, met name in gefactcheckte claims en verkiezingsgerelateerde discours, onderstreept de dringende noodzaak voor voortdurend onderzoek, verbeterde detectiemethoden en systemen voor kredibiliteitsbeoordeling om de integriteit van informatie te waarborgen. De bevindingen suggereren dat proactieve monitoring zich moet richten op contexten met een hoge prevalentie, zoals specifieke talen en platforms, om AI-gestuurde desinformatie effectief te bestrijden.