Beyond speculation: Measuring the growing presence of LLM-generated texts in multilingual disinformation

Résumé technique : Au-delà de la spéculation : Mesurer la présence croissante des textes générés par LLM dans la désinformation multilingue

Énoncé du problème
L'avancement rapide des modèles de langage de grande taille (LLM) et leur accessibilité via des interfaces conviviales (par exemple, ChatGPT) ont intensifié les préoccupations concernant leur détournement pour générer de la désinformation. Bien que la recherche confirme la capacité des LLM à produire du contenu faux, l'étendue réelle de leur déploiement dans les campagnes de désinformation réelles reste largement inconnue. La communauté scientifique est divisée : certains soutiennent que les craintes sont exagérées en raison des limitations naturelles de l'écosystème, tandis que d'autres suggèrent que des contextes spécifiques de « longue traîne » font face à des risques négligés. Actuellement, il manque des preuves empiriques quantifiant la prévalence du texte généré par machine au sein des ensembles de données de désinformation existants et réels, particulièrement à travers différentes langues, plateformes et périodes.

Méthodologie
Pour combler ces lacunes, les auteurs ont mené une analyse empirique complète utilisant deux groupes distincts d'ensembles de données :

1. Ensembles de données de référence (Benchmarks) : Ensembles de données multilingues étiquetés (par exemple, MULTITuDE, MultiSocial, SemEval, GenAI, MIX) contenant une vérité de terrain pour les textes écrits par des humains versus ceux générés par des machines. Ceux-ci ont été utilisés pour évaluer la robustesse et la performance des méthodes de détection sur des données hors distribution.
2. Ensembles de données de désinformation réels : Quatre ensembles de données présumés contenir de la désinformation, de la mésinformation ou de la propagande :
   • MultiClaim : Publications de réseaux sociaux multilingues professionnellement vérifiées (fact-checking) (jusqu'en mars 2024).
   • FakeNews : Articles de presse anglais concernant les élections américaines (avril–octobre 2023).
   • USC_X : Un échantillon d'ensemble de données multilingues de Twitter/X concernant les élections américaines (mai–novembre 2024).
   • FIGNEWS : Publications Facebook multilingues concernant la guerre Israël-Gaza (octobre 2023–janvier 2024).

Cadre de détection :
L'étude a employé deux détecteurs affinés basés sur le modèle Gemma-2-9b-it, utilisant QLoRA pour un affinement efficace :

• Gemma_GenAI : Affiné sur la partie d'entraînement de l'ensemble de données GenAI.
• Gemma_MultiDomain : Affiné sur les parties d'entraînement combinées de MULTITuDE et MultiSocial.

Pour garantir la robustesse, les auteurs ont utilisé une stratégie de détection de confiance combinée. Un texte est classé comme généré par machine si un détecteur prédit la classe positive avec une confiance de 100 % (probabilité 1.0) et que l'autre ne prédit pas la classe négative avec une confiance de 100 % (probabilité > 0.0). Pour atténuer les faux positifs dans des langues spécifiques, les prédictions positives de Gemma_GenAI ont été disqualifiées pour l'arabe, l'allemand, l'italien et le russe si elles dépassaient un taux de faux positifs de 0,1 sur les données de référence.

Pour l'estimation de la prévalence, les auteurs ont également suivi le Score Moyen (la probabilité moyenne qu'un texte soit généré par machine) afin d'observer les tendances sans dépendre de seuils de classification stricts.

Résultats clés
L'étude fournit la première preuve empirique de contenu généré par LLM dans des contextes de désinformation réels, révélant ce qui suit :

• Évolution temporelle : Il existe une tendance claire à la hausse du contenu généré par machine suite à la sortie publique de ChatGPT (novembre 2022). Dans l'ensemble de données MultiClaim, la proportion de textes détectés comme générés par machine est passée de 0,93 % en 2021 à 1,85 % en 2023 (une augmentation relative de 99 %). En 2024, la prévalence a atteint 2,15 %. Le Score Moyen des détecteurs a également augmenté de manière significative entre 2021 et 2023.
• Disparités linguistiques : La prévalence n'est pas uniforme selon les langues. Bien que l'anglais et l'espagnol présentent les nombres absolus les plus élevés de textes détectés, le polonais (4,7 %) et le français (4,2 %) affichent les proportions relatives les plus élevées de contenu généré par machine dans l'ensemble de données MultiClaim. Dans l'ensemble de données FIGNEWS, les textes français présentaient plus de 10 % de génération par LLM, contre environ 4,7 % pour l'anglais.
• Variations de plateforme : Des différences ont été observées entre les plateformes de médias sociaux, Instagram présentant la plus haute proportion (1,5 %), suivie de Facebook (1,29 %) et Twitter/X (0,64 %).
• Résultats spécifiques aux ensembles de données :
  • FakeNews : 2,61 % des textes étiquetés comme « réels » et 3,27 % des textes étiquetés comme « faux » ont été identifiés comme générés par machine.
  • FIGNEWS : 3,16 % des textes ont été détectés comme générés par machine, avec une prévalence plus élevée dans les textes étiquetés « Biaisés contre Israël » (5,11 %) par rapport à ceux étiquetés « Biaisés contre la Palestine » (3,13 %).
  • USC_X (Élection 2024) : La prévalence est passée de 0,44 % en janvier 2024 à 2,39 % en novembre 2024, coïncidant avec la période électorale américaine.
• Performance de détection : Sur les ensembles de données de référence, la méthode de détection combinée a atteint une précision élevée (allant de 93,58 % à 99,85 %), garantissant que les échantillons positifs identifiés sont très probablement réellement générés par machine.

Signification et contributions
L'article revendique trois contributions primaires au domaine :

1. Validation empirique : Il dépasse la spéculation en fournissant la première évaluation complète de la présence des LLM dans les ensembles de données de désinformation réels, confirmant que le contenu généré par machine est déjà une réalité mesurable (atteignant ~2,15 % en 2024).
2. Reconnaissance de modèles : L'étude révèle que l'utilisation abusive des LLM n'est pas uniforme mais suit des modèles ciblés à travers des langues spécifiques (ex. polonais, français) et des plateformes, suggérant que les contextes de « longue traîne » sont effectivement vulnérables et nécessitent une attention particulière.
3. Cadre méthodologique : Les auteurs établissent un cadre analytique robuste utilisant des détecteurs affinés et une agrégation basée sur la confiance pour mesurer la prévalence dans des données hors distribution, offrant une approche reproductible pour une surveillance future.

Conclusion
Les auteurs concluent que, bien que les LLM ne soient pas encore utilisés pour la désinformation dans des volumes dépassant significativement l'usage légitime, les craintes de détournement sont justifiées. L'augmentation documentée du contenu généré par machine, particulièrement dans les affirmations vérifiées par des faits et les discours liés aux élections, souligne le besoin urgent de recherches continues, de meilleures méthodes de détection et de systèmes d'évaluation de la crédibilité pour préserver l'intégrité de l'information. Les conclusions suggèrent qu'une surveillance proactive devrait se concentrer sur les contextes à haute prévalence, tels que des langues et des plateformes spécifiques, afin de contrer efficacement la désinformation pilotée par l'IA.