LLM-based Detection of Manipulative Political Narratives

Résumé Technique : Détection des Récits Politiques Manipulateurs par des Modèles de Langage de Grande Taille (LLM)

Énoncé du Problème
L'article aborde le défi critique de la détection de la Manipulation et de l'Ingérence d'Information Étrangère (FIMI) au sein de vastes ensembles de données de médias sociaux non filtrés. La difficulté principale réside dans la distinction entre une critique politique légitime, bien que controversée, et des récits stratégiques coordonnés et manipulateurs. Les approches traditionnelles, telles que la modélisation thématique standard ou la vérification des faits pour l'exactitude, échouent souvent car le contenu manipulateur repose fréquemment sur le recadrage malveillant d'événements factuels (malinformation) plutôt que sur de pures faussetés. De plus, les méthodes existantes peinent à séparer les campagnes coordonnées alignées sur l'État des opinions politiques populistes ou personnelles authentiques, négligeant souvent les nuances rhétoriques spécifiques et l'intention qui définissent les récits stratégiques.

Méthodologie
Les auteurs proposent un pipeline de traitement de données piloté par un Modèle de Langage de Grande Taille (LLM), conçu pour détecter, filtrer et regrouper les récits manipulateurs sans s'appuyer sur une liste prédéfinie de catégories cibles. La méthodologie se compose de quatre étapes séquentielles :

1. Filtrage par Prompt :

   • Objectif : Isoler les publications manipulateures des critiques légitimes et du contenu non pertinent.
   • Mécanisme : Un modèle de raisonnement (Qwen3.5-122B) est guidé par un prompt few-shot détaillé. Ce prompt définit les caractéristiques de la FIMI (par exemple, le renversement de la culpabilité, l'inversion morale, le victimisme) et instruit explicitement le modèle à différencier la manipulation coordonnée du scepticisme politique standard.
   • Contraintes : Le prompt inclut des « motifs connus » spécifiques (par exemple, Doppelgänger, Storm-1516) et exclut explicitement les faux positifs tels que la critique gouvernementale normale ou la frustration économique personnelle. Le modèle produit une classification booléenne et une chaîne de raisonnement au format JSON.
   • Stratégie : Le système privilégie un rappel élevé (0,92) par rapport à la précision lors de cette étape, acceptant un taux plus élevé de faux positifs pour s'assurer qu'aucun fragment de récit potentiel n'est écarté.

2. Encodage Piloté par l'Intention :

   • Objectif : Cartographier les publications filtrées dans un espace d'encodage où la proximité reflète l'intention manipulatrice plutôt que la simple similarité thématique.
   • Mécanisme : Les auteurs utilisent le modèle Qwen3-Embedding-8B. Contrairement aux transformateurs de phrases standards, ce modèle est sollicité avec des instructions spécifiques pour « Identifier le récit stratégique, l'intention manipulatrice et le motif de désinformation sous-jacent ». Cela garantit que les publications partageant des stratégies rhétoriques et des intentions malveillantes similaires sont regroupées étroitement.

3. Réduction de Dimensionnalité et Regroupement :

   • Mécanisme : Les encodages de haute dimension (4096 dimensions) sont réduits à cinq dimensions à l'aide de l'UMAP (Uniform Manifold Approximation and Projection).
   • Regroupement : HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) est appliqué à l'espace réduit. Cet algorithme non supervisé détermine le nombre de clusters dynamiquement en fonction de la densité.
   • Optimisation : Les hyperparamètres ont été ajustés (spécifiquement min_cluster_size) pour équilibrer la réduction du bruit avec la distinctivité sémantique. Une taille minimale de cluster de 400 a été sélectionnée, résultant en 41 clusters distincts tout en maintenant des niveaux de bruit gérables (~29,7 %).

4. Extraction de Récits Stratégiques :

   • Objectif : Générer des étiquettes lisibles par un humain pour chaque cluster décrivant l'intrigue sous-jacente.
   • Mécanisme : Un modèle de raisonnement plus vaste (Qwen3.5-397B) est employé. Il reçoit les documents du cluster et les mots-clés c-TF-IDF. En utilisant un prompt few-shot, le modèle synthétise une étiquette de récit complète incluant l'affirmation centrale, l'adversaire ciblé et l'angle manipulateur.

Contributions Clés
L'article expose trois contributions techniques principales :

1. Raisonnement par Prompt : Au-delà de la classification traditionnelle basée sur BERT, les auteurs introduisent une approche de raisonnement guidée par des caractéristiques explicites de la FIMI et des exemples few-shot. Cela permet d'isoler avec succès le contenu manipulateur stratégique de la critique légitime sur la base de nuances rhétoriques.
2. Encodage Piloté par l'Intention : Le pipeline déplace l'accent du modèle d'encodage des sujets généraux vers des intentions manipulateures spécifiques. En configurant explicitement le modèle d'encodage via un prompt, les récits apparentés sont positionnés plus près dans l'espace vectoriel, facilitant un regroupement plus précis.
3. Extraction de Récits Stratégiques : Les auteurs remplacent l'extraction thématique standard (listes de mots-clés) par un prompt spécialisé qui force le modèle à produire des intrigues complètes. Ces récits capturent explicitement l'affirmation centrale, l'ennemi et l'angle manipulateur, offrant une compréhension plus riche de la structure de la campagne.

Résultats
Appliqué à un ensemble de données de 1 255 895 publications de médias sociaux (provenant de X, Reddit et Telegram) collectées avant les élections fédérales allemandes de 2025, le pipeline a identifié avec succès 41 clusters distincts de récits manipulateurs.

• Performance de Filtrage : Le filtrage initial a obtenu un score F1 de 0,77, caractérisé par un rappel élevé (0,92) et une précision plus faible (0,66). Les auteurs notent que le modèle est plus strict que les évaluateurs humains, signalant souvent des opinions populistes individuelles comme manipulateures ; cependant, le regroupement HDBSCAN en aval filtre efficacement ces faux positifs en tant que bruit, car ils ne forment pas de clusters denses et cohérents.
• Thèmes Narratifs : Les clusters extraits ont été regroupés en quatre piliers thématiques principaux :
  1. Le « Grand Remplacement » : Récits présentant la migration comme une arme destinée à détruire la population indigène.
  2. La Guerre par Procuration : Intrigues dépeignant l'Allemagne comme une colonie américaine sacrifiant la paix nationale pour des intérêts étrangers (spécifiquement concernant la Russie).
  3. La Dictature Climatique : Présentation de la politique climatique comme un canular fabriqué par les mondialistes pour contrôler et appauvrir les citoyens.
  4. L'AfD en tant que Sauveur : Positionnement du parti d'extrême droite AfD et d'acteurs externes (par exemple, Elon Musk) comme les seuls sauveurs face à un « État profond » corrompu.

Signification et Revendications
L'article affirme que son approche comble efficacement le fossé entre la détection de la désinformation coordonnée et la compréhension des récits stratégiques sous-jacents. En intégrant un filtrage par prompt avec un regroupement non supervisé, le système peut découvrir de nouveaux groupes de récits sans s'appuyer sur une taxonomie prédéfinie.

Une découverte significative est la synergie entre l'étape de filtrage à haut rappel et l'étape de regroupement basée sur la densité. Le pipeline exploite la capacité du LLM à appliquer ses connaissances internes (par exemple, reconnaître des domaines spécifiques comme rtde.media comme des proxies pour les médias d'État) pour évaluer les publications, même lorsque de telles entités spécifiques ne sont pas explicitement listées dans le prompt. Les auteurs soutiennent que cette méthode est supérieure à la modélisation thématique traditionnelle car elle capture l'intention et l'intrigue de la manipulation plutôt que le simple sujet.

L'article maintient une position modeste concernant ses limites, reconnaissant la « ligne floue » entre la manipulation coordonnée et les opinions politiques radicales personnelles. Il souligne que les récits extraits sont des productions brutes destinées à la transparence et ne reflètent pas les opinions politiques des auteurs. L'ouvrage conclut que, bien que l'approche actuelle soit efficace, les itérations futures pourraient bénéficier d'une optimisation programmatique des prompts et de l'intégration de modèles de langage visuel pour gérer le contenu multimodal.