LLM-based Few-Shot Early Rumor Detection with Imitation Agent

Résumé Technique : Détection Précoce de Rumeurs par Apprentissage à Partir de Peu d'Exemples avec un Agent d'Imitation basé sur les LLM

1. Définition du Problème

La Détection Précoce de Rumeurs (EARD - Early Rumor Detection) vise à identifier le point temporel le plus précoce possible dans une séquence de publications sur les réseaux sociaux où une affirmation peut être classée avec précision comme une rumeur ou une non-rumeur. Cette tâche est cruciale pour atténuer les dommages sociétaux de la désinformation, comme on l'a vu lors d'événements tels que les émeutes de Southport en 2024.

Le document souligne deux défis principaux dans la recherche actuelle sur l'EARD :

1. Rareté des Données : Les nouveaux événements manquent souvent de données d'entraînement annotées suffisantes, et la propagation au stade initial implique un nombre limité de publications. Les méthodes existantes nécessitent généralement des données étiquetées étendues pour l'entraînement conjoint des modules de détection et de chronologie.
2. Limites des Grands Modèles de Langage (LLM) : Bien que les LLM excellent dans la compréhension textuelle en mode "few-shot", ils ne sont pas intrinsèquement conçus pour les données de séries temporelles. L'application directe des LLM à l'EARD est coûteuse en termes de calcul car ils devraient générer des prédictions à chaque étape à mesure que la longueur du contexte augmente, ce qui entraîne une latence d'inférence et un coût élevés.

Le problème central abordé est la manière de tirer parti des fortes capacités de compréhension textuelle en mode "few-shot" des LLM pour l'EARD dans des scénarios à données limitées, sans encourir de coûts de calcul prohibitifs ou nécessiter un réentraînement intensif.

2. Méthodologie

Les auteurs proposent un nouveau cadre qui découple la détermination du point temporel précoce du processus de détection de la rumeur. Le système se compose de deux composants principaux :

1. Un Agent Autonome Léger : Un réseau de neurones responsable de la surveillance du flux de publications et de la décision de stopper l'observation pour déclencher le LLM.
2. Un LLM Sans Entraînement (Training-Free) : Un Grand Modèle de Langage pré-entraîné (par exemple, Mistral, Llama 3, ChatGPT) qui agit comme détecteur de rumeurs, activé une seule fois au point temporel déterminé par l'agent.

Formulation en tant que Processus de Décision de Markov (MDP) :
La tâche EARD est modélisée comme un MDP $(S, A, P, R)$ :

• État ($s_t$) : L'ensemble des publications observées jusqu'au temps $t$ et l'action précédente.
• Action ($a_t$) : Choix binaire : Continuer (0) pour observer la publication suivante, ou Arrêter (1) pour déclencher le LLM pour la prédiction.
• Objectif : Maximiser les rendements attendus reflétant la précocité et la précision de la détection.

Stratégie d'Apprentissage par Imitation (IL) :
Puisqu'il est difficile de concevoir une fonction de récompense explicite pour l'EARD (équilibrant précocité, stabilité et précision), les auteurs emploient l'Apprentissage par Imitation. Au lieu d'un apprentissage par renforcement avec une récompense conçue à la main, l'agent apprend à partir de "trajectoires d'experts" générées par le LLM lui-même.

Trois types de trajectoires d'experts sont sélectionnés sur la base de la séquence de prédictions du LLM sur l'ensemble de la chronologie des publications :

1. Expert Conservateur (CE - Conservative Expert) : Sélectionne le point temporel le plus précoce où la prédiction du LLM est correcte et reste stable (inchangée) pour toutes les étapes suivantes. Cela garantit la précision et la stabilité, mais peut être trop prudent.
2. Expert à Action Précoce (EAE - Early-Action Expert) : Sélectionne le tout premier point temporel où la prédiction du LLM correspond à la vérité terrain, indépendamment de la stabilité future. Cela privilégie la précocité.
3. Expert Trompeur (ME - Misleading Expert) : Capture les trajectoires où le LLM fait une prédiction incorrecte même après avoir observé toutes les publications. L'agent est entraîné pour éviter les distributions d'états-actions de cet expert.

Fonction Objectif :
L'agent est entraîné en utilisant l'Apprentissage par Imitation Génératif Adversaire (GAIL). L'objectif est de minimiser la divergence (divergence de Jensen-Shannon) entre la mesure d'occupation de l'agent et celles du CE et de l'EAE, tout en maximisant la divergence par rapport au ME.

• L'agent apprend à synthétiser la stabilité du CE et la proactivité de l'EAE.
• Il apprend à s'écarter des comportements du ME pour éviter les arrêts précoces incorrects.
• L'entraînement implique un Réseau de Politique (Policy Network), un Réseau de Discriminateur (pour distinguer les trajectoires de l'agent de celles de l'expert) et un Réseau de Valeur, optimisés via l'Optimisation de Politique Proche (PPO).

Inférence :
Lors de l'inférence, l'agent entraîné surveille le flux de publications. Une fois qu'il décide d'un "Arrêt", il active le LLM exactement une fois pour classifier la rumeur sur la base des publications observées. Cela réduit considérablement la fréquence d'inférence du LLM par rapport à un prompting étape par étape.

3. Principales Contributions

Le papier revendique quatre contributions principales :

1. Première Méthode EARD en Few-Shot : Introduit un cadre combinant un agent entraînable léger avec un LLM sans entraînement, offrant une solution rentable pour les scénarios à données limitées.
2. Nouvelle Formulation MDP et Imitation : Modélise l'EARD comme un MDP et conçoit trois types spécifiques de trajectoires d'experts (CE, EAE, ME) pour guider l'agent dans l'équilibre entre précocité, stabilité et précision sans ingénierie de récompense explicite.
3. Garantie Théorique : Fournit une preuve théorique que la méthode proposée conduit à une politique optimale pour une détection précoce, stable et précise.
4. Supériorité Empirique : Démontre, par des expériences approfondies, que l'approche surpasse les méthodes EARD "full-shot" existantes et les stratégies de base des LLM en termes de précision (macro-F1) et de précocité (Taux Précoce - Early Rate).

4. Résultats Expérimentaux

La méthode a été évaluée sur quatre jeux de données réels : PHEME, TWITTER, Twitter-COVID-19 et BEARD.

• Performance par rapport aux Baselines : Le cadre proposé surpasse significativement les méthodes EARD existantes (ERD, CED, HEARD) et les stratégies directes de LLM (utilisant uniquement la première publication ou des points de contrôle temporels prédéfinis).
  • Sur le jeu de données TWITTER, le cadre a permis à Mistral d'atteindre un macro-F1 de 0,630 avec un Taux Précoce (ER) de 0,043, alors que la meilleure baseline (CED) avait un ER de 0,617.
  • La méthode a montré des améliorations constantes à travers différents noyaux (backbones) de LLM (Mistral, Llama 3, ChatGPT), avec des améliorations relatives du F1 allant de 8,2 % à 18,9 % par rapport aux LLM de base.
• Robustesse en Few-Shot : La méthode est restée efficace avec seulement 10 instances d'entraînement étiquetées, atteignant des améliorations relatives du F1 allant jusqu'à 27,64 % par rapport au LLM de base.
• Généralisation : Lorsqu'elle a été entraînée sur des jeux de données pré-COVID (PHEME, TWITTER) et testée sur le jeu de données non vu Twitter-COVID-19, la méthode proposée a maintenu une performance supérieure par rapport aux baselines, qui ont subi des baisses de performance significatives (par exemple, une chute de F1 de 67,8 % pour ERD).
• Analyse des Compromis : Les auteurs ont analysé le compromis entre précision et précocité en faisant varier les ratios des trajectoires d'experts. Leur méthode a atteint des points Pareto-optimaux, offrant une meilleure précision à des ER plus faibles que les baselines existantes.

5. Signification et Revendications

Le papier positionne ce travail comme une solution au goulot d'étranglement critique de la rareté des données dans la détection de rumeurs.

• Efficacité des Coûts : En découplant la