Robust Fake News Detection using Large Language Models under Adversarial Sentiment Attacks

Résumé Technique : Détection robuste de fausses informations par modèles de langage de grande taille sous attaques de sentiment adverses

Énoncé du problème
La désinformation et les fausses nouvelles constituent un défi sociétal majeur, nécessitant des méthodes de détection automatisées fiables. Bien que des recherches antérieures aient établi que le sentiment est un signal critique pour distinguer les informations vraies des fausses, cette dépendance crée une vulnérabilité. Des adversaires peuvent manipuler la tonalité émotionnelle d'un texte pour échapper à la détection, un risque exacerbé par l'avènement des modèles de langage de grande taille (LLM) capables de réécrire du contenu avec un sentiment contrôlé tout en préservant l'exactitude factuelle. Bien que certaines études aient exploré les attaques adverses sur les détecteurs de fausses informations, elles se sont principalement concentrées sur les caractéristiques stylistiques (ex. : style d'écriture) plutôt que sur le sentiment. Par conséquent, la vulnérabilité spécifique des détecteurs de fausses informations face à la manipulation du sentiment générée par les LLM reste largement inexplorée.

Méthodologie
Le papier propose AdSent, un cadre de détection robuste au sentiment conçu pour maintenir une cohérence des prédictions de véracité entre les articles de presse originaux et ceux dont le sentiment a été altéré. Le cadre se compose de deux composantes principales :

1. Évaluation comparative (Benchmarking) adverse ciblant le sentiment :

   • Les auteurs utilisent des LLM comme « contrefacteurs » pour générer des attaques adverses contrôlées.
   • Pour chaque document d'actualité, le LLM réécrit le texte pour transmettre un sentiment positif, négatif ou neutre tout en préservant strictement le contenu factuel et la cohérence.
   • Ce processus crée un banc d'essai pour évaluer la robustesse des détecteurs de pointe face aux changements de sentiment, en traitant les détecteurs comme des classificateurs de type « boîte noire ».

2. Stratégie d'entraînement agnostique au sentiment :

   • Pour atténuer le biais introduit par les indices de sentiment, les auteurs proposent une stratégie d'entraînement où le modèle de détection est affiné (fine-tuned) sur des variantes de données d'entraînement neutralisées sur le plan du sentiment.
   • Un LLM (spécifiquement LLaMA-3.1-8B-Instruct) est utilisé pour réécrire les articles d'entraînement dans un ton neutre.
   • Le modèle de détection est ensuite entraîné sur ces versions neutralisées, forçant l'outil à s'appuyer sur le contenu factuel plutôt que sur le ton émotionnel pour déterminer la véracité.
   • Lors de l'inférence, les articles d'entrée sont d'abord neutralisés par le contrefacteur avant d'être transmis au détecteur.

Contributions clés

1. Évaluation comparative adverse : Les auteurs introduisent une suite d'attaques basées sur le sentiment contrôlées à l'aide de LLM. Ils démontrent que les détecteurs de pointe actuels souffrent d'une dégradation significative de leurs performances face à la manipulation du sentiment.
2. Découverte du biais du modèle : L'étude révèle un biais critique dans les modèles existants : ils ont tendance à classer les articles au ton neutre comme « vrais » et les articles non neutres (émotionnels) comme « faux ». Cette conclusion contredit l'hypothèse initiale selon laquelle les fausses informations sont intrinsèquement plus négatives ; au contraire, la manipulation du sentiment vers un ton neutre s'avère être le scénario adverse le plus difficile.
3. Cadre AdSent : Le papier présente AdSent, une approche novatrice qui améliore la robustesse en s'entraînant sur des données neutralisées sur le plan du sentiment. Cela garantit la cohérence des prédictions, quel que soit le cadrage émotionnel de l'article.

Résultats expérimentaux
Les auteurs ont évalué AdSent sur trois ensembles de données de référence : PolitiFact, GossipCop et Labeled Unreliable News (LUN).

• Vulnérabilité des modèles de base : Sous manipulation de sentiment, les détecteurs standards (incluant RoBERTa affiné et SheepDog) ont subi des chutes de performance substantielles, avec des scores F1 diminuant jusqu'à 21,51 % sur l'ensemble de données PolitiFact. Les LLM en mode zero-shot ont également montré une dégradation significative.
• Impact des changements de sentiment : L'analyse des inversions de prédiction a indiqué que la conversion des fausses informations en un ton neutre a provoqué le taux le plus élevé de mauvaises classifications (faux négatifs), où les fausses informations étaient incorrectement étiquetées comme vraies. Inversement, les informations réelles étaient moins susceptibles d'être classées à tort comme fausses lorsqu'elles étaient neutralisées.
• Performance d'AdSent : AdSent a nettement surpassé tous les modèles de base sur les ensembles de tests neutralisés, atteignant des scores F1 macro de 87,76 sur PolitiFact et 78,56 sur GossipCop.
• Généralisation :
  • Attaque croisée : AdSent a démontré sa robustesse non seulement contre les attaques de sentiment, mais s'est également généralisé efficacement aux attaques adverses basées sur le style (ex. : imiter des éditeurs spécifiques), surpassant le modèle spécialisé SheepDog dans ces scénarios.
  • Transversalité des données (Cross-Dataset) : Lorsqu'il a été entraîné sur PolitiFact et testé sur l'ensemble de données non vu LUN, AdSent a maintenu une performance supérieure à celle de SheepDog, indiquant que l'entraînement par sentiment adverse produit des caractéristiques transférables.

Signification et affirmations
Le papier affirme que la dépendance des détecteurs de fausses informations actuels aux indices de sentiment est une faiblesse critique que les LLM peuvent facilement exploiter. En démontrant que le sentiment neutre est la perturbation adverse la plus efficace, les auteurs mettent en évidence un biais fondamental dans les modèles existants. La signification d'AdSent réside dans sa capacité à découpler la détection de la véracité du ton émotionnel, créant ainsi une défense plus robuste contre les campagnes de désinformation sophistiquées pilotées par les LLM. Les auteurs concluent que leur approche améliore considérablement la précision et la robustesse, se généralisant bien à des ensembles de données inédits et à divers scénarios adverses.

Directions futures
Les auteurs notent que les travaux futurs se concentreront sur l'extension d'AdSent à la détection de la désinformation multimodale, en étudiant comment les signaux visuels (ex. : expressions émotionnelles dans les images) interagissent avec le sentiment textuel. Ils prévoient également d'explorer les perturbations adverses ciblant d'autres valeurs journalistiques, telles que la proximité, la nouveauté et la saillance.