💬 NLP

Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas

Ce papier présente une nouvelle taxonomie de propagande axée sur l'intention et la méthode de Prompting Hiérarchique (HiPP), démontrant que l'ajustement fin des modèles de langage avec cette approche améliore significativement la robustesse et les performances à travers divers schémas d'annotation, en particulier pour les jeux de données ambigus et à faible accord.

Auteurs originaux : Lukas Stähelin, Veronika Solopova, Max Upravitelev, David Kaplan, Ariana Sahitaj, Premtim Sahitaj, Charlott Jakob, Sebastian Möller, Vera Schmitt

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lukas Stähelin, Veronika Solopova, Max Upravitelev, David Kaplan, Ariana Sahitaj, Premtim Sahitaj, Charlott Jakob, Sebastian Möller, Vera Schmitt

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un groupe de robots comment repérer la propagande dans les publications sur les réseaux sociaux. Le problème est que la propagande est trompeuse : elle est courte, désordonnée, et dépend souvent de pourquoi quelqu'un l'a écrite, et pas seulement de ce qu'il a écrit.

Ce papier est comme un bulletin de notes sur la façon dont différents enseignants robots (modèles d'IA) ont appris cette tâche, et il teste trois méthodes différentes pour les enseigner.

Les deux « manuels » (Schémas d'annotation)

Premièrement, les chercheurs ont créé deux « manuels » ou livres de règles différents pour que les robots apprennent.

Le manuel « Technique » (Sahitaj et al.) : Celui-ci ressemble à une liste de contrôle de techniques spécifiques. Il dit : « Si vous voyez un mot effrayant, c'est de la « Peur ». Si vous voyez des insultes, c'est une « Attaque ad hominem ». » C'est très clair, et les enseignants humains (les annotateurs) étaient d'accord sur ces règles la plupart du temps. C'est facile à noter, mais cela pourrait manquer la vue d'ensemble.
Le manuel « Intention » (Le Nouveau) : C'est la nouvelle invention des chercheurs. Au lieu de simplement lister des techniques, ils ont demandé : « Quel est le but de cette publication ? » Le but est-il de « Déplacer la Blâme » ? Est-il de « Confondre le Public » ? Est-il de « Justifier l'Agression » ?
- Le Problème : C'est beaucoup plus difficile. C'est comme demander à un élève de deviner la motivation de l'enseignant plutôt que de simplement repérer une erreur de grammaire. Les enseignants humains étaient beaucoup moins d'accord sur ces étiquettes car les motivations sont floues et subjectives.

Les trois méthodes d'enseignement

Les chercheurs ont testé quatre cerveaux robots différents (modèles d'IA) en utilisant trois stratégies d'enseignement différentes :

La méthode « Zero-Shot » (Zéro tirage) : Vous donnez simplement le manuel au robot et vous dites : « Déduis-le toi-même. » Les robots étaient terribles dans cette tâche. Ils ont deviné au hasard, comme un élève qui n'a pas étudié.
La méthode « Fine-Tuning » (Affinage) : C'est la grande percée. Les chercheurs ont montré aux robots des milliers d'exemples et les ont laissés s'entraîner jusqu'à ce qu'ils obtiennent le bon résultat.
- Le Résultat : C'était la clé magique. Cela a transformé des robots faibles et confus en des robots affûtés et compétitifs. Le papier affirme que sans cette séance d'entraînement, les robots ne pouvaient tout simplement pas apprendre la tâche correctement.
La méthode « HiPP » (Prompting Hiérarchique) : C'est une astuce ingénieuse. Au lieu de demander immédiatement au robot : « Quel est l'objectif principal ? », ils lui ont posé deux questions à la suite :
- Étape 1 : « Quelle technique spécifique est utilisée ici ? »
- Étape 2 : « D'accord, sur la base de cette technique, quel est l'objectif principal ? »
- L'Analogie : Imaginez essayer d'identifier un oiseau. Au lieu de deviner immédiatement l'espèce, vous demandez d'abord : « A-t-il un long bec ? » puis, « Sur la base du long bec, est-ce une aigrette ? »
- La Découverte : Cette méthode en deux étapes a fonctionné le mieux après que les robots eurent pratiqué (affinés), en particulier sur le manuel difficile « Intention » où les règles étaient désordonnées. Cela a aidé les robots à rester organisés lorsque les réponses étaient confuses.

Les Résultats : Qui a gagné ?

Les Meilleurs Robots : La famille de robots Qwen (spécifiquement Qwen3-14B) a obtenu les meilleurs résultats globaux. Ils étaient les « élèves d'honneur ».
Le Deuxième : Le robot Phi-4 était également très fort, battant régulièrement le robot GPT-4.1-nano.
La Leçon sur la Difficulté : Les robots ont obtenu de meilleurs scores sur le manuel facile « Technique » que sur le manuel difficile « Intention ». Cela prouve que les nouvelles règles « Intention » sont en effet plus difficiles et réalistes, même si elles sont plus difficiles à apprendre.

Le Moment « Aha ! » (Analyse des Erreurs)

Les chercheurs ont examiné là où les robots ont fait des erreurs.

Avant l'Entraînement : Les robots étaient des « chasseurs de mots-clés ». S'ils voyaient des mots comme « Guerre », « Russie » ou « Nazi », ils criaient immédiatement « PROPAGANDE ! » même si la publication n'était qu'un reportage d'actualité. Ils étaient trop sensibles.
Après l'Entraînement : Les robots sont devenus beaucoup plus intelligents. Ils ont arrêté de signaler chaque reportage d'actualité sur la guerre. Ils ne signalaient que les publications qui tentaient réellement de manipuler les gens.
La Confusion : Lorsque les robots étaient confus, ils ne choisissaient pas de réponses au hasard. Ils confondaient des objectifs similaires (comme mélanger « Déplacer la Blâme » avec « Déformer la Réalité »). C'est en fait une bonne nouvelle ; cela signifie qu'ils pensent de manière logique, se trompant juste sur les détails fins, tout comme un humain le ferait.

La Conclusion

Le papier conclut que pour construire un robot capable de vraiment comprendre la propagande, vous ne pouvez pas simplement lui donner un livre de règles et espérer le meilleur. Vous devez l'entraîner (affiner) sur de vrais exemples. Une fois entraîné, utiliser un processus de réflexion étape par étape (HiPP) l'aide à gérer les situations réelles et désordonnées où le « pourquoi » derrière un message est difficile à cerner.

Ils ont également publié leur nouveau manuel « Intention » et les robots entraînés pour que d'autres puissent les utiliser, espérant que cela aidera les chercheurs à comprendre non seulement que la propagande se produit, mais ce que les propagandistes tentent d'accomplir.

Résumé technique : Affinement avec amorçage hiérarchique pour une classification robuste de la propagande à travers différents schémas d'annotation

Énoncé du problème
La détection de la propagande sur les réseaux sociaux fait face à des défis majeurs en raison de la nature bruyante et courte des textes, de la prévalence du langage informel et du faible accord inter-annotateurs (IAA). Les taxonomies existantes sont souvent centrées sur les techniques (se concentrant sur des procédés rhétoriques comme le « langage chargé ») et peinent à capturer les intentions communicatives stratégiques sous-jacentes à la propagande. De plus, il existe un compromis dans la conception des schémas : des schémas réalistes et complexes capturent la diversité du monde réel mais réduisent la fiabilité de l'annotation, tandis que des schémas simplifiés améliorent l'accord au détriment de la validité écologique. En outre, l'interaction entre la conception du schéma d'annotation, les régimes de supervision (zéro-shot vs affiné) et les stratégies d'amorçage reste sous-explorée dans le contexte des grands modèles de langage (LLM).

Méthodologie
Les auteurs ont mené une expérience contrôlée évaluant la classification de la propagande à travers trois dimensions interactives : le schéma d'annotation, le régime de supervision et la stratégie d'amorçage.

Ensembles de données et schémas :
- Source de données : L'étude a utilisé l'ensemble de données de référence HQP (30 000 tweets en anglais depuis le début de la guerre Russie-Ukraine).
- Schéma A (Nouveau, basé sur l'intention) : Les auteurs ont introduit une nouvelle taxonomie regroupant 17 techniques fines en cinq catégories de haut niveau basées sur l'intention communicative (par exemple, Déplacer le Blâme, Justifier l'Agression, Fabriquer le Consentement). Ce schéma a été développé via un processus itératif impliquant une annotation par des experts, une harmonisation assistée par LLM et un consensus de groupe. Il a produit un IAA modéré ( $\kappa=0,309$ ), reflétant l'ambiguïté inhérente de l'intention dans les textes courts.
- Schéma B (Sahitaj et al., 2025) : Une taxonomie centrée sur les techniques et basée sur les segments, adaptée à Twitter. Pour cette étude, les auteurs ont regroupé ses 17 techniques en six catégories de haut niveau. Ce schéma a démontré un IAA substantiellement plus élevé ( $\kappa=0,594$ ).
Modèles :
Quatre modèles de langage ont été évalués : GPT-4.1-nano, Phi-4 14B, Qwen2.5-14B et Qwen3-14B. Les expériences ont été menées dans des régimes zéro-shot (Base) et affinés (FT). L'affinement a été réalisé à l'aide d'adaptateurs LoRA pour les modèles à poids ouverts et d'une optimisation basée sur l'API pour GPT-4.1-nano.
Stratégies d'amorçage :
- Direct-Haut : Les modèles prédisent directement la catégorie de haut niveau à partir du texte.
- HiPP (Amorçage Hiérarchique) : Une stratégie « Principal→Haut » où le modèle prédit d'abord la technique fine la plus saillante, puis agrège cette prédiction pour déterminer la catégorie de haut niveau en une seule passe.
Évaluation :
La performance a été mesurée à l'aide des métriques Macro-F1 et Weighted-F1 sur un ensemble de test doré équilibré (200 tweets par schéma). L'analyse des erreurs comprenait des matrices de confusion, des statistiques de fréquence des lemmes et une visualisation par PCA des vecteurs TF-IDF.

Contributions clés

Nouvelle taxonomie basée sur l'intention : L'article introduit la toute première taxonomie conceptuelle entièrement nouvelle pour la propagande depuis 2019, déplaçant le focus des techniques de surface vers les objectifs communicatifs stratégiques.
Cadre comparatif contrôlé : L'étude isole les effets de la conception du schéma, de la supervision et de l'amorçage en les traitant comme des facteurs orthogonaux, démontrant comment ces éléments interagissent pour façonner la robustesse des modèles.
Validation de l'amorçage hiérarchique (HiPP) : Les auteurs proposent et valident la méthode HiPP, montrant son utilité spécifique dans les contextes affinés, en particulier pour les schémas d'annotation bruyants et à faible accord.
Étiquetage de haut niveau pour les schémas existants : Les auteurs ont créé des étiquettes de haut niveau pour le schéma de Sahitaj et al. (2025) via une procédure de regroupement, obtenant un accord élevé lors de la validation humaine et fournissant une base de référence robuste pour la comparaison.

Résultats

Impact de l'affinement : L'affinement a été décisif dans toutes les configurations, transformant des bases zéro-shot faibles en systèmes compétitifs (améliorations de +0,09 à +0,30 en Weighted-F1). Il a révélé des différences méthodologiques invisibles dans le régime de base.
Performance des schémas : Le schéma Sahitaj a systématiquement produit des performances absolues plus élevées (écarts de +0,05 à +0,15 en Weighted-F1) en raison de sa fiabilité d'annotation supérieure. Cependant, le schéma basé sur l'intention, bien que plus difficile, a fourni une perspective plus riche sur les objectifs stratégiques.
Performance des modèles : Parmi les modèles à poids ouverts, la série Qwen (spécifiquement Qwen3-14B) a obtenu les performances globales les plus fortes. Phi-4 14B a systématiquement surpassé GPT-4.1-nano sur les deux schémas et régimes.
Efficacité de HiPP :
- Dans les configurations zéro-shot, HiPP (Principal→Haut) a souvent sous-performé par rapport à Direct-Haut, en particulier sur le schéma à faible IAA, suggérant que la décomposition hiérarchique peut amplifier le bruit sans représentations adaptées.
- Après affinement, HiPP est devenu hautement bénéfique, en particulier sur le schéma basé sur l'intention. Il a fourni un avantage méthodologique stable, aidant les modèles à récupérer les étiquettes de vote majoritaire même dans des cas de désaccord élevé entre annotateurs.
Analyse des erreurs :
- Zéro-shot : Les modèles étaient hyper-sensibles aux indices lexicaux (par exemple, « Ukraine », « Nazi », « guerre »), conduisant à un grand nombre de faux positifs.
- Affinés : Les erreurs ont glissé de simples déclencheurs lexicaux vers des cas véritablement ambigus et polarisés. Les modèles HiPP affinés ont réduit les faux positifs sur les reportages de guerre neutres et concentré les erreurs sur des catégories conceptuellement voisines (par exemple, confondre Déformer la Réalité avec Déplacer le Blâme), indiquant une compréhension plus structurée de la taxonomie.
- Visualisation PCA : Le schéma basé sur l'intention a produit un espace de décision plus dense et chevauchant par rapport aux grappes compactes et bien séparées du schéma Sahitaj, confirmant la difficulté accrue de la tâche basée sur l'intention.

Signification et affirmations
L'article affirme que sa contribution principale est méthodologique, démontrant que l'affinement est essentiel pour une détection robuste de la propagande et que l'amorçage hiérarchique (HiPP) agit comme un biais inductif stabilisant, spécifiquement lorsque les modèles sont adaptés à des espaces d'annotation bruyants et déséquilibrés.

Les auteurs soutiennent que, bien que les schémas simplifiés et centrés sur les techniques offrent des signaux d'apprentissage plus clairs, les schémas basés sur l'intention sont nécessaires pour une analyse nuancée des objectifs stratégiques de la propagande. Ils postulent que les LLM modernes, lorsqu'ils sont affinés avec HiPP, convergent vers des structures d'erreurs similaires et interprétables, suggérant que les conclusions tirées d'une famille de modèles sont raisonnablement transférables à d'autres. Le travail fournit un défi de référence (l'ensemble de données HQP avec de nouvelles étiquettes basées sur l'intention) pour les recherches futures sur la détection dans le monde réel, soulignant que les systèmes robustes doivent tenir compte du compromis entre le réalisme écologique et la fiabilité de l'annotation.

Les auteurs restent modestes, notant que leurs résultats sont indicatifs de tendances méthodologiques basées sur une seule division de données et que la taxonomie basée sur l'intention proposée, bien que précieuse, introduit un bruit inhérent qui en fait un problème de classification plus difficile que les cadres existants.