Résumé Technique : Adaptation de l'Apprentissage par Renforcement avec Supervision de Chaîne de Pensée pour la Détection Explicable de Mèmes Haineux et de Propagande

1. Énoncé du Problème

Les mèmes haineux et de propagande exploitent l'interaction entre l'image et le texte pour transmettre une intention malveillante que ni l'une ni l'autre des modalités ne révèle isolément. Bien que les modèles de langage de grande taille multimodaux (MLLM) aient fait progresser la compréhension vision-langage, leur application à la modération du contenu des mèmes reste peu explorée, particulièrement en ce qui concerne les modèles basés sur la « pensée » qui génèrent des étapes de raisonnement explicites. Les approches existantes manquent souvent d'une intégration systématique de la supervision par chaîne de pensée (CoT - Chain-of-Thought), d'un étiquetage fin et de l'apprentissage par renforcement (RL) pour ce domaine spécifique. De plus, le réglage fin supervisé (SFT - Supervised Fine-Tuning) standard offre un contrôle limité sur l'équilibre entre la justesse de la prédiction et la fidélité des explications générées. Cet article comble la lacune de l'application du post-entraînement basé sur le RL pour optimiser à la fois la performance de classification et la qualité de l'explication pour la détection de mèmes haineux et de propagande à travers différentes langues (anglais et arabe) et tâches (détection binaire de la haine et détection multiclasse de la propagande).

2. Méthodologie

L'approche proposée emploie un pipeline de post-entraînement multi-étapes fondé sur la supervision CoT et l'optimisation de groupe relative de politique (GRPO - Group Relative Policy Optimization).

2.1. Construction et Annotation des Données

• Jeux de données : L'étude utilise le benchmark Hateful Memes (FHM) (anglais, binaire) et le jeu de données Arabic Propagandistic Memes (ArMeme) (arabe, quatre classes : propagande, non-propagande, non-mème, autre).
• Annotations fines : Pour FHM, les annotations publiques existantes pour les catégories protégées et les types d'attaques sont utilisées. Pour ArMeme, où aucune annotation fine de la propagande n'existait, les auteurs ont développé un pipeline d'annotation multi-LLM. Cela implique deux modèles indépendants (GPT-4.1 et Llama-4-Scout) générant des étiquettes de techniques de propagande structurées et des justifications, qui sont ensuite consolidées par un troisième modèle (Gemini-3-Pro).
• Distillation de la Chaîne de Pensée (CoTD) : Un modèle enseignant puissant (GPT-4.1) génère des traces de raisonnement étape par étape conditionnées par l'image du mème, le texte et les étiquettes. Ces traces sont utilisées comme cibles de supervision pendant l'entraînement mais ne sont pas exposées lors de l'inférence pour éviter la fuite de labels (label leakage).
• Données non étiquetées : Pour les expériences auto-supervisées, les auteurs ont construit des pools non étiquetés en agrégeant des jeux de données de mèmes publics (pour FHM) et en aspirant les réseaux sociaux (pour ArMeme), en filtrant les doublons et les contenus non relevant des mèmes.

2.2. Pipeline d'Entraînement

La méthodologie suit un processus en trois étapes :

1. Échauffement SFT (SFT Warm-up) : Le MLLM est initialisé via un réglage fin supervisé sur des labels d'or, des explications et des traces de raisonnement distillées. Les variantes incluent l'entraînement avec uniquement des labels binaires, l'ajout de labels fins et l'incorporation de la CoT distillée.
2. GRPO Supervisé : Le modèle subit une optimisation par RL via GRPO. Contrairement à PPO, GRPO ne nécessite pas de réseau de valeur appris ; au lieu de cela, il échantillonne un groupe de $K$ complétions et utilise la moyenne du groupe comme référence (baseline).
   • Fonction de Récompense Composite : La récompense $R(y)$ combine cinq composantes :
     • $R_{fmt}$ : Conformité du format (s'assurant que la structure de sortie inclut le raisonnement, le label et l'explication).
     • $R_{lbl}$ : Exactitude du label.
     • $R_{exp}$ : Régularisation de la longueur de l'explication (visant environ 100 mots).
     • $R_{think}$ : Régularisation de la longueur de la pensée. Elle pénalise les traces de CoT trop courtes (en dessous d'un seuil $L_{min}$) pour empêcher le « détournement de récompense » (ex: raisonnement vide) sans encourager la verbosité.
     • $R_{met}$ : Similitude sémantique (score METEOR) par rapport à la justification d'or.
3. GRPO Auto-supervisé : Pour exploiter les données non étiquetées, le modèle est entraîné davantage en utilisant des pseudo-labels basés sur le consensus. Les échantillons sont sélectionnés selon le désaccord du modèle (désaccord partiel à travers plusieurs prédictions échantillonnées avec température). Un mécanisme de vote majoritaire assigne des pseudo-labels, qui sont ensuite utilisés pour calculer un signal de récompense aux côtés des récompenses structurelles.

3. Contributions Clés

1. Généralisation Cross-Task et Cross-Lingual : L'étude étend le post-entraînement basé sur GRPO d'un jeu de données binaire anglais unique à une tâche complexe de détection de propagande multiclasse en arabe, introduisant un pipeline de double annotateur pour l'étiquetage fin dans un contexte auparavant non étiqueté.
2. Analyse Empirique Complète : L'article fournit des études d'ablation approfondies analysant l'interaction entre la supervision CoT, l'étiquetage fin et l'optimisation par RL à travers des baselines unimodales, zero-shot et fine-tunées.
3. Stabilisation de l'Optimisation RL : L'introduction d'une récompense de longueur de pensée basée sur un seuil ($R_{think}$) atténue efficacement le détournement de récompense (raccourcissement des traces de raisonnement) tout en maintenant une performance équilibrée par classe.
4. GRPO Auto-supervisé : Le travail explore la viabilité du pseudo-étiquetage basé sur le consensus pour l'entraînement par RL sans annotations humaines, démontrant son efficacité dans des contextes in-domain et multiclasses, tout en soulignant les limites dans les scénarios binaires présentant un décalage de distribution.

4. Résultats

Les expériences ont été menées sur les benchmarks FHM et ArMeme en utilisant Qwen3-VL-8B-Thinking comme modèle de base.

• Gains de Performance :
  • FHM : L'approche proposée a atteint 82,0 % de précision et 0,80 macro-F1, améliorant l'état de l'art précédent (79,9 % de précision, 0,79 macro-F1) de +2,1 % de précision et +0,01 macro-F1.
  • ArMeme : L'approche a atteint 0,612 macro-F1 (avec GRPO auto-supervisé), représentant une amélioration de +7,6 points par rapport aux travaux précédents (0,536) et de +6,1 points par rapport au benchmark original.
• Comparaison aux Baselines :
  • L'approche générative basée sur le RL a surpassé les fortes baselines de classification de séquences (ex: Gemma-3-12B-IT, Qwen3-VL-8B-Instruct) en macro-F1 sur ArMeme (0,612 contre 0,594) tout en fournissant des explications interprétables.
  • Les baselines unimodales (texte seul ou image seule) ont nettement sous-performé l'approche de raisonnement multimodal, confirmant la nécessité de l'interaction cross-modale.
• Résultats d'Ablation :
  • Supervision Fine-Grained : L'ajout de labels fins lors du SFT a amélioré le macro-F1 de +8,0 points sur ArMeme (0,43 à 0,51).
  • Distillation CoT : La CoT distillée a apporté des gains supplémentaires lors du SFT et a servi d'initialisation critique pour GRPO.
  • Échauffement SFT : Un démarrage à froid de GRPO (sans SFT) a entraîné une performance dégénérée sur ArMeme (0,332 macro-F1), prouvant que l'initialisation par SFT est critique pour les tâches complexes.
  • GRPO Auto-supervisé : A amélioré le macro-F1 d'ArMeme de +1,5 point (0,597 à 0,612) mais a légèrement réduit la performance de FHM (-1,0 point), attribué au décalage de distribution dans le pool non étiqueté de FHM et au biais de vote majoritaire dans la classification binaire.

5. Signification et Revendications

L'article affirme être, à la connaissance des auteurs, la première étude systématique de GRPO dans le raisonnement multimodal sous des contextes cross-linguais, fine-grained et auto-supervisés.

• Insight Méthodologique : L'étude démontre que le post-entraînement par RL avec des récompenses composites, spécifiquement lorsqu'il est combiné avec une régularisation de la longueur de la pensée, peut optimiser conjointement la précision de la classification et la qualité de l'explication d'une manière que le SFT standard ne peut pas faire.
• Scalabilité de la Supervision Synthétique : Le succès du pipeline d'annotation multi-LLM suggère que les labels fins synthétiques, basés sur le consensus, peuvent servir de proxy évolutifs pour l'annotation humaine dans les tâches de modération de contenu.
• Conditions de l'Auto-supervision : Le travail souligne que le GRPO auto-supervisé est efficace lorsque les données non étiquetées sont in-domain et que l'espace des labels est assez diversifié pour prévenir le biais induit par le consensus (comme vu dans la tâche de quatre classes d'ArMeme), mais moins efficace lorsque les décalages de distribution ou les biais de majorité binaire dominent (comme vu pour FHM).
• Génératif vs Discriminatif : Les résultats suggèrent que les modèles de raisonnement génératifs offrent une performance par classe plus équilibrée et des explications exploitables par rapport aux modèles traditionnels de classification de séquences, ce qui les rend adaptés à une modération de contenu pratique où l'interprétabilité est requise.

Les auteurs publient l'ensemble du code, des extensions de données et des ressources d'évaluation pour faciliter la recherche ultérieure dans ce domaine.