Résumé Technique : FBHM : Évaluation Fonctionnelle et Pilotage des VLM pour la Détection de Mèmes Haineux

1. Énoncé du Problème

La détection de mèmes haineux demeure un défi redoutable pour les modèles de vision-langage (VLM). Les benchmarks existants, tels que les jeux de données Facebook Hateful Memes (FHM) et MAMI, sont structurellement observationnels. Ils confondent les mécanismes rhétoriques de la haine avec les caractéristiques spécifiques des communautés cibles, empêchant une évaluation causale des vulnérabilités des modèles. Par conséquent, les modèles affinés sur ces jeux de données exploitent souvent des heuristiques spécifiques au jeu de données (par exemple, les biais démographiques) plutôt que d'apprendre un raisonnement multimodal robuste. Face à des variations contrôlées de la fonctionnalité ou des communautés cibles, ces modèles souffrent d'un écart de généralisation sévère, s'effondrant vers une performance proche du hasard. De plus, les stratégies d'adaptation standard telles que le réglage fin efficace en paramètres (PEFT) et l'apprentissage en contexte par quelques exemples (ICL) ne parviennent pas à combler cet écart sous des contraintes de données extrêmement faibles (par exemple, 500 échantillons), menant souvent à un oubli catastrophique de la performance sur le domaine source.

2. Méthodologie

A. Le Benchmark FBHM

Pour remédier au manque d'évaluation causale, les auteurs introduisent le FBHM (Functionality Based Hateful Memes), un jeu de données systématiquement organisé de 5 000 mèmes. Le jeu de données est construit selon deux axes orthogonaux :

1. 25 Fonctionnalités Rhétoriques Distinctes : Inspirées par les principes de tests fonctionnels en génie logiciel et les travaux antérieurs sur les discours de haine en NLP (par exemple, HateCheck), ces fonctionnalités couvrent cinq dimensions : formats visuels, obfuscation textuelle, composition structurelle, inférence pragmatique et contrastes non haineux.
2. 10 Communautés Cibles : Incluant les Musulmans, les Juifs, les Noirs, les Blancs, les femmes, les hommes, les personnes transgenres, les homosexuels, les immigrés et les personnes handicapées.

Le processus de curation implique la création d'une paire image-texte de base pour une fonctionnalité spécifique, puis la génération de 10 variantes contrôlées en ne remplaçant que la communauté cible. Cette structure permet une évaluation contrefactuelle isolée, permettant aux chercheurs de déterminer si un modèle échoue en raison d'un mécanisme rhétorique spécifique ou d'un groupe cible spécifique.

B. LSV (Learnable Steering Vectors - Vecteurs de Pilotage Apprenables)

Pour combler efficacement l'écart de généralisation avec un minimum de données, les auteurs proposent le LSV, une stratégie de régime ultra-faible en données. Contrairement au PEFT, qui met à jour les poids du modèle, le LSV applique une intervention causale sur un VLM gelé en optimisant des vecteurs de pilotage continus par couche.

• Mécanisme : Pour un modèle gelé $M$ avec $L$ couches, le LSV apprend un ensemble de vecteurs de pilotage par couche $V = \{v_1, \dots, v_L\}$ et des coefficients scalaires $\alpha = \{\alpha_1, \dots, \alpha_L\}$. L'état caché à la couche $l$ est modifié comme suit :
  $$h'_l(x_q) = h_l(x_q) + c \cdot \alpha_l \cdot v_l$$
  où $c$ est un hyperparamètre de mise à l'échelle lors de l'inférence.
• Objectif d'Entraînement : Les vecteurs sont optimisés sur un ensemble de pilotage minimal ($D_{steer}$) de 500 échantillons (dérivés de seulement 50 mèmes de base uniques) en utilisant un objectif double :
  1. Alignement de Distribution ($L_d$) : Minimise la divergence de Kullback-Leibler (KL) entre la distribution du vocabulaire du modèle piloté sur une requête et une distribution de référence construite à partir d'un prompt de démonstration ICL (32 exemples). Cela transfère le raisonnement cognitif du prompt ICL dans les vecteurs.
  2. Ancre de Vérité Terrain ($L_{gt}$) : Une perte d'entropie croisée sur le premier jeton généré pour s'assurer que le pilotage s'aligne avec l'étiquette de classification correcte.
• Inférence : Lors de l'inférence, le modèle de base reste gelé et aucun exemple de démonstration ICL n'est fourni. Les vecteurs appris sont injectés directement dans la passe directe (forward pass) zero-shot.

3. Contributions Clés

1. Nouveau Benchmark Diagnostique : Introduction de FBHM, un jeu de données à structure causale permettant l'évaluation isolée des VLM à travers 25 fonctionnalités et 10 communautés cibles.
2. Preuve Empirique de l'Échec de la Généralisation : Démonstration que les VLM de pointe (incluant Qwen-3, Pixtral, InternVL-3.5 et les modèles propriétaires comme GPT-4.1/5-mini) obtiennent des scores in-domain élevés sur FHM/MAMI mais échouent de manière catastrophique sur FBHM, prouvant leur dépendance à des heuristiques spécieuses.
3. Limites de l'Adaptation Standard : Preuve que les techniques standard (PEFT et ICL à quelques exemples) sont insuffisantes pour aligner le raisonnement multimodal sur des mèmes haineux complexes lorsque l'on est restreint à des ensembles de pilotage minimaux, dégradant souvent la performance du domaine source.
4. Cadre LSV : Introduction du LSV, une méthode qui distille le raisonnement ICL dans des vecteurs d'activation via un objectif d'intervention causale, réussissant à récupérer la généralisation sans mise à jour des poids.

4. Résultats et Analyse

Gains de Performance

Le benchmarking révèle un écart massif de performance. Les modèles affinés sur FHM/MAMI chutent à une performance proche du hasard (environ 45 Macro-F1) sur FBHM.

• Efficacité du LSV : Le LSV augmente les performances de FBHM d'environ 30 points Macro-F1. Par exemple, le modèle de base Qwen-3 passe de 45,99 à 72,78 Macro-F1 sur l'ensemble de test FBHM.
• Comparaison : Le LSV surpasse significativement le PEFT (qui produit des gains négligeables et dégrade la performance source) et l'ICL à 32 exemples (qui fournit des gains modestes mais échoue à couvrir tout l'espace fonctionnel en raison des limites de la fenêtre de contexte).

Robustesse et Équité

• Préservation du Domaine Source : Crucialement, parce que le LSV ne met pas à jour les poids, il préserve ou améliore même la performance sur les benchmarks originaux FHM et MAMI, évitant l'oubli catastrophique.
• Alignement Uniforme : L'analyse de la performance par communauté cible montre que le LSV étend uniformément la frontière de classification dans la plage des 70–80 % pour les 10 groupes cibles, éliminant les goulots d'étranglement spécifiques aux communautés observés avec l'ICL.
• Couverture des Fonctionnalités : L'analyse par diagramme radar indique que le LSV lisse les capacités de raisonnement structurel, délivrant des gains sur presque toutes les 25 fonctionnalités, alors que les variantes ICL échouent dans des poches fonctionnelles localisées et spécifiques.

Analyse d'Erreur

Malgré les améliorations, des modes d'échec résiduels persistent :

• Faux Négatifs : L'obfuscation complexe (encodage algébrique/hexadécimal des insultes), l'inversion de la rhétorique ("jour de l'inversion") et le sarcasme pseudo-positif restent difficiles.
• Faux Positifs : Les perturbations de police (OCR corrompu) et les contre-discours contenant un vocabulaire proche de la haine sont fréquemment classés à tort. Ces motifs réapparaissent à travers les architectures (Qwen, GPT-4/5), suggérant qu'ils nécessitent une compréhension du discours plus profonde que le simple pilotage au niveau des activations.

Mise à l'échelle de l'Inférence

La constante de mise à l'échelle optimale $c$ est trouvée dépendante de l'architecture et du réglage fin. La validation sur de petits sous-ensembles de test prédit avec précision le $c$ optimal pour l'ensemble de test, confirmant la praticité de l'approche pour un déploiement réel sans accès au jeu de test.

5. Signification et Revendications

L'article affirme que FBHM expose une faille critique dans l'alignement actuel des VLM : les scores in-domain élevés masquent un échec de généralisation aux diverses structures fonctionnelles. La signification de ce travail réside dans :

1. Rigueur Diagnostique : Fournir un outil pour découvrir les disparités de fonctionnalité et de cible que les benchmarks standards manquent.
2. Alignement Efficace : Démontrer qu'une intervention causale via des vecteurs de pilotage apprenables peut aligner un raisonnement multimodal complexe avec seulement 500 échantillons, surpassant l'adaptation basée sur les poids et les méthodes gourmandes en contexte.
3. Sécurité et Équité : Offrir une méthode pour améliorer la robustesse de la détection de la haine à travers diverses démographies sans sacrifier la performance sur les données bénignes ou nécessifier un réentraînement massif.

Les auteurs concluent que bien que le LSV améliore considérablement les capacités de détection zero-shot, il sert d'outil de diagnostic pour assister les modérateurs humains plutôt que d'arbitre entièrement autonome, particulièrement compte tenu de la persistance de biais pragmatiques complexes comme l'ironie et l'obfuscation mathématique.