💬 NLP

Labels or Input? Rethinking Augmentation in Multimodal Hate Detection

Ce document propose un pipeline de bout en bout qui améliore les modèles vision-langage compacts pour la détection de la haine multimodale en combinant des invites structurées, un étiquetage granulaire et un nouveau cadre d'augmentation de données contrefactuelles, atteignant ainsi une performance robuste sur des contenus nuancés sans dépendre de modèles volumineux coûteux.

Auteurs originaux : Sahajpreet Singh, Kokil Jaidka, Subhayan Mukerjee

Publié 2026-01-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sahajpreet Singh, Kokil Jaidka, Subhayan Mukerjee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que l'internet soit une place de village numérique, géante et chaotique. Dans cette place, les gens partagent des blagues, des nouvelles et des mèmes. Mais parfois, cachée à l'intérieur d'une image drôle avec une légende amusante, se trouve une insulte malveillante ou un message haineux. C'est comme un « loup déguisé en agneau ».

Pendant longtemps, les ordinateurs ont essayé de repérer ces « mèmes haineux » pour garder la place du village en sécurité. Mais c'est un travail difficile car la haine n'est pas toujours évidente ; elle est souvent un mélange d'une image inoffensive et d'une blague méchante.

Ce document est comme une équipe de détectives essayant de trouver la meilleure façon d'apprendre aux ordinateurs à repérer ces loups cachés sans avoir à embaucher un million d'experts coûteux pour faire le travail. Ils ont testé deux stratégies principales : changer les instructions données à l'ordinateur et créer de meilleurs tests d'entraînement.

Les deux stratégies de détective

1. La mise à niveau du « Manuel d'instructions » (Optimisation du prompt)

Imaginez que vous enseigniez à un robot à repérer les mauvaises blagues.

L'ancienne méthode : Vous dites simplement, « Est-ce haineux ? Oui ou Non. »
La nouvelle méthode : Les auteurs ont essayé de donner au robot un manuel d'instructions beaucoup plus détaillé. Au lieu d'un simple « Oui/Non », ils ont demandé au robot d'évaluer le caractère haineux sur une échelle de 0 à 9 (comme une échelle de douleur) et lui ont donné des catégories spécifiques à surveiller, comme « est-ce sexiste ? » ou « est-ce raciste ? ».

Ce qu'ils ont découvert :

Si la tâche est simple (juste Oui/Non), une instruction courte et simple fonctionne le mieux.
Mais si la tâche est complexe (évaluer à quel point quelque chose est « mauvais »), les instructions détaillées et structurées ont rendu le robot beaucoup plus intelligent.
La surprise : Pour les plus gros et plus intelligents robots, donner ces instructions détaillées a fonctionné presque aussi bien que de passer des mois à les entraîner sur de nouvelles données. C'est comme réaliser qu'un étudiant brillant n'a pas besoin de réapprendre tout le sujet ; il a juste besoin d'un meilleur guide d'étude.

2. Le « Test d'entraînement contrefait » (Augmentation multimodale)

Le second problème auquel l'équipe a été confrontée est que les « manuels scolaires » (les ensembles de données) que les robots étudiaient étaient défectueux. De nombreux mèmes haineux dans les données d'entraînement n'étaient que de mauvaises images sur lesquelles on avait collé des légendes méchantes. Les robots apprenaient à associer les « mots méchants » à la « haine », même si l'image était innocente.

Pour corriger cela, l'équipe a construit une usine qui crée des tests d'entraînement « contrefaits ».

Comment ça marche : Ils ont pris un mème haineux (une belle image + une légende méchante) et ont utilisé l'IA pour remplacer la légende méchante par une légende agréable et neutre, tout en gardant l'image exactement la même.
Le but : Cela apprend au robot : « Hé, cette image est en fait correcte ! Elle est seulement haineuse à cause des mots. Si tu changes les mots, la haine disparaît. »

Ce qu'ils ont découvert :

En ajoutant ces mèmes « neutralisés » aux données d'entraînement, les robots sont devenus bien meilleurs pour comprendre le contexte. Ils ont arrêté de simplement chercher des mots mauvais et ont commencé à regarder l'image dans sa globalité.
Cela a particulièrement bien fonctionné pour les robots plus grands et plus intelligents, les aidant à attraper les blagues subtiles et sournoises qui passent habituellement entre les mailles du filet.

Les résultats : Une solution meilleure et moins chère

Le document conclut que vous n'avez pas toujours besoin des super-ordinateurs les plus coûteux et massifs pour résoudre ce problème.

De meilleures instructions comptent : Si vous donnez à un ordinateur plus petit et moins cher un ensemble d'instructions (prompts) très bon et structuré, il peut presque aussi bien performer qu'un ordinateur géant et coûteux.
De meilleures données comptent : Si vous enseignez aux ordinateurs avec des exemples « nettoyés » (où la haine est supprimée mais l'image reste), ils apprennent à être plus justes et sont moins susceptibles de commettre des erreurs basées sur des stéréotypes.

L'essentiel

Les auteurs ont construit un système qui crée ces mèmes « nettoyés » et de meilleures instructions pour aider les ordinateurs plus petits et plus abordables à faire un excellent travail pour repérer la haine en ligne. Ils ont proué qu'en corrigeant la façon dont nous parlons à l'IA et ce que nous lui enseignons, nous pouvons construire des espaces en ligne plus sûrs sans avoir besoin de dépenser une fortune en technologies massives.

Note importante : L'équipe a été très prudente en précisant qu'elle n'a pas créé de nouveau contenu haineux. Leur « usine » ne faisait que prendre des mèmes existants et mauvais pour les transformer en mèmes bons et neutres afin de les utiliser comme outils pédagogiques. Leur but était de réduire le mal, pas de le créer davantage.

Résumé technique : Étiquettes ou Entrée ? Repenser l'augmentation dans la détection de la haine multimodale

Énoncé du problème

Les discours de haine en ligne, particulièrement sous la forme de mèmes multimodaux, représentent un défi sociétal important en raison de leur dépendance à des interactions subtiles entre texte et image, à l'humour et au contexte culturel. Bien que les modèles de vision-langage (VLM) récents soient prometteurs, ils font face à des limites de déploiement dues à des coûts d'inférence élevés et à des échecs persistants sur le contenu nuancé ou implicite. De plus, les jeux de données existants souffrent souvent d'artefacts structurels, tels que des formats de modèles (templates) et une supervision incohérente, ce qui peut renforcer les biais culturels et conduire à des corrélations spécieuses (par exemple, associer des caractéristiques visuelles spécifiques à la haine indépendamment de la légende).

La question de recherche centrale examine si l'amélioration des stratégies de prompting (augmentation des étiquettes) ou l'affinement des données sous-jacentes (augmentation des entrées) est plus efficace que les lignes de base standards pour la classification de contenus haineux multimodaux. Les auteurs visent à combler l'écart entre la complexité des préjudices en ligne et la supervision limitée fournie par les jeux de données actuels, en explorant spécifment comment les petits modèles peuvent être améliorés sans dépendre de l'inférence coûteuse de grands modèles.

Méthodologie

L'étude propose et évalue deux stratégies complémentaires utilisant le jeu de données Facebook Hateful Memes (contenant environ 12,9K paires image-légende).

1. Optimisation du Prompt (Augmentation des étiquettes)

Cette approche traite le prompting comme un espace de conception multivarié pour enrichir les signaux de supervision.

Conception expérimentale : Un plan factoriel complet ( $3 \times 2 \times 2$ $3 \times 2 \times 2$ ) variant :
- Modalité d'apprentissage : Fine-tuning textuel uniquement vs Fine-tuning/prompting multimodal.
- Structure du prompt : Simple (instruction directe) vs Basée sur des catégories (définition de sous-types comme la misogynie ou la xénophobie).
- Format d'étiquette : Binaire (Haine/Pas de haine) vs Échelle (score de haine de 0 à 9).
Implémentation : Un modèle enseignant (GPT-4o-mini) génère des étiquettes graduées (0–9) pour les données d'entraînement à partir de prompts structurés. Ces étiquettes "douces" sont utilisées pour le fine-tuning de grands modèles multimodaux (InternVL2 4B) et de petits modèles unimodaux (BERT, RoBERTa). Les étiquettes incorrectes et incohérentes avec la vérité terrain binaire sont filtrées.

2. Augmentation de données multimodales (Augmentation des entrées)

Cette approche cherche à améliorer la robustesse des modèles en générant des mèmes contrefactuels neutres afin de réduire les corrélations spécieuses texte-image.

Cible : Vise spécifiquement les mèmes "NH" (Image non-haineuse + Légende haineuse), où l'arrière-plan visuel est bénin mais le texte induit la haine.
Pipeline : Un système multi-agents comprenant :
1. Attribution : Un classificateur zero-shot (Qwen2.5-14B) identifie les mèmes où la légende est la source principale de haine.
2. Extraction de contexte : Un VLM (InternLM-XComposer-2.5-7B) génère une description de l'arrière-plan de l'image, en excluant le texte superposé.
3. Neutralisation : Un modèle génératif (GPT-4o-mini) réécrit la légende haineuse en une légende neutre, conditionnée par la description de l'arrière-plan pour assurer la cohérence sémantique.
4. Régénération : Un modèle de rendu (Gemini 2.0 Flash) superpose la nouvelle légende neutre sur la mise en page originale de l'image.
Résultat : Le pipeline a généré 2 479 mèmes contrefactuels neutres, qui ont été fusionnés avec le jeu de données original pour créer un ensemble d'entraînement "Étendu".

Contributions clés

Extension du jeu de données : La création d'un nouveau benchmark composé de 2 479 mèmes contrefactuels neutres, conçus pour évaluer la robustesse face aux corrélations spécieuses texte-image.
Cadre de prompting structuré : Une démonstration que la conception de prompts, souvent négligée dans les tâches vision-langage, impacte significativement les performances. L'étude montre que les prompts structurés et catégoriels sont cruciaux pour des annotations graduées et nuancées, tandis que les prompts simples suffisent pour les tâches binaires.
Pipeline de débiaisage : Une preuve de concept d'un pipeline multi-agents pour générer des variantes de mèmes sémantiquement cohérentes et non haineuses. Cela sert de stratégie pour atténuer les biais et améliorer la généralisation sans générer de nouveaux contenus préjudiciables.

Résultats et analyse

Conclusions sur l'optimisation du prompt

Utilité du prompt : Pour la classification binaire, les prompts simples ont surpassé les prompts catégoriels sur les petits modèles unimodaux. Cependant, pour les étiquettes graduées (nuancées), les prompts basés sur des catégories ont considérablement amélioré les performances sur les modèles tant unimodaux que multimodaux.
Prompting vs Fine-tuning : Sur le jeu de données gradué, le prompting du grand modèle InternVL2 avec des définitions de catégories a atteint un F1-score de 64,74, ce qui est compétitif et légèrement supérieur au meilleur résultat de fine-tuning (63,28). Cela suggère que pour la détection de haine granulaire, un prompting zero-shot bien structuré peut rivaliser avec le fine-tuning sur des données augmentées.
Robustesse unimodale : Les modèles unimodaux standards (BERT, RoBERTa) ont utilisé efficacement le contexte catégoriel pour améliorer leurs performances lorsque les étiquettes étaient graduées plutôt que binaires.

Conclusions sur l'augmentation multimodale

Gains de performance : L'entraînement sur le jeu de données étendu (originaux + contrefactuels) a produit des gains d'exactitude modestes (<1 %) mais des améliorations notables des scores F1 pondérés, indiquant une meilleure gestion du déséquilibre des classes et des cas limites.
- Modèles de texte : Le F1 de RoBERTa est passé de 47,18 à 52,54 (+5,36).
- Modèles multimodaux : Qwen2-VL (7B) a obtenu la performance globale la plus élevée, passant de 69,59 à 71,31 F1.
Capacités Zero-Shot : Les grands VLM (ex. Qwen2-VL 7B) ont démontré une remarquable robustesse zero-shot (F1 : 69,13), comparable à leur performance de fine-tuning. À l'inverse, les modèles plus petits (SmolVLM 2B) dépendaient fortement du fine-tuning, montant un écart de performance significatif entre les réglages zero-shot et fine-tuned.

Évaluation de la qualité des données

Fiabilité des étiquettes : L'évaluation humaine des étiquettes graduées a montré un taux d'accord de 92,5 %, confirmant la fiabilité des annotations générées par machine, bien que des désaccords persistent sur les contenus indirects ou dépendants du contexte.
Qualité de l'augmentation : L'évaluation humaine des 2 479 mèmes neutres a confirmé une haute qualité en termes de formatage, d'alignement de l'arrière-plan et de cohérence de la légende. Cependant, un petit sous-ensemble d'erreurs (ex. légendes manquantes, dérive sémantique ou incohérences visuelles) a souligné la nécessité d'une validation manuelle dans les pipelines automatisés.

Signification et affirmations

L'article soutient qu'une détection de la haine multimodale robuste nécessite une attention portée à la fois au cadrage de la tâche (conception du prompt) et à l'intégrité des données (augmentation).

Voie pratique : Ce travail offre une voie concrète vers des systèmes plus robustes et déployables qui ne dépendent pas uniquement de l'inférence coûteuse de grands modèles. Il démontète que les petits modèles peuvent être renforcés par des prompts structurés et une augmentation ciblée des données.
Augmentation éthique : En générant des mèmes contrefactuellement neutres plutôt que de nouveaux contenus haineux, les auteurs proposent une méthode éthiquement fondée pour affiner les distributions d'entraînement et réduire la dépendance excessive aux corrélations spécieuses.
Nuance plutôt que binaire : L'étude souligne qu'en dépassant la classification binaire pour passer à des étiquettes graduées, soutenues par un prompting structuré, il est possible d'obtenir une compréhension plus nuancée des contenus préjudiciables, particulièrement pour les mèmes ancrés culturellement.

Les auteurs concluent que, bien que leurs méthodes soient prometteuses, les travaux futurs devront aborder l'extension du pipeline d'augmentation à des contextes culturellement divers et résoudre les défis restants concernant la préservation du contexte.