💬 NLP

ZeroR@CHiPSAL 2026: Two-Stage Vision-Language Adaptation with Contrastive Learning for Nepali Meme Classification

L'équipe ZeroR@CHiPSAL 2026 a atteint les premiers rangs de la classification des mèmes népalais en employant un pipeline d'adaptation vision-langage en deux étapes utilisant Qwen3-VL-8B-Instruct avec un apprentissage contrastif et un réglage fin LoRA afin d'éliminer les dépendances à l'OCR et de gérer efficacement la détection de la haine et du sentiment multimodale en contexte de faibles ressources.

Auteurs originaux : Nitiz Khanal

Publié 2026-08-03

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nitiz Khanal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une immense et chaotique place de village numérique où tout le monde crie, murmure et dessine sur les murs. Dans cette ville, les « mèmes » sont le moyen de communication le plus populaire. Ils sont comme des plaisanteries internes qui mélangent une image amusante avec une légende astucieuse. Mais parfois, ces blagues se transforment en armes, cachant des discours de haine ou du harcèlement derrière un rire. La partie délicate est qu'une image peut paraître innocente, mais le texte lui donne un sens terrible, ou vice versa. Pour arrêter cela, les ordinateurs doivent apprendre à « lire » à la fois l'image et les mots simultanément, en comprenant toute l'histoire, et pas seulement les parties. C'est un défi immense pour les ordinateurs, surtout lorsque les blagues sont racontées dans des langues qu'ils ne connaissent pas bien, comme le népalais, où le système d'écriture (appelé Devanagari) est dessiné directement sur les images.

Les scientifiques ont essayé de construire de meilleurs « détectives numériques » pour repérer ces mèmes nuisibles. Habituellement, ils essaient de construire une longue chaîne de montage : d'abord, une machine lit le texte de l'image (comme un scanner), ensuite une autre machine le traduit, et enfin une troisième machine décide si c'est mauvais. Mais c'est comme essayer de résoudre un puzzle en le démontant pièce par pièce ; on risque de perdre l'image de l'ensemble. Ce document présente une nouvelle équipe de détectives qui n'a pas besoin de la chaîne de montage. Au lieu de cela, ils utilisent un cerveau tout-en-un super intelligent capable de regarder l'image et de lire le texte simultanément, tout comme un humain le fait. Les chercheurs ont testé ce cerveau sur des mèmes népalais pour voir s'il pouvait repérer les discours de haine et déterminer si l'humeur était joyeuse, triste ou neutre.

L'histoire du document : Un entraînement de détective en deux étapes

Les chercheurs, Nitiz Khanal et son équipe, ont participé à une compétition appelée CHiPSAL 2026, dont l'objectif était de construire le meilleur système pour détecter la haine et analyser les sentiments dans les mèmes népalais. Ils n'ont pas simplement jeté un ordinateur face au problème ; ils ont conçu un camp d'entraînement astucieux en deux étapes pour leur modèle d'IA.

La star du jeu : Qwen3-VL
Au cœur de leur système se trouve une IA massive et pré-entraînée appelée Qwen3-VL-8B-Instruct. Considérez ce modèle comme un étudiant génie qui a déjà lu des millions de livres et vu des millions d'images du monde entier. Crucialement, cet étudiant sait déjà lire l'écriture Devanagari utilisée au Népal, donc les chercheurs n'ont pas eu besoin de lui apprendre à lire à partir de zéro ou d'utiliser un outil séparé pour scanner le texte. Il peut regarder un mème et « voir » les mots écrits sur l'image immédiatement.

Étape 1 : L'écrivain créatif
Dans la première étape de l'entraînement, l'équipe a appris à l'IA à agir comme un écrivain créatif. Ils lui ont montré des milliers de mèmes et lui ont demandé d'écrire la réponse : « Haine » ou « Sûr », ou « Négatif », « Neutre » ou « Positif ». Pour faire cela sans casser l'ordinateur, ils ont utilisé une technique appelée LoRA (Low-Rank Adaptation). Imaginez que l'IA est une immense bibliothèque avec des millions de livres. Au lieu de réécrire chaque livre pour lui apprendre les mèmes népalais, les chercheurs ont simplement ajouté quelques post-it (de petites couches entraînables) sur les étagères. Cela a permis à l'IA d'apprendre la nouvelle tâche rapidement et efficacement.

Cependant, leurs données étaient désordonnées. Il y avait beaucoup plus de mèmes « Sûrs » que de mèmes de « Haine », et beaucoup plus de mèmes « Neutres » que de « Positifs » ou « Négatifs ». C'est comme essayer d'apprendre à identifier des animaux rares quand on n'a qu'une seule photo de tigre mais mille photos de chats. Pour corriger cela, l'équipe a utilisé le suréchantillonnage (faire des copies supplémentaires des mèmes rares) et l'augmentation d'image (retourner, faire pivoter et éclaircir les images) afin que l'IA ne se contente pas de mémoriser les images, mais apprenne réellement les modèles. Pour la tâche de sentiment à trois classes, ils ont également utilisé un tour mathématique spécial appelé Focal Loss, qui disait à l'IA de prêter une attention particulière aux exemples difficiles qu'elle ratait systématiquement.

Étape 2 : Le coach strict
La première étape était bonne, mais les chercheurs voulaient que l'IA soit encore plus affûtée. Dans la deuxième étape, ils ont ajouté un coach d'« apprentissage contrastif ». C'est comme un jeu de « trouver les différences ». Le coach montrait à l'IA deux mèmes qui étaient tous deux de la « Haine » et disait : « Ces deux-là vont ensemble ! ». Puis il montrait un mème de « Haine » et un mème « Sûr » et disait : « Ceux-là sont totalement différents ! Écartez-les ! ». Cela a aidé l'IA à apprendre à regrouper les idées similaires étroitement et à repousser les idées différentes loin l'une de l'autre dans son esprit. Cette étape ne demandait pas seulement une réponse ; elle forçait l'IA à comprendre la forme des données, rendant ses décisions plus robustes.

Le verdict final : Mélanger les scores
Lorsqu'il fut temps de passer l'examen final, l'équipe n'a pas simplement choisi la réponse de l'étape 1 ou de l'étape 2. Ils ont créé un rassemblement d'équipe. Ils ont pris le score de probabilité de l'« Écrivain créatif » (Étape 1) et le score du « Coach strict » (Étape 2) et les ont mélangés avec un poids spécial. Ils ont testé différents ratios de mélange sur un ensemble d'entraînement pour trouver l'équilibre parfait qui donnait le score le plus élevé.

Ce qu'ils ont découvert

Les résultats étaient impressionnants. L'équipe a obtenu la 2ème place sur le classement officiel pour la tâche de détection des discours de haine, avec un score (appelé Macro F1) de 0,797. Cela signifie que le système était très bon pour repérer le contenu nuisible, même avec le déséquilibre complexe des classes. Pour la tâche d'analyse de sentiment (déterminer si un mème était positif, négatif ou neutre), ils ont terminé à la 4ème place du classement avec un score de 0,518.

Les chercheurs ont découvert que l'approche en deux étapes était la recette secrète. S'ils n'avaient utilisé que la première étape (juste écrire la réponse), leur score aurait été plus bas. L'ajout de la deuxième étape (l'apprentissage contrastif) a considérablement boosté leur performance. Ils ont également découvert que les deux tâches nécessitaient des styles d'entraînement différents. La tâche de discours de haine était un peu plus directe, mais la tâche de sentiment était beaucoup plus difficile à apprendre car les lignes entre « neutre » et « positif » ou « négatif » sont souvent floues, surtout avec l'humour. Le modèle de sentiment avait besoin de règles beaucoup plus strictes (régularisation) pour éviter de s'embrouiller.

Pourquoi cela importe (et pourquoi ça ne l'est pas)

Ce document suggère que pour les langues à faibles ressources comme le népalais, l'utilisation d'un modèle puissant de vision-langage tout-en-un qui comprend nativement l'écriture change la donne. Il prouve que vous n'avez pas besoin d'une chaîne d'outils compliquée (comme des scanners de texte et des traducteurs séparés) pour comprendre les mèmes ; un seul modèle intelligent peut le faire de bout en bout.

Cependant, l'auteur prend soin de préciser que son système n'est pas parfait. Il admet que l'IA manque parfois le contexte culturel profond. Par exemple, un mème peut mettre en scène une figure historique ou une blague culturelle spécifique qui semble inoffensive pour l'IA, mais qui est en réalité offensante pour un Népalais. L'IA est intelligente, mais elle n'a pas encore l'expérience vécue de la culture. Ils notent également qu'en raison du fait que l'ensemble de données était relativement petit (environ 1 000 mèmes par tâche), il existe un risque que le modèle ait mémorisé les données d'entraînement plutôt que d'avoir réellement appris, et que les résultats puissent varier si l'on recommençait avec une graine aléatoire différente.

En fin de compte, ce travail montre une voie prometteuse : enseigner aux grands modèles d'IA intelligents à comprendre le monde désordonné, drôle et parfois dangereux des mèmes dans des langues qui ont été laissées pour compte par la technologie. C'est un pas vers un forum numérique plus sûr et plus inclusif pour tout le monde.

Résumé Technique : ZeroR@CHiPSAL 2026

Énoncé du Problème

L'article traite du défi de la détection multimodale des discours de haine et du sentiment dans les mèmes népalais, un contexte de langue à faibles ressources caractérisé par du texte intégré directement dans les images en utilisant l'écriture Devanagari. Contra-rément à la classification traditionnelle de texte ou d'image, l'analyse de mèmes nécessite de comprendre l'interaction complexe entre les éléments visuels et textuels, où le sens émerge souvent de leur combinaison. Les défis spécifiques incluent :

Contraintes de faibles ressources : Rareté des ensembles de données annotés et exposition limitée des modèles pré-entraînés au contexte culturel népalais.
Complexité de l'écriture : Le texte népalais est intégré dans les images, ceant nécessitant une Reconnaissance Optique de Caractères (OCR) dans les pipelines traditionnels, ce qui introduit une propagation d'erreurs.
Code-Mixing : Mélange fréquent de népalais et d'anglais dans les contenus des réseaux sociaux.
Spécificité de la tâche : La tâche partagée implique deux sous-tâches distinctes : la détection binaire de discours de haine (Haine vs Sûr) et l'analyse de sentiment à trois classes (Négatif, Neutre, Positif), souffrant toutes deux d'un déséquilibre de classes significatif.

Méthodologie

L'auteur propose un cadre d'adaptation vision-langage en deux étapes basé sur l'architecture RA-HMD (Robust Adaptation of Hateful Meme Detection), utilisant Qwen3-VL-8B-Instruct comme colonne vertébrale (backbone). Ce modèle a été sélectionné pour son support natif de l'écriture Devanagari, permettant un traitement de bout en bout sans pipelines séparés d'OCR ou de traduction.

1. Modèle de base et adaptation

Colonne vertébrale (Backbone) : Qwen3-VL-8B-Instruct, capable de résolution d'image dynamique et de suivi d'instructions.
Fine-Tuning à paramètres efficaces (PEFT) : Le système utilise l'Adaptation de Bas Rang (LoRA) pour injecter des matrices entraînables dans les couches de transformateurs, gelant ainsi les poids pré-entraînés. Cela réduit les paramètres entraînables à environ 0,5 % pour le discours de haine et 0,25 % pour l'analyse de sentiment.
Projection MLP : Une tête MLP projette l'état caché dernier du modèle vers un espace de plongement (embedding) de dimension inférieure (512 dimensions) pour faciliter l'apprentissage contrastif.

2. Pipeline d'entraînement en deux étapes

Le processus d'entraînement est divisé en deux étapes distinctes :

Étape 1 : Fine-Tuning Génératif
- Le modèle est affiné pour générer des étiquettes de classe directement à partir des images de mèmes en utilisant des invites (prompts) spécifiques à la tâche.
- Objectif : Perte de modélisation de langage standard calculée uniquement sur les jetons cibles (par exemple, "Hate" ou "Safe").
- Gestion du déséquilibre :
  - Suréchantillonnage (Oversampling) : Les classes minoritaires sont dupliquées pour atteindre des ratios équilibrés (1:1 pour le discours de haine ; 1:1:1 pour le sentiment).
  - Augmentation : Les images suréchantillonnées subissent des transformations aléatoires (basculements, rotations, ajustements de luminosité/contraste/saturation).
  - Perte Focal (Focal Loss) : Appliquée spécifiquement à la tâche de sentiment à trois classes pour réduire la contribution de la perte des exemples faciles et se concentrer sur les cas difficiles.
Étape 2 : Fine-Tuning de la Colonne Vertébrale Contrastive
- L'entraînement se poursuit avec un objectif conjoint combinant la classification et l'apprentissage contrastif supervisé.
- Objectif : Un classificateur linéaire est ajouté aux plongements projetés, et la perte Supervised InfoNCE est appliquée. Cela rapproche les représentations des échantillons d'une même classe tout en éloignant celles des classes différentes.
- Configuration : La tâche de sentiment a nécessité une régularisation plus forte (taux d'apprentissage plus faible, décroissance des poids plus élevée, moins d'époques) par rapport à la tâche de discours de haine afin d'éviter le surapprentissage sur le plus petit ensemble d'entraînement effectif par classe.

3. Inférence et Ensemble

Lors de l'inférence, le système combine les prédictions des deux étapes :

Étape 1 : Extrait les probabilités au niveau du jeton de la tête du modèle de langage.
Étape 2 : Applique la fonction softmax aux sorties du classificateur linéaire.
Ensemble : La prédiction finale est une combinaison pondérée ( $w \cdot p^{(1)} + (1-w) \cdot p^{(2)}$ ). Le poids $w$ et les seuils de décision sont optimisés via une recherche par grille (grid search) sur l'ensemble de validation pour optimiser le score F1 macro.

Principales Contributions

Cadre en deux étapes : Adaptation du cadre RA-HMD pour la classification multimodale à faibles ressources, combinant le fine-tuning génératif avec l'apprentissage contrastif.
Traitement de bout en bout : Exploitation du support natif de la Devanagari dans Qwen3-VL pour éliminer les pipelines d'OCR et de traduction sujets aux erreurs.
Configurations spécifiques aux tâches : Paramètres d'hyperparamètres et stratégies de régularisation distincts adaptés à la nature binaire de la détection de discours de haine par rapport à la complexité de l'analyse de sentiment à trois classes.
Atténuation du déséquilibre : Une stratégie complète impliquant le suréchantillonnage des minorités, l'augmentation d'images et la perte focale pour traiter les déséquilibres de classes sévères.

Résultats

Le système a été évalué sur la tâche partagée CHiPSAL 2026 en utilisant le score F1 macro :

Sous-tâche A (Détection de discours de haine) : A atteint un score F1 de 0,797, obtenant la 2ème place.
Sous-tâche B (Analyse de sentiment) : A atteint un score F1 de 0,518, obtenant la 4ème place.

Résultats d'ablation :

L'application de LoRA à toutes les couches d'attention et de feed-forward a surpassé l'application de LoRA uniquement aux couches d'attention.
La gestion du déséquilibre des classes (suréchantillonnage + augmentation) a contribué à 2–3 points de F1.
L'ajout de l'apprentissage contrastif de l'étape 2 a apporté des gains constants (environ 2 points de F1 pour le discours de haine).
L'ajustement des seuils a amélioré la détection du discours de haine d'un point supplémentaire.

Signification et Revendications

L'article affirme que sa principale signification réside dans la démonstration de l'efficacité de l'adaptation des modèles de vision-langage (VLM) modernes avec support de script natif pour les langues sud-asiatiques à faibles ressources. Les points clés incluent :

Élimination de la propagation d'erreurs : En utilisant un modèle possédant une compréhension native de la Devanagari, le système évite les erreurs cumulatives inhérentes à un système par pipeline (OCR $\to$ Traduction $\to$ Classification).
Complémentarité des objectifs : L'approche en deux étapes (générative suivie de la contrastive) surpasse soit l'approche seule, soit l'autre de 3 à 5 points de F1, suggérant que les objectifs de modélisation du langage et d'apprentissage métrique sont complémentaires.
Importance de la régularisation : L'étude souligne que différentes tâches au sein du même domaine multimodal nécessitent des stratégies de régularisation très différentes ; l'analyse de sentiment, en particulier, a exigé une régularisation agressive pour éviter le surapprentissage.
Nuance culturelle : Bien que le système soit performant, l'auteur reconnaît des limites dans la gestion des références culturelles spécifiques et des contextes historiques qui pourraient ne pas être présents dans les données de pré-entraînement du modèle de base.

L'auteur positionne ce travail comme une étape vers des outils de modération de contenu plus robustes pour les langues à faibles ressources, soulignant la nécessité d'une revue humaine lors du déploiement en raison des biais potentiels et des faux positifs sur les discours politiques ou culturels légitimes.