💬 NLP

BioSentinel at EXIST 2026: Soft-Label Optimization with XLM-RoBERTa for Sexism Intent Classification in Memes

L'article de l'équipe BioSentinel détaille leur participation à la tâche 2.2 d'EXIST 2026, où ils ont employé un modèle basé sur XLM-RoBERTa entraîné avec une fonction de perte composite pour équilibrer efficacement les prédictions de labels souples et de labels durs pour la classification de l'intention sexiste dans les mèmes, atteignant finalement des classements spécifiques lors de l'évaluation CLEF 2026.

Auteurs originaux : Chandru Munisamy, Karthikeya Raguveer, Alapan Kuila

Publié 2026-07-28

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chandru Munisamy, Karthikeya Raguveer, Alapan Kuila

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une immense place de village chaotique où tout le monde crie, chuchote et dessine sur les murs. Parfois, ces dessins (appelés « mèmes ») sont de simples blagues amusantes, mais d'autres fois, ils cachent des commentaires sexistes malveillants difficiles à repérer. C'est le monde de la détection du sexisme, une branche de l'informatique où l'on apprend aux machines à « lire la pièce » et à comprendre si une plaisanterie est inoffensive ou blessante.

Mais voici la partie délicate : les humains ne sont pas toujours d'accord sur ce qui est méchant. Une personne peut voir un mème comme une insulte directe, une autre peut penser qu'il s'agit d'une blague ironique subtile, et une troisième peut n'y voir aucun mal. C'est ce qu'on appelle le désaccord. Par le passé, les ordinateurs étaient enseignés pour choisir une seule réponse « correcte », comme un professeur corrigeant un examen avec un corrigé unique. Cependant, cet article soutient que lorsque les humains ne parviennent pas à s'entendre, l'ordinateur ne devrait pas simplement deviner une réponse ; il devrait apprendre à comprendre l' étendue des opinions, un peu comme un bulletin météo qui dit « il y a 60 % de chances de pluie » au lieu de simplement crier « Il pleut ! ». Cette approche est appelée Apprentissage avec Désaccord (Learning with Disagreement), et elle aide les machines à devenir plus nuancées et moins trop sûres d'elles.

La mission de l'équipe BioSentinel : Lire le texte, ignorer l'image

Rencontrez l'équipe BioSentinel, un groupe de chercheurs qui a participé à une compétition à enjeux élevés appelée EXIST 2026. Leur défi ? Construire un robot capable d'observer des mèmes et de décider si le créateur était direct (clairement sexiste), jugemental (utilisant l'ironie ou des indices subtils), ou non (pas du tout sexiste).

Le rebondissement ? La compétition ne voulait pas seulement que le robot choisisse une étiquette. Elle voulait que le robot recrache une distribution de probabilités — une façon sophistiquée de dire : « Je suis sûr à 70 % que c'est direct, à 20 % que c'est jugemental et à 10 % que c'est inoffensif ». Cela imite la façon dont un groupe de juges humains pourrait voter différemment sur le même mème.

La stratégie : Un détective uniquement textuel

L'équipe, dirigée par Chandru Munisamy et ses collègues d'Inde, a décidé de jouer un jeu très spécifique. Bien que les mèmes soient des images avec du texte, ils ont choisi d'ignorer totalement les images. Ils ont agi comme un détective qui ne lit que la transcription d'une conversation, ignorant les expressions faciales et le langage corporel.

Pourquoi ? Ils voulaient voir s'ils pouvaient devenir très doués pour comprendre les mots et l'incertitude des étiquettes sans être distraits par les parties visuelles confuses. Ils ont utilisé un puissant cerveau linguistique appelé XLM-RoBERTa (un modèle de 270 millions de paramètres qui parle anglais et espagnol) et lui ont enseigné un tour spécial.

Au lieu de simplement dire au modèle : « Voici la réponse », ils lui ont donné deux types de devoirs :

Le Devoir Doux : « Voici comment les humains ont voté. Essaie de correspondre exactement à ce mélange d'opinions. » Ils ont utilisé un outil mathématique appelé divergence de KL pour que les prédictions du modèle ressemblent au schéma de vote humain.
Le Devoir Dur : « Voici le vainqueur officiel du vote. Assure-toi de bien réussir cela aussi. » Ils ont utilisé un outil standard appelé entropie croisée pondérée (Weighted Cross-Entropy) pour s'assurer que le modèle ne soit pas trop confus.

En mélangeant ces deux leçons (70 % doux, 30 % dur), ils espéraient créer un modèle qui soit à la fois précis et conscient du désaccord humain.

Les résultats : Une performance solide, mais pas parfaite

Lorsque l'équipe BioSentinel a testé son système sur l'examen officiel (l'ensemble de test), voici ce qui s'est passé :

Score de l'étiquette douce (Soft-Label) : Ils ont obtenu un score de 0,3229 (ICM-Soft-Norm). C'était meilleur qu'un robot de base qui « devine l'étiquette la plus commune », lequel n'a obtenu que 0,2835.
Score de l'étiquette dure (Hard-Label) : Pour choisir la meilleure réponse unique, ils ont obtenu un score de 0,4236 (F1-score).
Classement : Sur 118 équipes ayant soumis des prédictions d'étiquettes douces, ils sont arrivés 40èmes. Sur 187 équipes soumettant des prédictions d'étiquettes dures, ils étaient 49èmes.

L'équipe a constaté que leur méthode d'entraînement « mélange et assortiment » fonctionnait. Lorsqu'ils ont supprimé la leçon « douce » (la divergence de KL), leur capacité à correspondre aux opinions humaines a chuté drastiquement (de 0,312 à 0,142). Lorsqu'ils ont supprimé la leçon « dure », leur précision sur les réponses uniques a baissé. La combinaison était la clé de leur succès.

La lutte contre le « Jugemental »

Cependant, le robot avait un angle mort. Il était très mauvais pour repérer le sexisme jugemental (le type subtil et ironique). Son score pour cette catégorie spécifique était très bas : 0,071.

Pourquoi ? L'équipe a réalisé qu'en l'absence de l'image, le robot manquait la chute de la blague. Beaucoup de ces mèmes reposent sur une blague visuelle — comme une caricature ou une expression faciale spécifique — que le texte seul ne pouvait expliquer. Par exemple, un texte disant « Assis à votre table familiale... » peut sembler innocent, mais si l'image montre un père prenant le plus gros poisson et la mère le plus petit, la blague est claire. Sans l'image, le robot ne voyait qu'une phrase neutre.

L'équipe a également remarqué quelque chose d'intéressant sur la façon dont le robot apprenait. Pendant les deux premiers jours d'entraînement, il n'a même pas prédit « jugemental » une seule fois. Il n'a commencé à comprendre cette catégorie complexe qu'après avoir déjà appris à faire la différence entre « inoffensif » et « direct ». Cela suggère que les choses subtiles sont les plus difficiles à apprendre et pourraient nécessiter plus de temps ou un entraînement spécial.

Ce qu'ils n'ont pas fait (et pourquoi cela compte)

L'article est très honnête sur ce qu'ils n'ont pas fait. Ils n'ont pas essayé d'utiliser les données d'ondes cérébrales (EEG) ou les données d'oculométrie (eye-tracking) fournies par les organisateurs de la compétition. Pourquoi ? Parce que les données ne correspondaient pas entre les ensembles d'entraînement et de test. Ils n'ont pas non plus essayé d'utiliser des modèles plus grands et plus complexes car, dans leur configuration spécifique, ces modèles devenaient instables et confus.

Ils ont également testé un réglage de « température » (un bouton qui rend les prédictions du robot plus ou moins confiantes). Sur leur test d'entraînement, tourner ce bouton à 0,7 a rendu le robot légèrement meilleur pour correspondre aux opinions humaines (faisant passer le score de 0,317 à 0,326) et a rendu sa confiance plus réaliste. Cependant, pour le test officiel final, ils sont restés sur les réglages standards par sécurité.

Ce qu'il faut retenir

L'équipe BioSentinel a montré que l'on peut construire un détecteur de sexisme décent en utilisant uniquement le texte, à condition d'enseigner à la machine à respecter le désaccord humain. En utilisant un mélange de leçons « douces » et « dures », ils ont créé un modèle qui comprend mieux les zones grises de l'opinion humaine que les anciennes méthodes.

Mais l'article nous met aussi en garde : si vous voulez attraper les blagues sournoises et ironiques, vous ne pouvez pas vous contenter de lire le texte. Vous devez voir l'image. La difficulté du robot avec la catégorie « jugemental » prouve que parfois, le contexte visuel est la seule chose qui donne tout son sens à la blague (ou à l'insulte). L'équipe suggère que les futurs robots devraient essayer de regarder à la fois les mots et les images pour obtenir l'histoire complète.

Résumé Technique : BioSentinel à EXIST 2026

Définition du Problème
Ce document traite de la tâche 2.2 d'EXIST 2026, « Source Intention in Memes » (Intention de la source dans les mèmes), un défi axé sur la classification de l'intention communicative des mèmes contenant un contenu potentiellement sexiste. La tâche opère sous un paradigme d'Apprentissage avec Désaccord (Learning with Disagreement ou Le-Wi-Di), exigeant que les modèles prédisent non seulement une étiquette stricte unique (directe, de jugement ou aucune), mais aussi une distribution de probabilité souple reflétant la variance des opinions des annotateurs humains. Le jeu de données se compose de 3 984 instances d'entraînement et 1 053 instances de test en anglais et en espagnol, chacune annotée par six évaluateurs humains. Un défi majeur réside dans la subjectivité inhérente du sexisme « de jugement » (implicite/ironique), où les annotateurs sont fréquemment en désaccord, ainsi que dans le déséquilibre des classes, la catégorie « de jugement » ne représentant que 14,2 % des instances résolubles.

Méthodologie
L'équipe BioSentinel propose une approche centrée sur le texte utilisant le transformeur xlm-roberta-base (270 millions de paramètres). Le système exclut délibérément les données d'images et les capteurs physiologiques (EEG, suivi oculaire) afin d'isoler l'efficacité de l'optimisation des étiquettes souples sur le texte, citant des problèmes de données manquantes et de synchronisation dans les données multimodales.

L'innovation centrale réside dans la fonction de perte composite conçue pour gérer le paradigme Le-Wi-Di :
$\mathcal{L}_{train} = \alpha \cdot \mathcal{L}_{KL} + \beta \cdot \mathcal{L}_{CE}$

Divergence de KL ( $\mathcal{L}_{KL}$ ): Minimise la divergence entre la distribution prédite par le modèle et la distribution dorée souple dérivée des votes des annotateurs. Ce terme ( $\alpha=0,7$ ) est le principal moteur pour aligner les prédictions sur l'incertitude humaine.
Entropie Croisée Pondérée ( $\mathcal{L}_{CE}$ ): Appliquée aux instances avec des étiquettes strictes officielles, utilisant des poids de classe normalisés fixes pour pénaliser plus lourdement la classe sous-représentée « de jugement » ( $\beta=0,3$ ).
Architecture : Le modèle traite le texte extrait par OCR via XLM-RoBERTa, suivi d'une tête de classification (768 $\to$ 256 $\to$ 3).
Configuration d'Entraînement : Entraîné pendant 6 époques sur des GPU NVIDIA A100 avec AdamW et un taux d'apprentissage de $2 \times 10^{-5}$ . Le dernier checkpoint (Époque 4) a été sélectionné sur la base de la divergence de KL de validation minimale.
Analyse de la Température : Bien que les prédictions de test officielles aient utilisé un softmax brut ( $T=1,0$ ), une analyse post-hoc sur l'ensemble de validation a indiqué qu'une température de $T=0,7$ améliorait les métriques d'étiquettes souples et réduisait l'Erreur de Calibration Attendue (ECE).

Résultats Clés
Sur l'ensemble de test officiel, le système a obtenu les performances suivantes :

ICM-Soft-Norm : 0,3229 (Classement 40e sur 118 soumissions).
ICM-Norm : 0,3778.
Hard Macro-F1 : 0,4236 (Classement 49e sur 187 soumissions).

Le système a nettement surpassé la ligne de base stricte de la classe majoritaire (F1 = 0,1676) et la ligne de base de distribution a priori (ICM-Soft-Norm = 0,2835).

Ablation et Analyse

Contribution de la Perte : Les études d'ablation ont confirmé que la divergence de KL est critique pour la performance des étiquettes souples (l'ICM-Soft-Norm est passé de 0,312 à 0,142 lorsqu'elle est supprimée), tandis que l'entropie croisée est essentielle pour la précision des étiquettes strictes (le F1 est passé de 0,348 à 0,294 lorsqu'elle est supprimée).
Performance par Classe : Le modèle a rencontré des difficultés significatives avec la classe « de jugement » (F1 = 0,071). L'analyse d'erreur suggère que cela est dû à la dépendance exclusive au texte OCR, qui manque le contexte visuel, l'ironie et les tropes culturels essentiels à l'identification du sexisme implicite.
Comportement de Démarrage à Froid (Cold-Start) : Le modèle a présenté un phénomène de « démarrage à froid », produisant zéro prédiction « de jugement » au cours des deux premières époques, indiquant une difficulté à apprendre des motifs subtils sans un entraînement prolongé ou une augmentation spécifique.
Stabilité de l'Architecture : Des exécutions exploratoires avec des modèles plus larges (Gemma 2 2B, DeBERTa-v3-large, XLM-RoBERTa-large) étaient moins stables que le modèle de base sous les mêmes hyperparamètres, divergeant souvent ou convergeant vers des prédictions de classe majoritaire.

Signification et Revendications
Les auteurs positionnent ce travail comme une démonstration que l'optimisation des étiquettes souples via la divergence de KL capture efficacement le désaccord des annotateurs dans les tâches de NLP subjectives, améliorant ainsi les approches classiques de vote majoritaire. Le document affirme que la combinaison de la divergence de KL avec l'entropie croisée pondérée permet à un modèle léger, uniquement textuel, de trouver un équilibre entre l'alignement de la distribution et la précision des étiquettes strictes.

Les auteurs maintiennent une position modeste concernant leurs conclusions :

Limites : Ils reconnaissent que l'approche uniquement textuelle échoue intrinsèquement à capturer les interactions texte-visuel centrales à l'interprétation des mèmes, particulièrement pour la classe « de jugement ».
Portée : Les problèmes de stabilité avec les modèles plus larges sont présentés comme des observations exploratoires plutôt que des conclusions définitives sur l'échelle du modèle, notant qu'une recherche dédiée d'hyperparamètres serait nécessaire pour la généralisation.
Éthique : Le document met explicitement en garde contre le déploiement de tels systèmes pour la modération de contenu automatisée sans supervision humaine, en raison des risques de censure injuste et de propagation de contenus nuisibles via des faux négatifs.

En conclusion, le système BioSentinel valide l'utilité du paradigme Le-Wi-Di et des fonctions de perte composées pour la détection du sexisme dans les mèmes, tout en soulignant les défis spécifiques de la modélisation de l'intention implicite sans contexte multimodal.