🤖 AI

Learning to Detect Cross-Modal Negation: An Analysis of Latent Representations and an Attention-Based Solution

Cet article aborde le défi de la détection de la négation cross-modale en révélant sa non-séparabilité dans les espaces latents des modèles vision-langage standards et en proposant une nouvelle architecture d'attention cross-modale qui exploite le contexte linguistique et les représentations vidéo auto-supervisées pour obtenir des gains de performance significatifs.

Auteurs originaux : Ali AbuSaleh, Leon Hammerla, Alexander Mehler

Publié 2026-07-21

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali AbuSaleh, Leon Hammerla, Alexander Mehler

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Mystère du « Ne... pas » dans un Monde d'Images et de Mots

Imaginez que vous essayez d'apprendre à un robot à comprendre le monde. Vous lui montrez l'image d'une plage ensoleillée et lui dites : « Ceci est une plage ensoleillée. » Facile, n'est-ce pas ? Le robot examine les pixels, les fait correspondre à sa base de données et dit : « Compris. » Mais que se passe-t-il quand vous dites : « Ceci n'est pas une plage ensoleillée » ? Soudain, le robot est confus. Il voit le soleil, le sable et l'eau, mais vos mots lui ordonnent d'ignorer tout cela. C'est l'affaire délicate de la négation — l'acte de dire que quelque chose est absent, faux ou l'opposé de ce qu'il semble être.

Dans le monde de l'Intelligence Artificielle, il existe des systèmes spéciaux appelés Modèles Vision-Langage (VLM). Considérez-les comme des étudiants super intelligents qui ont lu tous les livres et vu toutes les photos d'Internet. Ils sont excellents pour décrire ce qu'ils voient, mais ils ont du mal avec le concept de « rien ». Si un politicien dit : « Je ne vais pas réduire les impôts », tout en se tenant devant un graphique montrant des baisses d'impôts, un humain comprend instantanément la contradiction. Le robot, cependant, pourrait simplement voir le graphique et le politicien et passer totalement à côté du « ne... pas ». Comprendre comment les machines peuvent apprendre à repérer ces « ne... pas » à travers différents types de médias — comme le mélange des mots avec les vidéos — est un immense casse-tête pour les scientifiques aujourd'hui. Si nous ne pouvons pas apprendre aux machines à comprendre ce qui est manquant ou nié, elles comprendront toujours de travers les parties les plus importantes de la conversation humaine, particulièrement dans des contextes sérieux comme la politique.

L'Enquête Policière : À la Poursuite de l'Invisible « Ne... pas »

Dans cet article, une équipe de chercheurs de l'Université Goethe de Francfort a décidé de jouer au détective pour résoudre ce mystère. Ils voulaient savoir : Les systèmes d'IA actuels peuvent-ils réellement « voir » la négation dans leur cerveau, ou s'agit-il d'un fantôme qui n'existe pas dans leurs données ?

Pour le découvrir, ils ont rassemblé une collection massive de 3 222 clips vidéo politiques et le texte qui les accompagnait. Ils ont utilisé une IA très intelligente (appelée Qwen2.5-VL) pour agir comme un annotateur numérique, étiquetant les moments où les gens disaient « non », « nier » ou « s'opposer ». Ensuite, ils ont mené une série de tests pour voir si les « cartes cérébrales » internes de l'IA (appelées représentations latentes) pouvaient séparer la « négation » de l'« affirmation ».

La Grande Surprise : Le Fantôme dans la Machine
Les chercheurs s'attendaient à trouver que l'IA possédait une zone claire et distincte dans son cerveau pour la « négation », tout comme elle possède une zone claire pour les « chats » ou les « voitures ». Ils se sont trompés. En examinant les données, ils ont découvert que la négation ne forme pas une forme ou un groupe distinct dans l'esprit de l'IA. C'est comme essayer de trouver une couleur spécifique dans un arc-en-ciel qui n'existe pas réellement en tant que bande séparée ; elle est simplement mélangée à tout le reste.

Ils ont essayé d'utiliser des outils mathématiques standards pour trier les vidéos de « négation » des vidéos de « non-négation ». Les résultats ont été décevants : l'IA n'a pas mieux performé qu'un choix aléatoire (comme lancer une pièce). Même lorsqu'ils ont utilisé de nouveaux modèles vidéo sophistiqués conçus pour comprendre les actions (appelés JEPA), le signal de la « négation » est resté invisible. Les chercheurs ont conclu que les systèmes d'IA actuels n'encodent pas naturellement le concept de « ne... pas » comme une caractéristique autonome. Le « ne... pas » n'est pas une chose que l'IA voit ; c'est une relation qui n'existe que lorsque l'on regarde l'image et les mots ensemble.

La Solution : Le Pont Magique
Si l'IA ne peut pas trouver le « ne... pas » par elle-même, comment corriger cela ? L'équipe a construit un nouveau type de « pont » appelé Architecture d'Attention Cross-Modale. Imaginez deux amis essayant de résoudre une énigme. L'un n'a que l'image, et l'autre n'a que les mots. S'ils travaillent seuls, ils échouent. Mais s'ils s'assoient à une table et pointent constamment les indices de l'autre, en disant : « Hé, regarde ce mot pendant que tu regardes cette partie de l'image », ils peuvent résoudre l'énigme.

Ce nouveau système force l'IA à comparer constamment le texte et la vidéo en même temps. Au lieu de regarder la vidéo et le texte séparément, l'IA apprend à demander : « Est-ce que ce mot change le sens de cette image ? » En construisant ce pont, les chercheurs ont constaté une amélioration massive. Leur nouveau modèle a obtenu un score 7,03 % plus élevé sur un test standard (score F1) que les modèles qui ne regardaient que le texte ou que la vidéo seuls. Cela a prouvé que pour comprendre le « ne... pas », il faut mélanger les sens.

L'Asymétrie : Qui a besoin de qui ?
L'une des découvertes les plus fascinantes fut un étrange déséquilibre dans le fonctionnement de la négation. Les chercheurs ont découvert que la négation textuelle (dire « non » par les mots) tient souvent de façon autonome. Si quelqu'un écrit « Je ne suis pas heureux », les mots portent toute la signification, même si l'image est sans rapport.

Cependant, la négation visuelle (montrer le « non » dans une vidéo) est une dépendante totale. Une vidéo d'une pièce vide ne signifie pas automatiquement « pas de fête ». Elle ne signifie « pas de fête » que si le texte ou le contexte vous dit de chercher une fête. Les chercheurs ont découvert que la négation visuelle est sémantiquement dépendante du texte. Dans leurs données, la négation visuelle était totalement absente dans les cas où le texte et la vidéo n'étaient pas liés ou lorsque la vidéo se suffisait à elle-même sans support textuel. Sans les mots pour la guider, la vidéo n'est qu'une image d'une pièce vide. L'IA a appris que pour comprendre le « non » visuel, elle doit d'abord écouter le texte.

Le Test Humain vs Machine
Pour vérifier leur travail, les chercheurs ont demandé à une IA très intelligente (le même modèle Qwen) d'agir comme juge et d'étiqueter les vidéos. Ils ont ensuite comparé les étiquettes de l'IA à celles d'experts humains.

Lorsque l'IA regardait uniquement le texte, elle était assez douée pour repérer la négation, étant d'accord avec les humains environ 53 % du temps.
Mais quand l'IA regardait à la fois le texte et la vidéo, ses performances ont en fait chuté, étant d'accord avec les humains moins de 20 % du temps.

C'était un indice crucial. Cela suggérait que l'ajout de la vidéo n'aidait pas l'IA à mieux comprendre ; en fait, le bruit visuel la confondait. Cela a confirmé que les modèles d'IA actuels ne sont pas prêts à fusionner ces sens par eux-mêmes. Ils ont besoin d'une architecture spéciale (comme le pont qu'ils ont construit) pour donner un sens au mélange.

Ce que cela signifie pour l'avenir

L'article ne prétend pas avoir résolu le problème de la négation pour toujours. Au lieu de cela, il propose un diagnostic très clair : On ne peut pas apprendre à un ordinateur à comprendre le « ne... pas » simplement en lui montrant plus d'images ou plus de mots. Le concept de négation est trop glissant pour être capturé par les cerveaux d'IA standards de manière autonome.

L'idée clé est que la négation est un phénomène cross-modal. Elle vit dans l'espace entre le texte et l'image, et non à l'intérieur de l'un ou l'autre. Pour construire une IA qui comprend véritablement la communication humaine — particulièrement dans des domaines complexes comme la politique où les gens disent une chose mais en montrent une autre — nous avons besoin de systèmes conçus pour comparer et contraster constamment différents types d'informations. Les chercheurs ont montré qu'en construisant ce « pont » d'attention, nous pouvons enfin commencer à apprendre aux machines comment entendre le silence et voir l'absence.

Résumé technique : Apprendre à détecter la négation cross-modale

Énoncé du problème

La détection de concepts sémantiques de haut niveau, plus précisément la négation, à travers les modalités reste un défi majeur pour les modèles vision-langage (VLM) actuels. Bien que la négation soit centrale dans la communication humaine — exprimant l'absence, le refus ou l'opposition — les systèmes actuels peinent à la comprendre ou à la générer, particulièrement lorsqu'il s'agit de lier les négateurs textuels (par exemple, « ne... pas », « jamais ») à des indices visuels d'absence ou de contradiction.

L'article identifie trois problèmes fondamentaux dans les configurations multimodales actuelles :

Manque de séparabilité : La négation ne forme pas une classe linéairement ou non linéairement séparable dans les espaces latents des VLM standards.
Encodage spécifique à la modalité : Les plongements (embeddings) préentraînés encodent principalement des caractéristiques spécifiques à la modalité plutôt qu'un signal de négation généralisable.
Échec de l'alignement : Les simples chevauchements échouent à aligner la négation entre le texte et l'image, car les formats unimodaux capturent des motifs intramodaux mais manquent les dépendances cross-modales essentielles.

Les auteurs étudient ces problèmes dans le contexte du discours politique, en analysant des paires vidéo-texte où les changements subtils de contexte et les significations implicites échappent souvent aux systèmes focalisés sur les correspondances directes.

Méthodologie

La recherche utilise un pipeline multi-étapes impliquant la curation de jeux de données, l'analyse d'embeddings, l'innovation architecturale et l'annotation basée sur les LLM.

1. Jeu de données et prétraitement

Source de données : Un jeu de données de 13 370 tweets provenant de MultiParTweet, avec un accent particulier sur 3 222 paires vidéo-texte de contenu politique.
Transcription : La reconnaissance automatique de la parole (ASR) traite les pistes audio, et l'OCR extrait le texte incrusté dans les images.
Classification : Les auteurs définissent une taxonomie à huit classes de motifs de négation basée sur la présence ou l'absence de négation dans le texte du tweet et dans la transcription des médias (par exemple, négation dans le texte uniquement, négation dans la transcription uniquement, négation dans les deux, ou aucune des deux).

2. Analyse des embeddings

Les auteurs ont d'abord testé si des signaux de négation existent dans les embeddings standards :

Modèles utilisés : Qwen-2.5VL (3B) pour le texte/image/vidéo et des variantes de JEPA-V2 (incluant SSV-pretrained) pour la vidéo.
Techniques : Analyse discriminante linéaire (LDA) et t-SNE pour la visualisation ; PCA pour réduire la dimensionnalité ; et une batterie de 26 classifieurs divers (linéaires, basés sur les arbres, d'ensemble, de plus proches voisins) pour tester la séparabilité.
Résultats : Les classifieurs ont obtenu une précision nominale élevée, mais les scores de précision équilibrée (Balanced Accuracy) et de l'AUC ROC sont restés proches du hasard (0,5). La PCA a révélé que les embeddings encodent des caractéristiques spécifiques à la modalité plutôt que des signaux de négation.

3. Architecture d'attention cross-modale

Pour surmonter les limites des embeddings unimodaux, les auteurs ont proposé un cadre d'attention cross-modale (Cross-Modal Attention Framework) :

Architecture : Un transformeur unifié concatène les embeddings vidéo ( $V$ ) et texte ( $T$ ) ( $X = \text{Concat}(V, T)$ ) et applique une attention multi-têtes.
Mécanisme : Le modèle apprend les dépendances inter-modales pour fusionner des signaux qui sont faibles ou confus lorsqu'ils sont isolés.
Configuration : Les expériences ont comparé des configurations d'attention à 4 têtes contre 8 têtes, constatant que 4 têtes permettaient souvent d'atténuer la surparamétrisation dans des espaces de dimension modérée.

4. Annotation par LLM

Outil : Qwen-VL 2.5 a été utilisé pour générer des annotations structurées pour les 3 222 paires vidéo-texte politiques.
Processus : Le LLM a été incité à détecter la négation dans le texte et la vidéo indépendamment, puis à évaluer l'alignement de la modalité (Complet, Partiel, Unique, Non lié) et l'intention politique.
Validation : Des experts humains ont validé les annotations du LLM, révélant que si le LLM performe bien sur la négation textuelle seule, la détection de la négation visuelle se dégrade sans architectures de fusion spécialisées.

Résultats clés

1. Échec des embeddings unimodaux

Les classifieurs standards appliqués aux embeddings spécifiques à la modalité (vidéo, image ou texte) ont échoué à distinguer les échantillons négociés des non-négociés au-delà du niveau du hasard. Cela confirme que la négation n'est pas un signal séparable dans les espaces latents standards.

2. Succès de l'attention cross-modale

Le cadre d'attention cross-modale proposé a nettement surpassé les bases de référence unimodales :

Gains de performance : A atteint jusqu'à +4,53 % de précision et +7,03 % de F1 par rapport aux bases de traitement de texte unimodal.
Robustesse : Ces gains ont été constants à travers différents backbones d'embeddings (Qwen et JEPA-V2) et extracteurs de caractéristiques (FLAVA), prouvant que l'amélioration provient de la modélisation des dépendances inter-modales plutôt que d'une meilleure extraction de caractéristiques seule.

3. Asymétrie de la manifestation de la négation

L'analyse statistique des 3 222 paires a révélé une asymétrie critique :

Négation textuelle : Apparaît souvent de manière indépendante et est détectable dans des contextes de texte seul.
Négation visuelle : Est sémantiquement dépendante du contexte linguistique. Les indices de négation visuelle ont été presque exclusivement identifiés dans les paires texte-vidéo alignées et étaient absents dans les paires non liées ou unimodales.
Motifs d'attention : Les modèles entraînés sur des cibles de négation textuelle ont montré une attention asymétrique (supprimant l'alignement lorsque les modalités se contredisent), tandis que les modèles entraînés sur la négation vidéo ont maintenu une attention cross-modale élevée et symétrique, renforçant la dépendance de la négation visuelle vis-à-vis du texte.

4. JEPA-V2 et raisonnement temporel

Bien que les embeddings JEPA-V2 fournissent des caractéristiques temporelles de haut niveau, la meilleure performance pour la détection de la négation textuelle a été obtenue avec l'attention cross-modale à 4 têtes utilisant les embeddings Qwen, suggérant que le choix de l'embedding de base impacte significativement l'efficacité du mécanisme d'attention.

Signification et contributions

L'article revendique cinq contributions principales au domaine de l'analyse multimodale :

Taxonomie à huit classes : Une nouvelle classification des motifs de négation multimodale découlant des relations texte-image, permettant une analyse plus fine des changements de sens.
Preuve diagnostique : Preuve empirique que la négation manque de frontières claires dans les embeddings typiques des VLM, remettant en question l'hypothie selon laquelle la négation est une caractéristique apprenable standard dans les espaces latents.
Architecture cross-modale : Un cadre d'attention efficace qui modélise explicitement les dépendances inter-modales, démontrant que la fusion est essentielle pour une détection robuste de la négation.
Analyse de la représentation vidéo : Une analyse des représentations vidéo spécialisées (JEPA2) montrant que des représentations vidéo plus profondes peuvent révéler des motifs de négation, bien qu'elles nécessitent toujours un alignement cross-modal pour une performance optimale.
Cadre d'annotation par LLM : Un cadre scalable, basé sur le prompting, pour annoter la négation dans le discours politique, qui souligne les limites des VLM actuels pour gérer la négation visuelle sans intervention humaine ou architecturale.

Conclusion :
Les auteurs concluent que la négation dans le discours multimodal n'est pas un signal au niveau de l'embedding, mais un phénomène cross-modal. Son expression et son interprétation dépendent fortement de l'alignement des indices textuels et visuels. Par conséquent, les architectures supportant la fusion multimodale, telles que l'attention cross-modale, sont essentielles pour surpasser les bases de référence unimodales. Ce travail suggère que les futurs systèmes doivent aller au-delà de la simple extraction de caractéristiques pour apprendre la sémantique de la négation cross-modale, potentiellement en utilisant des annotations dérivées de LLM comme supervision faible.