💬 NLP

Cross-Modal Coreference Alignment: Enabling Reliable Information Transfer in Omni-LLMs

Ce papier identifie le manque de coréférence intermodale comme un frein majeur au raisonnement des modèles Omni-LLM, propose le jeu de données CrossOmni pour évaluer ce défi, et démontre que l'introduction de mécanismes d'apprentissage spécifiques améliore significativement la capacité de ces modèles à transférer des informations de manière fiable entre différentes modalités.

Auteurs originaux : Hongcheng Liu, Yuhao Wang, Zhe Chen, Pingjie Wang, Zhiyuan Zhu, Yixuan Hou, Yanfeng Wang, Yu Wang

Publié 2026-04-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hongcheng Liu, Yuhao Wang, Zhe Chen, Pingjie Wang, Zhiyuan Zhu, Yixuan Hou, Yanfeng Wang, Yu Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Le Grand Défi des "Super-Cerveaux" Multimodaux

Imaginez que vous avez créé un super-cerveau artificiel (un "Omni-LLM"). Ce cerveau est incroyable : il peut voir des vidéos, entendre de la musique et lire des livres. Il est comme un détective qui a tous les sens en éveil.

Mais il y a un problème : ce détective est souvent confus.

🕵️‍♂️ Le Problème : "Qui parle à qui ?"

Dans une scène de film complexe, il y a du bruit, plusieurs personnages qui parlent, et des actions qui se déroulent.

Ce que le cerveau fait bien : Il peut dire "C'est une scène de dispute" (vision globale) ou "La voix est en colère" (audio global).
Ce que le cerveau rate : Il ne parvient pas à faire le lien précis entre la personne qu'il voit à l'écran (le visage de l'homme en costume) et la voix qu'il entend (la voix grave qui dit "Je suis innocent").

C'est comme si vous regardiez un film avec des lunettes qui floutent les visages, mais que vous entendiez parfaitement les voix. Vous savez qu'il y a une dispute, mais vous ne savez pas qui crie à qui. En termes techniques, le modèle échoue à faire de la référence croisée (relier le même objet d'une modalité à l'autre).

🧩 La Solution : Le "Jeu de Détective" (CROSSOMNI)

Les chercheurs de l'Université Jiao Tong de Shanghai ont décidé de créer un terrain de jeu spécial pour entraîner ces cerveaux à faire ce lien précis. Ils ont créé un nouveau jeu appelé CROSSOMNI.

L'analogie du jeu :
Imaginez un jeu où l'on vous donne trois indices séparés :

Un texte qui dit : "Chase a eu un accident de voiture en 2015."
Une vidéo où l'on voit un homme sur un lit d'hôpital.
Un audio où l'on entend une voix qui dit : "Ça fait mal."

Le but du jeu est de dire : "La voix qui parle dans l'audio est bien celle de l'homme sur le lit, et cet homme est bien Chase mentionné dans le texte."

Les chercheurs ont créé 39 000 questions de ce type, avec des réponses détaillées expliquant comment faire ce lien étape par étape. C'est comme donner au détective un manuel de formation pour ne plus jamais se tromper de suspect.

🧠 Pourquoi les modèles actuels échouent-ils ?

En testant 13 de ces super-cerveaux, les chercheurs ont découvert quelque chose de surprenant :

Ils sont excellents pour analyser une seule chose à la fois (juste le texte, ou juste l'image).
Mais dès qu'il faut croiser les informations (texte + image + son), ils perdent le fil.

La métaphore du "Pensée en bloc" :
Actuellement, ces modèles pensent comme un étudiant qui lit un livre, regarde une photo et écoute un enregistrement séparément, puis essaie de deviner la réponse au hasard. Ils ne "pensent pas" activement à faire le pont entre les deux. Ils n'ont pas le réflexe de se demander : "Attends, cette voix correspond-elle à ce visage ?"

🚀 Comment ils ont corrigé le tir ?

Pour réparer ce cerveau, les chercheurs ont utilisé deux méthodes, comme deux façons différentes d'apprendre à un enfant à faire du vélo.

1. La méthode "Copie-Collée" (Apprentissage sans entraînement)

C'est comme donner au détective un exemple résolu juste avant de lui poser la question.

Exemple : "Regarde, ici, on a vu que la voix grave venait de l'homme en costume. Maintenant, réponds à cette nouvelle question en suivant la même logique."
Résultat : Ça marche très bien ! Le modèle comprend soudainement la logique et fait le lien.

2. La méthode "Entraînement Intensif" (SFT + GRPO)

C'est comme mettre le détective dans une école de formation intensive.

On lui montre des milliers d'exemples où il doit expliquer son raisonnement étape par étape ("Je vois cet homme, donc je cherche son nom dans le texte, puis j'écoute sa voix").
On le récompense (comme dans un jeu vidéo) chaque fois qu'il fait le bon lien entre la vue, l'ouïe et la lecture.
Résultat : Le modèle apprend à penser comme un vrai détective. Il développe une "méthode de pensée" interne pour ne plus jamais se tromper de lien.

🌟 Pourquoi c'est important ?

Ce papier nous apprend une leçon cruciale pour l'avenir de l'IA :
Avoir un cerveau qui voit, entend et lit ne suffit pas. Pour être vraiment intelligent, il faut savoir relier les points.

C'est la différence entre avoir une boîte à outils remplie d'outils (vision, audio, texte) et savoir comment assembler ces outils pour construire quelque chose de solide. Sans cette capacité à faire le lien (la "référence croisée"), l'IA restera toujours un peu bête dans les situations complexes, comme un film d'espionnage où elle ne comprendrait jamais qui est le traître.

En résumé : Les chercheurs ont créé un nouveau jeu (CROSSOMNI) pour montrer que les IA actuelles sont confuses, et ils ont prouvé qu'en leur apprenant à "penser étape par étape" pour relier les images, les sons et les textes, on peut les transformer en véritables détectives capables de comprendre le monde réel.

1. Problématique : Le Défi de l'Alignement de Coréférence Cross-Modale

Bien que les Grands Modèles de Langage Omni (Omni-LLMs) aient démontré des capacités impressionnantes dans la perception multimodale holistique, ils échouent systématiquement dans des scénarios complexes nécessitant un raisonnement synergique.

Le Goulot d'Étranglement : Les méthodes actuelles se concentrent sur l'agrégation globale d'informations de plusieurs modalités (texte, audio, vidéo). Cependant, un raisonnement efficace nécessite un alignement de coréférence fin : la capacité à identifier un même référent (une personne, un objet, un événement) dans une modalité source, à le localiser précisément, puis à le ré-identifier et à transférer les informations correspondantes vers une modalité cible.
La Lacune : Les modèles actuels manquent de « schémas de pensée » (thinking patterns) explicites pour effectuer ce transfert d'information. Ils peinent à maintenir la cohérence référentielle entre les modalités, ce qui limite sévèrement leurs performances de raisonnement collaboratif.

2. Méthodologie

Les auteurs proposent une approche structurée en trois volets pour combler ce fossé : la formalisation du problème, la création d'un nouveau benchmark, et le développement de stratégies d'entraînement.

A. Formalisation du Problème

Le défi est formalisé comme un problème d'alignement de coréférence cross-modale. Le modèle doit :

Identifier le référent dans une modalité source ( $m_s$ ).
Localiser ce même référent dans une modalité cible ( $m_t$ ).
Extraire l'information alignée pour répondre à la question.
Cela diffère du raisonnement collaboratif classique qui se contente d'agréger des indices sans nécessairement établir de liens de référence précis.

B. Le Dataset CROSSOMNI

Pour évaluer et entraîner cette capacité, les auteurs introduisent CROSSOMNI, un dataset complet comprenant :

Échelle : 4 147 vidéos et 39 726 paires question-réponse.
Modalités : Audio (A), Vidéo (V), Texte (T).
Tâches : 9 types de tâches au total :
- 3 tâches de coréférence mono-modale (A→A, V→V, T→T).
- 6 tâches de coréférence cross-modale (ex: Audio→Texte, Vidéo→Audio, Texte→Vidéo).
Annotations : Le dataset est enrichi de rationales de raisonnement conçues par des humains, détaillant les étapes d'alignement (localisation du référent, extraction des informations, transfert).
Qualité : Un pipeline rigoureux inclut une vérification humaine et une génération automatique pour assurer la cohérence des annotations (ex: 93,1 % d'accord sur les caractéristiques vocales).

C. Stratégies d'Amélioration

Face aux faiblesses observées, deux stratégies sont proposées pour induire des schémas de pensée conscients de la coréférence :

Apprentissage In-Context (ICL) - Sans entraînement :
- Utilisation d'un prompt dédié guidant le modèle étape par étape pour localiser le référent dans la source, le trouver dans la cible, puis répondre.
- Objectif : Démontrer que la structure de la pensée peut être induite sans mise à jour des poids.
Entraînement Basé (SFT + GRPO) :
- SFT (Supervised Fine-Tuning) : Affinage avec des rationales structurées (Chain-of-Thought) pour enseigner le processus d'alignement.
- GRPO (Group Relative Policy Optimization) : Une méthode de renforcement qui ajoute une récompense spécifique pour les « schémas de pensée » (Thinking-Pattern Reward). Cette récompense évalue la cohérence logique, la localisation visuelle correcte et la justesse du transfert d'information.

3. Résultats Expérimentaux

Les expériences ont été menées sur 13 Omni-LLMs de pointe (incluant les séries Qwen, Baichuan, HumanOmni, etc.).

Évaluation de Base :
- Un écart de performance systématique d'environ 21 % existe entre les tâches mono-modales et cross-modales.
- Les modèles réussissent bien à comprendre le contexte global mais échouent à transférer les références spécifiques entre modalités.
- L'utilisation simple de Chain-of-Thought (CoT) standard n'apporte qu'une amélioration marginale (+1,7 %), prouvant que le problème n'est pas juste un manque de réflexion, mais un manque de schémas de pensée adaptés.
Impact des Solutions Proposées :
- ICL (In-Context Learning) : Réduit l'écart de performance de 24,37 % à 11,01 %, avec une amélioration relative de 21 % sur les tâches cross-modales.
- SFT + GRPO : Offre les gains les plus significatifs. Sur les modèles Qwen2.5-Omni, l'approche GRPO améliore les performances globales de +24,23 % (pour le modèle 7B) et +28,43 % (pour le modèle 3B) sur les tâches cross-modales.
- Généralisation (OOD) : Les modèles entraînés avec ces méthodes se généralisent bien à des benchmarks hors distribution (Daily-Omni, WorldSense, AVUT), confirmant que l'apprentissage de l'alignement de coréférence est une compétence fondamentale transférable.

4. Contributions Clés

Concept d'Alignement de Coréférence Cross-Modale : Redéfinition du problème de raisonnement omni-modal, passant d'une agrégation grossière à un alignement fin de référents.
Dataset CROSSOMNI : Un benchmark riche en rationales de raisonnement, couvrant 9 types de tâches et fournissant des données d'entraînement pour l'alignement tri-modal (Audio-Vidéo-Texte).
Schémas de Pensée Conscients de la Coréférence : Démonstration que l'induction explicite de ces schémas (via ICL ou GRPO) est la clé pour débloquer les capacités de raisonnement des Omni-LLMs, surpassant les méthodes d'entraînement traditionnelles.

5. Signification et Conclusion

Cette étude identifie l'alignement de coréférence comme la « pièce manquante » cruciale pour l'évolution des Omni-LLMs vers un raisonnement robuste. Elle démontre que la simple augmentation de la taille des modèles ou de la quantité de données ne suffit pas si les modèles ne sont pas entraînés à établir des liens précis entre les entités à travers les modalités.

Les résultats suggèrent que l'avenir des modèles omni-modal réside dans l'apprentissage de processus de raisonnement structurés capables de naviguer dynamiquement entre les modalités pour valider et transférer l'information, plutôt que de se contenter d'une fusion passive des données. Les auteurs prévoient d'approfondir l'analyse des échecs dans les tâches audio (notamment la séparation de locuteurs) dans leurs travaux futurs.