💻 computer science

SchröMind: Mitigating Hallucinations in Multimodal Large Language Models via Solving the Schrödinger Bridge Problem

SchrÃ¶Mind est un nouveau cadre visant à réduire les hallucinations des modèles de langage multimodaux en utilisant le problème du pont de SchrÃ¶dinger pour établir une correspondance entre les activations erronées et les activations véridiques avec un coût de transport minimal.

Auteurs originaux : Ziqiang Shi, Rujie Liu, Shanshan Yu, Satoshi Munakata, Koichi Shirahata

Publié 2026-02-11

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ziqiang Shi, Rujie Liu, Shanshan Yu, Satoshi Munakata, Koichi Shirahata

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Syndrome de l'Imposteur" des IA

Imaginez que vous demandiez à un ami de décrire une photo de votre salon. Votre ami regarde la photo, mais au lieu de dire "Il y a un chat sur le canapé", il s'emballe et dit avec un aplomb incroyable : "Il y a un éléphant rose dans le coin de la pièce".

C'est ce qu'on appelle une hallucination dans le monde de l'Intelligence Artificielle (les MLLM). L'IA "voit" bien l'image, mais au moment de parler, elle se laisse emporter par ses propres habitudes de langage ou des erreurs de raisonnement, et elle finit par inventer des choses qui n'existent pas. C'est très dangereux si l'IA est utilisée pour aider un médecin ou conduire une voiture !

La Solution : Schr¨oMind (Le "GPS de la Vérité")

Les chercheurs ont créé Schr¨oMind. Pour comprendre comment ça marche, oublions les mathématiques et utilisons deux analogies :

1. L'analogie du GPS et du Brouillard

Imaginez que l'esprit de l'IA est une voiture qui roule sur une route.

La route de la vérité (Pfact) : C'est le chemin direct et clair qui correspond exactement à ce qu'il y a sur l'image.
La route de l'hallucination (Phallu) : C'est comme si un brouillard épais s'installait soudainement, poussant la voiture sur un chemin de terre qui mène vers des paysages imaginaires.

Jusqu'à présent, pour corriger l'IA, on essayait de lui donner un grand coup de volant global pour la sortir du brouillard. Mais ça la faisait souvent dévier de la route ou perdre sa vitesse (elle devenait moins fluide ou moins intelligente).

Schr¨oMind, lui, agit comme un GPS ultra-précis. Au lieu de donner un grand coup de volant, il calcule la trajectoire la plus courte, la plus douce et la plus efficace pour ramener la voiture sur la route de la vérité, sans même que le conducteur ne sente de secousse.

2. L'analogie du Pont de Schrödinger (Le "Pont de Lumière")

Le nom vient d'un concept mathématique complexe appelé le "Problème du Pont de Schrödinger".

Imaginez deux îles : l'Île des Hallucinations et l'Île de la Réalité. Les chercheurs ne veulent pas simplement "pousser" l'IA d'une île à l'autre. Ils veulent construire un pont de lumière invisible entre les deux.

Ce pont est spécial : il est conçu pour que chaque "pensée" (chaque activation de l'IA) trouve son chemin exact vers sa version correcte. Si l'IA pense "éléphant", le pont la guide doucement vers "chat" en utilisant le chemin le plus court et le plus logique possible.

Pourquoi est-ce une révolution ?

C'est "Sur-Mesure" (Personnalisé) : Contrairement aux anciennes méthodes qui essayaient de corriger tout le monde de la même façon, Schr¨oMind comprend que chaque erreur est unique. Il corrige chaque mot de manière spécifique.
C'est Léger et Rapide : On n'a pas besoin de réentraîner toute l'IA (ce qui coûte des millions d'euros et prend des mois). C'est comme ajouter un petit logiciel de correction de trajectoire sur un avion déjà existant.
C'est redoutable : Les tests montrent que Schr¨oMind est devenu le nouveau champion pour éviter les erreurs, même quand on essaie de piéger l'IA avec des questions très difficiles.

En résumé

Schr¨oMind, c'est comme donner des lunettes de réalité augmentée à une IA qui aurait tendance à rêver éveillée. Cela lui permet de rester ancrée dans le monde réel, sans perdre sa capacité à discuter intelligemment avec nous.

Résumé Technique : Schr¨oMind

1. Problématique : L'hallucination dans les MLLM

Les modèles de langage multimodaux (MLLM) souffrent d'un problème persistant d'hallucination d'objets : le modèle génère du texte qui contredit ou ignore les informations visuelles fournies. Les auteurs soutiennent que le problème ne vient pas d'une incapacité à comprendre l'image, mais d'une difficulté à produire des séquences de jetons (tokens) précises.

Les méthodes actuelles de correction (comme l'ingénierie d'activation) appliquent souvent un vecteur de correction uniforme à toutes les activations d'une tête d'attention. Or, les auteurs soutiennent que chaque jeton possède une position unique dans l'espace des activations ; une correction globale est donc trop simpliste et peut nuire à la fluidité ou à la précision.

2. Méthodologie : Le Problème du Pont de Schrödinger (SBP)

Pour remédier à cela, les auteurs proposent Schr¨oMind, un cadre qui traite la correction des activations comme un problème de transport optimal.

Modélisation des variétés (Manifolds) : Le cadre distingue deux distributions d'activations dans les couches de l'attention : la distribution hallucinatoire ( $P_{hallu}$ ) et la distribution factuelle ( $P_{fact}$ ).
Le Pont de Schrödinger (SBP) : Au lieu d'un simple déplacement linéaire, Schr¨oMind utilise le problème du pont de Schrödinger pour établir une correspondance entre ces deux distributions avec un coût de transport minimal. Cela permet de trouver le chemin le plus "efficace" pour transformer une activation erronée en une activation fiable.
Intervention personnalisée par jeton : Contrairement aux méthodes précédentes, Schr¨oMind calcule une direction de correction spécifique pour chaque jeton. Il utilise une extension de l'entropie-régularisée (EOT) pour modéliser un champ de dérive (drift) qui guide les activations vers la variété factuelle de manière fluide.
Pipeline en deux étapes :
1. Identification : Utilisation de classificateurs de régression logistique pour identifier les têtes d'attention les plus sensibles aux hallucinations.
2. Correction : Application d'une intervention dynamique (via le processus de diffusion du SBP) ou statique pour ajuster les activations lors de l'inférence. L'intervention peut se faire au niveau de l'image entière ou au niveau d'objets spécifiques.

3. Contributions Clés

Cadre d'intervention personnalisé : Première approche qui formule la correction d'activation comme un problème de transport optimal entre des variétés d'hallucination et de vérité.
Utilisation du SBP pour l'inférence : C'est la première méthode utilisant le pont de Schrödinger pour une intervention au niveau du jeton (token-level), permettant une correction précise sans réentraînement massif.
Efficacité computationnelle : La méthode est "plug-and-play" et ne nécessite que quelques minutes d'entraînement léger, tout en préservant les capacités originales du modèle.

4. Résultats Expérimentaux

Les tests ont été menés sur des modèles de pointe (LLaVA-1.5-7B et Qwen2.5-VL-7B) en utilisant les benchmarks POPE (pour l'hallucination d'objets) et MME (pour la perception et le raisonnement).

Performance SOTA : Schr¨oMind surpasse systématiquement les méthodes de l'état de l'art (comme ICT ou VCD). Sur le benchmark POPE, il obtient des gains significatifs, particulièrement sur les questions "adversariales" (les plus difficiles), où il est le seul à maintenir un score F1 supérieur à 80 %.
Polyvalence : Sur le benchmark MME, le modèle montre des améliorations dans presque toutes les dimensions : présence d'objets, position spatiale, comptage, couleur et raisonnement de bon sens.
Synergie des interventions : L'étude d'ablation montre que combiner les interventions au niveau de l'image et au niveau de l'objet produit les meilleurs résultats, prouvant que les deux types de perturbations traitent des aspects différents de l'hallucination.

5. Signification et Impact

La portée de ce travail est majeure pour les domaines critiques (santé, conduite autonome) où les hallucinations des IA peuvent avoir des conséquences graves. En démontrant qu'on peut corriger la "trajectoire" de la pensée d'un modèle (ses activations) via des principes mathématiques de transport optimal, les auteurs ouvrent une nouvelle voie pour rendre les modèles multimodaux plus fiables, sans le coût prohibitif d'un réentraînement complet.