Résumé technique : Atténuer le départ du manifold via la rectification de sous-espace sensible à l'incertitude

1. Énoncé du problème

Les modèles de langage multimodaux (MLLM) souffrent fréquemment d'hallucinations d'objets, générant un contenu qui est fluide et plausible mais incohérent avec les entrées visuelles. Ce phénomène est principalement attribué à une dépendance excessive aux priors linguistiques appris lors du pré-entraînement, qui peuvent l'emporter sur des preuves visuelles faibles ou ambiguës.

Bien que les récentes stratégies de décodage sans entraînement tentent d'atténuer cela en pénalisant les priors linguistiques (par exemple, via le décodage contrastif), les auteurs identifient une faille critique dans ces approches : elles traitent les priors linguistiques comme étant uniformément nuisibles. En réalité, les priors jouent un double rôle :

• Nuisible : Ils induisent des hallucinations lorsque les preuves visuelles et linguistiques entrent en conflit (par exemple, prédire une « banane jaune » alors que l'image montre une banane bleue).
• Utile : Ils stabilisent et renforcent la génération lorsque celle-ci est alignée avec les preuves visuelles (par exemple, renforcer « jaune » quand l'image est effectivement une banane jaune).

La suppression indiscriminée des priors perturbe le manifold sémantique interne du modèle, poussant les états cachés vers des régions de faible densité et dégradant les performances même dans les cas valides. Les auteurs nomment ce mode de défaillance le Départ du Manifold (Manifold Departure).

2. Méthodologie : Projection adaptative guidée par le manifold (MGAP)

Pour remédier au Départ du Manifold, l'article propose MGAP, un cadre de décodage conscient de la géométrie et sans entraînement. Contrairement aux méthodes de suppression linéaire globale, MGAP effectue des mises à jour sélectives par sous-espace qui préservent la structure sémantique orthogonale du modèle.

2.1. Hors ligne : Construction du sous-espace de prior linguistique sans étiquette

MGAP construit d'abord une représentation de faible dimension des priors linguistiques sans nécessiter d'étiquettes ou de contenu d'image :

1. Collecte de données : Le modèle traite un ensemble de requêtes textuelles avec une entrée « aveugle » (par exemple, une image nulle ou perturbée) pour extraire les états cachés de la dernière couche $\{h_{blind}^{(i)}\}$.
2. Estimation du sous-espace : Une matrice centrée de ces états aveugles est formée, et une décomposition en valeurs singulières (SVD) est appliquée. Les $K$ vecteurs singuliers de droite supérieurs ($V_{prior}$) définissent le sous-espace de prior linguistique, capturant les variations dominantes induites par les régularités linguistiques.

2.2. En ligne : Projection adaptative sensible à la cohérence

Lors du décodage multimodal standard, MGAP intervient à chaque étape $t$ pour atténuer sélectivement les priors uniquement lorsque cela est nécessaire :

1. Projection : L'état caché actuel $h_{orig}$ est projeté sur le sous-espace de prior : $h_{proj} = V_{prior}V_{prior}^\top h_{orig}$.
2. Vérification de cohérence (Protection) : L'alignement entre l'état original et la projection du prior est mesuré via la similitude cosinus. Un score de décalage $\delta = 1 - \cos(h_{orig}, h_{proj})$ est calculé. Un $\delta$ faible implique que l'état est cohérent avec le prior (aucune suppression nécessaire).
3. Porte d'incertitude : L'incertitude prédictive est estimée à l'aide de l'entropie de Shannon ($H$) de la distribution des tokens. Un facteur de porte $\gamma = \tanh(\lambda H)$ est dérivé, amplifiant l'intervention uniquement lorsque le modèle est incertain.
4. Correction adaptative : L'état caché corrigé est calculé comme suit :
   $$h_{cut} = h_{orig} - \alpha \cdot \gamma \cdot \delta \cdot h_{proj}$$
   Cette formulation garantit que la correction est bornée et sélective. Si l'évidence visuelle s'aligne avec le prior (faible $\delta$) ou si le modèle est confiant (faible $H$), l'opération se rapproche d'une application identité, préservant ainsi le manifold sémantique.

3. Principales contributions

L'article présente trois contributions majeures :

1. Identification du Départ du Manifold : Les auteurs définissent et analysent formellement le « Départ du Manifold » comme un mode de défaillance géométrique où la suppression linéaire uniforme pousse les états cachés loin du manifold sémantique de haute densité, expliquant pourquoi les méthodes existantes dégradent les performances même lorsque les priors sont corrects.
2. Proposition de MGAP : Un nouveau cadre de décodage qui apprend un sous-espace de prior linguistique à partir d'états aveugles et applique une projection sélective par sous-espace et sensible à l'incertitude. Cela permet de supprimer les hallucinations sans perturber les composantes sémantiques orthogonales.
3. Validation théorique et empirique : L'article fournit des preuves théoriques montrant que les mises à jour de MGAP sont bornées et sélectives par sous-espace. Des expériences approfondies démontrent que MGAP atteint de meilleurs compromis entre l'atténuation des hallucinations et la fidélité descriptive par rapport aux bases de référence précédentes.

4. Résultats expérimentaux

Les auteurs ont évalué MGAP sur deux backbones représentatifs (LLaVA v1.5-7B et Qwen3-VL-8B) à travers plusieurs benchmarks :

• POPE (Hallucination d'objets) : MGAP a systématiquement surpassé le décodage vanilla et les autres bases de référence sans entraînement (VCD, ICD, HalTrapper, DeCo, MoD) sur les divisions Random, Popular et Adversarial. Notamment, alors que des méthodes comme VCD dégradaient les performances sur les divisions standards, MGAP a amélioré la Précision et le F1 tout en maintenant une Précision (Accuracy) élevée.
• CHAIR (Légende d'image) : MGAP a considérablement réduit les taux d'hallucination (scores CHAIR et CHAIRi plus bas) par rapport à toutes les bases de référence, tout en améliorant simultanément la précision. Cela indique que l'atténuation des hallucinations a été réalisée sans une génération excessivement conservatrice.
• Benchmark AMBER : MGAP s'est bien généralisé à ce benchmark diversifié, montrant que le sous-espace de prior appris capture des propriétés structurelles transférables des hallucinations au-delà des protocoles d'évaluation spécifiques.
• Efficacité : Contra//irement aux méthodes de décodage contrastif qui nécessitent plusieurs passages vers l'avant (ex: VCD, ICD), MGAP opère au sein d'un seul passage vers l'avant. Il a réduit la latence d'inférence d'environ 50 % par rapport aux bases de référence contrastives tout en restant entièrement sans entraînement.

5. Signification et affirmations

L'article affirme que la suppression indiscriminée des priors linguistiques est une limitation fondamentale des stratégies actuelles de décodage sans entraînement. En recadrant le problème à travers le prisme de la géométrie des représentations, les auteurs démontrent que le Départ du Manifold est la cause racine de la dégradation des performances dans les méthodes existantes.

La signification de MGAP réside dans son mécanisme d'intervention sélective. En modélisant les priors comme un sous-espace de faible rang et en appliant une porte adaptative sensible à l'incertitude, MGAP évite l'approche de l'« instrument contondant » des décalages linéaires globaux. Les auteurs affirment que cette approche permet aux MLLM de conserver les avantages stabilisateurs des priors linguistiques lorsqu'ils sont corrects, tout en les supprimant efficacement uniquement lorsqu'ils entrent en conflit avec l'évidence visuelle, atteignant ainsi un processus de décodage plus robuste et fiable.

Le travail conclut que les priors d'hallucination ne sont pas de simples artefacts de benchmarks spécifiques mais présentent des propriétés structurelles transférables dans l'espace de représentation, suggérant qu'une correction sélective des priors est un mécanisme généralisable pour améliorer les grands modèles de vision-langage.