Résumé Technique : SIRA – Reconstruction Interne d'Attribution à Préfixe Partagé

Énoncé du Problème

Les Modèles Vision-Langage de Grande Taille (LVLM) souffrent fréquemment d'hallucinations, où le modèle génère des descriptions d'objets, d'attributs ou de relations qui sont linguistiquement plausibles mais non étayées par l'entrée visuelle. Ce problème est particulièrement aigu lorsque les preuves visuelles sont faibles ou ambiguës, permettant aux priors linguistiques à haute probabilité de dominer la prédiction des tokens.

Les stratégies d'atténuation existantes, spécifiquement le décodage contrastif, tentent de résoudre ce problème en comparant la prédiction du modèle sur l'image originale à une prédiction de référence dérivée d'une entrée dégradée ou perturbée (par exemple, des images floues ou masquées). Cependant, les auteurs identifient deux limitations critiques dans ces approches externes :

1. Surcharge Computationsnelle : Elles nécessitent généralement un deuxième passage avant complet à travers le modèle.
2. Artifacts Hors-Manifold : La perturbation de l'image d'entrée peut introduire des artefacts qui ne sont pas représentatifs de la véritable distribution visuelle. Par conséquent, les écarts de logit résultants peuvent refléter des incohérences causées par la perturbation elle-même plutôt qu'une attribution claire des preuves visuelles par rapport aux priors linguistiques.

L'article postule qu'une référence contrefactuelle efficace n'a pas besoin d'être construite externement dans l'espace d'entrée. Au contraire, il soutient que l'exigence clé est une référence alignée qui révèle comment le même état multimodal évoluerait si l'accès aux preuves visuelles fines était restreint dans les étapes de traitement ultérieures.

Méthodologie : SIRA

Les auteurs proposent SIRA (Reconstruction Interne d'Attribution à Préfixe Partagé), un cadre de décodage contrastif interne sans entraînement. SIRA construit une référence contrefactuelle à l'intérieur de la même trajectoire d'inférence LVLM en manipulant le flux d'information au sein des couches du transformateur, plutôt qu'en altérant l'image d'entrée.

Mécanisme Central

SIRA fonctionne en maintenant deux branches de décodage synchronisées qui partagent un « préfixe » commun et ne divergent qu'après une frontière de séparation spécifique ($b$) :

1. Préfixe Partagé ($0$à$b-1$) : Tant la Branche Complète (inférence standard) que la Branche Contrefactuelle partagent le même prompt, les mêmes paramètres de modèle, l'historique de décodage, la structure positionnelle et les calculs des couches précoces. Cela garantit que les deux branches héritent d'une interprétation multimodale identique et stable, ainsi que d'un ancrage visuel précoce avant la séparation.
2. Embranchement Tardif ($b$ à $L-1$) : Après la couche frontière $b$, les branches divergent :
   • La Branche Complète poursuit l'inférence multimodale standard, permettant l'attention sur les tokens d'image.
   • La Branche Contrefactuelle applique un masque d'attention spécifique ($M_{cf}$) qui bloque l'accès aux positions des tokens d'image. Dans cette branche, les tokens d'image ne peuvent pas être lus par les requêtes, ni produire de requêtes alimentant le flux de texte.
3. Contraste Interne : À chaque étape de décodage, SIRA calcule les logit pour les deux branches ($z_{full}$ et $z_{cf}$). Le logit de décodage final ($z_{cd}$) est calculé comme suit :
   $$z_{cd}(v) = (1 + \alpha)z_{full}(v) - \alpha z_{cf}(v)$$
   Où $\alpha$ contrôle la force du contraste.
   • Les tokens qui restent forts dans la Branche Contrefactuelle (manquant d'accès visuel) sont pénalisés, car ils sont probablement pilotés par des priors linguistiques.
   • Les tokens qui gagnent un avantage spécifiquement dans la Branche Complète sont favorisés, car leur probabilité dépend de preuves visuelles continues.

Efficacité

Contrairement aux méthodes nécessitant deux passages avant complets (comme VCD), SIRA partage le calcul pour les premières $b$ couches. Elle n'encourt le coût que des dernières $K$ couches pour la branche contrefactuelle. Cela se traduit par un ratio de coût par token idéalisé de $1 + K/L$ (environ $1,5\times$ pour une séparation en couche médiane), nettement inférieur au coût de $2\times$ des méthodes contrastives externes.

Contributions Clés

1. Perspective de Flux d'Information : L'article réévalue l'atténuation des hallucinations en soutenant que les références efficaces doivent préserver l'ancrage multimodal précoce tout en restreignant l'accès ultérieur aux tokens d'image, plutôt que de s'appuyer sur des perturbations d'entrée externes.
2. Cadre SIRA : La proposition d'une méthode de décodage contrastif interne sans entraînement qui construit une référence contrefactuelle via un embranchement tardif à préfixe partagé et un masquage des tokens d'image post-frontière.
3. Validation Empirique : Des expériences complètes démontrant que SIRA réduit les hallucinations tout en préservant la couverture descriptive et en entraînant une surcharge inférieure aux méthodes à deux passages.

Résultats Expérimentaux

Les auteurs ont évalué SIRA sur Qwen2.5-VL et LLaVA-v1.5 à travers trois benchmarks : POPE (hallucination au niveau objet), CHAIR (hallucination de légende) et AMBER (légende multidimensionnelle).

• POPE : SIRA a obtenu les meilleurs résultats sur les 36 métriques (combinaisons de modèle de base, de jeu de données et de stratégie d'échantillonnage négatif). Elle a amélioré la précision d'une moyenne de +5,4 points sur Qwen2.5-VL et de +4,9 points sur LLaVA-v1.5 par rapport aux décodeurs de base, surpassant des bases solides comme DoLa, OPERA et VCD. Notamment, les améliorations étaient cohérentes même dans les divisions « Adversaires » où les priors linguistiques sont forts.
• CHAIR : SIRA a réduit les taux d'hallucination au niveau phrase (CHAIRs) et au niveau instance (CHAIRi). Par exemple, sur LLaVA-v1.5, CHAIRs est passé de 31,5 à 23,1 à une longueur de 64, indiquant une réduction des mentions d'objets spurius plutôt qu'une simple omission.
• AMBER : SIRA a réduit les métriques d'hallucination (Hal, Cog) tout en préservant ou augmentant la couverture descriptive (Cover). Cela contraste avec des bases comme OPERA et VCD, qui réduisaient souvent les hallucinations en raccourcissant ou en édulcorant les légendes (sur-édulcoration). SIRA a spécifiquement réduit les hallucinations « Cognitives » (Cog), qui sont étroitement couplées aux priors linguistiques.
• Efficacité : SIRA a entraîné une surcharge de latence d'environ 1,4–1,5$\times$ par rapport au décodage standard, nettement inférieure à VCD ($\sim2,1\times$) et OPERA ($\sim5,9\times$).

Importance et Limites

Importance :
L'article affirme que SIRA offre un proxy d'attribution au niveau token plus direct et plus propre que les références construites externement. En maintenant la branche contrefactuelle sur le même manifold de modèle et en partageant l'état sémantique précoce, SIRA isole la contribution des preuves visuelles sans introduire d'artefacts de perturbation. Elle atteint une réduction des hallucinations de l'état de l'art sans nécessiter de réentraînement du modèle, de vérificateurs externes ou d'entrées perturbées, la rendant applicable aux LVLM à poids ouverts avec accès en boîte blanche.

Limites :
Les auteurs reconnaissent deux limitations principales :

1. Surcharge : Bien que plus faible que les méthodes à deux passages, SIRA entraîne toujours un coût de décodage par étape non nul dû à la réévaluation de la branche contrefactuelle.
2. Exigences d'Accès : La construction du contraste interne nécessite un accès en boîte blanche aux états cachés, aux masques d'attention et aux états de cache, limitant son application aux LVLM à poids ouverts ou contrôlables plutôt qu'aux API en boîte noire.