💻 computer science

YARD: Y-Architecture Register Decoding for Efficient Hallucination Mitigation in Large Vision-Language Models

YARD est un cadre de travail sans entraînement qui atténue les hallucinations dans les grands modèles vision-langage en employant une architecture en Y pour partager des calculs superficiels et bifurquer au niveau des couches intermédiaires, où il remplace les jetons visuels fins par des jetons de registre afin de générer un signal contrastif efficace sans la latence d'une seconde passe avant.

Auteurs originaux : Ting Chen, Geng Li, Guohao Chen, Yu Hu, Guan Huang, Mai Chen, Langsheng Lei, Jun Du

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ting Chen, Geng Li, Guohao Chen, Yu Hu, Guan Huang, Mai Chen, Langsheng Lei, Jun Du

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Vision-Langage (LVLM) comme un conteur très talentueux mais légèrement trop sûr de lui. Vous lui montrez la photo d'une plage, et il commence à décrire la scène. Parfois, il dit des choses justes (« Il y a des parasols et des gens »), mais d'autres fois, il invente avec assurance des détails qui ne sont pas là (« Et regardez, il y a une planche de surf et un chien ! »). C'est ce qu'on appelle une hallucination.

Le papier présente une nouvelle méthode appelée YARD (Y-Architecture Register Decoding) pour empêcher ce conteur d'inventer des choses, sans avoir besoin de réentraîner le modèle ou de le ralentir.

Voici comment fonctionne YARD, décomposé en concepts simples :

1. Le problème des anciennes méthodes

Avant YARD, les chercheurs essayaient de corriger les hallucinations en utilisant une technique appelée « Décodage Contrastif ». Considérez cela comme si l'on demandait au conteur de raconter l'histoire deux fois :

Version A (Propre) : « Regarde la vraie photo et dis-moi ce que tu vois. »
Version B (Dégradée) : « Dis-moi ce que tu vois, mais fais comme si la photo était floue ou incomplète. »

L'ordinateur compare ensuite les deux histoires. Si la Version B invente une planche de surf mais que la Version A ne le fait pas, l'ordinateur sait qu'il doit supprimer l'idée de la « planche de surf » dans la réponse finale.

Cependant, les méthodes précédentes présentaient deux gros défauts :

L'approche du « Bandeau sur les yeux » : Certaines méthodes supprimeient complètement l'entrée visuelle pour la Version B. C'était trop extrême. Le modèle se contentait de deviner en se basant sur ses connaissances générales (ex : « Les plages ont souvent des planches de surf »), ce qui n'aidait pas à détecter les mensonges spécifiques à cette plage précise.
L'approche du « Double Travail » : D'autres méthodes corrompaient les pixels de l'image (en ajoutant du bruit). Cela obligeait l'ordinateur à traiter l'image deux fois de zéro, ce qui était très lent et coûteux.

2. La solution YARD : La forme en « Y »

YARD change la donne en construisant un chemin en forme de Y à l'intérieur du cerveau du modèle.

Le Tronc (Chemin Partagé) : Les histoires « Propre » et « Dégradée » commencent ensemble. Elles partagent les premières couches de traitement. C'est comme lire le premier paragraphe d'un livre ensemble. Cela permet de gagner du temps car le modèle n'a pas besoin de faire le double du travail.
La Bifurcation (La Couche Médiane) : À un point précis au milieu du processus de réflexion du modèle, le chemin se sépare.
- La Branche Gauche (Propre) : Continue normalement, en observant chaque petit détail (patchs) de l'image.
- La Branche Droite (Dégradée) : C'est là que la magie opère. Au lieu de regarder chaque petit détail, cette branche est forcée de regarder l'image à travers un « Registre ».

3. La métaphore du « Registre »

Imaginez que l'image est une carte haute résolution.

La Branche Propre regarde la carte et voit chaque rue, chaque arbre et chaque maison.
La Branche Dégradée (utilisant YARD) reçoit un « Registre ». Un Registre est comme une note de synthèse qui dit : « C'est une scène de plage avec de l'eau et du sable », mais il cache les détails spécifiques. Il sait qu'il y a des gens, mais il ne peut pas voir où ils se tiennent ni ce qu'ils tiennent.

Pourquoi est-ce ingénieux ?
Si le modèle essaie de dire : « Il y a une planche de surf », la Branche Propre (qui voit les détails) vérifie la carte et dit : « Non, je ne vois pas de planche de surf ». La Branche Dégradée (qui ne voit que l'ambiance générale de la plage) pourrait dire : « Eh bien, les plages ont souvent des planches de surf, donc peut-être ? »

Lorsque l'ordinateur compare ces deux versions, il réalise : « La Branche Propre dit "Non", mais la Branche Dégradée devine "Oui" en se basant sur l'ambiance générale ». YARD supprime alors la supposition de la « planche de surf ». Cela maintient l'histoire ancrée dans la réalité car la branche « Propre » possède la preuve, et la branche « Dégradée » sert de détecteur pour les choses que le modèle ne fait que deviner.

4. Pourquoi le « Milieu » est important

Le papier a découvert que le cerveau du modèle fonctionne par étapes.

Couches précoces : Préparation de l'image.
Couches médianes : C'est le « point idéal » où le modèle commence à relier le texte aux détails visuels spécifiques.
Couches tardives : Le modèle a déjà décidé de ce qu'il va dire.

YARD sépare le chemin pile au milieu. Si l'on sépare trop tôt, le modèle n'a pas encore assez vu l'image. Si l'on sépare trop tard, le modèle a déjà « mémorisé » les détails et ne sera pas dupe de la version dégradée. Le milieu est le moment parfait pour introduire le « Registre » afin de tester si le modèle regarde réellement l'image ou s'il est simplement en train de deviner.

5. Le Résultat

En utilisant ce chemin en forme de Y et l'astuce du « Registre », YARD permet de :

Être plus Rapide : Comme les deux chemins partagent le début, le modèle n'a pas besoin de traiter l'image deux fois de zéro.
Être plus Intelligent : Il détecte mieux les hallucinations que les méthodes précédentes car il crée un « combat équitable » entre une vue détaillée et une vue générale, plutôt qu'entre une vue détaillée et une supposition aveugle.
Fonctionner Partout : Le papier a testé cela sur de nombreux modèles d'IA différents, et cela a fonctionné de manière constante sans nécess avoir à les réentraîner.

En résumé, YARD est comme un fact-checker (vérificateur de faits) qui siège à l'intérieur du cerveau de l'IA, demandant : « Es-tu sûr de voir cela, ou es-tu juste en train de deviner en fonction de ce qui arrive habituellement ? ». Il fait cela efficacement, sans ralentir la conversation.

Résumé Technique : YARD – Décodage par Registre d'Architecture en Y pour une Atténuation Efficace des Hallucinations

1. Énoncé du Problème

Les grands modèles de langage-vision (LVLM) souffrent fréquemment d'hallucinations, générant du texte sémantiquement plausible mais incohérent avec l'entrée visuelle (par exemple, des objets inexistants, des attributs incorrects ou des relations spatiales non supportées). Bien que le Décodage Contrastif (CD) offre une solution sans entraînement en contrastant une branche de modèle « propre » avec une branche « dégradée » pour supprimer les logits propices aux hallucinations, les méthodes existantes font face à deux dilemmes critiques :

Branches dégradées sous-optimales :
- Approches textuelles uniquement : Supprimer complètement les jetons visuels réduit la branche dégradée à un modèle de priorité linguistique. Cela induit des hallucinations basées sur des priorités génériques qui peuvent ne pas s'aligner sur l'image spécifique en entrée, échouant ainsi à isoler les hallucinations spécifiques à l'image.
- Dégradation au niveau des pixels : Corrompre les images d'entrée (par exemple, en ajoutant du bruit) offre un contrôle grossier. Comme les caractéristiques visuelles (couleur, texture, contours) sont étroitement entrelacées dans l'espace des pixels, ces perturbations échouent souvent à isoler l'évidence locale responsable des hallucinations et contaminent au lieu de cela les logits dégradés avec des signaux visuels authentiques.
Latence d'inférence : La plupart des méthodes de CD existantes nécessitent deux passages avant complets (un pour la branche propre, un pour la branche dégradée), ce qui augmente considérablement la latence d'inférence.

2. Méthodologie : YARD

Les auteurs proposent YARD (Y-Architecture Register Decoding), un cadre sans entraînement qui construit une branche dégradée en interne au sein du décodeur LLM. La méthode est pilotée par deux observations clés concernant le flux d'informations intermodales :

A. Où dégrader : La fenêtre de la couche intermédiaire

L'analyse de l'attention texte-vers-vision et les expériences d'intervention révèlent que :

Couches superficielles : L'attention est diffuse et facilement distraite.
Couches profondes : L'évidence visuelle pertinente pour la tâche a largement été intégrée dans les représentations du côté texte ; perturber les jetons visuels ici a un impact minimal sur les prédictions finales.
Couches intermédiaires : Il s'agit de la fenêtre critique où l'ancrage visuel fiable émerge, et où les jetons textuels commencent à acquérir une évidence visuelle locale avant l'intégration complète.
Stratégie YARD : Le cadre partage les couches de décodeur superficielles entre les branches propre et dégradée et se divise (branchements) exactement à une couche intermédiaire (par exemple, la couche 10 dans un modèle de 25 couches). Cela permet à la branche dégradée d'hériter du contexte multimodal précoce tout en empêissant l'intégration complète de l'évidence locale fine.

B. Comment dégrader : Dégradation au niveau des caractéristiques basée sur les registres

Au lieu de corrompre l'image d'entrée ou de supprimer entièrement les jetons, YARD construit une condition dégradée au niveau des caractéristiques :

Jetons de registre : YARD utilise des jetons de registre (proposés à l'origine pour absorber les artefacts aberrants de haute norme dans les Vision Transformers). Ces jetons sont construits au moment du test en redirigeant les activations MLP anormales vers un jeton ajouté.
Le mécanisme de dégradation :
- Branche propre : Conserve les jetons de patch originaux ( $Z$ ) et les jetons de registre ( $R$ ).
- Branche dégradée : Écarte les jetons de patch fins ( $Z$ ) et repose uniquement sur les jetons de registre ( $R$ ) et les jetons textuels ( $T$ ).
Effet : Les jetons de registre préservent les sémantiques globales grossières de l'image (gardant la branche « consciente de l'image ») mais manquent d'correspondance locale fine (la rendant « localement sous-ancrée »). Cela crée un signal contrastif qui expose les composants propices aux hallucinations sans l'écart de modalité extrême des branches textuelles seules ou le bruit de la corruption au niveau des pixels.

C. Architecture en Y pour l'efficacité

En partageant le calcul des couches superficielles ($1 $à$ K$) avant la division, YARD évite le second passage avant complet coûteux requis par les méthodes de contraste au niveau de l'entrée. Les branches ne divergent que pour les couches restantes ( $K+1$ à $D$ ).

Le logit final est calculé comme suit :
$\ell^{yard}_i = (1 + \alpha)\ell^c_i - \alpha\ell^d_i$
où $\ell^c$ et $\ell^d$ sont les logits provenant des branches propre et conditionnée par le registre, respectivement.

3. Contributions Clés

Dégradation au niveau des caractéristiques basée sur les registres : Introduit une nouvelle méthode pour construire une branche contrastive consciente de l'image mais localement sous-ancrée sans corrompre l'entrée visuelle, en utilisant des jetons de registre pour préserver les sémantiques globales tout en supprimant l'évidence locale.
Analyse de la pureté de la branche dégradée : Démontre par ablation que la dégradation au niveau des caractéristiques (spécifiquement l'information globale via les registres) expose un signal d'hallucination plus pur que la dégradation textuelle seule ou au niveau des pixels, comme en témoigne l'abaissement des métriques d'hallucination lorsque l'ancrage conservateur du logit propre ( $\alpha$ ) est supprimé.
Cadre YARD : Présente un cadre de décodage d'architecture en Y efficace et sans entraînement qui atténue systématiquement les hallucinations à travers de multiples LVLM tout en réduisant considérablement la latence d'inférence par rapport aux méthodes à double passage.

4. Résultats Expérimentaux

YARD a été évalué sur des benchmarks à la fois génératifs (AMBER, Object HalBench, MME-Hallucination) et discriminatifs (AMBER Discrimination, POPE) en utilisant divers backbones (LLaVA-1.5, LLaVA-NeXT, Qwen2/3-VL, InstructBLIP, Mini-Gemini).

Performance Générative : Sur LLaVA-1.5-7B, YARD a réduit les scores Object HalBench (CHs/CHi) de 27.0/10.5 à 19.7/6.5, surpassant les méthodes de pointe comme OPERA, VCD et FuzzyCD. Il a également obtenu les meilleurs scores de perception des couleurs sur MME-Hallucination, indiquant une capacité visuelle préservée.
Performance Discriminative : YARD a amélioré l'exactitude/F1 d'AMBER de 67.00/71.10 à 78.70/84.10 et l'exactitude/F1 de POPE de 83.93/82.24 à 86.14/85.85 sur LLaVA-1.5.
Transférabilité : La méthode a démontré des améliorations constantes à travers toutes les architectures testées, y compris Qwen3-VL et LLaVA-NeXT, suggérant qu'elle capture une propriété générale du décodage des LVLM plutôt qu'une propriété spécifique à l'architecture.
Études d'Ablation : Ont confirmé que la division à la couche intermédiaire (par exemple, $K=10$ ) est critique ; une division trop tôt ou trop tard produit des résultats sous-optimaux. La dégradation basée sur les registres a surpassé les variantes de dégradation de caractéristiques « Moyenne » et « Texte seul ».

5. Signification et Revendications

L'article affirme que YARD répond au compromis fondamental du décodage contrastif : le besoin d'une branche dégradée qui soit suffisamment différente pour exposer les hallucinations mais suffisamment alignée avec l'image pour éviter les priorités linguistiques génériques. En déplaçant la dégradation dans un espace structuré de niveau caractéristique au sein du décodeur, YARD atteint :

Signaux Contrastifs Fidèles : La conception « globale-mais-locale-manquante » supprime efficacement les prédictions qui sont plausibles sous un ancrage local faible mais non supportées par l'évidence visuelle propre.
Efficacité : L'architecture en Y élimine la nécessité d'un second passage avant complet, ce qui en fait une solution pratique pour le déploiement.
Généralité : L'approche n'est pas liée à des architectures de modèles spécifiques, offrant une heuristique sans entraînement générale pour l'atténuation des hallucinations.

Les auteurs notent des limites concernant la dépendance à la construction de représentations de registres efficaces pour les LVLM spécifiques basés sur Transformer, et la sensibilité au choix de la couche de branchement, suggérant des travaux futurs pour adapter ces mécanismes à des architectures multimodales plus larges.