🤖 AI

Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models

L'article propose RUDDER, un cadre à faible surcharge qui atténue les hallucinations dans les modèles de langage-vision de grande taille en injectant une ancre visuelle adaptative et fondée sur des preuves, dérivée des mises à jour résiduelles de préremplissage, dans le processus de décodage, réduisant ainsi considérablement les taux d'hallucination tout en maintenant un débit élevé à travers diverses architectures.

Auteurs originaux : Zhengtao Zou, Ya Gao, Jiarui Guan, Bin Li, Pekka Marttinen

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhengtao Zou, Ya Gao, Jiarui Guan, Bin Li, Pekka Marttinen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robot très intelligent qui regarde des images et les décrit à voix haute. Ce robot est excellent, mais il a une habitude amusante : parfois, il devient si confiant dans ses propres « associations de mots » qu'il se met à inventer des choses.

Par exemple, si vous lui montrez une image d'une table avec un livre, il pourrait dire : « Il y a un livre et une tasse sur la table. » Même s'il n'y a pas de tasse sur l'image, le robot sait que les « livres » et les « tasses » vont souvent ensemble dans les histoires, alors il hallucine (imagine) la tasse.

Cela arrive parce que, au fur et à mesure que le robot parle, le souvenir de l'image réelle commence à s'estomper, comme une chanson qui devient plus faible en arrière-plan tandis que la voix interne du robot devient plus forte.

L'article présente une nouvelle méthode appelée RUDDER pour corriger cela sans ralentir le robot. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : L'Ancrage qui s'efface

Pensez à l'image que le robot voit comme une ancre qui le maintient ancré à la réalité.

Le Problème : Au fur et à mesure que le robot commence à parler, cette ancre est entraînée loin. Le robot cesse de regarder l'image et commence à deviner en fonction de ce qu'il pense qu'il devrait y avoir.
Anciennes Solutions : Les méthodes précédentes tentaient de résoudre ce problème en obligeant le robot à s'arrêter, à relire l'image et à réessayer. C'est comme demander à un élève d'arrêter d'écrire une dissertation, de retourner à la bibliothèque pour relire le livre, puis de continuer. Cela fonctionne, mais cela prend une éternité et est très lent.

2. La Solution : RUDDER (Le Système d'« Ancrage Visuel »)

RUDDER est une manière astucieuse de maintenir l'ancre attachée à la main du robot sans l'obliger à s'arrêter ou à relire l'image. Il le fait en deux étapes :

Étape A : La « Photo Instantanée » (CARD)

Avant que le robot ne commence à parler, il prend une « photo instantanée » rapide et unique des détails les plus importants de l'image.

L'Analogie : Imaginez que le robot prend une photo mentale de l'image et écrit une seule phrase puissante qui résume exactement ce qui se trouve dans l'image. Il appelle cela le CARD (Direction Résiduelle d'Activation Contextuelle).
Pourquoi c'est spécial : Il capture ces informations tandis que l'image est encore fraîche dans l'esprit du robot. Il n'a pas besoin de prendre une nouvelle photo plus tard ; il se contente de retenir cette « direction de preuve » comme une boussole.

Étape B : La « Porte Intelligente » (Porte Bêta)

Maintenant, alors que le robot commence à parler mot par mot, il doit savoir quand utiliser cette boussole.

Le Problème avec les Anciennes Méthodes : Si vous forcez le robot à regarder la boussole à chaque fois qu'il parle, il pourrait se confondre lorsqu'il parle simplement de grammaire ou de mots de liaison (comme « le » ou « et »).
La Correction RUDDER : RUDDER utilise une Porte Bêta, qui agit comme un feu de circulation digne de confiance.
- Feu Vert : Si le robot parle de quelque chose qui correspond à l'image (par exemple, « une voiture rouge »), le feu passe au vert. Il dit : « Super, vous êtes sur la bonne voie ! Continuez à suivre la boussole. »
- Feu Rouge : Si le robot parle de quelque chose qui ne correspond pas à l'image ou n'utilise que des mots de grammaire, le feu passe au rouge. Il dit : « Stop ! Ne forcez pas les détails de l'image ici ; continuez simplement à faire couler la phrase naturellement. »

3. Pourquoi c'est une Grande Nouvelle

L'article affirme que RUDDER est un « tour de magie » pour l'efficacité :

Aucune Étape Supplémentaire : Contrairement aux autres méthodes qui obligent le robot à relire l'image (ce qui est lent), RUDDER fait tout en un seul passage. C'est comme si le robot tenait la boussole tout en marchant, plutôt que de s'arrêter pour regarder une carte tous les 10 pas.
Vitesse : Il maintient le robot presque aussi rapide qu'auparavant (96 % de la vitesse originale).
Précision : Il empêche avec succès le robot d'inventer des objets (comme la fausse tasse) dans de nombreux types de robots (modèles), réduisant ces erreurs d'environ 24 % en moyenne.

Résumé

En bref, RUDDER donne au robot une boussole (la preuve visuelle) et un feu de circulation intelligent (la porte) qui lui indique exactement quand regarder la boussole et quand continuer simplement à parler. Cela maintient le robot honnête sur ce qu'il voit, sans le rendre lent ou malhabile.

Résumé technique : Pilotage adaptatif de la mise à jour résiduelle pour l'atténuation à faible surcharge des hallucinations dans les grands modèles de langage visuel

1. Énoncé du problème

Les grands modèles de langage visuel (LVLM) encodent généralement les entrées visuelles comme un préfixe pour un décodeur de langage. Au fur et à mesure que le modèle génère du texte de manière autorégressive, cette information visuelle initiale subit une « dilution », amenant le modèle à trop s'appuyer sur des priors linguistiques internes plutôt que sur le contexte visuel. Ce phénomène est un moteur principal de l'hallucination d'objets, où les modèles décrivent avec assurance des objets absents de l'image (par exemple, halluciner une « tasse » basée sur l'association linguistique avec « surface »).

Les méthodes existantes d'intervention au moment de l'inférence (ITI) tentent de corriger cela via un décodage contrastif ou un raffinement itératif. Cependant, ces approches se heurtent à un goulot d'étranglement sévère en matière d'efficacité : elles nécessitent généralement plusieurs passes avant (FWD supplémentaires) ou des classificateurs externes, entraînant des coûts de latence prohibitifs qui compromettent le déploiement dans le monde réel. Il existe un compromis critique entre l'efficacité (réduction des hallucinations) et l'efficience (maintien d'une faible latence).

2. Méthodologie : RUDDER

Les auteurs proposent le Règlement de Décodage Dirigé par la Mise à Jour Résiduelle (RUDDER), un cadre conçu pour contrer la dilution visuelle en créant une ancre visuelle persistante sans passes avant supplémentaires. La méthode opère au sein d'une seule passe d'inférence et se compose de deux composants principaux :

2.1. Vecteur CARD (Direction Résiduelle d'Activation Contextuelle)

L'idée centrale est que le signal visuel est préservé de manière maximale dans le flux résiduel pendant l'étape obligatoire de préremplissage (où les jetons d'image et d'invite sont traités en parallèle).

Extraction : Pendant l'étape de préremplissage, RUDDER extrait les mises à jour résiduelles de l'attention self ( $\Delta^l_i$ ) d'une couche de décodeur cible $l$ .
Agrégation : Ces mises à jour sont regroupées (par exemple, via une moyenne ou une moyenne pondérée par la magnitude) sur tous les jetons d'image et d'invite, puis normalisées L2 pour former un vecteur par échantillon, $v_{CARD}$ .
Fonction : Ce vecteur représente une direction robuste conditionnée par l'image qui capture l'effet net des preuves visuelles sur les représentations des jetons. Il sert d'« ancre visuelle » pour guider la trajectoire de génération vers le contexte visuel.
Coût : L'extraction se produit pendant la passe de préremplissage standard, n'entraînant aucune passe avant supplémentaire.

2.2. Porte Beta (Mécanisme de Pilotage Adaptatif)

Pour injecter l'ancre visuelle sans perturber la génération de jetons syntaxiques ou non visuels, RUDDER emploie un mécanisme de porte adaptatif basé sur la distribution bêta.

Mécanisme de confiance : Au lieu d'agir comme un détecteur d'erreurs, la porte fonctionne comme un estimateur de « confiance ». Elle calcule la similarité cosinus ( $s_t$ ) entre l'état caché courant ( $h_{l,t}$ ) et le vecteur $v_{CARD}$ .
Formulation : Les paramètres de la porte ( $\alpha_t, \beta_t$ $α_{t}, β_{t}$ ) sont dérivés d'une postérieure conjuguée Beta-Bernoulli utilisant une application softplus de $s_t$ $s_{t}$ . La valeur de la porte $g_t = \frac{\alpha_t}{\alpha_t + \beta_t}$ $g_{t} = \frac{α _{t}}{α _{t} + β _{t}}$ détermine l'intensité de l'intervention.
- Alignement élevé ( $s_t \uparrow$ ) : Indique que la génération est cohérente avec les preuves visuelles. La porte renforce l'injection pour maintenir la trajectoire ancrée.
- Alignement faible/négatif ( $s_t \downarrow$ ) : Indique une incertitude ou un contexte non visuel (par exemple, des jetons syntaxiques). La porte supprime l'intervention pour éviter un pilotage excessif et préserver la fluidité.
Injection : Le vecteur de pilotage $v^{steer}_t = (\alpha_{max} \cdot g_t) \cdot v_{CARD}$ est ajouté au flux résiduel immédiatement après l'opération d'attention self pendant l'étape de décodage, spécifiquement au sein de l'étendue de la réponse.

3. Contributions clés

Vecteur CARD : Une méthode pour extraire une ancre visuelle persistante, par échantillon, à partir des mises à jour résiduelles de préremplissage, maintenant le modèle ancré dans le contexte visuel tout au long du décodage sans calcul supplémentaire.
Porte Beta : Un mécanisme de porte adaptatif sans entraînement, basé sur la distribution bêta, qui équilibre l'ancrage visuel et la fluidité en n'appliquant des corrections que lorsque la génération s'aligne sur les preuves visuelles.
Généralisabilité : La méthode est démontrée comme étant agnostique à l'architecture, fonctionnant efficacement sur divers LVLM (LLaVA-1.5, Idefics2, InstructBLIP) et s'étendant à des modèles plus grands (LLaVA-1.5-13B) et des architectures modernes (Qwen2.5-VL).
Efficience : RUDDER opère au sein d'une seule passe avant, introduisant une latence négligeable (< 4 % de surcharge) et maintenant 96,0 % de débit par rapport aux modèles de base, surpassant nettement les méthodes à plusieurs passes.

4. Résultats expérimentaux

Les auteurs ont évalué RUDDER sur des benchmarks d'hallucination standard (CHAIR, POPE) et des benchmarks de capacités générales (MME).

Atténuation des hallucinations (CHAIR) : Sur le benchmark CHAIR (légendage en texte libre), RUDDER-Beta a constamment réduit les hallucinations. Avec un décodage glouton, il a atteint une réduction relative moyenne de 24,4 % en CHAIRs (niveau phrase) et de 23,6 % en CHAIRi (niveau objet) sur les modèles testés. Il a surpassé ou égalé des méthodes de pointe comme VISTA et VCD tout en évitant leurs coûts de latence.
Sondage d'objets (POPE) : Dans le benchmark POPE (questions oui/non sur les objets), RUDDER a amélioré la précision et les scores F1 sur LLaVA-1.5, Idefics2 et InstructBLIP, dépassant souvent des bases fortes basées sur le pilotage.
Capacités générales (MME) : RUDDER a maintenu ou légèrement amélioré les capacités multimodales générales (raisonnement, comptage) sur le benchmark MME, confirmant que la réduction des hallucinations ne s'est pas faite au détriment des performances générales du modèle.
Efficience : RUDDER-Beta a maintenu un débit de 96,0 % par rapport aux modèles de base. En revanche, les méthodes nécessitant des passes avant supplémentaires (par exemple, VISTA) ont vu leur débit chuter à environ 58,1 %.
Passage à l'échelle : La méthode s'est étendue efficacement à LLaVA-1.5-13B et s'est généralisée à Qwen2.5-VL-7B, atteignant les taux d'hallucination au niveau instance les plus bas (CHAIRi : 7,0) tout en améliorant les performances POPE.

5. Importance et revendications

L'article revendique que RUDDER résout le compromis courant efficacité-efficience dans l'atténuation des hallucinations. En empêchant structurellement la dilution des informations visuelles grâce à une « ancre visuelle » légère et un mécanisme de confiance adaptatif, RUDDER offre une solution pratique à faible surcharge pour améliorer la fiabilité des LVLM dans des contextes réels.

Les auteurs soulignent que leur approche est sans entraînement, ne nécessitant qu'un étalonnage ponctuel des hyperparamètres sur un petit ensemble de validation retenu. Ils positionnent RUDDER comme une étape vers une « IA verte », réduisant l'empreinte énergétique de l'inférence de modèles de haute qualité en éliminant le besoin de raffinement itératif ou de multiples passes avant.

Limites : Les auteurs reconnaissent que RUDDER est sensible aux hyperparamètres (spécifiquement la couche d'intervention, la force de pilotage et la sensibilité de la porte), qui doivent être ajustés pour chaque architecture de modèle spécifique. Des travaux futurs sont suggérés pour se concentrer sur l'optimisation automatisée des hyperparamètres afin d'améliorer la robustesse et la facilité de déploiement.