💻 computer science

HKVLM: Faithful Reasoning Grounding by Binding Language Queries to a Frozen Detector

HKVLM traite le « échec de liaison » dans les modèles vision-langage en découplant la localisation de la génération de langage grâce à un crochet d'alignement entraînable qui connecte les propositions d'un détecteur gelé aux requêtes de raisonnement d'un modèle de langage gelé, améliorant ainsi considérablement la précision du ancrage et réduisant les hallucinations dans les contextes de données limitées.

Auteurs originaux : Bo Ma

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bo Ma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire très intelligent et érudit (le Modèle de Langage) et une paire de gardiens de sécurité incroyablement perspicaces, mais légèrement sourds (le Détecteur Visuel).

Le but est de répondre à une question telle que : « Montrez-moi la personne qui ne porte pas de casque. »

L'ancienne méthode : le problème du « mauvais langage »

Dans de nombreux systèmes actuels, le bibliothécaire essaie de tout faire. Il regarde la photo, réfléchit à la réponse, puis tente de décrire l'emplacement en utilisant des mots comme « haut-gauche, bas-droite ».

L'article soutient que c'est comme demander au bibliothécaire de dessiner une carte tout en essayant d'écrire un poème en même temps. Il comprend bien l'idée (il sait de qui il s'agit), mais il se trompe dans les coordonnées (la boîte qu'il dessine est au mauvais endroit). Ou bien, il désigne avec assurance la bonne personne, mais dit accidentellement : « C'est un chat », parce qu'il s'est confondu entre l'image et les mots.

Les auteurs appellent cela l'écart « voir mais mal parler » (See-but-mis-speak). Le système voit la bonne chose mais prononce le mauvais nom ou dessine la mauvaise boîte.

La nouvelle solution : HKVLM

L'article présente HKVLM, une nouvelle façon d'organiser l'équipe pour qu'ils ne se marchent pas sur les pieds. Voici comment cela fonctionne, en utilisant une analogie simple :

1. Le gardien de sécurité (Détecteur gelé)

Au lieu de demander au bibliothécaire de dessiner la carte, nous embauchons un gardien de sécurité spécialisé (un détecteur gelé) dont le seul travail est de scanner la pièce et de signaler tout ce qui ressemble à un objet.

Le bémol : Ce gardien ne sait pas comment les objets sont nommés. Il dit simplement : « Voici une tache », « Voici une autre tache », « Voici une troisième tache ». Il est très doué pour trouver des choses, mais il ne parle pas la langue spécifique de la requête.
Pourquoi « gelé » ? Nous ne réentraînons pas ce gardien. Il est déjà parfait dans son travail, donc nous le laissons tel quel.

2. Le bibliothécaire (Modèle de Langage gelé)

Le bibliothécaire lit la question (« La personne sans casque ») et la photo. Au lieu d'essayer de dessiner une boîte, le bibliothécaire crée une « requête de recherche mentale » — une description abstraite et spécifique de ce qu'il recherche.

Considérez cela comme le bibliothécaire tenant une affiche « Recherché » avec une description, mais sans photo.

3. L'entremetteur (Le crochet d'alignement)

C'est la seule partie du système que nous entraînons réellement. C'est un petit module léger qui agit comme un entremetteur.

L'entremetteur prend l'affiche « Recherché » du bibliothécaire (la requête) et la compare à la liste de « taches » du gardien de sécurité (les propositions de régions).
Il utilise un jeu de correspondance spécial pour dire : « Ah, cette tache spécifique que le gardien a trouvée correspond à la "personne sans casque" que le bibliothécaire recherche. »
Une fois la correspondance établie, le système dessine la boîte autour de cette tache.

4. Le veto de « vérification des faits » (Fidélité)

C'est l'arme secrète de l'article contre les hallucinations (inventer des choses).

Parfois, le bibliothécaire peut s'emballer et dire : « Je vois un dragon ! » même s'il n'y a pas de dragon sur la photo.
Le Veto est un vérificateur de faits strict. Avant que le système ne dise « Dragon », le vérificateur demande au gardien de sécurité : « As-tu réellement vu une tache ressemblant à un dragon ? »
Si le gardien répond : « Non, je n'ai rien vu de tel », le système a l'interdiction de dire « Dragon ». Il doit rester silencieux. Cela empêche le système de mentir sur ce qui se trouve dans l'image.

Pourquoi cela importe (Les résultats)

L'article a testé cela dans un scénario de « démarrage à froid » (cold start), ce qui signifie qu'ils n'ont donné à l'entremetteur qu'une infime quantité de données d'entraînement (quelques centaines d'exemples).

Amélioration massive : Sans l'entremetteur, le système était presque inutile (il devinait au hasard). Avec l'entremetteur, il est devenu 50 à 90 fois meilleur pour trouver le bon objet.
Arrêter les mensonges : Le « Veto de vérification des faits » a considérablement réduit les inventions du système. Il est passé d'un état où il mentait presque 100 % du temps en cas d'incertitude, à un état où il ne ment plus que 23 à 43 % du temps, tout en trouvant les bonnes réponses.
Efficacité des données : Le système a appris à faire cela très rapidement. Il n'avait pas besoin de réentraîner tout le bibliothécaire ou tout le gardien ; il avait juste besoin d'apprendre à l'entremetteur comment connecter les deux.

L'essentiel

L'article affirme qu'en séparant le travail de « voir » (trouver des objets) de celui de « parler » (raisonner et nommer), et en utilisant un petit entremetteur intelligent pour les relier, nous pouvons construire une IA beaucoup plus précise et beaucoup moins susceptible de halluciner.

Ils ont également prouvé que si le gardien de sécurité trouve plus de « taches » (plus de propositions), le système s'améliore encore, confirmant que le problème principal n'était pas l'échec de l'entremetteur, mais bien le fait que le gardien passait à côté de l'objet.

Résumé Technique : HKVLM – Ancrage de Raisonnement Fidèle par Liaison de Requêtes Linguistiques à un Détecteur Gelé

1. Définition du Problème

L'article traite de l'écart « voir-mais-mal-dire » (see-but-mis-speak) dans les modèles de vision-langage (VLM), particulièrement dans les scénarios d'ancrage de raisonnement (reasoning grounding). Contrairement à la simple correspondance de catégories, l'ancrage de raisonnement nécessite l'interprétation de requêtes complexes basées sur l'intention (par exemple, « la personne ne portant pas de casque » ou « quelque chose pour couper du papier »).

Les approches actuelles souffrent de deux modes de défaillance principaux :

VLM Coordonnées-en-Texte : Les modèles qui génèrent des coordonnées de boîtes englobantes sous forme de jetons de texte autorégressifs (ex. : Kosmos-2, Shikra, Rex-Omni) entremêlent la localisation et la génération de langage. Un seul jeton erroné peut écraser une perception correcte, et le signal géométrique est contraint à travers un canal linguistique fragile.
Pipelines en Deux Étapes : Les modèles qui utilisent un LLM pour nommer un objet et un détecteur externe pour le localiser (ex. : DetGPT, LISA) compressent l'intention du modèle en une simple chaîne de caractères de classe. Cette interface « avec perte » (lossy) rejette les indices spécifiques aux instances ou relationnels, entraînant des échecs de liaison où la région correcte est disponible mais mal étiquetée ou manquée.

Les auteurs soutiennent qu'un ancrage fidèle nécessite trois compétences séparables : la compétence de localisation (trouver l'objet), la fidélité référentielle (nommer uniquement ce qui est présent) et la liaison (binding, connecter l'intention de l'utilisateur à la région correcte). Les architectures existantes confondent souvent ces éléments, menant à des hallucinations et à de mauvaises performances de raisonnement.

2. Méthodologie : HKVLM

HKVLM (Hypothetical Knowledge-Visual Language Model) propose une architecture découplée qui retire totalement la localisation du chemin de génération du langage. Le système se compose de quatre composants :

Module de Perception Gelé : Un détecteur à vocabulaire ouvert pré-entraîné et aligné au langage (ex. : Grounding DINO) opère dans un état gelé. Il génère un ensemble de propositions de régions à haut rappel et indépendant des classes $R = \{(b_j, e_j)\}_{j=1}^M$ , où $b_j$ est la boîte et $e_j$ est un plongement de région fusionné vision-langage. Ce module détient toute la compétence de localisation.
Plongements de Requêtes Référentielles : Un modèle de langage gelé (ou légèrement adapté, ex. : Qwen2.5-VL) traite l'image et la requête de l'utilisateur. Au lieu de produire des coordonnées ou des noms de classes, il émet des plongements de requêtes référentielles continus ( $u_k$ ) qui encodent le raisonnement et la connaissance du monde du modèle.
Crochet d'Alignement (Le Composant Entraîné) : Un module léger composé de deux couches de projection ( $f_\theta, g_\phi$ $f_{θ}, g_{ϕ}$ ) qui projette les plongements de régions et les plongements de requêtes dans un espace partagé. La liaison est réalisée via :
- Récupération Contrastive : Rapprocher les paires requête-région correspondantes et éloigner les autres.
- Assignation Bipartite : Utiliser l'appariement hongrois (similaire à DETR) pour assigner les requêtes à des propositions spécifiques, en minimant une fonction de coût basée sur l'affinité et le chevauchement des boîtes.
Veto de Fidélité Fondé sur la Perception : Une tête de vérification prédit si une paire requête-région liée est réellement supportée par l'image. Lors de l'inférence, une catégorie n'est émise que si la région liée passe ce vérificateur et que l'affinité dépasse un seuister. Cela agit comme un « veto » contre les hallucinations, empêchant le modèle de langage d'affirmer l'existence d'objets non supportés par le détecteur.

Stratégie d'Entraînement : Seul l'accroche d'alignement (projections, résidu de boîte et vérificateur) est entraîné. Les structures lourdes de perception et de langage restent gelées, rendant l'approche hautement efficace en termes de données et adaptée aux contextes de « démarrage à froid » (cold-start) avec des données limitées.

3. Contributions Clés

Cadre de Diagnostic : L'article introduit une décomposition Dire-vs-Voir (Say-vs-See) pour séparer l'Erreur de Localisation (SeeErr) de l'Erreur de Liaison (SayErr). Cela permet de mesurer indépendamment si un échec est dû au fait que le détecteur a manqué un objet ou au fait que le modèle a échoué à lier l'intention correcte à une région disponible.
Architecture HKVLM : Un cadre d'ancrage où la localisation appartient strictement à un détecteur gelé, et où la liaison est effectuée via un alignement explicite dans un espace partagé plutôt que par la génération de coordonnées autorégressives ou des interfaces textuelles avec perte.
Objectif de Fidélité : Une contrainte fondée sur la perception qui pénalise explicitement le fait de nommer des objets sans régions de support, ciblant directement l'hallucination d'objets.
Recette d'Entraînement de Démarrage à Froid : Une méthode qui atteint de fortes performances d'ancrage en entraînant seulement un petit module d'alignement, contournant les difficultés du réglage fin (fine-tuning) de VLMs monolithiques sur de petits ensembles de données.

4. Résultats Expérimentaux

Les auteurs ont évalué HKVLM en utilisant un Grounding DINO gelé et un Qwen2.5-VL gelé sur RefCOCO/RefCOCO+/RefCOCOg (ancrage référentiel) et POPE (évaluation de l'hallucination).

Performance de Liaison (H1) : Sur les partitions de RefCOCO, l'accroche d'alignement entraînée a amélioré la précision de l'ancrage de 50 à 90 fois par rapport à la correspondance croisée naïve (cosinus). La précision de la liaison est passée de presque zéro ( $\le 0,005$ ) à $0,123–0,148$ .
Fidélité et Hallucination (H2) : Le veto de fidélité a considérablement réduit l'hallucination d'objets. Sur le benchmark POPE, le taux d'hallucination est passé d'environ $\sim 0,99$ (précision proche du hasard de $0,50 $) à **$ 0,23–0,43$**, portant la précision POPE à $0,66–0,76$ . Crucialement, cette amélioration s'est faite avec une perte négligeable de précision d'ancrage ( $\le 0,01$ de différence).
Efficacité des Données (H3) : L'accroche a appris une liaison efficace à partir de seulement 200 expressions, surpassant la correspondance naïve de 46 fois. La précision a continué de s'améliorer de manière monotone jusqu'à 24 000 expressions.
Analyse d'Erreur : Augmenter le nombre de propositions ( $M$ ) de 50 à 300 a amélioré la précision de l'ancrage de 19 à 24 % sans réentraîner l'accroche. Cela confirme que l'erreur restante est principalement une SeeErr (perceptuelle, due au fait que le détecteur manque l'objet) plutôt qu'une SayErr (liaison), validant la décomposition.

5. Signification et Revendications

L'article affirme que l'écart « voir-mais-mal-dire » est fondamentalement un échec de liaison causé par l'enchevêtrement de la localisation avec la génération de langage. En découplant ces tâches et en imposant un veto fondé sur la perception, HKVLM atteint :

Validation du Mécanisme : Il démontre que la liaison peut être apprise efficacement dans un espace de plongement partagé sans générer de coordonnées, même avec des composants lourds gelés.
Résistance à l'Hallucination : Il prouve que l'ancrage seul ne prévient pas l'hallucination ; une contrainte de fidélité explicite est nécessaire pour aligner les assertions linguistiques avec les preuves perceptuelles.
Adaptation Pratique : Il offre une voie viable pour adapter les VLMs aux tâches d'ancrage de raisonnement dans des régimes de démarrage à froid où le réglage fin complet échoue.

Les auteurs déclarent explicitement que leurs résultats sont des revendications de mécanisme et d'ablation à un détecteur fixe et gelé. Ils ne revendiquent pas un état de l'art absolu de la localisation (qui est plafonné par le rappel des propositions du détecteur gelé) mais plutôt une méthode supérieure pour lier l'intention linguistique à la perception visuelle. Des travaux futurs sont suggérés pour traiter l'erreur de perception résiduelle (SeeErr) via des propositions conditionnées par l'expression et pour explorer les extensions multi-requêtes pour des demandes plus fines.