HKVLM: Faithful Reasoning Grounding by Binding Language Queries to a Frozen Detector

Technische Samenvatting: HKVLM – Getrouwe Redeneringsgrondslag door het Koppelen van Talige Queries aan een Bevroren Detector

1. Probleemdefinitie

Het artikel behandelt de "zien-maar-verkeerd-spreken"-kloof in Vision-Language Models (VLM's), met name in scenario's van redeneringsgrondslag (reasoning grounding). In tegenstelling tot eenvoudige categorisering vereist redeneringsgrondslag het interpreteren van complexe, op intentie gebaseerde verzoeken (bijv. "de persoon die geen helm draagt" of "iets om papier mee te snijden").

Huidige benaderingen lijden onder twee primaire faalmodi:

• Coördinaat-als-tekst VLM's: Modellen die bounding box-coördinaten genereren als autoregressieve teksttokens (bijv. Kosmos-2, Shikra, Rex-Omni) verstrengelen lokalisatie met taalgeneratie. Eén foutief token kan een correct percept overschrijven, en het geometrische signaal wordt door een broze taalchannel gedwongen.
• Tweestaps-pipelines: Modellen die een LLM gebruiken om een object te benoemen en een externe detector om het te lokaliseren (bijv. DetGPT, LISA), comprimeren de intentie van het model tot een enkele klasse-string. Deze "verlieslatende" interface verwerpt instantie-specifieke en relationele aanwijzingen, wat leidt tot koppelingsfouten waarbij de juiste regio wel beschikbaar is, maar verkeerd gelabeld of gemist wordt.

De auteurs stellen dat getrouwe grondslag drie scheidbare competenties vereist: lokalisatiecompetentie (het vinden van het object), referentiële getrouwheid (alleen benoemen wat aanwezig is) en koppeling (het verbinden van de intentie van de gebruiker aan de juiste regio). Bestaande architecturen verwarren deze vaak, wat leidt tot hallucinaties en slechte redeneringsprestaties.

2. Methodologie: HKVLM

HKVLM (Hypothetical Knowledge-Visual Language Model) stelt een ontkoppelde architectuur voor die lokalisatie volledig uit het pad van de taalgeneratie haalt. Het systeem bestaat uit vier componenten:

1. Bevroren Perceptiemodule: Een vooraf getrainde, taal-gealigneerde open-vocabulary detector (bijv. Grounding DINO) opereert in een bevroren staat. Deze genereert een high-recall, klasse-agnostische set van regio-voorstellen $R = \{(b_j, e_j)\}_{j=1}^M$, waarbij $b_j$ de box is en $e_j$ een visie-taal-gefusioneerde regio-embedding. Deze module bezit alle lokalisatiecompetentie.
2. Referentiële Query-embeddings: Een bevroren (of licht aangepast) Taalmodel (bijv. Qwen2.5-VL) verwerkt de afbeelding en het verzoek van de gebruiker. In plaats van coördinaten of klassenamen te produceren, geeft het continue referentiële query-embeddings ($u_k$) af die de redenering en wereldkennis van het model coderen.
3. Alignment Hook (Het Getrainde Component): Een lichtgewicht module bestaande uit twee projectielagen ($f_\theta, g_\phi$) die regio-embeddings en query-embeddings in een gedeelde ruimte mappen. Koppeling wordt bereikt via:
   • Contrastieve Retrieval: Het dichter bij elkaar trekken van gematchte query-regio-paren en het van anderen wegduwen.
   • Bipartite Assignment: Het gebruik van Hungarian matching (vergelijkbaar met DETR) om queries toe te wijzen aan specifieke voorstellen, waarbij een kostenfunctie wordt geminimaliseerd op basis van affiniteit en box-overlap.
4. Perceptie-Gegronde Getrouwheid-Veto: Een verificatie-head voorspelt of een gekoppeld query-regio-paar daadwerkelijk wordt ondersteund door de afbeelding. Tijdens inferentie wordt een categorie alleen uitgegeven als de gekoppelde regio deze verifier passeert en de affiniteit een drempelwaarde overschrijdt. Dit fungeert als een "veto" tegen hallucinaties, waardoor het voorkomt dat het taalmodel de existentie van objecten beweert die niet door de detector worden ondersteund.

Trainingsstrategie: Alleen de alignment hook (projecties, box-residueel en verifier) wordt getraind. De zware perceptie- en taalstacks blijven bevroren, wat de aanpak zeer data-efficiënt maakt en geschikt maakt voor "cold-start" settings met beperkte trainingsdata.

3. Belangrijkste Bijdragen

1. Diagnostisch Framework: Het artikel introduceert een Say-vs-See decompositie om Lokalisatiefout (SeeErr) te scheiden van Koppelingsfout (SayErr). Dit maakt een onafhankelijke meting mogelijk van of een fout te wijten is aan de detector die een object mist, of aan het model dat faalt om de juiste intentie aan een beschikbare regio te koppelen.
2. HKVLM Architectuur: Een grondslag-framework waarbij lokalisatie strikt eigendom is van een bevroren detector, en koppeling wordt uitgevoerd via expliciete alignment in een gedeelde ruimte in plaats van autoregressieve coördinaatgeneratie of verlieslatende taalinterfaces.
3. Getrouwheidsobjectief: Een perceptie-gegrondde beperking die expliciet straft op het benoemen van objecten zonder ondersteunende regio's, wat direct gericht is op object-hallucinatie.
4. Cold-Start Trainingsrecept: Een methode die sterke grondslagprestaties bereikt door alleen een kleine alignment-module te trainen, waarmee de moeilijkheden van het fine-tunen van monolithische VLM's op kleine datasets worden omzeild.

4. Experimentele Resultaten

De auteurs evalueerden HKVLM met behulp van een bevroren Grounding DINO en een bevroren Qwen2.5-VL op RefCOCO/RefCOCO+/RefCOCOg (referrerende grondslag) en POPE (hallucinatie-evaluatie).

• Koppelingsprestaties (H1): Op de RefCOCO-splits verbeterde de getrainde alignment hook de grondslagnauwkeurigheid met 50–90× vergeleken met ongecodeerde cross-space matching (naïeve cosinus). De koppelingsnauwkeurigheid steeg van bijna nul ($\le 0,005$) naar $0,123–0,148$.
• Getrouwheid en Hallucinatie (H2): De getrouwheid-veto verminderde object-hallucinatie aanzienlijk. Op de POPE-benchmark daalde de hallucinatiesnelheid van $\sim 0,99$ (bijna kansniveau van 0,50) naar 0,23–0,43, wat de POPE-nauwkeurigheid verhoogde naar 0,66–0,76. Cruciaal was dat deze verbetering gepaard ging met een verwaarloosbaar verlies in grondslagnauwkeurigheid ($\le 0,01$ verschil).
• Data-efficiëntie (H3): De hook leerde effectieve koppeling van slechts 200 trainingsuitdrukkingen, waarbij het de naïeve matching met 46× versloeg. De nauwkeurigheid bleef monotoon verbeteren tot 24k uitdrukkingen.
• Foutanalyse: Het verhogen van het aantal voorstellen ($M$) van 50 naar 300 verbeterde de grondslagnauwkeurigheid met 19–24% zonder de hook opnieuw te trainen. Dit bevestigt dat de resterende fout primair SeeErr is (perceptueel, door de detector die het object mist) in plaats van SayErr (koppeling), wat de decompositie valideert.

5. Betekenis en Claims

Het artikel beweert dat de "zien-maar-verkeerd-spreken"-kloof fundamenteel een koppelingsfout is veroorzaakt door het verstrengelen van lokalisatie met taalgeneratie. Door deze taken te ontkoppelen en een perceptie-gegrondde veto af te dwingen, bereikt HKVLM:

• Mechanisme Validatie: Het demonstreert dat koppeling effectief geleerd kan worden in een gedeelde embedding-ruimte zonder coördinaten te genereren, zelfs met bevroren zware componenten.
• Hallucinatie-resistentie: Het bewijst dat grondslag alleen hallucinaties niet voorkomt; een expliciete getrouwheidsbeperking is nodig om taal-asserties af te stemmen op perceptueel bewijs.
• Praktische Adaptatie: Het biedt een levensvatbaar pad voor het aanpassen van VLM's aan redeneringsgrondslag-taken in data-arme (cold-start) regimes waar volledige fine-tuning faalt.

De auteurs stellen expliciet dat hun resultaten mechanisme- en ablatieclaims zijn bij een vaste, bevroren detector. Zij beweren niet een state-of-the-art absolute lokalisatie te hebben (die wordt beperkt door de recall van de bevroren detector), maar eerder een superieure methode voor het koppelen van talige intentie aan visuele perceptie. Toekomstig werk wordt gesuggereerd om de resterende perceptuele fout (SeeErr) aan te pakken via expressie-geconditioneerde voorstellen en om multi-query extensies te verkennen voor fijnmazige verzoeken.