HKVLM: Faithful Reasoning Grounding by Binding Language Queries to a Frozen Detector

Sintesi Tecnica: HKVLM – Grounding del Ragionamento Fedele tramite il Binding di Query Linguistiche a un Rilevatore Congelato

1. Definizione del Problema

Il documento affronta il gap "vede-ma-parla-male" (see-but-mis-speak) nei Modelli Vision-Language (VLM), in particolare negli scenari di grounding del ragionamento. A differenza del semplice abbinamento di categorie, il grounding del ragionamento richiede l'interpretazione di richieste complesse basate sull'intento (ad esempio, "la persona che non indossa un casco" o "qualcosa per tagliare la carta").

Gli approcci attuali soffrono di due modalità primarie di fallimento:

• VLM Coordinate-as-Text: I modelli che generano coordinate di bounding box come token di testo autoregressivi (es. Kosmos-2, Shikra, Rex-Omni) intrecciano la localizzazione con la generazione del linguaggio. Un singolo token errato può sovrascrivere una percezione corretta, e il segnale geometrico è costretto attraverso un canale linguistico fragile.
• Pipeline a due stadi: I modelli che utilizzano un LLM per nominare un oggetto e un rilevatore esterno per localizzarlo (es. DetGPT, LISA) comprimono l'intento del modello in una singola stringa di classe. Questa interfaccia "lossy" (con perdita di informazioni) scarta indizi specifici dell'istanza o relazionali, portando a fallimenti di binding dove la regione corretta è disponibile ma etichettata o mancata erroneamente.

Gli autori sostengono che un grounding fedele richieda tre competenze separabili: competenza di localizzazione (trovare l'oggetto), fedeltà referenziale (nominare solo ciò che è presente) e binding (connettere l'intento dell'utente alla regione corretta). Le architetture esistenti spesso confondono queste competenze, portando a allucinazioni e scarse prestazioni di ragionamento.

2. Metodologia: HKVLM

HKVLM (Hypothetical Knowledge-Visual Language Model) propone un'architettura disaccoppiata che rimuove completamente la localizzazione dal percorso di generazione del linguaggio. Il sistema è composto da quattro componenti:

1. Modulo di Percezione Congelato: Un rilevatore open-vocabulary pre-addestrato e allineato al linguaggio (es. Grounding DINO) opera in uno stato congelato. Genera un insieme ad alto richiamo e agnostico rispetto alle classi di proposte di regione $R = \{(b_j, e_j)\}_{j=1}^M$, dove $b_j$ è il box e $e_j$ è un embedding della regione fuso visione-linguaggio. Questo modulo possiede tutta la competenza di localizzazione.
2. Embedding di Query Referenziali: Un Modello di Linguaggio congelato (o leggermente adattato, es. Qwen2.5-VL) elabora l'immagine e la richiesta dell'utente. Invece di produrre coordinate o nomi di classi, emette embedding di query referenziali continui ($u_k$) che codificano il ragionamento e la conoscenza del mondo del modello.
3. Alignment Hook (Il Componente Addestrato): Un modulo leggero composto da due strati di proiezione ($f_\theta, g_\phi$) che mappa gli embedding delle regioni e gli embedding di query in uno spazio condiviso. Il binding viene ottenuto tramite:
   • Recupero Contrastivo: Avvicinare le coppie query-regione corrispondenti e allontanare le altre.
   • Assegnazione Bipartita: Utilizzare il matching di Hungarian (simile a DETR) per assegnare le query a specifiche proposte, minimizzando una funzione di costo basata sull'affinità e sulla sovrapposizione dei box.
4. Veto di Fedeltà Basato sulla Percezione: Una testa di verifica predice se una coppia query-regione legata è realmente supportata dall'immagine. Durante l'inferenza, una categoria viene emessa solo se la regione legata supera questo verificatore e l'affinità supera una soglia. Questo funge da "veto" contro le allucinazioni, impedendo al modello di linguaggio di asserire l'esistenza di oggetti non supportati dal rilevatore.

Strategia di Addestramento: Solo l'alignment hook (proiezioni, box residual e verifier) viene addestrato. Gli stack pesanti di percezione e linguaggio rimangono congelati, rendendo l'approccio altamente efficiente dal punto di vista dei dati e adatto a scenari di "cold-start" con dati limitati.

3. Contributi Chiave

1. Framework Diagnostico: Il paper introduce una decomposizione Say-vs-See per separare l'errore di localizzazione (SeeErr) dall'errore di binding (SayErr). Ciò consente di misurare indipendentemente se un fallimento sia dovuto al rilevatore che manca un oggetto o al modello che non riesce a legare l'intento corretto a una regione disponibile.
2. Architettura HKVLM: Un framework di grounding in cui la localizzazione è strettamente di proprietà di un rilevatore congelato, e il binding viene eseguito tramite un esplicito allineamento in uno spazio condiviso piuttosto che tramite la generazione autoregressiva di coordinate o interfacce testuali lossy.
3. Obiettivo di Fedeltà: Un vincolo basato sulla percezione che penalizza esplicitamente il nominare oggetti senza regioni di supporto, mirando direttamente all'allucinazione degli oggetti.
4. Ricetta di Addestramento Cold-Start: Un metodo che raggiunge forti prestazioni di grounding addestrando solo un piccolo modulo di allineamento, evitando le difficoltà del fine-tuning di VLM monolitici su piccoli dataset.

4. Risultati Sperimentali

Gli autori hanno valutato HKVLM utilizzando un Grounding DINO congelato e un Qwen2.5-VL congelato su RefCOCO/RefCOCO+/RefCOCOg (grounding referenziale) e POPE (valutazione delle allucinazioni).

• Prestazioni di Binding (H1): Sui dataset RefCOCO, l'alignment hook addestrato ha migliorato l'accuratezza del grounding di 50–90× rispetto al matching cross-space ingenuo (cosine). L'accuratezza del binding è passata da quasi zero ($\le 0.005$) a $0.123–0.148$.
• Fedeltà e Allucinazione (H2): Il veto di fedeltà ha ridotto significativamente l'allucinazione degli oggetti. Sul benchmark POPE, il tasso di allucinazione è sceso da $\sim 0.99$ (accuratezza vicina al caso di 0.50) a 0.23–0.43, portando l'accuratezza POPE a 0.66–0.76. Fondamentalmente, questo miglioramento è avvenuto con una perdita trascurabile nell'accuratezza del grounding ($\le 0.01$ di differenza).
• Efficienza dei Dati (H3): L'hook ha appreso un binding efficace con appena 200 espressioni di addestramento, superando il matching ingenuo di 46 volte. L'accuratezza ha continuato a migliorare monotonicamente fino a 24k espressioni.
• Analisi degli Errori: Aumentare il numero di proposte ($M$) da 50 a 300 ha migliorato l'accuratezza del grounding del 19–24% senza riaddestrare l'hook. Ciò conferma che l'errore rimanente è principalmente SeeErr (percettivo, dovuto al fatto che il rilevatore manca l'oggetto) piuttosto che SayErr (binding), validando la decomposizione.

5. Significato e Rivendicazioni

Il paper sostiene che il gap "vede-ma-parla-male" sia fondamentalmente un fallimento di binding causato dall'intreccio tra localizzazione e generazione del linguaggio. Decoupling (disaccoppiando) questi compiti e imponendo un veto basato sulla percezione, HKVLM ottiene:

• Validazione del Meccanismo: Dimostra che il binding può essere appreso efficacemente in uno spazio di embedding condiviso senza generare coordinate, anche con componenti pesanti congelati.
• Resistenza alle Allucinazioni: Dimostra che il grounding da solo non previene l'allucinazione; è richiesto un vincolo di fedeltà esplicito per allineare le asserzioni linguistiche con l'evidenza percettiva.
• Adattamento Pratico: Offre una via percorribile per adattare i VLM a compiti di grounding del ragionamento in regimi di scarsità di dati (cold-start) dove il fine-tuning completo fallisce.

Gli autori dichiarano esplicitamente che i loro risultati sono rivendicazioni di meccanismo e ablazione a un rilevatore fisso e congelato. Non rivendicano un assoluto stato dell'arte nella localizzazione (che è limitato dal richiamo delle proposte del rilevatore congelato), ma piuttosto un metodo superiore per il binding dell'intento linguistico alla percezione visiva. Il lavoro futuro suggerito affronta l'errore percettivo residuo (SeeErr) tramite la proposta condizionata dall'espressione e l'esplorazione di estensioni multi-query per richieste granulari.