Sintesi Tecnica: LOOKBACK – Dove e come punteggiare le risposte degli LVLM tramite l'uso del riferimento visivo

1. Definizione del problema

I Large Vision-Language Models (LVLM) integrano la percezione visiva con la generazione del linguaggio, ma soffrono di un tipo specifico di allucinazione: la produzione di risposte fluenti e plausibili che non sono ancorate all'immagine di input. Mentre i metodi esistenti per migliorare l'affidabilità, come la selezione Best-of-N (BoN), si basano sulla valutazione dei candidati per selezionare il migliore, gli attuali meccanismi di punteggio sono insufficienti per gli LVLM.

Il documento identifica una lacuna critica nella fiducia nello spazio di output (ad esempio, la verosimiglianza del token o la Self-Certainty). Le diagnosi rivelano che questi punteggi di fiducia sono ampiamente insensibili all'input visivo. Nello specifico, rimuovere l'immagine dal contesto di input cambia appena la selezione della risposta con il ranking più alto basata sulla fiducia. Ciò indica che la fiducia nello spazio di output cattura principalmente la plausibilità testuale (fluidità linguistica) piuttosto che l'ancoraggio visivo (accordo con l'immagine). Di conseguenza, fare affidamento solo sulla fiducia non permette di distinguere tra risposte che sono linguisticamente fluenti ma visivamente allucinate e quelle che sono fedeli all'immagine.

2. Metodologia: LOOKBACK

Per affrontare questo problema, gli autori propongono LOOKBACK, un metodo di punteggio delle risposte intrinseco al modello e privo di addestramento. LOOKBACK aumenta la verosimiglianza del token con un punteggio di lookback visivo, una misura leggera di quanto fortemente ogni token generato faccia riferimento all'input visivo. Il metodo opera in tre fasi:

A. Punteggio di Visual Lookback ($A_t$)

Gli autori sfruttano i meccanismi di attenzione interna degli LVLM. Poiché gli LVLM elaborano le immagini come token visivi espliciti all'interno del contesto causale, ogni previsione del token può attendere direttamente a questi token visivi.

• Definizione: Per un token generato $y_t$, il punteggio di lookback visivo $A_t$ è la frazione del peso dell'attenzione diretta dalla fase di previsione ai token visivi ($P_v$) attraverso tutti gli strati e le teste di attenzione.
• Significato: $A_t$ funge da proxy per l'uso del riferimento visivo. È alto per i token che descrivono oggetti, attributi o relazioni presenti nell'immagine e basso per le parole funzionali generiche.

B. Punteggio del Token Calibrato dal Lookback ($u_t$)

LOOKBACK combina la fiducia nello spazio di output del modello ($p_t$) con il punteggio di lookback visivo ($A_t$) per formare un punteggio di token calibrato:
$$u_t = \log(p_t) + \alpha \log(A_t)$$

• Qui, $\alpha$ è un iperparametro che controlla la forza della calibrazione.
• Questa formulazione assicura che i token con alta fiducia ma basso lookback visivo (allucinazioni) ricevano un punteggio inferiore, mentre i token che sono sia fiduciosi che ancorati visivamente siano favoriti.

C. Pesatura della Rilevanza Visiva e Aggregazione

Non tutti i token contribuiscono equamente all'ancoraggio visivo. LOOKBACK aggrega i punteggi dei token utilizzando una distribuzione di rilevanza visiva ($q_\lambda$) invece di una media uniforme.

• Distribuzione: $q_\lambda$ è derivata massimizzando un obiettivo di rilevanza regolarizzato dall'entropia, concentrando la massa di probabilità sui token con alti punteggi di lookback visivo ($A_t$).
• Punteggio Finale: Il punteggio finale della risposta $S(y)$ è il valore atteso dei punteggi dei token calibrati sotto questa distribuzione:
  $$S(y) = \sum_{t=1}^{T} q_\lambda(t) \cdot u_t$$
  Ciò assicura che il punteggio finale sia pesantemente influenzato dai token che sono sia fiduciosi che fortemente legati all'input visivo.

3. Contributi Chiave

1. Insight Diagnostico: Il documento fornisce prove empiriche del fatto che le metriche standard di fiducia nello spazio di output (come la Self-Certainty) sono ampiamente insensibili all'immagine, fallendo nel rilevare le allucinazioni visive nelle impostazioni di selezione Best-of-N.
2. Punteggio Senza Addestramento: LOOKBACK introduce un metodo per punteggiare le risposte degli LVLM senza richiedere modelli di ricompensa esterni, addestramento aggiuntivo o passaggi di inferenza extra. Utilizza solo segnali interni (probabilità dei token e pesi dell'attenzione) disponibili durante la generazione.
3. Complementarità a livello di Token: Il lavoro dimostra che la fiducia nello spazio di output e i punteggi di lookback visivo catturano aspetti complementari della generazione: la fiducia favorisce la prevedibilità linguistica, mentre il lookback favorisce il riferimento visivo.
4. Aggregazione Efficiente: Pesando i token in base alla rilevanza visiva, LOOKBACK dà priorità ai termini diagnostici (sostantivi, attributi) rispetto alle parole di fluidità generica nella valutazione finale.

4. Risultati Sperimentali

Gli autori hanno valutato LOOKBACK su quattro benchmark (VQAv2, CHAIR, AMBER, HallusionBench) e tre LVLM rappresentativi (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B).

• Prestazioni: LOOKBACK ha superato costantemente i baseline esistenti, inclusi i metodi lato linguaggio (Self-Certainty, Universal Self-Consistency) e i metodi lato visione (CLIPScore, VAUQ).
  • Ha raggiunto la più alta prestazione media per modello attraverso tutti e tre gli LVLM.
  • Ha migliorato l'accuratezza della selezione Best-of-N di circa il 4,97% di guadagno relativo rispetto alla selezione casuale e ha superato costantemente il baseline di Self-Certainty.
• Scalabilità: Man mano che la dimensione del pool di candidati ($N$) aumentava da 1 a 25, LOOKBACK ha mantenuto un vantaggio costante rispetto ai baseline, mentre altri metodi mostravano rendimenti decrescenti o instabilità.
• Efficienza: LOOKBACK ha comportato un overhead computazionale trascurabile rispetto al tempo di generazione. È stato significativamente più veloce dei metodi che richiedono perturbazioni (VAUQ) o encoder esterni (CLIPScore), aggiungendo solo un modesto costo di punteggio post-generazione.

5. Significato e Rivendicazioni

Il documento sostiene che LOOKBACK fornisce una soluzione leggera e interna al modello per migliorare l'affidabilità delle risposte degli LVLM. La sua importanza risiede nel:

• Colmare il Divario: Affronta direttamente la disconnessione tra il condizionamento dell'immagine e la sensibilità all'immagine nelle attuali metriche di punteggio.
• Praticità: Essendo privo di addestramento e non richiedendo modelli ausiliari, è applicabile a contesti con risorse limitate e scenari black-box (purché i pesi dell'attenzione interna siano accessibili).
• Generalizzabilità: Gli autori suggeriscono che il principio dello "scoring consapevole della fonte" (controllare se gli step di generazione ad alta fiducia fanno riferimento alla fonte prevista) potrebbe estendersi oltre la visione a compiti di generazione ancorata, come la Generazione Aumentata dal Recupero (RAG) o l'uso di strumenti.

Limitazioni Riconosciute:
Gli autori notano che LOOKBACK richiede l'accesso ai pesi dell'attenzione interna, limitandone l'uso con API strettamente black-box. Inoltre, il lookback visivo è un proxy per l'uso del riferimento, non una garanzia di correttezza fattuale; un modello può prestare attenzione ai token dell'immagine pur generando contenuti errati o distorti. Pertoco, LOOKBACK è raccomandato come ausilio alla selezione della risposta da utilizzare insieme alla validazione specifica per il compito e alla supervisione umana.