Sintesi Tecnica: Mitigazione della Partenza dal Manifold tramite Rettifica di Sottospazio Consapevole dell'Incertezza

1. Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) soffrono frequentemente di allucinazione di oggetti, generando contenuti che sono fluidi e plausibili ma incoerenti con gli input visivi. Questo fenomeno è attribuito principalmente a un eccessivo affidamento sui prior linguistici appresi durante il pre-training, che possono sovrastare l'evidenza visiva debole o ambigua.

Sebbene le recenti strategie di decoding training-free tentino di mitigare questo problema penalizzando i prior linguistici (ad esempio, tramite il decoding contrastivo), gli autori identificano un difetto critico in tali approcci: essi trattano i prior linguistici come uniformemente dannosi. In realtà, i prior svolgono un doppio ruolo:

• Dannoso: Inducono allucinazioni quando l'evidenza visiva e quella linguistica sono in conflitto (ad esempio, predire una "banana gialla" quando l'immagine mostra una banana blu).
• Utile: Stabilizzano e rendono più nitida la generazione quando sono allineati con l'evidenza visiva (ad esempio, rinforzando "giallo" quando l'immagine è effettivamente una banana gialla).

La soppressione indiscriminata dei prior interrompe il manifold semantico interno del modello, spingendo gli stati latenti in regioni a bassa densità e degradando le prestazioni anche nei casi validi. Gli autori definiscono questo modo di fallimento come Partenza dal Manifold (Manifold Departure).

2. Metodologia: MGAP (Manifold-Guided Adaptive Projection)

Per affrontare la Partenza dal Manifold, il documento propone MGAP, un framework di decoding consapevole della geometria e training-free. A differenza dei metodi di soppressione lineare globale, MGAP esegue aggiornamenti selettivi di sottospazio che preservano la struttura semantica ortogonale del modello.

2.1. Offline: Costruzione del Sottospazio dei Prior Linguistici senza Etichette

MGAP costruisce prima una rappresentazione a bassa dimensione dei prior linguistici senza richiedere etichette o contenuti d'immagine:

1. Raccolta Dati: Il modello elabora un insieme di query testuali con un input "cieco" (ad esempio, un'immagine nulla o perturbata) per estrarre gli stati latenti dell'ultimo strato $\{h_{blind}^{(i)}\}$.
2. Stima del Sottospazio: Viene formata una matrice centrata di questi stati ciechi e viene applicata la Decomposizione ai Valori Singolari (SVD). I primi-$K$ vettori singolari destri ($V_{prior}$) definiscono il sottospazio del prior linguistico, catturando le variazioni dominanti indotte dalle regolarità linguistiche.

2.2. Online: Proiezione Adattiva Consapevole della Coerenza

Durante il decoding multimodale standard, MGAP interviene ad ogni step $t$ per attenuare selettivamente i prior solo quando necessario:

1. Proiezione: Lo stato latente attuale $h_{orig}$ viene proiettato sul sottospazio dei prior: $h_{proj} = V_{prior}V_{prior}^\top h_{orig}$.
2. Controllo di Coerenza (Protezione): L'allineamento tra lo stato originale e la proiezione del prior è misurato tramite la similarità del coseno. Viene calcolato un punteggio di mismatch $\delta = 1 - \cos(h_{orig}, h_{proj})$. Un $\delta$ piccolo implica che lo stato è coerente con il prior (nessuna soppressione necessaria).
3. Gating dell'Incertezza: L'incertezza predittiva è stimata utilizzando l'entropia di Shannon ($H$) della distribuzione dei token. Viene derivato un fattore di gating $\gamma = \tanh(\lambda H)$, che amplifica l'intervento solo quando il modello è incerto.
4. Correzione Adattiva: Lo stato latente corretto è calcolato come:
   $$h_{cut} = h_{orig} - \alpha \cdot \gamma \cdot \delta \cdot h_{proj}$$
   Questa formulazione assicura che la correzione sia limitata e selettiva. Se l'evidenza visiva si allinea con il prior (basso $\delta$) o il modello è fiducioso (bassa $H$), l'operazione approssima una mappatura identità, preservando il manifold semantico.

3. Contributi Chiave

Il documento presenta tre contributi primari:

1. Identificazione della Partenza dal Manifold: Gli autori definiscono e analizzano formalmente la "Partenza dal Manifold" come un modo di fallimento geometrico in cui la soppressione lineare uniforme spinge gli stati latenti lontano dal manifold semantico ad alta densità, spiegando perché i metodi esistenti degradano le prestazioni anche quando i prior sono corretti.
2. Proposta di MGAP: Un nuovo framework di decoding che apprende un sottospazio dei prior linguistici da stati ciechi e applica una proiezione selettiva di sottospazio e consapevole dell'incertezza. Ciò consente di sopprimere le allucinazioni senza disturbare le componenti semantiche ortogonali.
3. Validazione Teorica ed Empirica: Il documento fornisce prove teoriche che dimostrano come gli aggiornamenti di MGAP siano limitati e selettivi rispetto al sottospazio. Esperimenti estesi dimostrano che MGAP raggiunge un compromesso superiore tra mitigazione delle allucinazioni e fedeltà descrittiva rispetto ai precedenti baseline.

4. Risultati Sperimentali

Gli autori hanno valutato MGAP su due backbone rappresentativi (LLaVA v1.5-7B e Qwen3-VL-8B) attraverso molteplici benchmark:

• POPE (Allucinazione di Oggetti): MGAP ha superato costantemente il decoding vanilla e altri baseline training-free (VCD, ICD, HalTrapper, DeCo, MoD) attraverso le suddivisioni Random, Popular e Adversarial. Notevolmente, mentre metodi come VCD degradavano le prestazioni sulle suddivisioni standard, MGAP ha migliorato Precision e F1 mantenendo un'alta Accuratezza.
• CHAIR (Image Captioning): MGAP ha ridotto significativamente i tassi di allucinazione (CHAIRs e CHAIRi più bassi) rispetto a tutti i baseline, migliorando simultaneamente la precisione. Ciò indica che la mitigazione delle allucinazioni è stata ottenuta senza una generazione eccessivamente conservativa.
• Benchmark AMBER: MGAP si è generalizzato bene a questo benchmark diversificato, dimostrando che il sottospazio dei prior appreso cattura proprietà strutturali trasferibili delle allucinazioni oltre i protocolli di valutazione specifici.
• Efficienza: A differenza dei metodi di decoding contrastivo che richiedono molteplici passaggi in avanti (es. VCD, ICD), MGAP opera all'interno di un singolo passaggio in avanti. Ha ridotto la latenza di inferenza di circa il 50% rispetto ai baseline contrastivi pur rimanendo completamente training-free.

5. Significato e Rivendicazioni

Il documento sostiene che la soppressione indiscriminata dei prior linguistici sia un limite fondamentale delle attuali strategie di decoding training-free. Inquadrando il problema attraverso la lente della geometria delle rappresentazioni, gli autori dimostrano che la Partenza dal Manifold è la causa radice del degrado delle prestazioni nei metodi esistenti.

La significanza di MGAP risiede nel suo meccanismo di intervento selettivo. Modellando i prior come un sottospazio a basso rango e applicando un gating adattivo e consapevole dell'incertezza, MGAP evita l'approccio a "strumento ottuso" dei cambiamenti lineari globali. Gli autori affermano che questo approccio permette agli MLLM di mantenere i benefici stabilizzanti dei prior linguistici quando sono corretti, sopprimendoli efficacemente solo quando contrastano con l'evidenza visiva, ottenendo così un processo di decoding più robusto e affidabile.

Il lavoro conclude che i prior delle allucinazioni non sono meri artefatti di benchmark specifici, ma esibiscono proprietà strutturali trasferibili nello spazio delle rappresentazioni, suggerendo che la correzione selettiva dei prior sia un meccanismo generalizzabile per migliorare i grandi modelli visione-linguaggio.