Text as Partial Constraint: Core-Residual Alignment for Robust Vision-Language Learning

Sintesi Tecnica: Testo come Vincolo Parziale (TPC)

Problematica
L'allineamento visione-linguaggio è alla base del riconoscimento open-vocabulary, del recupero e dei Large Vision-Language Models (LVLM). Tuttavia, la supervisione tramite linguaggio naturale è intrinsecamente incompleta: le didascalie spesso omettono dettagli, si affidano a contesti condivisi o variano significativamente nella formulazione. I metodi esistenti trattano tipicamente ogni didascalia come un target completo, costringendo i modelli ad allinearsi con dettagli specifici della singola vista che potrebbero essere assenti in altre descrizioni valide. Ciò porta a un matching "fragile" (dove le prestazioni calano sotto parafrasi), a predizioni "over-confident" (dove il modello è altamente certo anche quando il vincolo testuale è debole) e a allucinazioni a valle nei LVLM. Il documento identifica che gli attuali modelli si impegnano eccessivamente sui residui "non detti" — deviazioni specifiche della vista che non sono supportate coerentemente attraverso molteplici viste testuali della stessa immagine.

Metodologia: Testo come Vincolo Parziale (TPC)
Gli autori propongono TPC, un framework di allineamento core-residuo che riformula le didascalie naturali come vincoli parziali piuttosto che come target completi. Il metodo opera sul presupposto che molteplici viste testuali di un'immagine condividano un "core di consenso" stabile, divergendo in uno spazio residuo "non detto".

Il framework si compone di quattro componenti chiave:

1. Core di Consenso Multi-Vista: Per un'immagine con $K$ viste di didascalia, un core di consenso $c_i$ è definito come la direzione media normalizzata degli embedding testuali. Questo core rappresenta la semantica condivisa e invariante rispetto alla vista.
2. Filtro del Core a Singola Vista: Per consentire l'implementazione con una singola query testuale, un filtro lineare leggero $\psi_\theta$ viene addestrato per predire il core di consenso $c_i$ da un singolo embedding di vista $t_{i,k}$. Ciò garantisce che il modello possa recuperare il target semantico robusto durante l'inferenza senza richiedere molteplici didascalie.
3. Soppressione del Residuo Non Detto: L'embedding testuale viene decomposto nel core predetto e in un residuo "non detto" ortogonale $r_{i,k}$. Un regolarizzatore di non-impegno penalizza esplicitamente l'allineamento tra l'embedding dell'immagine e questi residui, impedendo al modello di fare overfitting su dettagli specifici della vista.
4. Allineamento Contrastivo Consapevole dell'Incertezza: Un metric di incertezza $u_i$ viene calcolato in base al disaccordo (varianza) tra le $K$ viste di didascalia rispetto al consenso. Questa incertezza modula la temperatura $\tau_i$ nella perdita InfoNCE. Quando le didascalie sono in disaccordo (alta incertezza), l'allineamento viene "ammorbidito" per ridurre gli aggiornamenti over-confident; quando concordano, l'allineamento viene reso più netto.

L'obiettivo totale di addestramento combina la perdita di allineamento del core, una perdita di accordo per garantire che il filtro a singola vista corrisponda al consenso, e la perdita di non-impegno per sopprimere i residui.

Contributi Chiave

1. Formalizzazione dell'Sottospecificazione del Linguaggio: Il documento formalizza la variazione delle viste delle didascalie come una forma di sottospecificazione del linguaggio e identifica l'impegno eccessivo sui residui "non detti" come il meccanismo primario dietro la fragilità e le allucinazioni.
2. Framework Core–Residuo: Introduce un principio di addestramento che privilegia la semantica invariante rispetto alla vista e produce punteggi di confidenza che tracciano la forza dei vincoli testuali, pur rimanendo implementabile con una singola query.
3. Giustificazione Teorica: Gli autori forniscono limiti teorici che mostrano come la robustezza migliori aumentando l'allineamento del core e diminuendo la sensibilità ai residui. Dimostrano inoltre che il consenso multi-vista agisce come un meccanismo di denoising per la supervisione testuale incompleta, con garanzie statistiche sulla generalizzazione.

Risultati Sperimentali
TPC è stato valutato attraverso il riconoscimento zero-shot, la robustezza avversaria e il trasferimento in LVLM:

• Riconoscimento Zero-Shot: Su ImageNet, TPC ha raggiunto l'81.42% di accuratezza Top-1 clean e il 64.05% robust, superando il più forte baseline robusto (Adv-W2S) di +5.58/+5.75. Sulla suite di trasferimento Avg-14, ha ottenuto il 76.19% di accuratezza clean e il 52.03% di accuratezza robust.
• Trasferimento LVLM: Utilizzato come encoder visivo per LLaVA-1.5-7B, TPC ha migliorato le metriche di allucinazione degli oggetti, raggiungendo un punteggio medio di 85.16 POPE F1 (superando Adv-W2S di +1.36) e un'accuratezza 59.57 OKVQA.
• Analisi della Robustezza: TPC ha dimostrato una ridotta sensibilità alla scelta della didascalia (minore volatilità del rango) e una migliore calibrazione sotto deboli vincoli testuali. Nei test di stress che coinvolgono cancellazioni controllate delle didascalie, TPC ha mantenuto un'accuratezza più elevata e un Expected Calibration Error (ECE) inferiore rispetto al fine-tuning standard di CLIP.

Significatività e Rivendicazioni
Il documento sostiene che modellare il testo come un vincolo parziale sia una via pratica e fondata per ottenere rappresentazioni visione-linguaggio più affidabili. Separando esplicitamente il core semantico stabile dai residui instabili e specifici della vista, TPC affronta la causa radice della fragilità derivante dalla supervisione linguistica sottospecificate. Gli autori sottolineano che questo approccio non richiede di cambiare l'architettura dei futuri LVLM, ma fornisce piuttosto un "backbone percettivo" più robusto che riduce l'impegno eccessivo su segnali deboli. Il metodo è presentato come un sostituto "drop-in" per gli encoder visivi che integra le correzioni esistenti a livello di decoding e di connettore per le allucinazioni.