Combating Visual Neglect and Semantic Drift in Large Multimodal Models for Enhanced Cross-Modal Retrieval

1. Enunciato del Problema

Il paper affronta due limitazioni critiche nei sistemi attuali di Recupero Multimodale Unificato (UMR) basati su Large Multimodal Model (LMM):

• Deviazione dell'Allineamento Semantico: I metodi esistenti si affidano principalmente all'apprendimento contrastivo a livello di campione (distinzione tra coppie positive e negative). Questo spesso non riesce a catturare le semantica a livello di soggetto, causando modelli che allocano erroneamente l'attenzione su regioni semanticamente irrilevanti invece che sui soggetti visivi specifici menzionati nella query testuale.
• Negligenza della Modalità Visiva: Gli LMM tendono a sovrastimare gli indizi testuali, portando a uno squilibrio in cui le informazioni visive sono sottoutilizzate. I modelli si raggruppano pesantemente in regioni "biasate al testo" dello spazio di embedding, fallendo nel sfruttare efficacemente la conoscenza visiva complementare.

2. Metodologia: Framework SSA-ME

Gli autori propongono Salient Subject-Aware Multimodal Embedding (SSA-ME), un framework progettato per potenziare l'apprendimento di rappresentazioni fini attraverso una modellazione consapevole della salienza. L'architettura consta di tre fasi principali:

A. Estrazione delle Caratteristiche Multimodali

Il framework utilizza una pipeline LMM standard (Codificatore Visivo + Proiettore + Modello Linguistico) ma adotta il principio della Limitazione Esplicita a un Token (EOL). Elabora input intercalati immagine-testo utilizzando template di prompt specifici per generare un embedding multimodale unificato.

B. Allineamento dell'Attenzione Guidato dalla Salienza (SGA)

Questo modulo affronta la deviazione dell'allineamento semantico forzando il modello a concentrarsi sui soggetti visivi rilevanti.

1. Estrazione del Soggetto: Un LMM basato su prompt (es. Qwen2.5-VL) analizza la query e il corrispondente campione positivo per estrarre un insieme di sostantivi salienti ($S$) che appaiono in entrambi e sono visivamente riconoscibili.
2. Segmentazione: Un modello esperto visivo (Segment Anything Model - SAM) genera maschere di segmentazione binarie per questi soggetti estratti nell'immagine della query.
3. Generazione della Mappa di Salienza: Le maschere binarie vengono levigate utilizzando kernel gaussiani per creare mappe di salienza continue ($A$). Un meccanismo di validazione della confidenza (utilizzando la similarità CLIP) filtra i soggetti a bassa confidenza.
4. Funzione di Perdita: Viene introdotta una Perdita Guidata dalla Salienza ($L_{SG}$) per minimizzare la divergenza di Kullback-Leibler (KL) tra le distribuzioni di attenzione interne del modello e le mappe di salienza generate, assicurando che il modello presti attenzione alle regioni corrette.

C. Rigenerazione delle Caratteristiche Guidata dalla Salienza (SDR)

Questo modulo affronta la negligenza della modalità visiva ricalibrando le caratteristiche visive.

1. Rigenerazione delle Caratteristiche: Il modello estrae i pattern di attenzione visiva dell'ultimo strato, li appiattisce e li utilizza come pesi per riassemblare i token delle caratteristiche visive.
2. Fusione: Il riepilogo visivo rigenerato e ponderato sulla salienza ($\hat{F}_v$) viene fuso (tramite addizione) con la caratteristica originale dell'ultimo token ($F_{last}$) per formare l'embedding multimodale finale. Questo garantisce che la rappresentazione finale incorpori pesantemente le informazioni visive più salienti.

Obiettivo di Addestramento: La perdita totale combina la perdita contrastiva standard ($L_{Con}$) con la perdita guidata dalla salienza:
$$L_{total} = L_{Con} + \alpha \cdot L_{SG}$$

3. Contributi Chiave

1. Prospettiva a Livello di Soggetto: Il paper identifica e analizza sistematicamente la "deviazione dell'allineamento semantico" e la "negligenza della modalità visiva" come difetti fondamentali nell'ottimizzazione a livello di campione, proponendo un passaggio verso il ragionamento a livello di soggetto.
2. Componenti Novità (SGA & SDR):
   • SGA: Allinea l'attenzione del modello con regioni semanticamente significative utilizzando un approccio di distillazione da LMM e SAM.
   • SDR: Ricalibra le caratteristiche visive basandosi sulle mappe di salienza per impedire al modello di ignorare gli input visivi.
3. Prestazioni allo Stato dell'Arte: Il metodo raggiunge nuovi benchmark sul MMEB (Multimodal Embedding Benchmark), dimostrando che la modellazione esplicita dei soggetti migliora significativamente l'accuratezza del recupero e la generalizzazione.

4. Risultati Sperimentali

Gli autori hanno valutato SSA-ME sul benchmark MMEB, che include 20 dataset in-distribution (IND) e 16 out-of-distribution (OOD) su quattro compiti: Classificazione, VQA, Recupero e Grounding Visivo.

• Miglioramenti delle Prestazioni:
  • SSA-ME (Qwen2VL-2B): Ha raggiunto un punteggio complessivo del 66,0%, superando la baseline VLM2Vec (2B) del +5,9%. Ha mostrato miglioramenti massicci nella Classificazione (+6,7%) e VQA (+8,8%).
  • SSA-ME (Qwen2VL-7B): Ha raggiunto un punteggio complessivo del 69,0%, superando la baseline 7B del +3,2% e altre baselines forti come MMRet.
• Generalizzazione: Il modello ha mostrato prestazioni robuste sui dataset OOD, con guadagni del +7,2% rispetto alla baseline, indicando una forte adattabilità a distribuzioni di dati non visti.
• Bilanciamento dell'Attenzione: L'analisi qualitativa (Figura 3) ha mostrato che SSA-ME ha ridotto significativamente la distanza tra i pesi di attenzione visiva e testuale (fino a una riduzione del 99,5% nei compiti di recupero), mitigando efficacemente la negligenza della modalità visiva.
• Studi di Ablazione:
  • Sia i componenti SGA che SDR hanno contribuito positivamente, con la loro combinazione che ha prodotto i migliori risultati.
  • È stato scoperto che applicare l'allineamento dell'attenzione allo strato finale del transformer è più efficace rispetto agli strati iniziali o intermedi.
  • Il filtraggio della rilevanza semantica è stato cruciale per rimuovere il rumore e migliorare l'accuratezza del grounding.

5. Significato

Questo lavoro è significativo perché va oltre il paradigma standard dell'"apprendimento contrastivo" nel recupero multimodale. Modellando esplicitamente i soggetti salienti, SSA-ME risolve il problema della "scatola nera" su dove il modello sta guardando, portando a:

• Interpretabilità: Le mappe di attenzione del modello si allineano con oggetti identificabili dall'uomo.
• Robustezza: Migliore gestione di query complesse che richiedono una corrispondenza visivo-testuale fine.
• Efficienza: La capacità di rigenerare le caratteristiche da un sottoinsieme di token salienti mantiene alte prestazioni senza elaborare inutilmente l'intero set di token.

Il paper stabilisce che incorporare il ragionamento a livello di soggetto è un passo critico verso il raggiungimento di una comprensione multimodale veramente universale ed equilibrata.