TRANSPORTER: Transferring Visual Semantics from VLM Manifolds

1. Il Problema: Interpretabilità dei Modelli Vision-Language (VLM) per Video

I moderni modelli Vision-Language (VLM) sono capaci di ragionare su scene complesse, oggetti, azioni e dinamiche video. Tuttavia, comprendere e controllare i loro processi interni rimane una sfida aperta.

• Limiti degli approcci attuali: Le tecniche esistenti per l'interpretabilità (come il prompting, il linear probing o la decodifica di embedding nascosti) spesso producono descrizioni testuali brevi, sensibili a piccole variazioni o che non rappresentano fedelmente il processo decisionale interno del modello.
• Il Gap: Non esiste un metodo diretto per visualizzare causalmente come le distribuzioni di probabilità (logit) di un VLM corrispondano a rappresentazioni visive specifiche nel dominio video. Come fa un modello a "vedere" la differenza tra "camminare" e "correre" o tra "rosso" e "blu" nei suoi logit?

2. Metodologia: TRANSPORTER e il Task L2V

Il paper introduce un nuovo task generativo chiamato Logits-to-Video (L2V) e un modello indipendente dal VLM chiamato TRANSPORTER. L'obiettivo è generare video che catturino visivamente le regole sottostanti alle previsioni dei VLM, mappando le variazioni dei logit (punteggi di probabilità dei token) in cambiamenti visivi controllati.

Componenti Chiave del Metodo:

1. Accoppiamento di Manifold (Coupling Network $\Phi$):

   • Il cuore del sistema è un network di accoppiamento che collega lo spazio di embedding semantico ad alta fedeltà del VLM ($\mathbb{R}^\Omega$) allo spazio latente del generatore video (Text-to-Video, T2V) ($\mathbb{R}^\Xi$).
   • Poiché decodificare e ricodificare direttamente i video introduce variazioni stocastiche indesiderate, TRANSPORTER utilizza un network $\Phi$ composto da due moduli:
     • $\Phi_{\Omega1}$: Proietta gli embedding del generatore verso lo spazio del VLM minimizzando l'errore quadratico medio (MSE).
     • $\Phi_{\Omega2}$: Preserva la struttura relazionale locale tra i token utilizzando una perdita basata sulla matrice di Gram (per catturare le relazioni geometriche tra i token).
   • Optimal Transport (OT) Apprendibile ($\rho$-OT): Per fondere le proiezioni globali e locali, viene utilizzato un modulo di trasporto ottimo entropico apprendibile. Questo calcola un piano di trasporto ottimale tra le distribuzioni di embedding, permettendo di allineare le rappresentazioni visive e semantiche in modo deterministico.

2. Concept Bank Apprendibile ($Q$):

   • Viene creata una banca di concetti $Q = \{q_o\}$, dove ogni vettore $q_o$ codifica la direzione latente di una coppia di token semantici contrastivi (es. "happy" vs "sad", "red" vs "blue").
   • Durante l'addestramento, la divergenza dei logit ($\Delta\omega$) calcolata tra due condizioni diverse (es. $\pi^-$ e $\pi^+$) viene utilizzata come segnale di supervisione per apprendere questi vettori direzionali.
   • La divergenza viene misurata tramite la distanza di Hellinger tra le distribuzioni dei logit del VLM.

3. Generazione Condizionata (Inference):

   • Durante l'inferenza, per generare un video che rifletta un cambiamento specifico (es. da "giovane" a "anziano"), si prende il rumore latente iniziale e si aggiunge il vettore del concetto ($q_o$) scalato dalla divergenza dei logit target ($\Delta\omega$).
   • Questo modula il campo di velocità del generatore T2V, guidando la generazione verso un video che corrisponde visivamente al cambiamento semantico previsto dal VLM.

3. Contributi Chiave

1. Task L2V (Logits-to-Video): Una nuova task generativa controllata per l'interpretabilità visiva dei VLM, che va oltre le spiegazioni testuali.
2. Modello TRANSPORTER: Un approccio indipendente dal VLM che impara percorsi di trasporto ottimo tra spazi geometrici locali e rappresentazioni globali negli spazi di embedding.
3. Latenti Apprendibili: L'introduzione di vettori latenti ($q_o$) che modulano i video basandosi sulla divergenza target dei logit, permettendo un controllo fine-granulare.
4. Valutazione Empirica: Una serie completa di valutazioni quantitative e qualitative che dimostrano come L2V offra una direzione nuova e ricca di fedeltà per l'interpretabilità dei modelli.

4. Risultati Sperimentali

Il metodo è stato valutato su tre VLM diversi: VideoLLaMA 3, Gemma 3 e Phi 4 MM, utilizzando Wan2.2 come generatore di base.

• Qualità Visiva e Allineamento Semantico:

  • TRANSPORTER supera significativamente le baseline (come metodi di visualizzazione delle feature basati su Activation Maximization o LEAPS).
  • FVD (Fréchet Video Distance): Riduzione drastica dell'errore (es. da ~2000 a ~100-150), indicando che i video generati sono molto più simili a video reali.
  • CLIPv Score: Miglioramento di oltre il doppio rispetto alle baseline (es. da 16.74 a 35.44 su VideoLLaMA 3), dimostrando un allineamento superiore tra il testo generato e il video.
  • Metriche di Divergenza: I video generati mostrano una maggiore somiglianza nelle distribuzioni degli embedding rispetto ai video reali, confermando che il modello ha imparato a rappresentare fedelmente le distribuzioni dei token del VLM.

• Analisi Qualitativa:

  • Il sistema riesce a generare video ad alta fedeltà che modificano attributi specifici (colore, materiale, azioni, contesto) mantenendo invariata la dinamica della scena (es. movimento della telecamera, interazioni temporali).
  • Dimostra la capacità di visualizzare sfumature intermedie (es. transizioni da "camminare" a "correre") e di gestire concetti complessi come preposizioni spaziali o relazioni di plausibilità fisica.

5. Significato e Impatto

Il lavoro TRANSPORTER rappresenta un passo fondamentale verso la comprensione dei processi di ragionamento dei modelli multimodali video.

• Nuova Direzionalità: Sposta l'interpretabilità da descrizioni testuali statiche a rappresentazioni visive dinamiche e causali.
• Verifica dell'Allineamento: Permette di verificare se i VLM hanno effettivamente appreso le correlazioni tra oggetti, attributi e azioni, o se stanno solo memorizzando pattern superficiali.
• Futuro: Apre la strada a strumenti di debug per i VLM, permettendo agli sviluppatori di "vedere" cosa il modello sta "pensando" quando assegna un certo punteggio di probabilità a un token, facilitando lo sviluppo di modelli più robusti e affidabili.

In sintesi, TRANSPORTER trasforma i logit astratti di un modello linguistico-visivo in video concreti, offrendo una finestra trasparente sul "cervello" dei VLM.