Riepilogo Tecnico: VISCOP (Visual Contextualized Probing) per il Video Domain Adaptation

1. Definizione del Problema

I Large Vision-Language Models (VLM) dimostrano prestazioni robuste in compiti di ragionamento visivo generale, ma soffrono di un significativo degrado quando vengono impiegati in nuovi domini caratterizzati da sostanziali spostamenti di distribuzione (ad esempio, cambiamenti di punto di vista, modalità di sensing o struttura del compito). Le attuali strategie di adattamento del dominio affrontano un critico compromesso:

• Congelare l'encoder visivo e aggiornare solo i connettori leggeri preserva la conoscenza pre-addestrata, ma limita la capacità del modello di apprendere caratteristiche visive specifiche del dominio.
• Il fine-tuning completo o parziale dell'encoder visivo consente una comprensione visiva specializzata, ma spesso porta al catastrophic forgetting (oblio catastrofico) delle ampie capacità acquisite durante il pre-addestramento.

Inoltre, gli approcci esistenti si affidano tipicamente alle rappresentazioni dell'ultimo strato di un encoder visivo congelato, scartando le caratteristiche intermedie che codificano la struttura visiva multi-livello. Il paper sostiene che le rappresentazioni astratte dell'ultimo strato siano insufficienti per spostamenti visivi prominenti e si chiede come un VLM possa sfruttare segnali specifici del dominio attraverso la profondità di un encoder congelato senza causare l'oblio catastrofico.

2. Metodologia: VISCOP

Gli autori propongono VISCOP (Visual Contextualized Probing), un meccanismo di adattamento leggero progettato per specializzare i VLM per domini target preservando la conoscenza general-purpose.

Architettura Core

VISCOP aumenta un encoder visivo congelato con un insieme compatto di sonde visive apprendibili ($P \in \mathbb{R}^{M \times d_v}$) e un modulo di interazione. A differenza dei metodi che reinterpretano le caratteristiche fisse o le comprimono allo strato finale, VISCOP crea un percorso parametrizzato parallelo:

1. Probing per strato (Layer-wise Probing): Il metodo estrae segnali rilevanti per il dominio dagli strati intermedi ($\ell = 1, \dots, L$) dell'encoder visivo congelato.
2. Modulo di Interazione ($\Phi^\ell$): In ogni strato, un modulo di interazione apprendibile condiziona le sonde sulle rappresentazioni visive gerarchiche ($X^\ell$) tramite cross-attention tra visione e sonda.
   • Le sonde vengono aggiornate come: $P^{\ell+1} = \Phi^\ell(P^\ell, X^\ell)$.
   • Ciò consente alle sonde di prestare attenzione a tutti i frame in un video, apprendendo complesse relazioni spazio-temporali specifiche del dominio target, anche quando l'encoder di base è congelato.
3. Proiezione all'LLM: Dopo l'ultimo strato, le sonde aggiornate ($P^L$) vengono proiettate nello spazio di embedding del linguaggio tramite un connettore dedicato ($C_{probe}$).
4. Obiettivo di Addestramento: Il VLM viene addestrato con uno standard loss di predizione del next-token autoregressivo, condizionato sia sugli embedding visivi originali ($E$) che sugli embedding delle sonde ($Z$).

Strategia di Addestramento

• Componenti Congelati: I parametri dell'encoder visivo pre-addestrato rimangono congelati.
• Componenti Addestrabili: Solo le sonde visive, i moduli di interazione, il connettore visione-linguaggio e (opzionalmente) i parametri LoRA nel LLM vengono aggiornati.
• Meccanismo: Limitando gli aggiornamenti a un sottospazio visivo a basso rango definito dalle sonde, VISCOP orienta l'apprendimento verso strutture rilevanti per il dominio, evitando il "crash" (oblio catastrofico) associato al flusso diretto del gradiente attraverso l'encoder visivo.

3. Contributi Chiave

1. Nuova Strategia di Adattamento: Introduzione di VISCOP, che apprende rappresentazioni visive specifiche del dominio attraverso il probing per strato di un encoder congelato, consentendo un trasferimento efficace senza interrompere le rappresentazioni pre-addestrate.
2. Valutazione Comprensiva: Stabilimento di un rigoroso setting di valutazione che abbraccia tre sfidanti scenari di adattamento:
   • Cross-view: Esocentrico $\to$ Egocentrico.
   • Cross-modal: RGB $\to$ Depth.
   • Cross-task: Comprensione umana $\to$ Controllo robotico.
3. Superiorità Empirica: Dimostrazione che VISCOP supera costantemente le strategie esistenti (inclusi full fine-tuning e partial fine-tuning) nelle prestazioni del dominio target, mantenendo al contempo capacità superiori nel dominio sorgente.

4. Risultati Sperimentali

Gli autori hanno valutato VISCOP contro i baseline (Base VLM, Full Fine-tuning, Partial Fine-tuning, stile Q-Former, Prompt Tuning) attraverso tre domini:

• Comprensione del Video Egocentrico (Esocentrico $\to$ Egocentrico):

  • VISCOP ha ottenuto il miglioramento più elevato sul dominio target ($\Delta_{target} = +3.53$) migliorando simultaneamente la ritenzione sul dominio sorgente ($\Delta_{source} = +1.77$).
  • Al contrario, il full fine-tuning ha migliorato leggermente il target ($\Delta_{target} = +0.57$) ma ha causato dimenticanza sul sorgente ($\Delta_{source} = -0.50$).

• Comprensione del Video Depth (RGB $\to$ Depth):

  • Il gap visivo tra RGB e Depth ha causato una grave dimenticanza negli approcci di fine-tuning standard ($\Delta_{source} = -3.87$).
  • VISCOP ha ottenuto i maggiori guadagni nel target ($\Delta_{target} = +19.27$) preservando la performance del sorgente ($\Delta_{source} = +1.84$).

• Controllo Robotico (Comprensione Umana $\to$ Controllo Robotico):

  • Dato l'estremo gap di dominio (spazio visivo e linguistico), il Base VLM aveva un'accuratezza dello 0%.
  • VISCOP ha ottenuto la migliore performance nel target ($\Delta_{target} = +67.82$) e ha mantenuto la maggior parte della conoscenza sorgente ($\Delta_{source} = -4.58$) rispetto ad altri esperti, che hanno subito una dimenticanza significativa ($\Delta_{source} \approx -8.87$).

• Generalizzazione: VISCOP è stato testato anche sulla comprensione audio (input spettrogramma), mostrando una performance nel target comparabile ai baseline ma con una riduzione significativa della dimenticanza del sorgente, indicando che il metodo non è limitato agli spostamenti visivi.

Efficienza

VISCOP introduce solo un modesto overhead computazionale (aumento del 2% dei parametri, ~3.4GB di aumento di VRAM) e, cosa importante, ha dimostrato una latenza di inferenza inferiore rispetto al VLM base grazie a una generazione di token più focalizzata.

5. Significato e Rivendicazioni

Il paper sostiene che VISCOP affronti il fondamentale compromesso nell'adattamento del dominio dei VLM: l'incapacità di apprendere nuove caratteristiche visive senza cancellare la conoscenza pre-addestrata. Agendo come un "vigile urbano" (traffic cop) che dirige i flussi di gradiente lontano dall'encoder congelato e verso un percorso alternativo, VISCOP consente:

• Efficace Trasferimento del Dominio: Apprendimento di indizi specifici del dominio (ad esempio, movimento egocentrico, struttura della profondità, manipolazione robotica) che sono assenti nella rappresentazione pre-addestrata.
• Preservazione delle Capacità Generali: Mantenimento della competenza sul dominio sorgente, fondamentale per l'impiego nel mondo reale dove i modelli devono gestire input diversificati.
• Utilizzo di Caratteristiche Intermedie: Dimostrazione che gli strati intermedi di un encoder congelato contengono segnali preziosi e specifici del dominio che vanno persi se vengono utilizzate solo le rappresentazioni dell'ultimo strato.

Gli autori concludono che VISCOP fornisce un approccio semplice ma efficace per l'adattamento del dominio video sotto prominenti gap visivi senza modificare i parametri dell'encoder visivo pre-addestrato, una capacità non abilitata dagli approcci esistenti.