Steerable Visual Representations

1. Il Problema

I modelli di visione artificiale pre-addestrati, come i Vision Transformers (ViT) basati su DINOv2 o MAE, forniscono rappresentazioni visive generiche di alta qualità applicabili a molte attività (ricerca, classificazione, segmentazione). Tuttavia, presentano una limitazione fondamentale: tendono a focalizzarsi esclusivamente sugli oggetti più salienti o dominanti nell'immagine, ignorando concetti meno evidenti o oggetti di sfondo.

D'altro canto, i Modelli Linguistici Multimodali (MLLM) possono essere guidati da prompt testuali, ma le loro rappresentazioni tendono a diventare troppo centrate sul linguaggio, perdendo la qualità visiva necessaria per compiti generici di visione. Inoltre, la maggior parte dei modelli visione-linguaggio (come CLIP) utilizza una fusione tardiva (late fusion), dove il testo viene combinato con le caratteristiche visive solo dopo l'encoding, il che non permette di influenzare il processo di estrazione delle feature visive stesse.

L'obiettivo è creare una rappresentazione visiva che sia:

1. Guidabile (Steerable): In grado di adattarsi a un prompt testuale per focalizzarsi su oggetti specifici, indipendentemente dalla loro salienza.
2. Di Alta Qualità: Mantenere la capacità di trasferimento su compiti visivi generici (classificazione, segmentazione).
3. Fusione Precoce (Early Fusion): Il testo deve influenzare l'encoding visivo fin dalle prime fasi, non solo alla fine.

2. Metodologia: SteerViT

Gli autori introducono SteerViT, un framework che equipaggia qualsiasi ViT pre-addestrato con la capacità di essere guidato dal linguaggio naturale. L'approccio inverte il paradigma dei MLLM: invece di adattare il linguaggio alla visione, si condiziona la visione sul linguaggio.

Architettura

Il metodo modifica un ViT pre-addestrato (es. DINOv2) mantenendo i suoi pesi congelati e inserendo strati leggeri di cross-attention (attenzione incrociata) tra i blocchi esistenti.

• Visual Encoder: Un ViT pre-addestrato (es. DINOv2, SigLIP, MAE) che produce token di patch.
• Text Encoder: Un encoder testuale congelato (es. RoBERTa-Large) che genera embedding per il prompt.
• Multimodal Adapter: Un MLP trainabile che proietta gli embedding testuali nello spazio delle dimensioni del ViT.
• Gated Cross-Attention: Vengono inseriti strati di cross-attention in ogni secondo blocco del ViT. I token visivi agiscono come Query, mentre i token testuali adattati agiscono come Key e Value.
  • L'output è integrato nello stream residuo tramite un gate a funzione tanh con uno scalare appreso ($\alpha_\ell$), inizializzato a zero. Questo garantisce che, all'inizio, il modello si comporti esattamente come il ViT originale, attivando gradualmente la guida testuale durante l'ottimizzazione.

Obiettivo di Addestramento

Per insegnare al modello a incorporare i suggerimenti linguistici, viene utilizzato un compito pretext di segmentazione referenziale.

• Input: Un'immagine e un prompt testuale che descrive un oggetto target.
• Task: Il modello deve prevedere quali patch dell'immagine corrispondono alla regione descritta dal testo.
• Loss: Viene utilizzata una Soft Cross-Entropy Loss a livello di patch. Questo approccio evita la necessità di decoder pixel-level complessi e forza gli strati di cross-attention a instradare le informazioni testuali verso le patch visive rilevanti.

Dati di Addestramento

Il modello è addestrato su un mix di dataset di segmentazione referenziale e grounding (RefCOCO, Visual Genome, LVIS, Mapillary Vistas), comprendente 162k immagini uniche e 2.28M coppie immagine-testo.

3. Contributi Chiave

1. Nuova Classe di Rappresentazioni: Introduzione di "Rappresentazioni Visive Guidabili" che permettono di controllare cosa il modello codifica tramite testo naturale.
2. Efficienza Parametrica: Il metodo aggiunge solo 21 milioni di parametri trainabili (due ordini di grandezza in meno rispetto ai MLLM), mantenendo il backbone visivo congelato.
3. Miglioramento Pareto: SteerViT raggiunge un nuovo fronte di Pareto, ottenendo un'elevata guidabilità testuale senza sacrificare la qualità delle rappresentazioni visive di base, a differenza di approcci precedenti che dovevano fare compromessi.
4. Generalizzazione Zero-Shot: Il modello dimostra la capacità di trasferirsi a nuovi domini e compiti senza addestramento specifico per task.

4. Risultati Sperimentali

Gli autori hanno valutato SteerViT su diversi benchmark, confrontandolo con ViT unimodali, encoder cross-modali, MLLM e modelli di localizzazione open-vocabulary.

• CORE (COnditional REtrieval): Un benchmark per misurare la capacità di recuperare immagini contenenti un oggetto specifico indicato dal testo, ignorando il contesto della scena.
  • Risultato: SteerViT raggiunge il 96.0% di accuratezza (top-1), superando di gran lunga DINOv2 (43.7%) e i MLLM (es. InternVL3-2B al 76.0%). I modelli unimodali falliscono perché si concentrano sulla scena generale.
• MOSAIC Localization: Valuta la capacità di indirizzare l'attenzione verso oggetti specifici in un mosaico di immagini.
  • Risultato: SteerViT reindirizza l'attenzione con successo verso l'oggetto richiesto (es. "persona" o "pianta"), ottenendo un PR-AUC del 50.2% contro il 14.3% di DINOv2.
• Qualità della Rappresentazione: Test di classificazione fine-grained (ImageWoof, StanfordCars) e segmentazione (ADE20k).
  • Risultato: SteerViT mantiene o migliora leggermente la qualità delle feature rispetto al ViT originale, dimostrando che la guida testuale non degrada le capacità visive.
• Discriminazione di Oggetti Personalizzati (PODS): Capacità di distinguere istanze specifiche (es. "la mia tazza" vs "tutte le tazze").
  • Risultato: La specificità del prompt è cruciale: descrizioni dettagliate portano a prestazioni superiori (58.1% PR-AUC) rispetto a prompt generici, superando varianti di DINOv2 fine-tunate su task specifici.
• Segmentazione di Anomalie (Zero-Shot): Su dataset industriali (MVTec AD).
  • Risultato: SteerViT ottiene un PRO di 82.1, competendo con metodi dedicati all'anomaly detection e superando approcci generici come SAM3 (54.5) e CLIPseg (34.6), pur senza addestramento specifico su anomalie.

5. Significato e Impatto

SteerViT rappresenta un cambio di paradigma nell'elaborazione visione-linguaggio. Dimostra che è possibile condizionare la visione sul linguaggio in modo efficiente, invertendo l'approccio tradizionale dei MLLM.

• Fusione Precoce: Conferma che l'iniezione del testo negli strati intermedi del ViT (early fusion) è superiore alla fusione tardiva per la guidabilità delle feature.
• Controllo della Granularità: Il testo non solo seleziona oggetti, ma permette di ridefinire la topologia dello spazio di embedding, raggruppando concetti per attributi compositivi (es. "ha gli occhi") o gerarchie semantiche.
• Efficienza: Offre capacità multimodali avanzate con un costo computazionale e parametrico minimo, rendendo possibile l'adattamento di encoder visivi esistenti a nuovi domini senza ri-addestramento massivo.

In sintesi, SteerViT trasforma i potenti encoder visivi statici in sistemi dinamici e guidabili dal linguaggio, aprendo nuove possibilità per l'interazione uomo-macchina e l'analisi visiva adattiva.