VIPA: Visual Informative Part Attention for Referring Image Segmentation

Titolo

VIPA: Visual Informative Part Attention per la Segmentazione di Immagini con Riferimento Linguistico (RIS)

1. Il Problema

La Segmentazione di Immagini con Riferimento (Referring Image Segmentation - RIS) è un compito complesso di visione e linguaggio che richiede di segmentare un oggetto specifico in un'immagine basandosi su un'espressione linguistica naturale (es. "il gatto nero seduto sul divano").

Le sfide principali identificate dagli autori sono:

• Limitazioni delle approcci attuali: I metodi esistenti utilizzano spesso token linguistici avanzati (estratti tramite encoder incrociati o LLM) come chiavi e valori (key-value) nel decoder di segmentazione, proiettando le informazioni visive nel dominio del linguaggio.
• Disallineamento modale: Questa proiezione crea un "gap" modale elevato e un'alta varianza nella proiezione incrociata, portando a una coerenza semantica ridotta nel meccanismo di attenzione.
• Perdita di dettagli: I metodi basati puramente sul linguaggio tendono a perdere regioni target fini o ad attendere erroneamente su aree non target, fallendo nella segmentazione fine-granularità.

2. Metodologia: Il Framework VIPA

Gli autori propongono VIPA (Visual Informative Part Attention), un nuovo framework che inverte la logica tradizionale: invece di proiettare il visivo nel linguaggio, utilizza parti informative del contesto visivo come fonte primaria di informazione per guidare l'attenzione.

Il framework si compone di tre fasi principali:

A. Estrazione delle Caratteristiche

• Un encoder visivo (es. Swin-B) estrae le feature dell'immagine.
• Un encoder linguistico (es. BERT) estrae i token dell'espressione, inclusi il token globale [CLS] e i token locali (parole).
• Vengono generati token linguistici avanzati tramite meccanismi di cross-attention con le feature visive.

B. Visual Expression Generator (VEG)

Questo è il cuore dell'innovazione. Il modulo VEG genera una "Espressione Visiva" (Visual Expression) composta da token visivi informativi, attraverso due passaggi:

1. Recupero dei Token Visivi Informativi:
   • Utilizza i contesti linguistici (globali e locali) come cue per recuperare i token visivi rilevanti tra tutti i pixel dell'immagine.
   • Calcola una mappa di punteggio di rilevanza tra token visivi e linguistici.
   • Utilizza un campionamento differenziabile (Gumbel-Softmax) per selezionare i token più rilevanti senza perdere la capacità di backpropagation.
   • Viene applicata una loss di contrasto a livello di pixel per supervisionare il recupero, assicurando che i pixel rilevanti siano vicini nello spazio di embedding e quelli irrilevanti lontani.
2. Raffinamento del Contesto Visivo:
   • I token recuperati vengono aggregati e poi raffinati tramite un meccanismo di cross-attention mascherata dinamica.
   • Questo passaggio riduce il rumore informativo e permette ai token di condividere attributi visivi, focalizzando l'attenzione sulle informazioni semantiche strutturali.
   • I token raffinati vengono poi elaborati tramite self-attention per creare l'Espressione Visiva finale ($\hat{E}_V$).

C. Decoder di Segmentazione con VIPA

• Nel decoder Transformer basato su segmentazione, le feature visive fungono da Query.
• L'Espressione Visiva ($\hat{E}_V$), generata dal VEG, funge da Key-Value set.
• Vantaggio chiave: Poiché sia la Query (feature visiva) che il Key-Value (espressione visiva) risiedono nello stesso spazio modale (visivo), si riduce il gap modale e si aumenta la coerenza semantica rispetto all'uso di token linguistici come Key-Value.

3. Contributi Chiave

1. Nuovo Paradigma di Attenzione: VIPA è il primo lavoro a esplorare esplicitamente le parti informative del contesto visivo come set Key-Value per il meccanismo di attenzione nella segmentazione con riferimento, invece di proiettare il visivo nel linguaggio.
2. Modulo VEG (Visual Expression Generator): Un modulo innovativo che recupera e raffina i token visivi basandosi su cue linguistici locali e globali, mitigando il rumore e condividendo attributi visivi per una segmentazione fine.
3. Coerenza Semantica e Riduzione del Gap Modale: La progettazione allinea Query e Key-Value nello spazio visivo, riducendo l'entropia di proiezione modale e migliorando la robustezza dell'allineamento.
4. Agnosticismo rispetto all'Encoder: Il metodo funziona efficacemente indipendentemente dall'architettura dell'encoder visivo o dalla strategia di fusione (early/late fusion).

4. Risultati Sperimentali

Il framework è stato valutato su quattro benchmark pubblici (RefCOCO, RefCOCO+, RefCOCOg, ReferIt).

• Prestazioni Superiori: VIPA supera lo stato dell'arte (SOTA) su tutti i dataset e le suddivisioni (val, test A, test B).
  • Su RefCOCOg (il dataset più difficile), VIPA mostra miglioramenti significativi rispetto ai metodi precedenti (es. +2.22% e +2.48% su diverse suddivisioni rispetto a MagNet).
  • In termini di mIoU (mean Intersection over Union), VIPA supera CGFormer di circa il 1.84% in media su quattro benchmark.
• Efficienza Computazionale:
  • Confrontato con i modelli basati su LLM (es. LISA, GLaMM), VIPA offre prestazioni competitive ma con un costo computazionale drasticamente inferiore (5-10 volte più veloce e con meno GFLOPs).
  • Su RefCOCOg, VIPA raggiunge un oIoU del 65.93% con soli 431 GFLOPs, contro i 13.026 GFLOPs di LISA-7B.
• Generalizzazione: In setting di generalizzazione (training su classi "seen" e test su "unseen"), VIPA supera i metodi esistenti, dimostrando una migliore capacità di comprendere il contesto visivo.
• Analisi Qualitativa: Le visualizzazioni t-SNE e le mappe di attenzione mostrano che l'Espressione Visiva è allineata più strettamente ai pixel target rispetto alle espressioni linguistiche, portando a segmentazioni più complete e precise, specialmente per oggetti piccoli o in contesti complessi.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Ridefinisce l'architettura di fusione: Dimostra che per la RIS, mantenere l'informazione target nello spazio visivo (usando parti visive informative come guida) è più efficace che proiettarla nel dominio linguistico.
• Bilancia Efficienza e Prestazione: Offre un'alternativa potente ai modelli basati su LLM e SAM (Segment Anything Model), che sono spesso troppo pesanti e costosi per applicazioni pratiche, pur mantenendo o superando le loro prestazioni.
• Migliora la Robustezza: La capacità di focalizzarsi su regioni fini e di ignorare il rumore visivo rende il modello più robusto in scenari reali con espressioni linguistiche complesse e immagini affollate.

In sintesi, VIPA rappresenta un passo avanti fondamentale nella comprensione visiva guidata dal linguaggio, proponendo un meccanismo di attenzione più coerente semanticamente ed efficientemente computazionale.