Decomposed Vision-Language Alignment for Fine-Grained Open-Vocabulary Segmentation

Riepilogo Tecnico: Allineamento Visione-Linguaggio Decomposto per la Segmentazione Open-Vocabulary Fine-Grained

Enunciato del Problema
I modelli di segmentazione open-vocabulary (OVS), sebbene capaci di generalizzare a nomi di categorie non visti tramite pre-addestramento visione-linguaggio, faticano a generalizzare a combinazioni non viste di categorie di oggetti e attributi (ad esempio, distinguere un "edificio industriale con tetto piatto" da un "edificio residenziale con tetto piatto" quando la combinazione specifica non è stata osservata durante l'addestramento). Gli approcci esistenti codificano tipicamente l'intero prompt testuale come un'unica sequenza olistica. Questa codifica olistica intreccia le semantica delle categorie e degli attributi all'interno di una rappresentazione condivisa, impedendo al modello di decomporre e ricombinare unità semantiche al momento dell'inferenza. Di conseguenza, i modelli falliscono nell'imporre i vincoli logici "E" (AND) necessari per il ragionamento compositivo fine-grained, portando a prestazioni degradate sulle composizioni attributo-categoria non viste.

Metodologia
Gli autori propongono un framework di Allineamento Visione-Linguaggio Decomposto progettato per fattorizzare esplicitamente i prompt testuali e imporre vincoli compositivi sia a livello di caratteristiche che di punteggio. Il metodo è agnostico rispetto al modello, ma qui è istanziato all'interno dell'architettura SAM3.

1. Decomposizione Esplicita del Prompt:
   Invece di concatenare il testo in un'unica frase, il framework codifica la categoria e ciascun attributo in modo indipendente. Per risolvere l'ambiguità geometrica (ad esempio, "tetto piatto" che si applica a qualsiasi superficie piana), gli attributi sono condizionati alla categoria durante la codifica (ad esempio, codificando "tetto piatto" come "edificio con tetto piatto"). Ciò produce una rappresentazione strutturata composta da una sequenza di token di categoria ($t_c$), un insieme di sequenze di token di attributo ($t_{a_k}$) e una maschera di presenza dell'attributo ($m$).

2. Cross-Attention con Gate di Caratteristiche:
   Il framework esegue un cross-attention decomposto tra le query visive e ciascuna unità semantica.

   • Interazione Categoria: Viene utilizzato un cross-attention standard per allineare le query con il token di categoria.
   • Gate degli Attributi: Per ciascun attributo, un ramo di cross-attention separato genera una mappa di gate ($G_{a_k}$) tramite un'attivazione sigmoide. Questi gate agiscono come "filtri di condizione necessaria".
   • Composizione AND: L'output finale delle caratteristiche è ottenuto moltiplicando elemento per elemento le caratteristiche allineate alla categoria e tutti i gate degli attributi attivi ($F_{out} = Q_c \odot \prod G_{a_k}$). Questa aggregazione moltiplicativa impone che una caratteristica visiva sia preservata solo se soddisfa simultaneamente tutti i vincoli degli attributi.

3. Punteggio Compositivo AND nello Spazio Logaritmico:
   Per evitare instabilità numerica e vanishing gradient associati alla moltiplicazione delle probabilità, il meccanismo di punteggio opera nello spazio logaritmico.

   • I logit di corrispondenza per la categoria e per ciascun attributo sono calcolati in modo indipendente.
   • Questi logit sono convertiti in probabilità tramite sigmoide, quindi mappati in log-probabilità.
   • Il punteggio compositivo finale è la somma di queste log-probabilità, normalizzata per il numero di componenti attivi. Questa formulazione approssima matematicamente l'operazione logica AND ($\log(\prod \pi) = \sum \log(\pi)$) mantenendo gradienti stabili durante l'ottimizzazione.

Contributi Chiave

• Allineamento Visione-Linguaggio Decomposto: Un framework che si integra perfettamente nelle architetture di segmentazione basate su transformer, disaccoppiando esplicitamente le interazioni di categoria e attributo per migliorare l'OVS fine-grained.
• Cross-Attention con Gate di Caratteristiche: Un modulo innovativo in cui gli attributi funzionano come filtri spaziali, disaccoppiando l'apprendimento delle caratteristiche specifiche degli attributi e imponendo vincoli compositivi tramite gate moltiplicativi.
• Punteggio Compositivo AND nello Spazio Logaritmico: Una strategia di punteggio che modella esplicitamente le relazioni logiche AND tra unità semantiche, offrendo stabilità numerica e comportamento di ottimizzazione migliorato rispetto alla moltiplicazione diretta delle probabilità.
• Protocollo di Valutazione per la Generalizzazione Compositiva: L'introduzione di un protocollo di valutazione rigoroso che divide i dati in composizioni attributo-categoria viste e non viste, utilizzando metriche come AP non visto, Gap Visto-Non Visto ($R_d$) ed Efficienza-AND per misurare le capacità di ragionamento compositivo.

Risultati Sperimentali
Il metodo è stato valutato sul dataset UBC building e sul dataset PACO-LVIS in un contesto di generalizzazione compositiva in cui combinazioni specifiche di attributo-categoria sono state escluse dall'addestramento.

• Miglioramenti delle Prestazioni: Sul dataset UBC, il metodo proposto ha aumentato l'AP non visto da 4,0 (baseline SAM3) a 7,1, mentre la metrica Efficienza-AND è migliorata significativamente da 0,533 a 0,959. Su PACO-LVIS, l'AP non visto è salito da 37,9 a 39,2, e l'Efficienza-AND da 0,874 a 0,907.
• Studi di Ablazione: Gli esperimenti hanno confermato che la codifica olistica limita la generalizzazione. Sostituire la codifica olistica con codifica indipendente e aggregazione media ha migliorato i risultati, ma il meccanismo completo Log-Space AND ha fornito i guadagni più significativi. Inoltre, il metodo ha superato i metodi adattati di Compositional Zero-Shot Learning (CZSL) (ad esempio, AttrAsOp, CGE), dimostrando che il gate spaziale a livello di pixel è superiore ai vettori di composizione globali per compiti di previsione densa.
• Analisi Qualitativa: Le visualizzazioni dei gate delle caratteristiche hanno mostrato che il modello ha imparato con successo a sopprimere le istanze che corrispondevano alla categoria ma violavano vincoli specifici degli attributi (ad esempio, sopprimere edifici commerciali quando il prompt richiedeva "residenziali"), confermando l'efficacia del meccanismo di gate moltiplicativo.

Significato
L'articolo afferma che il suo significato principale risiede nell'affrontare il bias sistematico dei modelli visione-linguaggio nel ragionamento compositivo fine-grained. Trasferendo l'idea di decomposizione dal Compositional Zero-Shot Learning a livello di immagine al dominio a livello di pixel della segmentazione, il lavoro dimostra che la fattorizzazione esplicita delle unità semantiche e l'imposizione di vincoli logici a livello di caratteristiche sono fondamentali per generalizzare a composizioni non viste. Gli autori ipotizzano che questo framework fornisca una base robusta per lo sviluppo di sistemi di percezione open-world più affidabili, capaci di gestire descrizioni semantiche complesse e strutturate.