FlowComposer: Composable Flows for Compositional Zero-Shot Learning

1. Il Problema: Compositional Zero-Shot Learning (CZSL)

Il Compositional Zero-Shot Learning (CZSL) mira a riconoscere combinazioni di attributi e oggetti mai visti durante l'addestramento (es. "mela verde"), ricombinando concetti primitivi appresi da coppie osservate (es. "mela rossa", "banana verde").

Sebbene i metodi recenti basati su Vision-Language Models (VLM) come CLIP e tecniche di Fine-Tuning Efficiente dei Parametri (PEFT) abbiano fatto progressi, il paper identifica due limitazioni fondamentali che ne ostacolano la generalizzazione:

1. Costruzione Implicita della Composizione: I metodi attuali combinano attributi e oggetti a livello di token (concatenazione di prompt testuali) piuttosto che eseguire un'operazione esplicita nello spazio degli embedding. Questo porta a rappresentazioni di composizioni non viste che non si allineano bene con le immagini reali nello spazio vettoriale.
2. Entanglement delle Feature Residuo: I "disentangler" visivi (reti che cercano di separare attributi e oggetti) non riescono a garantire una separazione perfetta. Le informazioni "trapelano" tra i rami (es. l'attributo influenza la rappresentazione dell'oggetto), creando un'entanglement residuo che indebolisce l'allineamento specifico per ramo e riduce l'affidabilità delle composizioni non viste.

2. Metodologia: FlowComposer

Gli autori propongono FlowComposer, un framework agnostico al modello che utilizza il Flow Matching (FM) per trasformare le feature visive in embedding testuali attraverso flussi di velocità appresi. Il framework è composto da tre componenti principali:

A. Flussi Primitivi (Primitive Flows)

Invece di concatenare token, il modello apprende due flussi di velocità distinti (uno per l'attributo e uno per l'oggetto) che trasportano le feature visive verso i rispettivi embedding testuali.

• Utilizza una formulazione di Rectified Flow: data una coppia (feature visiva $x_0$, embedding testuale $x_1$), il modello apprende un campo di velocità $v_\theta$ che trasporta $x_0$ verso $x_1$ lungo un percorso lineare.
• Questo permette di modellare esplicitamente il trasporto nello spazio degli embedding, superando la limitazione della concatenazione di token.

B. Il Compositore (The Composer)

Poiché il contributo relativo di attributo e oggetto varia da campione a campione, viene introdotto un modulo Composer apprendibile.

• Il Composer non fonde semplicemente le feature, ma combina i campi di velocità primitivi ($\hat{v}_a$ e $\hat{v}_o$) per generare un campo di velocità composito ($\hat{v}_c$).
• Impara coefficienti di combinazione ($\hat{a}, \hat{b}$) che pesano le direzioni dei flussi primitivi per approssimare la velocità target della composizione. Questo sostituisce la logica fissa con una regola di composizione dinamica e adattiva nello spazio degli embedding.

C. Augmentation Guidata dalla Perdita (Leakage-Guided Augmentation)

Invece di considerare l'entanglement residuo (la "perdita" di informazioni tra i rami) come un fallimento, FlowComposer lo sfrutta come segnale di supervisione aggiuntivo.

• Le feature "trapelate" da un ramo (es. feature visive dell'oggetto usate per prevedere l'attributo) vengono riutilizzate per addestrare il flusso corrispondente verso il suo target testuale.
• Questo trasforma un difetto (entanglement) in una risorsa, arricchendo i segnali di supervisione e migliorando la robustezza del modello.

3. Contributi Chiave

1. Primo studio sistematico del Flow Matching per CZSL: Introduce un nuovo paradigma che sfrutta la natura composizionale e decomposizionale dei campi di velocità per allineare immagini e testo.
2. Composizione Esplicita nello Spazio degli Embedding: Sostituisce la concatenazione di token con un'operazione matematica esplicita (combinazione di vettori di velocità), permettendo una generalizzazione superiore alle coppie non viste.
3. Sfruttamento dell'Entanglement Residuo: Propone una strategia innovativa di augmentation che utilizza le informazioni cross-branche come segnali di supervisione costruttivi, migliorando l'allineamento senza richiedere un disentangling perfetto.
4. Modularità e Agnosticismo: FlowComposer è un componente "plug-and-play" che può essere integrato in pipeline CZSL esistenti (come CSP o Troika) con modifiche minime, operando puramente nello spazio delle rappresentazioni.

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark pubblici: MIT-States, UT-Zappos e C-GQA, sia in setting closed-world che open-world.

• Performance: Integrando FlowComposer nei baseline più forti (CSP e Troika), si ottengono miglioramenti significativi e consistenti in tutte le metriche, inclusi HM (Harmonic Mean) e AUC (Area Under the Curve).
  • Su UT-Zappos, ad esempio, FlowComposer su Troika migliora l'AUC del +5.0% e l'HM del +3.2% nel setting closed-world.
  • Supera approcci che utilizzano conoscenze esterne da LLM (come PLID o LOGICZSL) in diversi scenari, dimostrando che la struttura del flusso è più efficace della semplice aggiunta di conoscenza testuale.
• Bilanciamento Seen/Unseen: A differenza dei baseline che tendono a sovrastimare le composizioni viste a scapito di quelle non viste (bias), FlowComposer mantiene un equilibrio più stabile tra accuratezza su dati visti e non visti durante l'addestramento.
• Analisi di Ablazione: Le analisi confermano che ogni componente (Flussi Primitivi, Composer, Augmentation guidata dalla perdita) contribuisce positivamente. In particolare, l'uso di flussi primitivi separati è cruciale per la generalizzazione rispetto a un singolo flusso diretto per la composizione.
• Efficienza: L'overhead computazionale è minimo grazie allo schema di trasporto "one-step" e alla leggerezza del Composer.

5. Significato e Impatto

Questo lavoro segna un cambio di paradigma nel CZSL:

• Dall'Implicito all'Esplicito: Sposta il focus dalla manipolazione di prompt testuali (token-level) alla modellazione geometrica esplicita delle relazioni nello spazio vettoriale.
• Ridefinizione dell'Entanglement: Dimostra che l'imperfezione nei modelli di disentanglement non deve essere combattuta, ma può essere sfruttata strategicamente per migliorare l'apprendimento.
• Generalizzazione Robusta: Offre una soluzione robusta al problema della generalizzazione su composizioni non viste, che rimane la sfida principale nel zero-shot learning, rendendo i modelli più affidabili per applicazioni nel mondo reale dove le combinazioni sono infinite.

In sintesi, FlowComposer dimostra che il Flow Matching è un meccanismo computazionale naturale ed efficace per la composizionalità, offrendo un framework solido e scalabile per il riconoscimento di concetti visivi complessi.