FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval

Riepilogo Tecnico: FlowCIR

Problematica
Il recupero di immagini composto a schema zero (Zero-Shot Composed Image Retrieval, ZS-CIR) mira a recuperare un'immagine target modificando un'immagine di riferimento sulla base di un'istruzione in linguaggio naturale, senza fare affidamento su triplette annotate specifiche per dominio. I metodi ZS-CIR esistenti si affidano prevalentemente alla textual inversion (inversione testuale), che traduce l'immagine di riferimento in un piccolo insieme di token di pseudo-testo e li concatena con l'istruzione nello spazio di embedding testuale. Gli autori sostengono che questo approccio sia perdente e fragile per la semantica fine, poiché comprimere un'immagine ricca in pochi token comporta inevitabilmente la perdita di indizi visivi. Inoltre, l'apprendimento di proiettori di inversione efficaci richiede spesso ingenti risorse computazionali (ad esempio, addestramento multi-GPU su dati su scala web). Inoltre, i modelli visione-linguaggio (VLM) come CLIP faticano con la negazione (ad esempio, "nessun cane" o "rimuovi strisce"), causando spesso il collasso geometrico dei concetti affermativi e negati nello spazio di embedding, portando a fallimenti nel recupero su query ricche di negazioni.

Metodologia: FlowCIR
Il paper propone FlowCIR, un nuovo paradigma che inquadra lo ZS-CIR come trasporto semantico condizionale all'interno dello spazio di embedding di pre-addestrati VLM.

1. Trasporto Semantico Condizionale tramite Flow Matching:
   Invece della manipolazione statica dei token, FlowCIR tratta la composizione come un problema di trasporto continuo. Apprende un campo di velocità condizionale leggero (un ODE neurale) che mappa l'embedding dell'istruzione relativa ($x_{Tr}$) verso un embedding testuale allineato al target ($x_{Tt}$), condizionato dall'embedding dell'immagine di riferimento ($x_{Ir}$).

   • Addestramento: Il modello è addestrato su triplette sintetizzate utilizzando il Conditional Flow Matching (CFM). Minimizza la perdita di regressione tra il campo di velocità predetto e la velocità costante reale ($x_{Tt} - x_{Tr}$) lungo un percorso lineare.
   • Obiettivo di Recupero: Viene aggiunta una perdita di recupero contrastiva (InfoNCE), in cui l'embedding testuale target predetto viene accoppiato con l'embedding dell'immagine target reale, utilizzando hard negatives top-$K$ estratti dal batch per affinare la discriminazione.
   • Efficienza: Il modello opera su embedding VLM pre-estratti e addestra solo un modulo di trasporto leggero (un MLP residuo profondo) senza aggiornare gli encoder di immagine o di testo. Ciò consente l'addestramento in circa 0,5 ore su una singola GPU.

2. Multi-Negative Steering (Solo Inferenza):
   Per affrontare l'ambiguità geometrica della negazione nei VLM, gli autori propongono una strategia disponibile solo in fase di inferenza.

   • Meccanismo: Al ricevimento di un'istruzione contenente una negazione (ad esempio, "rimuovi X"), un parser leggero scompone l'istruzione in un'intenzione affermativa e in concetti negati.
   • Steering (Guida): Il metodo costruisce un embedding dell'istruzione guidato che rimane allineato con l'intenzione affermativa ma è esplicitamente respinto dalle direzioni geometriche dei concetti negati (modellati come calotte iperesferiche). Questo spinge la rappresentazione lontano dal "collasso della negazione" comune nello spazio CLIP prima che il processo di trasporto abbia inizio.

Contributi Chiave

1. Paradigma FlowCIR: Introduzione del trasporto semantico condizionale tramite flow matching come meccanismo per il CIR zero-shot, sostituendo la staticità della textual inversion con un processo di composizione continua guidata dal riferimento.
2. Multi-Negative Steering: Proposta di una strategia disponibile solo in fase di inferenza per mitigare il fallimento dei VLM nella gestione di istruzioni di negazione e rimozione, migliorando significativamente la robustezza sulle query ricche di negazioni.
3. Efficienza di Addestramento: Dimostrazione di un protocollo di addestramento computazionalmente efficiente che raggiunge prestazioni competitive con un modulo di trasporto leggero addestrato per circa 0,5 ore su una singola GPU, in contrasto con i requisiti di giorni multipli e multi-GPU dei precedenti metodi basati sull'inversione.

Risultati Sperimentali
Esperimenti estesi sono stati condotti su tre benchmark standard: CIRR, CIRCO e Fashion-IQ, utilizzando backbone CLIP ViT-B/32 e ViT-L/14.

• Prestazioni: FlowCIR raggiunge prestazioni forti e competitive, superando spesso i precedenti metodi basati su textual inversion (ad esempio, SEARLE, Pic2Word) e i metodi basati su modelli generativi (ad esempio, Compo-Diff).
  • Su CIRR (ViT-L/14), migliora il Recall@1 del 2,3% rispetto al precedente baseline basato su dati pubblici.
  • Su CIRCO (ViT-L/14), migliora l'mAP@5 del 14,6% (da 13,0 a 14,9).
  • Su Fashion-IQ, raggiunge il miglior Recall@10 medio e eguaglia il miglior Recall@50.
• Efficienza: Come illustrato nell'analisi performance-vs-cost del paper, FlowCIR raggiunge prestazioni di alto livello con una frazione del tempo di addestramento (0,5h su una singola RTX 3090) rispetto ai baseline che richiedono centinaia di ore di GPU o massicci cluster di TPU.
• Studi di Ablazione:
  • Il Conditional Flow Matching è identificato come il principale motore delle prestazioni, provando che modellare la composizione come trasporto semantico è superiore alla regressione diretta o ai baseline basati solo sul testo.
  • Il Multi-Negative Steering fornisce guadagni costanti e complementari, in particolare sulle query ricche di negazioni.
  • Spazio Target: Il trasporto verso l'embedding testuale target (anziché l'embedding dell'immagine) produce risultati migliori, poiché fornisce un segnale più centrato sulla semantica e una mappatura più omogenea.

Significato e Rivendicazioni
Il paper sostiene che FlowCIR offra un meccanismo principato ed efficiente per l'addestramento per la composizione cross-modale che evita le insidie della textual inversion e gli alti costi degli approcci generativi. Formulando il CIR come trasporto semantico condizionale, il metodo preserva meglio la semantica fine e consente un processo di composizione progressivo guidato dal riferimento. Gli autori posizionano questo lavoro come un passo verso un nuovo paradigma per il recupero cross-modale che va oltre la composizione statica, evidenziando come i metodi basati su flow possano raggiungere un'alta accuratezza con un overhead computazionale minimo. La strategia Multi-Negative Steering è presentata come una soluzione pratica a una debolezza nota dei modelli di tipo CLIP, migliorando la fedeltà del recupero senza richiedere ulteriori dati di addestramento o aggiornamenti del modello.