FIRE-CIR: Fine-grained Reasoning for Composed Fashion Image Retrieval

1. Il Problema: Recupero di Immagini Composte (CIR) nel Dominio della Moda

Il Composed Image Retrieval (CIR) è un compito di ricerca multimodale in cui l'obiettivo è recuperare un'immagine target che rappresenta una modifica specifica di un'immagine di riferimento, descritta tramite un testo. Ad esempio, data un'immagine di una camicia e il testo "questa camicia, ma con maniche più lunghe", il sistema deve trovare l'immagine che corrisponde a questa descrizione modificata.

Sebbene i recenti modelli Vision-Language (VLM) come CLIP abbiano ottenuto risultati promettenti, affrontano due limitazioni critiche nel dominio della moda, caratterizzato da dettagli fini:

1. Copertura incompleta: I metodi basati su embedding condiviso faticano a rilevare e sfruttare tutti i dettagli intricati presenti nel testo e nell'immagine per il recupero.
2. Fusione subottimale: Le query multimodali fuse tendono a conservare informazioni dall'immagine di riferimento che sono incompatibili con le modifiche richieste dal testo. Questo porta a risultati parzialmente rilevanti che vengono classificati troppo in alto, riducendo l'accuratezza e l'interpretabilità.

I metodi esistenti spesso trattano il recupero come una "scatola nera" basata sulla similarità, senza spiegare perché un'immagine è stata selezionata o scartata, e faticano a gestire le "falsi negativi" (immagini candidate rilevanti che non sono l'immagine target esatta ma soddisfano comunque la query).

2. Metodologia: FIRE-CIR

FIRE-CIR introduce un approccio basato sul ragionamento visivo guidato da domande (question-driven visual reasoning) per superare i limiti dei metodi basati puramente sull'embedding.

A. Generazione di Domande Visive (Visual Question Generation)

Invece di fondere direttamente testo e immagine, il modello:

1. Analizza il testo di modifica e lo scompone automaticamente in una serie di domande visive focalizzate sugli attributi (es. "La gonna è più larga dell'immagine di riferimento?", "Il vestito è nero?").
2. Utilizza un LLM per generare queste domande, determinando per ciascuna:
   • La domanda Sì/No specifica.
   • La risposta attesa compatibile con il testo di modifica.
   • Se è necessaria un'analisi comparativa tra l'immagine di riferimento e quella candidata (dual-image) o se basta l'immagine candidata (single-image).

B. Costruzione del Dataset VQA per la Moda

Per addestrare un modello in grado di rispondere a queste domande, gli autori hanno costruito un dataset VQA su larga scala specifico per la moda:

• Automazione: Le domande sono generate automaticamente dal testo di modifica.
• Bilanciamento: Per evitare bias linguistici (dove il modello indovina "Sì" troppo spesso), il dataset è bilanciato campionando immagini non-target per generare risposte "No".
• Annotazione: Un VLM più grande (InternVL-3-78B) è stato utilizzato per annotare automaticamente le risposte per le immagini non-target, creando un dataset di oltre 413.000 coppie domanda-immagine.
• Tipologia: Include sia domande su singole immagini che domande comparative (dual-image), essenziali per verificare modifiche relative (es. "più lungo di").

C. Adattamento del Modello VQA (Fine-tuning)

Un modello VLM (InternVL-3-1B) viene fine-tuned su questo dataset specifico utilizzando LoRA (Low-Rank Adaptation). Questo permette al modello di:

• Comprendere il vocabolario e gli elementi visivi specifici della moda.
• Eseguire un ragionamento fine-grained per verificare la coerenza tra l'immagine candidata e le modifiche richieste.
• Operare con alta velocità di inferenza rispetto a modelli più grandi.

D. Inferenza e Re-ranking

Durante la fase di recupero:

1. Un metodo CIR standard (es. CLIP4CIR, FashionBLIP-2) genera una lista iniziale di candidati.
2. Per i top-N candidati, FIRE-CIR calcola un punteggio VQA: la probabilità media che le risposte alle domande generate corrispondano a quelle attese.
3. Questo punteggio VQA viene fuso con il punteggio di similarità originale del modello CIR tramite una funzione di fusione ponderata (che include una funzione sigmoide per robustezza agli errori di previsione).
4. I candidati vengono riordinati (re-ranked): le immagini incompatibili con le modifiche testuali vengono penalizzate, mentre quelle che applicano correttamente i cambiamenti vengono promosse.

3. Contributi Chiave

1. Nuovo approccio di ragionamento: Un metodo guidato da domande che permette un confronto fine-grained tra immagine di riferimento e candidati, migliorando l'analisi della rilevanza.
2. Dataset VQA automatico: Una nuova strategia di fine-tuning basata su un dataset automaticamente annotato che include analisi su singola e doppia immagine, mitigando il problema dei falsi negativi tipici dei dataset CIR.
3. Metodo plug-in: FIRE-CIR è progettato come un modulo aggiuntivo che può essere integrato in qualsiasi modello CIR esistente per migliorarne le prestazioni di recupero senza richiedere un riprogettazione completa del sistema di base.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark Fashion IQ e su varianti derivate (Refined-FashionIQ, enhFashionIQ).

• Prestazioni di Recupero: FIRE-CIR supera lo stato dell'arte (SOTA) su tutte le categorie di abbigliamento (vestiti, camicie, top). Ad esempio, combinato con FashionBLIP-2, ha migliorato la Recall@10 media del 2.43% e la Recall complessiva del 1.83%, superando metodi precedenti come DetailFusion e VQA4CIR.
• Robustezza: Il modello mostra miglioramenti significativi anche su dataset con annotazioni più precise (enhFashionIQ), dimostrando la capacità di gestire testi di modifica dettagliati.
• Ablation Study: L'analisi conferma che ogni componente (generazione di domande multiple, fine-tuning del VQA, fusione dei punteggi) contribuisce al miglioramento finale, con un impatto maggiore sulla precisione dei primi risultati (Recall@10).
• Efficienza: Utilizzando un modello da 1B parametri (InternVL-3-1B) invece di modelli da 13B, FIRE-CIR raggiunge prestazioni superiori con un'inferenza circa 3 volte più veloce. Il trade-off velocità-prestazione è gestibile riducendo il numero di candidati da riordinare (es. da 250 a 70) con una perdita minima di accuratezza.

5. Significato e Impatto

FIRE-CIR rappresenta un passo avanti significativo nel campo della ricerca multimodale per l'e-commerce della moda.

• Interpretabilità: A differenza dei metodi basati su embedding che agiscono come "scatole nere", FIRE-CIR fornisce una traccia di ragionamento interpretabile a livello di attributo (es. "l'immagine è stata scartata perché ha le spalline, mentre la query richiedeva un vestito senza spalline").
• Gestione della complessità: Risolve il problema della conservazione di informazioni indesiderate dall'immagine di riferimento, filtrando attivamente le caratteristiche incompatibili con il testo.
• Scalabilità: La capacità di integrarsi come modulo di re-ranking lo rende applicabile a sistemi di produzione esistenti, offrendo un miglioramento immediato della qualità dei risultati di ricerca senza la necessità di addestrare modelli di retrieval da zero.

In sintesi, FIRE-CIR trasforma il recupero di immagini composte da un problema di similarità statistica a un processo di ragionamento logico verificabile, elevando gli standard di precisione e trasparenza nel settore della moda digitale.