Few Shots Text to Image Retrieval: New Benchmarking Dataset and Optimization Methods

1. Il Problema

I modelli visione-linguaggio pre-addestrati (VLM), come CLIP e BLIP, eccellono nelle attività multimodali standard, codificando immagini e testo in spazi vettoriali condivisi per il recupero tramite ricerca del vicino più prossimo (ANNS). Tuttavia, questi modelli mostrano limitazioni significative in scenari reali complessi:

• Ragionamento Compositivo: Faticano a comprendere query che combinano attributi, relazioni spaziali e negazioni (es. "un tombino scoperto" o "negozio che occupa illegalmente uno spazio pubblico").
• Distribuzione Fuori dal Campo (OOD): Le prestazioni crollano quando si affrontano concetti visivi rari o non presenti nei dati di addestramento (es. specie animali specifiche o modelli di aerei).
• Limiti dei Dataset Esistenti: I benchmark attuali (come COCO o CIRR) spesso si basano su coppie immagine-testo 1:1, mancano di esempi positivi multipli per query, non includono sufficienti "negativi difficili" (hard negatives) e utilizzano metriche inadeguate (Recall@K) che non valutano la qualità del ranking.

Gli autori evidenziano che, in scenari reali (es. città intelligenti, gestione video), gli operatori umani adattano istintivamente le ricerche fornendo esempi visivi di riferimento per affinare la query. Questo ha ispirato la definizione del problema FSIR (Few-Shot Text-to-Image Retrieval).

2. Metodologia

Il lavoro propone un approccio in due fasi: la creazione di un nuovo benchmark e lo sviluppo di due metodi di ottimizzazione per il recupero.

A. Il Dataset di Benchmark: FSIR-BD

Gli autori hanno creato FSIR-BD (Few-Shot Text-to-Image Retrieval Benchmark Dataset), il primo dataset progettato specificamente per il recupero di immagini tramite query composte da testo ed esempi di riferimento.

• Composizione: 38.353 immagini e 303 query.
• Struttura: Diviso in tre sottogruppi:
  1. Vita Urbana (VG): Basato su Visual Genome e Flickr32K.
  2. Mondo Naturale (INQUIRE): Basato su iNaturalist 2024 (specie animali).
  3. Out-of-Distribution (OOD): Aerei, texture e immagini satellitari.
• Caratteristiche Uniche: Ogni query è accompagnata da un corpus di riferimento (FSR) contenente 16 esempi positivi e 16 negativi difficili per query. Il corpus di test contiene in media 37 ground truth per query.
• Metrica: Utilizza la mAP@K (Mean Average Precision) invece del Recall@K, per valutare meglio la qualità del ranking in presenza di molteplici risultati corretti.

B. Metodi di Ottimizzazione

Sono stati proposti due metodi per sfruttare gli esempi di riferimento (few-shot) senza dover ri-addestrare pesantemente i modelli base.

1. FSIR-PL (Prompt Learning):

   • Concetto: Adatta il concetto di Prompt Learning (N-way K-shot) al recupero (1-way retrieval). Invece di classificare tra N classi, il modello impara un singolo prompt contestuale per una specifica query.
   • Meccanismo: Utilizza vettori di contesto apprendibili concatenati alla query testuale.
   • Funzione di Perdita: Combina la Binary Cross-Entropy (BCE) per distinguere positivi da negativi e una perdita di Divergenza KL (con un fattore ProGrad) per preservare la conoscenza generale del VLM pre-addestrato, prevenendo il "catastrophic forgetting".
   • Vantaggio: Compatibile con qualsiasi encoder di immagini pre-addestrato (es. BLIP, CLIP).

2. FSIR-CTR (Composed Text Plus Reference Shots):

   • Concetto: Un approccio basato su un Multimodal Large Language Model (MLLM) che fonde testo ed immagini di riferimento in un'unica rappresentazione vettoriale.
   • Architettura:
     • Un Encoder di Immagini Esterno (frozen, es. BLIP o CLIP) codifica le immagini target.
     • Un MLLM (es. Phi-3.5-V) riceve in input la query testuale e l'immagine di riferimento, generando un embedding unificato.
     • Un layer di proiezione lineare allinea lo spazio vettoriale dell'MLLM a quello dell'encoder esterno.
   • Addestramento: Utilizza la perdita InfoNCE con negativi in batch. Il modello viene addestrato su triple (testo, riferimento, target) generate automaticamente.
   • Inferenza: Supporta l'input di più immagini di riferimento contemporaneamente per migliorare l'adattamento a nuovi concetti.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su FSIR-BD confrontando i metodi proposti con baseline state-of-the-art (BLIP-Large e CLIP-Large).

• FSIR-PL: Ha mostrato prestazioni superiori in tutti i benchmark.
  • Supera BLIP-Large di una media del 9.3% (fino al 17.9% su OOD).
  • Supera CLIP-Large di una media del 10.5% (fino al 20.9% su OOD).
  • L'aumento del numero di immagini di riferimento (da 1 a 16) migliora costantemente le prestazioni.
• FSIR-CTR:
  • Rispetto a BLIP-Large, ottiene un guadagno medio del 3.5%, con prestazioni eccellenti su INQUIRE e OOD.
  • Rispetto a CLIP-Large, ottiene un miglioramento medio del 0.9%, con un picco del 3.8% su VG.
  • Nota Importante: FSIR-CTR funziona come un modello generico addestrato solo su immagini di riferimento positive, senza esempi negativi espliciti durante l'addestramento, dimostrando una forte capacità di generalizzazione.

4. Contributi Chiave

1. Definizione del Task: Formalizzazione del problema Few-Shot Text-to-Image Retrieval come sfida distinta.
2. Nuovo Benchmark (FSIR-BD): Un dataset di alta qualità con query composte, multipli ground truth, e un bilanciamento critico tra positivi e negativi difficili, coprendo domini urbani, naturali e OOD.
3. Metodi di Ottimizzazione: Introduzione di FSIR-PL (efficiente, basato su prompt) e FSIR-CTR (basato su MLLM, scalabile), entrambi compatibili con encoder esistenti.
4. Validazione Reale: I metodi sono già stati testati in ambienti di produzione (servizi cloud per la gestione semantica di video/immagini), dimostrando miglioramenti rapidi e mirati senza la necessità di ri-addestrare l'intero dataset.

5. Significato e Impatto

Questo lavoro colma il divario tra la comprensione umana (che apprende da pochi esempi) e quella delle macchine nel recupero di immagini.

• Efficienza Operativa: Permette di migliorare le prestazioni di recupero per query specifiche senza il costo computazionale e temporale del fine-tuning completo dei modelli fondazionali.
• Scalabilità: I metodi sono applicabili a grandi ambienti esistenti, sfruttando encoder pre-addestrati.
• Futuro della Ricerca: Apre la strada a sistemi di ricerca più robusti per scenari complessi (città intelligenti, diagnostica medica, analisi satellitare) dove le query sono intrinsecamente composizionali e i dati etichettati sono scarsi.

In sintesi, il paper dimostra che l'integrazione intelligente di pochi esempi di riferimento (few-shot) nel processo di recupero può trasformare i modelli VLM da strumenti generici a sistemi di ricerca altamente precisi e adattivi.