Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

Sintesi Tecnica: ZeroSight e SC4CIR

Problematica
Il recupero di immagini composte zero-shot (Zero-Shot Composed Image Retrieval - ZS-CIR) mira a recuperare un'immagine target basandosi su una query composta da un'immagine di riferimento e una didascalia relativa, senza fare affidamento su campioni di addestramento specifici per il compito. Gli autori identificano due criticità fondamentali nei benchmark ZS-CIR esistenti (ad es., CIRR, CIRCO, FashionIQ):

1. Incoerenza: I dataset esistenti soffrono spesso di incoerenze visive e semantiche tra le immagini di riferimento e quelle target. Poiché questi dataset sono costruiti a partire da collezioni di immagini rumorose, crowdsourced o astratte (come NLVR2 o MS COCO), le immagini di riferimento e target possono condividere solo concetti astratti (ad es., "una cravatta") pur differendo significativamente nel contenuto visivo, rendendo il compito di recupero risolvibile tramite tecniche standard di text-to-image piuttosto che tramite un vero recupero composto.
2. Scenari Zero-Shot Spuri: La maggior parte dei dataset esistenti utilizza fonti di immagini pubbliche (ad es., MS COCO) che facevano parte dei dati di pre-addestramento per i modelli Vision-Language (VLM) dominanti come CLIP. Di conseguenza, i modelli non sono realmente "zero-shot", ma stanno sfruttando associazioni memorizzate, portando a metriche di performance gonfiate che esagerano le capacità degli attuali metodi.

Metodologia
Per affrontare queste sfide, il documento introduce ZeroSight, un nuovo benchmark, e SC4CIR, un metodo di recupero training-free.

• Costruzione del Dataset ZeroSight:

  • Fonte: A differenza dei lavori precedenti, ZeroSight estrae fotogrammi da video pubblicati dopo il 3 l'aprile 2022 (successivamente al rilascio di LAION-2B), garantendo che i dati non siano stati inclusi nel pre-addestramento di CLIP.
  • Coerenza: Estrarre i fotogrammi da un singolo video garantisce agli autori che le coppie riferimento-target siano visivamente e semanticamente coerenti, differendo solo per le specifiche modifiche descritte dalla didascalia.
  • Pipeline: Una pipeline a più stadi assistita da LLM (utilizzando modelli come GPT-4o) costruisce il dataset. Essa prevede:
    1. Selezione di immagini di riferimento non ridondanti da sottoinsiemi di video.
    2. Filtraggio delle immagini target candidate sulla base di soglie di somiglianza visiva e semantica (utilizzando ViT e CLIP).
    3. Generazione di didascalie relative che descrivono la trasformazione dal riferimento al target.
  • Scala e Struttura: Il dataset comprende 12.048 video diversificati, con un pool di recupero di 197.313 immagini e 54.740 query. Unicamente, include molteplici target positivi ground-truth e target negativi "hard" (immagini simili al target ma che non soddisfano i criteri della didascalia) per ogni query.
  • Categorie di Query: Le query sono classificate in sei categorie per testare specifiche capacità di recupero: Addizione, Sottrazione, Cambio di Sfondo, Cambio di Prospettiva, Cambio di Attributo e Enunciato Relativo.

• SC4CIR (Symmetric Consistency for CIR):

  • Concetto: Un metodo training-free e plug-and-play guidato da Modelli Linguistici Multimodali (MLLM) per identificare e penalizzare i target negativi "hard" che sono visivamente simili alla verità fondamentale (ground truth) ma semanticamente errati.
  • Meccanismo: Impiega tre controlli di coerenza simmetrica:
    1. Recupero Forward: $I_r + T \rightarrow I_t$ (Recupero standard).
    2. Processo Inverso 1: $I_t - T \rightarrow I_r$ (Genera un'istruzione inversa $T'$ per trasformare il candidato nuovamente nel riferimento).
    3. Processo Inverso 2: $I_t - I_r \rightarrow T$ (Genera una descrizione della differenza tra il candidato e il riferimento per confrontarla con la didascalia originale $T$).
  • Re-ranking: Il punteggio finale combina la somiglianza forward con i due punteggi di coerenza inversa ($S = S_1 + S_2 + S_3$), effettuando il re-ranking dei risultati per sopprimere i negativi hard.

Contributi Chiave

1. Benchmark ZeroSight: Il primo dataset ZS-CIR che garantisce vere condizioni zero-shot (nessa sovrapposizione di pre-addestramento CLIP) e un'alta coerenza visiva/semantica tramite dati derivanti da video. È il primo a includere molteplici ground truth e target negativi hard.
2. Metodo SC4CIR: Un approccio novel, training-free e guidato da MLLM che migliora le performance di recupero verificando la coerenza simmetrica, filtrando efficacemente i negativi hard senza richiedere il ri-addestramento del modello.
3. Nuova Metrica (PNR-mAP): Gli autori propongono la Positive-Negative Ranking mAP, che tiene conto del ranking dei target negativi rispetto a quelli positivi, affrontando il limite della mAP standard che ignora la presenza di negativi hard.
4. Valutazione Comprensiva: Il documento valuta 27 metodi allo stato dell'arte, rivelando che i benchmark esistenti producono risultati gonfiati.

Risultati Sperimentali

• Performance del Benchmark: Gli esperimenti su ZeroSight mostrano che gli attuali metodi ZS-CIR performano significativamente peggio rispetto ai dataset esistenti (ad es., CIRCO), confermando la difficoltà e la validità del nuovo benchmark. Ad esempio, la mAP@5 di SEIZE è scesa da 32.46 su CIRCO a 16.63 su ZeroSight.
• Discrepanza delle Metriche: La mAP media tra i metodi su ZeroSight è stata del 22,93% superiore alla PNR-mAP, dimostrando come le metriche standard gonfino la performance ignorando il ranking dei negativi hard.
• Efficacia di SC4CIR: L'integrazione di SC4CIR ha migliorato significativamente le performance di tutti i metodi testati. Per i metodi training-free, la PNR-mAP media è migliorata del 25,66%. Il metodo è particolarmente efficace per gli approcci ZS-CIR basati su LLM, migliorandone le prestazioni del 9,12%.
• Generalizzabilità: SC4CIR ha inoltre dimostrato robustezza quando applicato a dataset rumorosi esistenti (CIRCO, CIRR, FashionIQ), superando costantemente i baseline e aiutando persino i metodi zero-shot ad avvicinarsi alle performance dei metodi CIR addestrati su FashionIQ.

Significatività
Il documento sostiene che la ricerca attuale su ZS-CIR è ostacolata da dataset che non riflettono veri scenari zero-shot e mancano di coerenza visiva, portando a una sovrastima delle capacità dei modelli. ZeroSight stabilisce un nuovo standard per la valutazione dei metodi CIR imponendo una rigorosa coerenza dei dati e vere condizioni zero-shot. L'introduzione di SC4CIR dimostra che sfruttare il ragionamento MLLM per i controlli di coerenza può migliorare significativamente la precisione del recupero senza addestramento aggiuntivo. Gli autori concludono che il loro benchmark e il loro metodo forniscono un framework più affidabile per lo sviluppo di sistemi di recupero di immagini composte generalizzabili e robusti, particolarmente per applicazioni che richiedono un'alta precisione dove le sottili differenze visive sono cruciali.