Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

Technische Samenvatting: ZeroSight en SC4CIR

Probleemstelling
Zero-Shot Composed Image Retrieval (ZS-CIR) streeft naar het ophalen van een doelafbeelding op basis van een query die bestaat uit een referentieafbeelding en een relatieve beschrijving, zonder te vertrouwen op taakspecifieke trainingsvoorbeelden. De auteurs identificeren twee kritieke gebreken in bestaande ZS-CIR benchmarks (bijv. CIRR, CIRCO, FashionIQ):

1. Inconsistentie: Bestaande datasets lijden vaak aan visuele en semantische inconsistenties tussen de referentie- en doelafbeeldingen. Omdat deze datasets zijn geconstrueerd uit ruisige, door mensen verzamelde of abstracte beeldcollecties (zoals NLVR2 of MS COCO), kunnen de referentie- en doelafbeeldingen slechts abstracte concepten delen (bijv. "een das") terwijl ze aanzienlijk verschillen in visuele inhoud, waardoor de retrieval-taak oplosbaar wordt via standaard tekst-naar-afbeelding technieken in plaats van echte gecomponeerde retrieval.
2. Spurieuze Zero-Shot Scenario's: De meeste bestaande datasets maken gebruik van publieke bronnen (bijv. MS COCO) die deel uitmaakten van de pre-training data voor dominante Vision-Language Modellen (VLM's) zoals CLIP. Hierdoor zijn modellen niet echt "zero-shot", maar maken ze gebruik van gememoriseerde associaties, wat leidt tot opgeblazen prestatiecijfers die de capaciteiten van huidige methoden overdrijven.

Methodologie
Om deze uitdagingen aan te pakken, introduceren de auteurs ZeroSight, een nieuwe benchmark, en SC4CIR, een training-vrije retrieval-methode.

• ZeroSight Dataset Constructie:

  • Bron: In tegen tegenstelling tot eerdere werken, extraheert ZeroSight frame-afbeeldingen uit video's die zijn gepubliceerd na 31 maart 2022 (na de release van LAION-2B), wat garandeert dat de data niet is opgenomen in de pre-training van CLIP.
  • Consistentie: Door frames uit een enkele video te extraheren, garanderen de auteurs dat referentie-doel paren visueel en semantisch consistent zijn, en alleen verschillen in de specifieke wijzigingen die door de beschrijving worden beschreven.
  • Pipeline: Een meerfasige, door LLM ondersteunde pipeline (gebruikmakend van modellen zoals GPT-4o) construeert de dataset. Dit omvat:
    1. Het selecteren van niet-redundante referentieafbeeldingen uit video-subsets.
    2. Het filteren van kandidaat-doelafbeeldingen op basis van visuele en semantische drempelwaarden (met behulp van ViT en CLIP).
    3. Het genereren van relatieve beschrijvingen die de transformatie van de referentie naar de doelafbeelding beschrijven.
  • Schaal & Structuur: De dataset bestaat uit 12.048 diverse video's, wat resulteert in een retrieval-pool van 197.313 afbeeldingen en 54.740 queries. Uniek genoeg bevat het meerdere grondwaarheid (ground-truth) positieve doelen en harde negatieve doelen (afbeeldingen die lijken op het doel maar niet voldoen aan de criteria van de beschrijving) voor elke query.
  • Query Categorieën: Queries worden geclassificeerd in zes categorieën om specifieke retrieval-capaciteiten te testen: Toevoeging (Addition), Subtractie (Subtraction), Achtergrondverandering (Background Change), Standpuntverandering (Viewpoint Change), Attribuutverandering (Attribute Change) en Relatieve Stelling (Relative Statement).

• SC4CIR (Symmetric Consistency for CIR):

  • Concept: Een training-vrije, plug-and-play methode aangedreven door Multi-modale Grote Taalmodellen (MLLM's) om "harde negatieve" doelen te identificeren en te bestraffen die visueel vergelijkbaar zijn met de grondwaarheid maar semantisch incorrect zijn.
  • Mechanisme: Het maakt gebruik van drie symmetrische consistentiecontroles:
    1. Forward Retrieval: $I_r + T \rightarrow I_t$ (Standaard retrieval).
    2. Reverse Process 1: $I_t - T \rightarrow I_r$ (Genereert een inverse instructie $T'$ om de kandidaat terug te transformeren naar de referentie).
    3. Reverse Process 2: $I_t - I_r \rightarrow T$ (Genereert een beschrijving van het verschil tussen de kandidaat en de referentie om te vergelijken met de originele beschrijving $T$).
  • Re-ranking: De uiteindelijke score combineert de forward similarity met de twee reverse consistentiescores ($S = S_1 + S_2 + S_3$), waarbij de resultaten worden geherrankt om harde negatieven te onderdrukken.

Belangrijkste Bijdragen

1. ZeroSight Benchmark: De eerste ZS-CIR dataset die echte zero-shot condities waarborgt (geen overlap met CLIP pre-training) en een hoge visuele/semantische consistentie via video-bronnen. Het is de eerste die meerdere grondwaarheden en harde negatieve doelen bevat.
2. SC4CIR Methode: Een nieuwe, training-vrije, door MLLM gedreven aanpak die de retrieval-prestaties verbetert door symmetrische consistentie te verifiëren, waardoor harde negatieven effectief worden gefilterd zonder dat er model-retraining nodig is.
3. Nieuwe Evaluatiemetriek (PNR-mAP): De auteurs stellen de Positive-Negative Ranking mAP voor, die rekening houdt met de rangschikking van negatieve doelen ten opzichte van positieve doelen, wat de beperking van de standaard mAP aanpakt die de aanwezigheid van harde negatieven negeert.
4. Omvattende Evaluatie: Het artikel evalueert 27 state-of-the-art methoden, waarmee wordt aangetoond dat huidige benchmarks opgeblazen resultaten opleveren.

Experimentele Resultaten

• Benchmark Prestaties: Experimenten op ZeroSight laten zien dat huidige ZS-CIR methoden aanzienlijk slechter presteren dan op bestaande datasets (bijv. CIRCO), wat de moeilijkheidsgraad en validiteit van de nieuwe benchmark bevestigt. Zo daalde de mAP@5 voor SEIZE van 32,46 op CIRCO naar 16,63 op ZeroSight.
• Metriek Discrepantie: De gemiddelde mAP over alle methoden op ZeroSight was 22,93% hoger dan de PNR-mAP, wat aantoont dat standaard metrieken prestaties opblazen door de rangschikking van harde negatieven te negeren.
• SC4CIR Effectiviteit: Het integreren van SC4CIR verbeterde de prestaties van alle geteste methoden aanzienlijk. Voor training-vrije methoden verbeterde de gemiddelde PNR-mAP met 25,66%. De methode is bijzonder effectief voor LLM-gebaseerde ZS-CIR benaderingen, waarbij de prestaties met 9,12% verbeteren.
• Generaliseerbaarheid: SC4CIR demonstreerde ook robuustheid bij toepassing op bestaande ruisige datasets (CIRCO, CIRR, FashionIQ), waarbij het consequent de baselines versloeg en zelfs hielp zero-shot methoden dichter bij de prestaties van getrainde CIR methoden op FashionIQ te brengen.

Betekenis
Het artikel betoogt dat bestaand ZS-CIR onderzoek wordt gehinderd door datasets die geen echte zero-shot scenario's reflecteren en een gebrek aan visuele consistentie vertonen, wat leidt tot een overschatting van de modelcapaciteiten. ZeroSight vestigt een nieuwe standaard voor het evalueren van CIR-methoden door strikte dataconsistentie en echte zero-shot condities af te dwingen. De introductie van SC4CIR laat zien dat het benutten van MLLM-redenering voor consistentiecontroles de retrieval-nauwkeurigheid aanzienlijk kan verbeteren zonder extra training. De auteurs concluderen dat hun benchmark en methode een betrouwbaarder kader bieden voor het ontwikkelen van generaliseerbare en robuuste gecomponeerde retrieval-systemen, met name voor toepassingen waar hoge precisie vereist is en subtiele visuele verschillen van belang zijn.