Few Shots Text to Image Retrieval: New Benchmarking Dataset and Optimization Methods

Probleemstelling

Bestaande Vision-Language Models (VLM's), zoals CLIP en BLIP, presteren uitstekend in multimodale taken door beelden en tekst in een gedeelde semantische ruimte te coderen. Echter, deze modellen kampen met twee fundamentele beperkingen:

1. Compositionaliteit: Ze hebben moeite met het begrijpen van complexe concepten die bestaan uit een combinatie van attributen, ruimtelijke relaties en negaties (bijv. "een onbedekte put" of "illegale bezetting van openbare ruimte").
2. Out-of-Distribution (OOD): Ze falen vaak bij beelden of concepten die niet of nauwelijks in hun trainingsdata voorkomen.

In de praktijk proberen gebruikers deze beperkingen te omzeilen door handmatig relevante resultaten te markeren en deze als voorbeelden te gebruiken om hun zoekopdracht te verfijnen. Het paper formaliseert dit menselijke gedrag als een nieuw onderzoeksveld: Few-Shot Text-to-Image Retrieval (FSIR). Het doel is om zoekopdrachten te verbeteren door gebruik te maken van een klein aantal referentievoorbeelden (shots) naast de tekstuele query, zonder het basismodel opnieuw te hoeven trainen.

Methodologie

De auteurs introduceren twee nieuwe optimalisatiemethoden en een nieuw benchmark-dataset om dit probleem aan te pakken:

1. Het FSIR-BD Dataset (Benchmark)

Om FSIR te evalueren, hebben de auteurs FSIR-BD (Few-Shot Text-to-Image Retrieval Benchmark Dataset) ontwikkeld. Dit is het eerste dataset dat specifiek is ontworpen voor zoekopdrachten die bestaan uit tekst plus referentievoorbeelden (CTR - Composed Text plus References).

• Opbouw: Het dataset bevat 38.353 afbeeldingen en 303 queries.
• Domeinen: Het dekt drie gebieden: stedelijke omgevingen (Urban Life), natuursoorten (Natural World) en OOD-scenario's (bijv. vliegtuigen, texturen, satellietbeelden).
• Unieke kenmerken: In tegenstelling tot eerdere datasets (zoals CIRR of CIRCO) die vaak maar één correct antwoord hebben, bevat FSIR-BD per query gemiddeld 37 "ground truth" positieve matches en tot 3 keer zoveel "hard negatives" (moeilijke negatieve voorbeelden).
• Splitsing: 82% van de data vormt de testcorpus, 18% vormt de Few-Shot Reference (FSR) corpus met positieve en harde negatieve voorbeelden.

2. Optimalisatiemethode A: FSIR-PL (Prompt Learning)

Deze methode past Prompt Learning toe op de tekstencoder van een bestaand VLM (zoals BLIP).

• Concept: In plaats van het hele model te fine-tunen, worden 16 leerbare contextvectoren (prompts) toegevoegd aan de tekstuele query.
• Training: Het model wordt getraind met een enkele query (One-Way) en een set van positieve en negatieve afbeeldingen. Het gebruikt een Binary Cross-Entropy (BCE) verlies om de kans te maximaliseren dat positieve afbeeldingen een hoge overeenkomst scoren.
• Regularisatie: Een KL-divergentie loss wordt toegevoegd om te voorkomen dat het model zijn algemene kennis (zero-shot capaciteit) verliest. Dit wordt gedaan door de gradients te aligneren met de oorspronkelijke zero-shot richting.
• Voordeel: Werkt met elk vooraf getraind beeldencoder en vereist geen zware herschikking van het model.

3. Optimalisatiemethode B: FSIR-CTR (Composed Text + Reference Shots)

Deze methode gebruikt een Multimodal Large Language Model (MLLM) om een gezamenlijke embedding te genereren uit tekst en referentieafbeeldingen.

• Architectuur: Een MLLM (gebaseerd op Phi-3.5-V) ontvangt de tekstquery en één of meerdere referentieafbeeldingen. Een lineaire projectielaag aligneert de output van de MLLM met de embedding-ruimte van een externe, bevroren beeldencoder (zoals CLIP of BLIP).
• Training: Het model wordt getraind met InfoNCE loss om de query-embedding (tekst + referentie) te aligneren met de embedding van de doelafbeelding.
• Efficiëntie: Het model wordt gefine-tuned met LoRA (Low-Rank Adaptation), waardoor het lichtgewicht blijft en snel kan worden ingezet. Het kan tijdens inferentie omgaan met meerdere referentieafbeeldingen, wat de nauwkeurigheid verder verhoogt.

Belangrijkste Resultaten

De experimenten tonen aan dat beide methoden de state-of-the-art baselines (BLIP-Large en CLIP-Large) significant overtreffen op de FSIR-BD benchmark, gemeten aan de hand van Mean Average Precision (mAP):

• FSIR-PL: Bereikte een gemiddelde verbetering van 9,3% ten opzichte van BLIP-Large en 10,5% ten opzichte van CLIP-Large. De prestaties waren het sterkst bij OOD-query's (tot +20,9% verbetering).
• FSIR-CTR: Toonde een gemiddelde verbetering van 3,5% ten opzichte van BLIP-Large en 0,9% ten opzichte van CLIP-Large. Opmerkelijk is dat dit model, dat alleen met positieve voorbeelden is getraind, zeer goed presteert op complexe compositional queries.
• Ablatie-studie: Het verhogen van het aantal referentie-afbeeldingen (shots) leidde tot een lineaire verbetering in prestaties, waarbij 16 shots de beste resultaten opleverden.

Bijdragen en Significantie

De paper levert drie cruciale bijdragen aan het veld van beeldretrieval:

1. Nieuw Benchmark-Dataset (FSIR-BD): Het biedt een realistischere en uitdagendere evaluatieomgeving dan bestaande datasets, met meerdere ground-truth matches per query, harde negatieven en focus op compositionaliteit en OOD-scenario's.
2. Efficiënte Optimalisatiemethoden: De voorgestelde methoden (FSIR-PL en FSIR-CTR) maken het mogelijk om bestaande, grote pre-getrainde modellen direct te verbeteren voor specifieke zoekopdrachten zonder het basismodel te herschrijven of te herschalen. Dit lost het probleem op van dure fine-tuning en het verzamelen van enorme trainingsdatasets.
3. Praktische Toepasbaarheid: De methoden zijn ontworpen voor productieomgevingen (zoals slimme steden en beveiligingssystemen). Ze laten toe dat gebruikers snel, op maat gemaakte zoekcapaciteiten kunnen activeren door slechts een paar voorbeelden te selecteren, wat de kloof tussen machine- en menselijk begrip van complexe visuele concepten verkleint.

Kortom, dit werk positioneert Few-Shot learning als een essentiële techniek om de beperkingen van huidige VLM's bij complexe en zeldzame zoekopdrachten te overbruggen, met een direct toepasbare oplossing voor industriële schaal.