Revisiting Human-in-the-Loop Object Retrieval with Pre-Trained Vision Transformers

1. Probleemdefinitie

Het paper adresseert Human-in-the-Loop Object Retrieval (HITL-OR), een taak gericht op het iteratief terugvinden van afbeeldingen met objecten van een specifieke "klasse van belang" uit een groot, ongelabeld dataset.

• De Uitdaging: Traditionele Object Retrieval faalt vaak in gespecialiseerde domeinen (bijvoorbeeld historische archieven) waar een enkele query te veel irrelevante resultaten oplevert. Standaard deep learning retrieval-methoden vereisen doorgaans voorafgaande training op gelabelde data voor specifieke categorieën, wat in deze zero-shot, interactieve setting niet beschikbaar is.
• De Multi-Object Complexiteit: De taak is bijzonder moeilijk in multi-object datasets (bijvoorbeeld COCO, PascalVOC) waar het doelobject slechts een klein gebied van een rommelig tafereel inneemt. Globale beeldbeschrijvers falen vaak omdat ze de dominante achtergrondcontext vastleggen in plaats van het specifieke kleine object.
• Het Doel: Het snel identificeren van diverse instanties van een objectcategorie met uitsluitend een initiële gebruikersquery (met een gebied van belang) en iteratieve Relevantie Feedback (RF), geleid door Actief Leren (AL) om de gebruikersannotatie-inspanning te minimaliseren.

2. Methodologie

De auteurs stellen een raamwerk voor dat een Actief Leren-lus integreert met pre-getrainde Vision Transformer (ViT)-representaties.

A. Raamwerk Workflow

1. Initialisatie: Een groot ongelabeld dataset $D$ wordt gecodeerd met een pre-getrainde ViT (specifiek dinoV2) om features te extraheren.
2. Query & Labeling: De gebruiker levert een query-afbeelding aan en markeert een Region of Interest (RoI). Een kleine set negatieve samples wordt willekeurig bemonsterd.
3. Classificatie: Een ondiepe Lineaire SVM wordt getraind om de klasse van belang (positief) te onderscheiden van de rest (negatief). De auteurs kiezen voor SVM boven het fine-tunen van diepe lagen omdat dit beter generaliseert met zeer weinig gelabelde samples (lage annotatiebegroting).
4. Actief Leren Lus:
   • De classifier scoort alle ongelabelde afbeeldingen.
   • Een Onzekerheidscriterium ($s_{AL} = 1 - |0.5 - s_i|$) selecteert de top-$b$ meest informatieve afbeeldingen voor de gebruiker om te annoteren.
   • De gebruiker bevestigt de relevantie en selecteert de specifieke object-bounding box in positieve afbeeldingen.
   • De trainingsset wordt bijgewerkt en de lus herhaalt zich.

B. Representatiestrategieën

De kern technische bijdrage ligt in hoe beeldfeatures worden geconstrueerd vanuit de ViT om multi-object tafereels te hanteren. De auteurs vergelijken drie strategieën:

1. Global-Only (GO): Gebruikt de enkele globale beschrijver van het gehele beeld.
2. Local-Only (LO):
   • Afbeeldingen worden verdeeld in een rooster van $M$ patches (bijvoorbeeld $2\times2$ of $4\times4$).
   • Features worden geëxtraheerd door ofwel bijgesneden patches in het netwerk te voeden, of door ViT patch tokens te middelen.
   • LO-One: Gebruikt één representatieve patch per afbeelding (bijvoorbeeld de patch met de grootste overlap met de RoI van de gebruiker).
   • LO-All: Treat elke patch in de afbeelding als een apart trainingsample. Positieve afbeeldingen genereren zowel positieve (patches die het object overlappen) als negatieve (achtergrondpatches) samples.
3. Global-Local (GL) / Hybrid: Voegt globale en lokale contexten samen.
   • Concatenatie: $[g_i, l_i]$ (behoudt aparte contexten).
   • Pooling: $\frac{g_i + l_i}{2}$ (voegt contexten samen).
   • Opmerking: Voor de "LO-All" strategie vonden de auteurs dat het concateneren van de globale beschrijver met alle patches (inclusief negatieve achtergrondpatches) de SVM in de war brengt. Daarom concateneren ze de globale beschrijver alleen met de positieve lokale patches.

C. Inferentie

Voor Local en Hybrid strategieën wordt de afbeeldingsscore bepaald door de maximale score onder al zijn samenstellende patches ($s_i = \max_m s_{i,m}$), zodat als het object aanwezig is in een patch, de afbeelding wordt teruggevonden.

3. Belangrijkste Bijdragen

1. HITL-OR herbezien met ViTs: De eerste uitgebreide studie die pre-getrainde, self-supervised ViTs (dinoV2) toepast op de Human-in-the-Loop Object Retrieval-taak zonder fine-tuning op het doel-dataset.
2. Representatieanalyse: Een systematische vergelijking van Global, Local en Hybrid representaties. Het paper toont aan dat Hybrid (Global-Local) strategieën superieur zijn, omdat ze zowel de fijnmazige details van het object (via lokale patches) als de tafereelcontext (via globale beschrijvers) vastleggen.
3. Actief Leren Integratie: Het raamwerk gebruikt effectief een onzekerheidsgedreven AL-lus om informatieve samples te selecteren, wat hoge retrieval-prestaties mogelijk maakt met minimale gebruikersinput (gesimuleerd met een begroting van 10 afbeeldingen per iteratie).
4. Patch Granulariteitsinzichten: De studie onthult dat de optimale patchgrootte afhangt van de verdeling van objectgroottes in het dataset. Kleinere patches ($4\times4$) zijn beter voor datasets met veel kleine objecten (COCO), terwijl grotere patches ($2\times2$) de prestaties balanceren voor meer evenwichtige datasets (PascalVOC).

4. Experimentele Resultaten

Experimenten werden uitgevoerd op PascalVOC2012 en COCO2017 met behulp van dinoV2-features.

• Metrics: Mean Average Precision (MAP) voor retrieval-accuraatheid en Coverage (diversiteit van teruggevonden instanties) voor tevredenheid van de gebruiker.
• Belangrijkste Bevindingen:
  • Hybrid Superieure: Hybrid representaties (specifiek GL-concat-All en GL-pool-All) presteerden consequent beter dan Global-Only en Local-Only baselines.
    • Op PascalVOC2012 verbeterden Hybrid strategieën MAP met ~8-9% en Coverage met ~3-6% ten opzichte van Global-Only.
    • Op COCO2017 waren de verbeteringen nog aanzienlijker (MAP +13-18%).
  • LO-All Strategie: De "Local-All" aanpak (het gebruik van alle patches als samples) bood de beste afweging tussen prestatie en coverage, omdat het de classifier een rijker, diverser set trainingsvoorbeelden bood.
  • Patchgrootte:
    • COCO2017: $4\times4$ patches (16 totaal) presteerden het beste, waarschijnlijk omdat 74,7% van de objecten in dit dataset "klein" is.
    • PascalVOC2012: $2\times2$ patches (4 totaal) boden de beste balans, aangezien het dataset een meer evenwichtige verdeling van objectgroottes heeft.
  • ViT Registers: Experimenten met Register-based ViTs toonden aan dat standaard ViTs beter presteerden in deze specifieke retrieval-context, mogelijk omdat de "verstrengelde" globale informatie in standaard patch tokens diversiteit ondersteunt.

5. Betekenis en Conclusie

Dit werk biedt een praktisch blauwdruk voor het bouwen van interactieve retrieval-systemen voor ongelabelde, multi-object datasets.

• Efficiëntie: Het bewijst dat high-performance retrieval kan worden bereikt met minimale gebruikersinspanning (few-shot learning) door gebruik te maken van pre-getrainde foundation-modellen en Actief Leren.
• Ontwerprichtlijnen: Het paper biedt concrete ontwerpkiezen voor toekomstige systemen:
  • Gebruik Hybrid (Global-Local) representaties om precisie en diversiteit in evenwicht te brengen.
  • Gebruik Concatenatie als retrieval-precisie prioriteit heeft; gebruik Pooling als het dekken van diverse objectinstanties belangrijker is.
  • Pas patch-granulariteit aan op basis van de verwachte grootte van objecten in het doel-dataset.
• Toekomstig Werk: De auteurs suggereren het ontwikkelen van adaptieve multi-scale patch-selectie raamwerken om dynamisch om te gaan met variërende objectgroottes zonder handmatige configuratie.

Kort samengevat, moderniseert het paper succesvol het Human-in-the-Loop retrieval-paradigma door handgemaakte features te vervangen door pre-getrainde ViTs en aantoont dat een hybrid representatiestrategie aanzienlijk beter presteert dan traditionele global- of local-only benaderingen in complexe, multi-object scenario's.