DetPO: In-Context Learning with Multi-Modal LLMs for Few-Shot Object Detection

1. Probleemstelling

Multi-Modale Large Language Models (MLLMs) zoals Qwen-VL en Gemini tonen sterke prestaties in zero-shot objectdetectie op bekende benchmarks (bijv. RefCOCO, OdinW-13). Echter, deze modellen worstelen aanzienlijk met generalisatie naar out-of-distribution (OOD) concepten, taken en beeldmodi die niet voorkwamen tijdens hun pre-training (zoals röntgenbeelden, thermische beelden of specifieke defecten).

De auteurs identificeren twee kritieke beperkingen bij het gebruik van In-Context Learning (ICL) voor few-shot detectie:

1. Ineffectiviteit van visuele voorbeelden: Het direct toevoegen van visuele voorbeelden (afbeeldingen) aan de prompt leidt vaak tot lagere detectieprecisie dan het gebruik van alleen klassenamen en tekstuele instructies. Dit suggereert dat huidige MLLMs de complexe visuele context niet goed kunnen integreren in hun redenering voor detectie.
2. Beperkte toegang tot fine-tuning: Frontier-MLLMs zijn vaak alleen beschikbaar via API's (black-box), terwijl het fine-tunen van state-of-the-art open-weight modellen op consumentenhardware te duur is. Er is dus behoefte aan een gradient-free (zonder backpropagatie) aanpak voor few-shot learning.

2. Methodologie: Detection Prompt Optimization (DetPO)

De auteurs stellen DetPO voor, een black-box, gradient-free test-tijd optimalisatiebenadering. Het doel is om tekst-only prompts te verfijnen die de detectie-accuratie maximaliseren op een klein aantal visuele trainingsvoorbeelden.

Het proces verloopt in drie fasen:

A. Contrastieve Prompt Verfijning (Contrastive Prompt Refinement)

In tegenstelling tot traditionele detectoren die alleen op "true positives" worden getraind, leert DetPO van zowel positieve als negatieve voorbeelden (zoals een menselijke annotator):

• Initiatie: Een eerste beschrijving van een klasse wordt gegenereerd op basis van ground-truth voorbeelden.
• Iteratieve Optimalisatie: Het model voert inferentie uit op de few-shot trainingsset.
  • False Positives (FP): Voor de meest ernstige FP's (hoge confidence, verkeerde klasse) wordt het model gevraagd om de definitie aan te passen zodat deze specifieke foutieve voorbeelden uitgesloten worden.
  • False Negatives (FN): Voor de ernstigste FN's (gemiste objecten) wordt het model gevraagd om de definitie aan te passen zodat deze opgenomen worden.
• Dit gebeurt via een "closed-loop" waarbij de prompt iteratief wordt aangepast totdat de prestaties convergeren.

B. Confidence Score Schatting

MLLMs geven standaard geen per-box confidence scores. DetPO lost dit op door het model te vragen om een confidence score te genereren.

• Self-Reported Scores: Eenvoudig vragen om een score werkt beter dan een standaardwaarde van 1.0, maar is soms slecht gekalibreerd.
• VQA Score (Optioneel): Voor een hogere kwaliteit wordt een post-processing stap toegevoegd. Voor elke voorspelling wordt een VQA-vraag gesteld: "Is er een instantie van klasse {CLS} binnen dit boks?". De kans op het token "Yes" wordt gebruikt als de definitieve confidence score. Dit helpt false positives effectief te onderdrukken.

C. Architectuur

DetPO werkt volledig als een black-box. Het gebruikt een tweede MLLM (of dezelfde) als "critic" om de prompts te optimaliseren, zonder de gewichten van de detector zelf aan te passen.

3. Belangrijkste Bijdragen

1. Benchmarking: De auteurs evalueren state-of-the-art MLLMs op de Roboflow20-VL en LVIS benchmarks. Ze tonen aan dat naief gebruik van multi-modale in-context voorbeelden (afbeeldingen + tekst) vaak slechter presteert dan tekst-only prompts.
2. DetPO Framework: Introductie van een nieuwe, gradient-free methode die tekstuele prompts iteratief verfijnt door gebruik te maken van modelvoorspellingen op de trainingsset (zowel FP als FN).
3. State-of-the-Art Resultaten: DetPO stelt een nieuwe state-of-the-art voor black-box few-shot objectdetectie, met verbeteringen tot 9.7% ten opzichte van baselines.
4. Kostenefficiëntie: De methode is aanzienlijk efficiënter dan bestaande prompt-optimalisatietechnieken (zoals GEPA en MIPROv2) in termen van token-gebruik en runtime.

4. Resultaten

De experimenten tonen consistente verbeteringen over verschillende MLLM-families (Qwen2.5-VL, Qwen3-VL, Gemini 3 Pro):

• Prestaties op Roboflow20-VL:
  • Gemini 3 Pro + DetPO: Bereikt 26.4 mAP, wat een verbetering is van 9.2% ten opzichte van de beste specialistische detector (LLMDet: 17.2 mAP).
  • Qwen3-VL (30B-A3B) + DetPO: Bereikt 21.6 mAP, een verbetering van 9.7% ten opzichte van de baseline prompt.
  • Vergelijking met andere methoden: DetPO overtreedt significante andere prompt-optimalisatie methoden zoals GEPA en MIPROv2, die vaak slechts marginale verbeteringen of zelfs prestatieverlies opleveren.
• Generalisatie: De methode werkt goed over verschillende domeinen (luchtfoto's, medische beelden, industriële inspectie) en modelgroottes (van 7B tot 72B parameters).
• Ablatie Studies:
  • Het gebruik van VQA Score voor confidence calibration leidt tot verdere verbeteringen (bijv. van 19.4 naar 21.6 mAP voor Qwen3-VL).
  • Het verminderen van class confusion (verwarring tussen klassen) is een directe gevolg van de contrastieve verfijning.
• Efficiëntie: DetPO gebruikt 81% minder tokens en is 1.2x sneller dan GEPA, omdat het geen uitgebreide evolutionaire zoekruimte nodig heeft.

5. Betekenis en Conclusie

Het paper demonstreert dat prompt-level optimalisatie een krachtig alternatief is voor fine-tuning wanneer dit niet mogelijk is (bijv. bij gesloten API's) of te duur is.

• Paradigmaverschuiving: Het paper weerlegt de intuïtie dat visuele voorbeelden in prompts altijd helpen bij few-shot detectie. In plaats daarvan toont het aan dat het optimaliseren van de tekstuele instructie op basis van de fouten van het model zelf, de meest effectieve weg is.
• Praktische Toepasbaarheid: DetPO maakt het mogelijk om generalistische MLLMs snel en goedkoop aan te passen aan nieuwe, zeldzame objectklassen en beeldmodi in real-world scenario's zonder de modelarchitectuur te wijzigen.
• Toekomstperspectief: Hoewel black-box prompting momenteel nog iets onderpresteert vergeleken met white-box fine-tuning van specialistische modellen, suggereert de trend dat de volgende generatie frontier-MLLMs, gecombineerd met DetPO, deze kloof zal dichten.

Kortom, DetPO biedt een robuuste, schaalbare oplossing voor few-shot objectdetectie die de beperkingen van huidige MLLMs omzeilt door slimme, datagestuurde prompt-engineering.