DetPO: In-Context Learning with Multi-Modal LLMs for Few-Shot Object Detection

1. Il Problema

I Large Language Models Multimodali (MLLM) hanno dimostrato capacità eccezionali nel grounding visivo (collegare testo a immagini) su benchmark popolari come RefCOCO e OdinW-13. Tuttavia, questi modelli faticano a generalizzare verso:

• Classi fuori distribuzione (OOD): Concetti non presenti nei dati di pre-addestramento su larga scala (es. proprietà dei materiali, difetti industriali, azioni contestuali).
• Modalità di imaging non standard: Raggi X, dati termici, immagini aeree, ecc.
• Limiti dell'In-Context Learning (ICL) multimodale: Sebbene l'ICL sia una strategia comune per migliorare le prestazioni, gli autori hanno scoperto che fornire esempi visivi few-shot direttamente al modello (insieme al nome della classe) spesso riduce l'accuratezza della rilevazione rispetto all'uso di soli nomi di classe e istruzioni testuali. Questo suggerisce che i modelli attuali non riescono a sfruttare efficacemente gli esempi visivi pochi-shot a causa di strutture di prompt rigide post-addestramento.

Inoltre, i modelli MLLM all'avanguardia sono spesso accessibili solo via API (scatola nera), rendendo il fine-tuning (addestramento) proibitivo o impossibile.

2. Metodologia: DetPO (Detection Prompt Optimization)

Per superare questi limiti senza richiedere gradienti o fine-tuning, gli autori propongono DetPO, un approccio di ottimizzazione dei prompt "black-box" e privo di gradienti (gradient-free) che avviene a tempo di test (test-time).

Il framework si articola in tre fasi principali:

A. Rifinitura Contrastiva del Prompt (Contrastive Prompt Refinement)

A differenza dei rilevatori tradizionali addestrati solo su esempi positivi, DetPO impara dagli errori (falsi positivi e falsi negativi) per affinare la definizione testuale della classe.

1. Generazione Iniziale: Si crea una descrizione iniziale della classe basata sugli esempi ground-truth.
2. Rifinitura Contrastiva: Il modello viene istruito a confrontare la classe target con esempi di altre classi per identificare caratteristiche discriminative.
3. Iterazione Guidata dagli Errori:
   • Si esegue l'inferenza sul set di training few-shot.
   • Si identificano i Falsi Positivi (FP) più gravi (quelli con il punteggio di confidenza più alto ma errati) e i Falsi Negativi (FN) più gravi (istanze mancate).
   • Si chiede al modello di rivedere la definizione testuale per escludere esplicitamente gli esempi FP e includere esplicitamente gli esempi FN, fornendo le immagini di riferimento come contesto visivo.
   • Questo ciclo si ripete fino alla convergenza delle prestazioni sul set di training.

B. Stima del Punteggio di Confidenza

I MLLM spesso non forniscono punteggi di confidenza per ogni bounding box o tendono a sovrastimarli. DetPO introduce due strategie:

1. Prompting Diretto: Si chiede al modello di generare un punteggio di confidenza per ogni rilevazione.
2. VQA Score (Post-processing): Per una calibrazione più robusta, si utilizza un approccio di Visual Question Answering. Per ogni bounding box predetta, si chiede al modello: "C'è un'istanza della classe {CLS} all'interno di questo bounding box? Rispondi Sì o No." La probabilità normalizzata del token "Sì" viene utilizzata come punteggio di confidenza finale. Questo riduce drasticamente i falsi positivi.

3. Contributi Chiave

1. Benchmarking e Analisi Critica: Dimostrazione che l'ICL multimodale "ingenuo" (fornire immagini + testo) peggiora le prestazioni rispetto all'uso di sole istruzioni testuali su modelli generalisti, evidenziando la necessità di un'ottimizzazione del prompt specifica.
2. Proposta di DetPO: Un metodo di ottimizzazione black-box che trasforma esempi visivi few-shot in prompt testuali ottimizzati, migliorando l'allineamento concettuale senza modificare i pesi del modello.
3. Calibrazione della Confidenza: L'introduzione del metodo VQA Score come post-processing efficace per ridurre i falsi positivi e migliorare l'accuratezza complessiva (mAP).
4. Risultati SOTA: Stabilimento di un nuovo stato dell'arte per la rilevazione di oggetti few-shot in modalità black-box, superando sia i rilevatori specialistici zero-shot che le tecniche di ottimizzazione dei prompt generiche.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Roboflow20-VL (un benchmark con 20 dataset OOD) e LVIS Rare.

• Prestazioni Generali: DetPO ha migliorato significativamente le prestazioni di modelli generalisti come Qwen3-VL e Gemini 3 Pro.
  • Su Roboflow20-VL, Gemini 3 Pro + DetPO ha raggiunto un mAP di 26.4, superando il miglior rilevatore specializzato (LLMDet, 17.2 mAP) di oltre 9 punti percentuali.
  • Qwen3-VL (30B-A3B) è passato da 11.9 mAP a 21.6 mAP con DetPO + VQA Score.
• Confronto con altre tecniche: DetPO supera di gran lunga approcci di ottimizzazione generici come GEPA e MIPROv2, che spesso falliscono o degradano le prestazioni quando applicati alla rilevazione di oggetti.
• Generalizzazione: Il metodo funziona coerentemente su diverse scale di modelli (da 7B a 72B parametri) e architetture.
• Analisi degli Errori: L'uso di DetPO riduce drasticamente la confusione tra classi (es. distinguere "maialini" da "maiali adulti" o azioni specifiche nello sport). L'aggiunta del VQA Score riduce ulteriormente i falsi positivi, sebbene possa aumentare leggermente i falsi negativi (un trade-off accettabile per la precisione).
• Efficienza: DetPO è più efficiente in termini di token e tempo di esecuzione rispetto a GEPA, poiché evita cicli di ottimizzazione estesi e si concentra sulla generazione del prompt e l'inferenza finale.

5. Significato e Implicazioni

Il lavoro di DetPO è significativo perché:

• Colma il divario tra Zero-Shot e Few-Shot: Offre una via pratica per adattare modelli chiusi (API) a nuovi domini senza fine-tuning costoso.
• Sfida il paradigma dell'ICL multimodale: Dimostra che per compiti complessi come la rilevazione di oggetti, l'ottimizzazione del testo basata sugli errori visivi è più efficace del semplice inserimento di immagini nel contesto.
• Futuro dei Modelli Chiusi: Suggerisce che i modelli MLLM chiusi di prossima generazione, se combinati con tecniche di ottimizzazione del prompt come DetPO, potrebbero superare i modelli open-weight addestrati su compiti specifici, rendendo l'adattamento a nuovi scenari (es. medico, industriale) più accessibile ed economico.

In sintesi, DetPO trasforma i MLLM da strumenti generici in rilevatori di oggetti robusti e adattivi, sfruttando l'apprendimento dagli errori per affinare le istruzioni testuali, senza richiedere accesso ai gradienti del modello.