DetPO: In-Context Learning with Multi-Modal LLMs for Few-Shot Object Detection

1. El Problema

Los Modelos de Lenguaje Multimodal (MLLMs) de vanguardia, como Qwen-VL y Gemini, han demostrado capacidades excepcionales de "grounding" visual (localización de objetos) en tareas de detección cero-shot (zero-shot) en benchmarks populares. Sin embargo, enfrentan dificultades significativas para generalizar a:

• Conceptos fuera de distribución (OOD): Clases, tareas o propiedades materiales no vistas durante el pre-entrenamiento masivo en internet (ej. rayos X, imágenes térmicas, defectos industriales).
• Limitaciones del Aprendizaje en Contexto (ICL): Aunque el prompting con ejemplos visuales pocos-shot (few-shot) es una estrategia común, los autores descubrieron que, paradójicamente, proporcionar ejemplos visuales directamente al MLLM a menudo reduce la precisión de detección en comparación con usar solo nombres de clases e instrucciones textuales. Esto sugiere que las estructuras de prompt rígidas de los modelos actuales no logran aprovechar eficazmente el contexto visual adicional.
• Restricciones de Acceso: Los modelos más potentes suelen ser de "caja negra" (acceso vía API), y los modelos de pesos abiertos de última generación son demasiado costosos para ser ajustados (fine-tuned) en hardware de consumo.

2. Metodología: DetPO (Detection Prompt Optimization)

Para abordar estos desafíos, los autores proponen DetPO, un enfoque de optimización de prompts en tiempo de prueba (test-time) que no requiere gradientes (gradient-free). El objetivo es refinar las instrucciones de texto para alinear mejor el modelo con el concepto objetivo, utilizando ejemplos visuales pocos-shot solo como señal de retroalimentación para la optimización, no como entrada directa durante la inferencia final.

El proceso se divide en tres etapas clave:

A. Refinamiento de Prompt Contrastivo (Contrastive Prompt Refinement)

A diferencia de los detectores tradicionales que solo aprenden de ejemplos positivos, DetPO utiliza ejemplos negativos y casos límite para refinar la definición de la clase:

1. Generación Inicial: Se crea una descripción de la clase basándose en las características visuales de los ejemplos positivos (Ground Truth).
2. Refinamiento Iterativo: El sistema identifica falsos positivos (FP) y falsos negativos (FN) en el conjunto de entrenamiento pocos-shot.
   • Para los FP: Se instruye al modelo para que revise la definición de la clase y excluya explícitamente las características del ejemplo incorrecto.
   • Para los FN: Se instruye al modelo para que amplíe la definición e incluya explícitamente las características del ejemplo perdido.
3. Optimización: Este ciclo se repite hasta que el rendimiento en el conjunto de entrenamiento converge, generando un prompt de texto optimizado y específico para la tarea.

B. Estimación de Puntuación de Confianza (Confidence Score Estimation)

Los MLLMs no suelen generar puntuaciones de confianza por caja delimitadora de forma nativa. DetPO aborda esto de dos maneras:

1. Auto-reportado: Se pide al modelo que genere una puntuación de confianza junto con la caja.
2. VQA Score (Post-procesamiento): Para una calibración más robusta, se utiliza un paso adicional donde se le pregunta al modelo (vía una pregunta de tipo VQA): "¿Hay una instancia de la clase {CLS} dentro de esta caja?". La probabilidad normalizada de la respuesta "Sí" se utiliza como la puntuación de confianza final. Esto ayuda a penalizar eficazmente los falsos positivos.

3. Contribuciones Clave

1. Benchmarking de MLLMs: Se evalúan modelos de última generación (Qwen2.5-VL, Qwen3-VL, Gemini 3 Pro) en el benchmark Roboflow20-VL (20 dominios diversos como imágenes aéreas, médicas y de vida silvestre) y LVIS, demostrando que el ICL multimodal directo a menudo degrada el rendimiento.
2. Propuesta de DetPO: Un marco de optimización de prompts de caja negra que mejora la alineación de conceptos mediante la iteración sobre errores de detección (FP/FN) en el conjunto de entrenamiento, sin necesidad de ajustar los pesos del modelo.
3. Superación de Especialistas: Demostración de que, con prompts optimizados, los MLLMs generalistas pueden superar a detectores especializados de zero-shot (como GroundingDINO) en tareas de pocos-shot.

4. Resultados Experimentales

Los resultados en el benchmark Roboflow20-VL son significativos:

• Rendimiento General: DetPO mejora consistentemente el rendimiento de todos los MLLMs probados.
  • Gemini 3 Pro con DetPO alcanza un 26.4 mAP, superando al mejor detector especializado (LLMDet, 17.2 mAP) en un 9.2%.
  • Qwen3-VL (30B-A3B) con DetPO alcanza 21.6 mAP, una mejora del 9.7% sobre su línea base.
• Comparación con otras técnicas de optimización: DetPO supera a métodos generales de optimización de prompts como GEPA y MIPROv2, que muestran mejoras marginales o incluso degradan el rendimiento en esta tarea específica.
• Impacto de VQA Score: La adición del paso de calibración de confianza (VQA Score) mejora aún más el mAP (ej. subiendo a 21.6 mAP para Qwen3-VL), reduciendo drásticamente los falsos positivos, aunque con un ligero costo computacional.
• LVIS Rare 50: En el conjunto de datos LVIS con clases raras, DetPO mejora el rendimiento de Qwen3-VL en 3.2 mAP, y con VQA Score en 3.4 mAP adicionales.

5. Significado e Impacto

• Alternativa al Fine-Tuning: DetPO ofrece una solución práctica para adaptar modelos de IA generativa a tareas de visión específicas sin los costos prohibitivos de entrenamiento o la necesidad de acceso a los pesos del modelo (caja negra).
• Superación de Limitaciones de ICL: El trabajo revela que la forma en que se presentan los ejemplos pocos-shot es crítica; convertir ejemplos visuales en instrucciones textuales optimizadas es más efectivo que mostrar las imágenes directamente al modelo durante la inferencia.
• Escalabilidad: Aunque el proceso de optimización tiene un costo computacional inicial (similar a entrenar un modelo pequeño), una vez obtenido el prompt optimizado, la inferencia es tan rápida y barata como el uso estándar de la API.
• Futuro: Sugiere que la próxima generación de MLLMs cerrados, combinada con técnicas como DetPO, podría superar a los modelos de pesos abiertos ajustados, cambiando el paradigma de cómo se despliegan soluciones de detección de objetos en escenarios del mundo real.

En resumen, DetPO cierra la brecha entre la generalización cero-shot y la adaptación específica a tareas, demostrando que la optimización inteligente de instrucciones de texto puede desbloquear el verdadero potencial de los MLLMs para la detección de objetos en dominios diversos y fuera de distribución.