Resumen Técnico: DetAS – Un Marco Agéntico para la Detección de Objetos con Razonamiento Consciente de la Experiencia

Planteamiento del Problema

La detección de objetos en escenarios del mundo real enfrenta desafíos significativos debido a diversas degradaciones de imagen (por ejemplo, neblina, lluvia, baja iluminación, distorsión submarina) y distribuciones heterogéneas de objetos. Los enfoques existentes generalmente se dividen en dos paradigmas, ambos de los cuales exhiben limitaciones inherentes:

1. Aprendizaje de Representaciones: Estos métodos dependen de conjuntos de datos curados con tipos de degradación y categorías de objetos fijos para aprender representaciones especializadas. Aunque son efectivos dentro de sus dominios de entrenamiento, fallan al generalizar cuando los tipos de degradación o las distribcciones de las escenas cambian ligeramente.
2. Pipelines de Extremo a Extremo (End-to-End): Estos enfoques combinan un detector estándar con un módulo de restauración dedicado. Sin embargo, dependen de estrategias de restauración predefinidas y pipelines diseñados manualmente. A menudo carecen de la flexibilidad para determinar si la restauración es necesaria o cuál combinación específica de restauración-detector es la óptima para una entrada dada, lo que conduce a un rendimiento subóptimo o a la degradación del rendimiento cuando la restauración altera los límites de los objetos o los colores del fondo.

Consecuentemente, los detectores de vocabulario cerrado tradicionales luchan por adaptarse a entornos del mundo real que cambian dinámicamente, donde un único pipeline estático no puede manejar simultáneamente las variaciones en las condiciones ambientales y las distribuciones de objetos.

Metodología

El artículo propone DetAS (Detect in Any Scene - Detectar en Cualquier Escena), un marco agéntico que reformula la detección de objetos como un proceso de toma de decisiones dinámico. En lugar de un pipeline estático, DetAS aprovecha un Modelo de Lenguaje Grande Multimodal (MLLM) como un agente central para componer flujos de trabajo de manera adaptativa, seleccionando de un conjunto de herramientas de módulos de restauración y detectores especializados.

El marco consta de tres componentes principales:

1. Restauración de Imagen Auto-Adaptativa (SAIR)

SAIR determina dinámicamente si se debe mejorar una imagen y cómo hacerlo antes de la detección.

• Percepción de la Escena: Un módulo de percepción de LLM analiza la imagen de entrada para predecir un perfil de escena consciente de la degradación (por ejemplo, normal, niebla, lluvia, submarina, baja iluminación, ruido).
• Selección de Herramientas: Basándose en la etiqueta predicha, SAIR selecciona una herramienta de restauración correspondiente (por ejemplo, desnebulización, eliminación de lluvia, reducción de ruido, mejora de brillo) de un grupo disponible.
• Mecanismo de Selección de Imagen: Crucialmente, SAIR compara la imagen original con la versión restaurada. Selecciona la versión que maximiza las pistas orientadas a la detección (visibilidad de objetos, claridad de bordes, integridad estructural) en lugar de la estética visual. Si la restauración degrada el rendimiento de la detección, se conserva la imagen original.
• Super-Resolución (SR): Se aplica un paso final de SR para aumentar la resolución espacial para objetos pequeños o distantes, con el factor de escalado seleccionado automáticamente según una resolución objetivo.

2. Detección de Multi-Experticia (MED)

MED integra múltiples detectores especializados en dominios para manejar diversas distribuciones de objetos.

• Pool de Detectores: El sistema mantiene un grupo de detectores con diversas experticias, incluyendo detectores de propósito general, de objetos densos/pequeños, de conducción autónoma, de vista de dron, submarinos y de rostros.
• Selección Adaptativa: Dada la el contenido de la imagen y una lista de categorías objetivo, el agente de LLM selecciona los $K$ detectores más adecuados del grupo.
• Agrupación de Instancias: Para resolver predicciones duplicadas de múltiples detectores, las cajas delimitadoras candidatas se agrupan basándose en el solapamiento espacial (IoU) y la similitud visual de las regiones recortadas.
• Razonamiento a Nivel de Instancia: Para cada instancia agrupada, el sistema extrae la región y la proporciona al LLM para la toma de decisiones final. Esto permite que el LLM se concentre en objetos específicos, rechace falsas predicciones ilusorias y seleccione el mejor par caja delimitadora–etiqueta, mejorando la eficiencia de los tokens y la precisión para objetos pequeños.

3. Cosecha de Experiencia Auto-Evolutiva (SEEH)

Para abordar la rigidez de las decisiones basadas en reglas y capturar características de imagen de grano fino, el marco se extiende a DetAS-X mediante SEEH.

• Recolección de Experiencia: Antes del despliegue, el sistema realiza ejecuciones exploratorias en un pequeño conjunto de datos anotados. Registra los resultados de las decisiones a nivel de nodo (selección de restaurador, selección de SR, selección de detector) y sus métricas de rendimiento correspondientes (por ejemplo, puntuaciones F1) para perfiles de escena específicos.
• Recuperación de Experiencia: Durante la inferencia, el sistema genera una clave de perfil de grano fino para la imagen de entrada. Consulta la memoria de experiencia para recuperar los $K$ perfiles históricos más similares y sus decisiones óptimas asociadas.
• Razonamiento Consciente de la Experiencia: El agente de LLM utiliza esta experiencia histórica recuperada junto con la evidencia visual actual para tomar decisiones más informadas, permitiendo que el sistema refine progresivamente su política y se adapte a diversos escenarios sin necesidad de reentrenamiento.

Contribuciones Clave

1. Marco de Detección Agéntica (DetAS): Un nuevo marco que formula la detección como un proceso de decisión dinámica, utilizando un agente MLLM para seleccionar adaptativamente herramientas de restauración y detectores especializados (SAIR y MED) en lugar de depender de pipelines fijos.
2. Razonamiento Consciente de la Experiencia (DetAS-X): La introducción de la Cosecha de Experiencia Auto-Evolutiva (SEEH), que acumula experiencia de decisión a nivel de nodo de un pequeño conjunto de datos anotados. Esto permite que el sistema aprenda de las observaciones pasadas y mejore la calidad de la decisión bajo condiciones de grano fino.
3. Evaluación Exhaustiva: Experimentos extensos que demuestran que el marco propuesto supera significativamente a los detectores basados en MLLM existentes a través de seis benchmarks desafiantes que involucran diversas degradaciones.

Resultados Experimentales

El marco fue evaluado en seis benchmarks: HazyDet (escenas de drones con niebla), MARIS (submarino), DarkFace (rostros con baja iluminación), B-Night y B-Rainy (subconjuntos de BDD100K), y COCO (detección estándar).

• Ganancias de Rendimiento: DetAS-X logró una mejora promedio del 28.36% en la puntuación F1 a través de los seis conjuntos de datos en comparación con las líneas base de MLLM existentes.
• Mejoras Específicas: Se observaron ganancias notables en condiciones desafiantes, con una mejora del 37.01% en el conjunto de datos DarkFace para la detección de rostros con baja iluminación.
• Comparación: Mientras que los MLLM de línea base (por ejemplo, Qwen3-VL-8B, GPT-4.1) tuvieron dificultades con degradaciones severas (logrando a menudo puntuaciones F1 por debajo del 10% en conjuntos de datos degradados específicos), DetAS-X alcanzó consistentemente un alto rendimiento (por ejemplo, 44.98% en DarkFace, 52.35% en HazyDet).
• Estudios de Ablación: Eliminar SAIR o MED causó caídas significativas en el rendimiento (por ejemplo, el F1 en DarkFace cayó de 44.98% a 25.84% sin SAIR). Se encontró que el número óptimo de detectores seleccionados ($K$) es 2; aumentar más allá de esto provocó una ligera degradación debido a predicciones falsas fuera del dominio.

Significancia y Reivindicaciones

El artículo afirma que DetAS establece una base sólida para la detección agéntica, demostrando que la toma de decisiones dinámica y consciente de la entrada es superior a los pipelines estáticos para la detección de objetos robusta en entornos complejos y dinámicos.

• Cambio de Paradigma: El trabajo sugiere que la robustez bajo diversas degradaciones requiere un razonamiento adaptativo en lugar de solo mejores representaciones o pipelines de restauración fijos.
• Escalabilidad: La naturaleza modular del marco permite la integración de herramientas y detectores adicionales para soportar aplicaciones más amplias, como la imagen médica o la detección infrarroja, aunque estas no fueron exploradas explícitamente en el presente trabajo.
• Potencial Futuro: Los autores postulan que a medida que mejoren las capacidades de grounding de los MLLM, las limitaciones de los detectores basados en MLLM en entornos de escena fija disminuirán, validando aún más la detección agéntica como un paradigma prometedor para el despliegue escalable en el mundo real.

Los autores señalan que el código será de código abierto tras la aceptación.