💻 computer science

DRAgent: Discriminative Reasoning Agent for Referring Expression Segmentation

DRAgent es un novedoso marco impulsado por MLLM para la Segmentación de Expresiones de Referencia que mejora la precisión de la localización al reemplazar la generación directa de coordenadas con un mecanismo de razonamiento discriminativo que selecciona el mejor candidato de un espacio generado por un detector para guiar a un modelo de segmentación fundacional.

Autores originales: Yujie Qi, Luyan Zhang

Publicado 2026-08-25

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yujie Qi, Luyan Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, existe un desafío específico conocido como segmentación de expresiones de referencia. Imagine que una computadora observa una fotografía y escucha a un humano decir: "Encuentra la pelota roja que está sobre la silla azul". El objetivo no es solo reconocer que existen una pelota y una silla, sino trazar un contorno preciso alrededor de esa pelota roja específica, píxel por píxel. Esta capacidad es crucial para los robots y los sistemas autónomos que necesitan interactuar con el mundo físico; una máquina no puede recoger un objeto si primero no puede identificar exactamente dónde comienza y dónde termina dicho objeto. Durante años, los investigadores han intentado resolver esto enseñando a los grandes modelos de lenguaje a actuar como los ojos de la máquina, pidiéndoles que generen las coordenadas del objeto objetivo directamente, de forma muy similar a escribir un conjunto de direcciones en un mapa. Sin embargo, este enfoque tiene un fallo fundamental: cuando una computadora intenta traducir un espacio visual continuo en una cadena de números de texto, a menudo pierde el rumbo, lo que genera contornos borrosos o incorrectos, especialmente en escenas concurridas con muchos artículos de apariencia similar.

Un equipo de investigadores ha propuesto una forma diferente de resolver este rompecabezas, cambiando el papel de la computadora de un cartógrafo a un selector cuidadoso. En lugar de pedirle a la inteligencia artificial que invente la ubicación del objeto desde cero, permiten que una herramienta separada y especializada trace primero una red amplia de candidatos posibles, marcando cada objeto potencial que ve en la imagen. Al gran modelo de lenguaje se le asigna entonces un trabajo más sencillo y fiable: observar esta lista de posibilidades marcadas y decidir cuál coincide con la descripción. Este método, llamado DRAgent, trata la tarea no como la generación de una ubicación, sino como la discriminación entre opciones. El sistema primero examina la lista para conservar los candidatos más probables y luego realiza una segunda comprobación más cuidadosa sobre esas pocas opciones restantes para verificar cuál encaja realmente con la descripción. Una vez que se elige la caja correcta, un modelo de segmentación utiliza esa caja para trazar el contorno final y preciso.

Los investigadores descubrieron que este proceso de dos pasos de cribado y verificación reduce significativamente los errores que aquejan a los métodos anteriores. Al evitar la difícil tarea de convertir el espacio visual directamente en coordenadas de texto, el sistema mantiene una conexión más clara entre las palabras y la imagen. Para hacer al modelo de lenguaje aún mejor en este proceso de selección, el equipo desarrolló un método de entrenamiento que filtra el razonamiento poco fiable. Enseñaron al modelo a revisar su propio trabajo, asegurándose de que la lógica que utiliza para elegir un objeto realmente coincida con lo que es visible en la imagen, en lugar de simplemente sonar plausible. Al ser probado en pruebas estándar que contienen miles de imágenes y descripciones complejas, este nuevo enfoque logró resultados altamente precisos, particularmente en escenarios donde los objetos están densamente agrupados o las descripciones son largas y detalladas. Los hallazgos sugieren que, para que las máquinas comprendan verdaderamente las instrucciones visuales, a menudo es más efectivo permitirles elegir de un conjunto de posibilidades claras que obligarlas a adivinar la respuesta de la nada.

Resumen Técnico: DRAgent – Agente de Razonamiento Discriminativo para la Segmentación de Expresiones de Referencia

1. Planteamiento del Problema

La Segmentación de Expresiones de Referencia (RES, por sus siglas en inglés) tiene como objetivo generar máscaras a nivel de píxel para objetos especificados mediante expresiones de lenguaje natural. Aunque los enfoques recientes aprovechan los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) combinados con modelos de segmentación fundacionales (por ejemplo, SAM), enfrentan dos limitaciones críticas:

Sesgo de Localización en Enfoques Generativos: Los métodos actuales suelen tratar la localización visual como un problema de predicción de coordenadas generativas (MLLM serializa coordenadas espaciales continuas en tokens de texto discretos mediante generación autorregresiva). Esta representación no logra preservar la continuidad de las relaciones espaciales, lo que conduce a una localización gruesa o sesgada. En escenas complejas con objetos densos o de apariencia similar, esta generación de "un solo paso" es propensa a la confusión con distractores, propagando prompts espaciales erróneos al módulo de segmentación posterior.
Razonamiento de Cadena No Confiable: Los métodos que utilizan cadenas de razonamiento (por ejemplo, Cadena de Pensamiento o CoT) para el entrenamiento suelen depender de datos que son o bien anotados manualmente (costosos, no escalables) o bien generados por MLLM externos. Estos últimos a menudo producen razonamientos lógicamente inconsistentes o rutas que son lingüísticamente plausibles pero visualmente no fundamentadas, lo que provoca que los modelos aprendan patrones inestables.

2. Metodología: DRAgent

Los autores proponen DRAgent, un marco impulsado por MLLM que reformula la localización visual de la generación de coordenadas a la selección discriminativa de objetivos dentro de un espacio de candidatos generado por un detector. El flujo de trabajo consta de tres etapas:

A. Detección de Objetos Candidatos

En lugar de pedir al MLLM que genere coordenadas, un detector de vocabulario abierto (Grounding DINO) construye primero un conjunto de candidatos de alta recuperación $O = \{o_1, o_2, \dots, o_n\}$ . La categoría objetivo se extrae de la consulta de texto $Q$ mediante un LLM y se entrega al detector para generar cajas delimitadoras (bounding boxes).

B. Razonamiento Discriminativo de Dos Etapas (DR)

El MLLM actúa como un discriminador de objetivos visual-semánticos en lugar de un generador de coordenadas. Selecciona el mejor candidato a través de un mecanismo en cascada de dos etapas:

Tamizaje Preliminar a Nivel de Candidato:
- Los candidatos detectados se visualizan en la imagen utilizando cajas delimitadoras de Conjunto de Marcas (SoM, Set-of-Mark) indexadas.
- El MLLM selecciona los $K$ mejores candidatos que mejor coinciden con la consulta $Q$ .
- Para asegurar la recuperación, se añaden candidatos adicionales cuya Intersección sobre Unión (IoU) supere un umbral $\gamma$ con las cajas top- $K$ , formando el segundo conjunto de candidatos $O_{top}$ .
Verificación a Nivel de Instancia:
- Cada candidato en $O_{top}$ se renderiza individualmente con una caja SoM.
- Se le proporciona al MLLM una instrucción específica (por ejemplo, "¿Mira la caja roja. ¿Encierra estrechamente el objeto descrito como '{Q}'?") para realizar una tarea de respuesta visual de preguntas (VQA).
- Puntuación de Verificación: En lugar de depender de un único token generado, el sistema calcula una puntuación de verificación $S_i$ basada en los logits relativos de los conjuntos de tokens de respuesta positiva ("Sí") frente a los de respuesta negativa ("No"). El candidato con la puntuación más alta se selecciona como el objetivo.

C. Segmentación a Nivel de Píxel

La caja delimitadora seleccionada sirve como prompt espacial para un modelo de segmentación fundacional (SAM) para generar la máscara final a nivel de píxel.

D. Estrategia de Entrenamiento: Pipeline de Datos Filtrado por Autoconsistencia

Para mejorar la capacidad de razonamiento discriminativo del MLLM, los autores introducen un pipeline de datos para el Ajuste Fino Supervisado (SFT) basado en LoRA:

Generación de Autoconsistencia: El MLLM genera una respuesta estructurada (cadena de razonamiento, descripción, respuesta) para una región candidata.
Autoverificación (Bucle Cerrado): La descripción generada se retroalimenta al MLLM como una nueva consulta para verificar la consistencia.
Filtrado: Una cadena de razonamiento se retiene para el entrenamiento solo si la respuesta inicial coincide con la verdad de campo (ground truth) Y la verificación de bucle cerrado confirma la descripción reconstruida. Esto filtra razonamientos que son lingüísticamente plausibles pero visualmente incorrectos.

3. Contribuciones Clave

Reformulación de la Localización Visual: DRAgent cambia el rol del MLLM de generar coordenadas a actuar como un selector discriminativo sobre un espacio de candidatos generado por un detector, mitigando el sesgo de localización.
Mecanismo de DR de Dos Etapas: Una novedosa estrategia de inferencia que combina el tamizaje de candidatos con la verificación visual por instancia para mejorar la estabilidad de la selección en escenas complejas.
Pipeline de Datos Filtrado por Autoconsistencia: Un método para construir datos de cadenas de razonamiento fiables para SFT, forzando la consistencia de bucle cerrado entre el razonamiento, la descripción y la evidencia visual, abordando el problema de las señales de entrenamiento inestables.

4. Resultados Experimentales

Los experimentos se realizaron en los benchmarks RefCOCO, RefCOCO+ y RefCOCOg utilizando la Intersección sobre Unión acumulativa (cIoU) como métrica.

Rendimiento: DRAgent logró resultados competitivos, alcanzando notablemente el mejor rendimiento en RefCOCOg (76.78% en val(U) y 77.54% en test(U)), superando tanto a los métodos basados en MLLM implícitos como a los generadores de localización visual explícitos.
Estudios de Ablación:
- El mecanismo de DR de dos etapas mejoró significativamente el rendimiento respecto a una línea base de una sola etapa (de 66.84% a 75.42% de cIoU promedio en RefCOCOg).
- Los datos de razonamiento filtrados por autoconsistencia produjeron mejores resultados que los datos CoT brutos o el SFT sin CoT, confirmando el valor de una supervisión fiable.
- El análisis de parámetros indicó un rendimiento óptimo con $K=4$ (candidatos superiores) y $\gamma=60\%$ (umbral de IoU).

5. Significado y Reivindicaciones

El artículo afirma que la limitación principal de los métodos recientes de RES basados en MLLM radica en tratar la localización como un problema de generación de coordenadas. Al introducir un selector de objetivos discriminativo, DRAgent aprovecha las capacidades de razonamiento del MLLM para la verificación en lugar de la generación.

Los autores argumentan que este enfoque es particularmente beneficioso para conjuntos de datos con expresiones largas y compositivas (como RefCOCOg), donde la comparación visual-semántica detallada entre candidatos es crucial. Además, el pipeline de datos propuesto ofrece una solución escalable para entrenar el razonamiento discriminativo sin depender de anotaciones manuales costosas o de una generación externa poco fiable, proporcionando una señal más robusta para la alineación visual-semántica. El marco demuestra que desacoplar la generación de candidatos de la discriminación de objetivos puede reducir eficazmente los errores de alineación y mejorar la precisión de la segmentación.