Actor as Its Own Critic: Unifying Region Understanding and Localization via CycleGRPO

Resumen Técnico: CycleGRPO – El Actor como su propio Crítico

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han demostrado sólidas capacidades en la comprensión general de lenguaje-visión, pero a menudo carecen de la percepción fina requerida para aplicaciones del mundo real. Específicamente, dos capacidades fundamentales—la comprensión de regiones (describir regiones dadas) y la localización por referencia (segmentar regiones basadas en texto)—se optimizan típicamente como tareas separadas. Los enfoques convencionales dependen de procesos aislados que requieren vastas cantidades de pares texto-región de alta calidad, anotados por humanos, para la supervisión. Esta dependencia crea un cuello de botella significativo, ya que tales datos son costosos de producir y limitan la escalabilidad. Además, los métodos de aprendizaje por refuerzo (RL) existentes para estas tareas suelen depender de Modelos de Lenguaje de Gran Escala (LLMs) externos como jueces para la calidad del texto o métricas basadas en reglas para la localización, lo que puede ser vulnerable al "hackeo de recompensa" (reward hacking) o carecer de un anclaje semántico intrínseco.

Metodología: CycleGRPO
El artículo presenta CycleGRPO (Optimización de Política Relativa de Grupo Cíclica), un marco de aprendizaje por refuerzo unificado que aprovecha la dualidad inherente entre la comprensión de regiones y la localización. La innovación central es el paradigma "Actor como su propio Crítico", que construye un bucle de autoevaluación cerrado: "región → texto → región".

1. Representación Unificada: El marco se basa en SAMTok, que discretiza las máscaras espaciales en una secuencia de tokens compatibles con el vocabulario del MLLM. Esto permite que el modelo trate tanto la generación de texto como la generación de máscaras como una tarea unificada de predicción de siguiente token autorregresiva, eliminando la necesidad de cabezales específicos para cada tarea.
2. El Proceso de Ciclo:
   • Fase 1 (Actor/Captioning): Dada una imagen y una máscara de región objetivo ($M$), el MLLM actúa como un actor para generar un grupo de $G$ candidatos de descripciones de texto ($C_1, \dots, C_G$).
   • Fase 2 (Crítico/Localización): El mismo modelo transiciona hacia un rol de crítico. Para cada descripción candidata $C_i$, realiza $K$ ejecuciones (rollouts) independientes para intentar reconstruir la máscara espacial original ($\hat{M}_{i,k}$) basándose únicamente en el texto generado.
3. Recompensa de Consistencia de Ciclo: El marco emplea un mecanismo de recompensa a nivel de token sensible a la calidad. La calidad semántica de una descripción se evalúa intrínsecamente mediante su precisión de localización física.
   • La recompensa se calcula basándose en la Intersección sobre la Unión (IoU) entre la máscara de entrada original $M$ y las máscaras reconstruidas $\hat{M}_{i,k}$.
   • Recompensa de Descripción ($R_{cap}$): El promedio de la IoU de los $K$ intentos de localización para una descripción específica. Una puntuación baja indica que la descripción es alucinada o demasiado vaga para guiar una reconstrucción precisa.
   • Recompensa de Localización ($R_{loc}$): Ponderada por la recompensa de la descripción padre para amplificar los gradientes de las descripciones de alta calidad.
   • La recompensa total impulsa el objetivo de Optimización de Política Relativa de Grupo (GRPO), optimizando al modelo para generar descripciones que no solo sean lingüísticamente fluidas, sino también espacialmente discriminativas, sin requerir verdades de terreno (ground truths) textuales externas.

Contribuciones Clave

• Marco de RL Unificado: Propone CycleGRPO, que instancia fundamentalmente la dualidad entre la comprensión de regiones y la localización, permitiendo un flujo de entrenamiento totalmente autónomo que evita la necesidad de costosas anotaciones humanas.
• Paradigma Actor-como-su-propio-Crítico: Introduce un mecanismo de autoevaluación donde un único MLLM utiliza recompensas de consistencia espacial para criticar su propia generación de texto, eliminando la dependencia de jueces LLM externos o cabezales de tarea específicos.
• Entrenamiento Escalable: Demuestra que el marco puede impulsar ambas capacidades simultáneamente utilizando solo entradas de región (máscaras o cajas delimitadoras), lo que lo hace altamente escalable en comparación con los enfoques de ajuste fino supervisado (SFT).

Resultados Experimentales
Los autores evaluaron CycleGRPO en un conjunto diverso de benchmarks sin ajuste fino específico de la tarea en los conjuntos de datos de evaluación:

• Descripción de Regiones (Region Captioning): En DLC-Bench, CycleGRPO mejoró la puntuación promedio del 61.9% (línea base de SAMTok) al 67.7%, superando a modelos de código cerrado como GPT-4o (61.5%) y Gemini 2.5 Pro (55.8%). También mostró ganancias significativas en GAR-Bench-VQA, particularmente en categorías de percepción fina como color y material.
• Localización por Referencia (Referring Localization): En GroundingSuite, el marco aumentó la precisión general de localización de 57.5% a 67.6%, con un aumento notable del 8.5% en la división "Part" (Parte). En GRES, logró una mejora dramática en la capacidad de rechazo de objetivos (N-acc subiendo de 58.7% a 92.1%) y una ganancia del 7.0% en el gIoU promedio.
• Generación Intercalada (Interleaved Generation): En el benchmark GCG, CycleGRPO produjo un aumento de 6.5 puntos en CIDEr y mejoró las métricas de localización, demostrando una sincronización superior entre la generación de texto y de máscara.
• Generalizabilidad: Se demostró que el método se generaliza a través de diferentes escalas de modelos (Qwen2.5-VL, Qwen3-VL) y representaciones espaciales, logrando ganancias consistentes incluso cuando se utilizan cajas delimitadoras en lugar de tokens de máscara discretos.

Significancia y Reivindicaciones
El artículo afirma que CycleGRPO ofrece un camino directo y escalable para avanzar en las capacidades a nivel de píxel de los MLLMs. Al explotar el ciclo "región → texto → región", el marco hace obsoleta la necesidad de costosas anotaciones humanas y jueces externos. Los autores argumentan que este enfoque autodirigido y basado en la dualidad permite a los modelos destilar capacidades superiores de razonamiento visual y reducir las alucinaciones al anclar las descripciones semánticas a reconstrucciones espaciales físicas. Los resultados sugieren que la consistencia de ciclo intrínseca proporciona una señal de supervisión más precisa que el RL genérico o la optimización de tareas aisladas, permitiendo que los MLLM alcancen un rendimiento competitivo frente a bases de referencia fuertemente supervisadas y modelos de código cerrado más grandes.