Teaching MLLMs to Say No: Generalized Referring Expression Comprehension via Refusal Calibrated GRPO

Resumen Técnico: Enseñanza de MLLMs para decir "No" mediante GRPO con Calibración de Rechazo

Planteamiento del Problema

El artículo aborda el desafío poco explorado de la Comprensión de Expresiones Referenciales Generalizada (GREC). A diferencia de la Comprensión de Expresiones Referenciales (REC) tradicional, que asume que el objeto objetivo siempre existe, la GREC requiere que los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) realicen dos tareas distintas:

1. Localización Positiva: Localizar con precisión un objeto descrito por una expresión textual cuando este existe en la imagen.
2. Rechazo Negativo: Identificar y rechazar correctamente la localización cuando el objeto descrito está ausente o cuando hay un desajuste en los atributos o relaciones (por ejemplo, "caballo blanco" en una imagen de un "caballo marrón").

Los MLLM actuales sobresalen en la localización, pero fallan frecuentemente en el rechazo. Debido a la ausencia de muestras negativas durante el preentrenamiento a gran escala, estos modelos tienden a alucinar cuadros delimitadores (bounding boxes) para objetos inexistentes en lugar de emitir un rechazo (por ejemplo, "Ninguno"). Las soluciones de post-entrenamiento existentes, como el Ajuste Fino Supervisado (SFT) y los métodos de Aprendizaje por Refuerzo (RL) estándar como la Optimización de Preferencia Directa (DPO) o la Optimización de Grupo Relativa de Grupos (GRPO), a menudo mejoran las tasas de rechazo, pero a costa de degradar severamente la precisión de localización en las muestras positivas. Esto crea un desequilibrio de optimización donde los modelos aprenden a decir "no" indiscriminadamente, lo que los hace inutilizables para aplicaciones prácticas que requieren ambas capacidades.

Metodología: RC-GRPO (GRPO con Calibración de Rechazo)

Los autores proponen RC-GRPO, un marco de aprendizaje por refuerzo de dos etapas diseñado para calibrar el comportamiento de rechazo mientras se preserva la competencia central de localización. El marco se basa en GRPO, pero introduce mecanismos específicos para abordar los desafíos únicos de la GREC.

1. Construcción de Datos de Entrenamiento
El método utiliza FineCops-Ref, un benchmark de grano fino que contiene muestras negativas difíciles generadas mediante perturbaciones lingüísticas (cambio de atributos/relaciones) y edición de imágenes. El conjunto de entrenamiento consta de 2,000 muestras equilibradas (1,000 positivas, 1,000 negativas).

2. Etapa I: Calibración de Rechazo con Recompensa Contrastiva
Esta etapa tiene como objetivo establecer una capacidad básica de rechazo (transición de 0 a 1) sin colapsar el rendimiento positivo. Emplea tres componentes clave:

• Rollout de Rechazo Forzado: Dado que los MLLM base rara vez exploran salidas de "Ninguno" durante las primeras etapas del entrenamiento, el GRPO estándar falla al computar ventajas válidas para las muestras negativas (ya que todos los rollouts producen cuadros delimitadores). RC-GRPO fuerza las salidas de "Ninguno" mediante una búsqueda de haz (beam search) restringida durante los rollouts. Esto asegura una estimación de ventaja válida para las muestras negativas.
• Recompensa Contrastiva: Se diseña una función de recompensa para penalizar el sobre-rechazo en las muestras positivas.
  • Para muestras positivas: Un cuadro delimitador correcto (IoU $\ge$ 0.5) otorga una recompensa de 1; una predicción de "Ninguno" otorga -1.
  • Para muestras negativas: Una predicción de "Ninguno" otorga 1; un cuadro delimitador otorga 0.
    Esta estructura enseña al modelo que un cuadro deficiente es preferible a un falso rechazo en los casos positivos.
• Escalamiento de Ventaja Negativa: Para evitar que el modelo se sobreajuste a la tarea más fácil de decir "Ninguno", las ventajas de las muestras negativas se escalan mediante un coeficiente $\alpha \in (0, 1]$. Esto equilibra la dinámica de optimización entre los dos tipos de muestras.

3. Etapa II: Refuerzo Guiado por Razonamiento
Para asegurar que los rechazos provengan de una comprensión semántica genuina y no de un emparejamiento de patrones superficial, una segunda etapa incentiva al modelo a generar explicaciones para sus rechazos.

• Recompensa de Racional: El modelo es instado a explicar por qué un objeto está ausente. Un sistema de verificación basado en reglas evalúa la explicación generada contra la perturbación semántica específica (por ejemplo, identificar que "detrás de" cambió a "delante de").
• Formulación de la Recompensa: La recompensa incluye una recompensa base por el rechazo correcto más una recompensa densa por identificar correctamente el desajuste específico (Patrón Incorrecto) y la descripción válida original (Patrón Original). Esto refuerza la comprensión causal y la interpretabilidad.

Contribuciones Clave

1. Definición de la Tarea: El trabajo estudia formalmente la tarea GREC, destacando la necesidad crítica de equilibrar la precisión de localización con la fiabilidad del rechazo para el despliegue en el mundo real.
2. Marco RC-GRPO: La propuesta de un marco de RL calibrado que introduce la Calibración de Rechazo (forzando salidas de "Ninguno" para obtener señales de gradiente válidas) y una Penalización de Muestra Positiva (recompensa contrastiva) para optimizar conjuntamente el rechazo y la localización.
3. Refuerzo de Razonamiento: La introducción de una etapa de generación de razones que fundamenta los rechazos en el razonamiento causal, mejorando tanto la fiabilidad de la decisión de "No" como la interpretabilidad del modelo.
4. Validación Empírica: Experimentos extensos que demuestran que RC-GRPO logra un equilibrio superior entre el rendimiento de muestras positivas y negativas en comparación con SFT, DPO y otros baselines de RL.

Resultados Experimentales

Los experimentos se realizaron en tres benchmarks: FineCops-Ref, gRefCOCO y D3 (Detección de Objetos Descritos).

• Ganancias de Rendimiento: En gRefCOCO, la aplicación de RC-GRPO a Qwen2.5-VL-7B mejoró la Precisión (Pr) de 38.2% (base) a 62.8% (RC-GRPO-I) y 64.9% (RC-GRPO-II), superando significativamente a los modelos especialistas y a los baselines de MLLM existentes como ROD-MLLM y CRS.
• Equilibrio Balanceado: A diferencia de SFT, que logró una alta precisión de rechazo (N-acc) pero causó una caída catastrófica en la localización positiva (P-acc), RC-GRPO mantuvo una alta P-acc mientras lograba una robusta N-acc.
• Frontera de Pareto: El análisis del intercambio P-acc vs. N-acc mostró que RC-GRPO establece una frontera de Pareto superior en la región de alta utilidad, evitando la "zona de colapso de utilidad" donde los modelos sacrifican la capacidad de fundamentación (grounding) por el rechazo.
• Generalización: El método mostró una degradación insignificante en los benchmarks multimodales generales (MME, MMBench, POPE), indicando que la lógica de rechazo no compromete la comprensión visual general ni induce nuevas alucinaciones.
• Estudios de Ablación: Eliminar cualquier componente (Rechazo Forzado, Recompensa Contrastiva o Escalamiento de Ventaja) resultó en un rendimiento subóptimo, confirmando la necesidad del marco completo.

Significancia y Reivindicaciones

El artículo afirma que RC-GRPO resuelve el desequilibrio de optimización inherente al entrenar MLLMs para GREC. Al internalizar la lógica de rechazo causal a través del aprendizaje por refuerzo calibrado, el método permite que los modelos "digan no" de manera fiable sin sacrificar su competencia central en localización. Los autores sostienen que este enfoque va más allá del simple umbralizado o las modificaciones arquitectónicas, proporcionando una solución de post-entrenamiento escalable que hace que la GREC sea sustancialmente más práctica para escenarios del mundo real donde los objetos pueden estar ausentes o desajustados. El trabajo enfatiza que el modelo aprende cuándo y por qué rechazar, en lugar de rechazar entradas indiscriminadamente.