GenSeg-R1: RL-Driven Vision-Language Grounding for Fine-Grained Referring Segmentation

1. El Problema

La segmentación basada en lenguaje natural enfrenta dos desafíos críticos:

• Falta de precisión en el razonamiento espacial: Los modelos actuales a menudo fallan al localizar objetos complejos o con atributos específicos.
• Incapacidad para manejar consultas negativas: Muchos modelos sufren de "alucinaciones", donde intentan segmentar un objeto incluso cuando la consulta es inconsistente con la imagen (por ejemplo, pedir un "hombre con camisa azul" en una imagen donde todos visten rojo). Esto genera máscaras incorrectas en lugar de simplemente indicar que el objeto no existe.

2. Metodología

El sistema propone un pipeline desacoplado en dos etapas:

• Etapa 1: Razonamiento y Localización (VLM): Utiliza modelos de lenguaje-visión (VLM) Qwen3-VL (en versiones de 4B y 8B parámetros) ajustados mediante GRPO (Group Relative Policy Optimization). El modelo no solo emite una respuesta, sino que genera una cadena de pensamiento (<think>) y luego emite prompts espaciales estructurados en formato JSON (<answer>). Estos prompts consisten en una caja delimitadora (bounding box) más dos puntos clave interiores.
• Etapa 2: Segmentación (SAM 2): Un modelo SAM 2 (Segment Anything Model 2) congelado recibe los prompts de la etapa 1 y los convierte en una máscara binaria de alta calidad.

Innovación en el entrenamiento (Aprendizaje por Refuerzo):
A diferencia de los métodos tradicionales que usan supervisión directa, GenSeg-R1 utiliza GRPO para optimizar la política del VLM basándose en recompensas:

1. Recompensa basada en distancia (GenSeg-R1-4B/8B): Evalúa la precisión de la caja y los puntos mediante métricas de IoU y distancia L1. Es rápida y eficiente.
2. Recompensa con SAM 2 en el bucle (GenSeg-R1-G): Es una recompensa basada en el resultado final. El sistema ejecuta SAM 2 durante el entrenamiento y usa el IoU de la máscara resultante como señal de recompensa. Esto cierra la brecha entre la salida del texto y la calidad real de la segmentación.

3. Contribuciones Clave

• Arquitectura de razonamiento emergente: El modelo desarrolla capacidades de razonamiento espacial y de atributos de forma natural mediante RL, sin necesidad de anotaciones manuales de "cadena de pensamiento".
• Manejo de consultas negativas (GenSeg-R1-G): Introducción de una variante entrenada con el dataset GRefCOCO, que permite al modelo identificar correctamente cuando un objeto no está presente (no_target), logrando una precisión del 82.40% en este aspecto.
• Optimización de prompts: El uso de dos puntos clave interiores en lugar de uno solo mejora significativamente la calidad de las máscaras en objetos alargados o complejos.

4. Resultados Principales

El modelo supera significativamente a los estados del arte actuales (como Seg-Zero-7B y Seg-R1-7B):

• RefCOCOg (Validación): El modelo de 8B alcanza un cIoU de 0.7127 y un mIoU de 0.7382, superando a los modelos base de Qwen3-VL por más de 15 y 21 puntos respectivamente.
• GRefCOCO (Robustez): La variante GenSeg-R1-G demuestra una capacidad superior para rechazar consultas negativas, mientras que los modelos competidores fallan (alucinan) en el 100% de los casos negativos.
• ReasonSeg (Razonamiento complejo): El modelo de 4B alcanza un 68.40% de mIoU, demostrando que puede resolver tareas que requieren lógica composicional (ej. "el objeto que se usa para cortar papel").

5. Significado e Impacto

GenSeg-R1 marca un avance importante en la integración de modelos de lenguaje con modelos de segmentación. Al utilizar recompensas basadas en el resultado final (SAM 2-in-the-loop), el modelo deja de optimizar simplemente "coordenadas" para pasar a optimizar la "calidad de la máscara". Esto es fundamental para aplicaciones en robótica, asistencia visual y sistemas interactivos donde la precisión y la capacidad de decir "no veo ese objeto" son vitales para la seguridad y la utilidad.