PointRL: Learning Point-Level Vision-Language Grounding from Verifiable Annotation Evidence

Resumen Técnico: PointRL

Planteamiento del Problema
Los modelos de visión y lenguaje (VLMs) utilizan cada vez más las coordenadas de puntos como una interfaz compacta y ejecutable para la localización visual (visual grounding) en aplicaciones tales como la interacción con interfaces gráficas de usuario (GUI), la manipulación robótica y sistemas interactivos. Sin embargo, aprender un comportamiento de señalización fiable es un desafío debido a la no unicidad inherente del espacio de supervisión. Para una región objetivo dada, muchos puntos de coordenadas son válidos, pero reducir este conjunto a una única etiqueta fija colapsa el espacio de respuestas y penaliza las predicciones aceptables. Además, los entornos condicionados por instrucciones introducen restricciones complejas, incluyendo la cobertura de múltiples instancias, la consistencia de la cardinalidad y la necesidad de suprimir duplicados o evitar comportamientos de "atajo" (por ejemplo, señalar hacia una pista de referencia en lugar del objetivo). Las anotaciones de localización existentes (cajas delimitadoras, máscaras, etiquetas de instancia) son heterogéneas y difíciles de unificar en una única señal de aprendizaje para la predicción de puntos.

Metodología
El artículo propone PointRL, un marco de aprendizaje por refuerzo verificable que aprende la localización a nivel de punto a partir de evidencia de anotación heterogénea existente sin requerir nuevas anotaciones manuales de puntos.

1. Construcción de Datos de Señalización Verificables (PointRL-Data):

   • El marco convierte las anotaciones puras (cajas, máscaras, etiquetas de instancia) en una estructura unificada de evidencia de verificador oculto $V = (T, C)$, mantenida fuera del prompt del modelo.
   • $T$ (Conjunto Objetivo) almacena los objetos/regiones pretendidos y sus soportes geométricos ($S_j$).
   • $C$ (Restricciones) almacena los requisitos condicionados por la instrucción, tales como cardinalidad, relaciones espaciales, roles funcionales y unicidad.
   • Se generan instrucciones en lenguaje natural a partir de estas anotaciones, mientras que la evidencia geométrica original permanece oculta para servir como una verdad fundamental determinista para el cálculo de la recompensa.

2. Mecanismo de Recompensa Jerárquico:
   PointRL emplea un verificador determinista para calificar las salidas del modelo frente a $V$. La recompensa se compone de varios términos jerárquicos:

   • Capacidad de Análisis (Parseability) ($r_{fmt}$): Asegura que la salida sea una lista válida de coordenadas.
   • Localización Suave (Soft Localization): En lugar de un acierto/error binario, la recompensa utiliza una puntuación suave basada en la distancia ($s(p_i, t_j)$) derivada de la distancia entre un punto predicho y el soporte del objetivo. Los puntos dentro del soporte reciben el crédito máximo; los puntos fuera reciben un crédito graduado basado en la proximidad.
   • Emparejamiento (Matching): Un algoritmo de emparejamiento húngaro alinea los puntos predichos con los soportes de los objetivos para manejar colecciones desordenadas y cantidades variables.
   • Consistencia Global:
     • Cobertura ($S_{cov}$): Mide la fracción de los objetivos requeridos cubiertos.
     • Cardinalidad ($S_{cnt}$): Penaliza el exceso y la falta de conteo (con penalizaciones más fuertes por objetivos omitidos).
     • Supresión de Duplicados ($S_{dup}$): Penaliza las predicciones que colapsan en la misma región local.
   • Guardas de Instrucción:
     • Control de Atajos (Shortcut Control): Detecta y penaliza el "copiado de pistas" donde el modelo señala un objeto de referencia auxiliar en lugar del objetivo.
     • Moldeado de Progreso (Progress Shaping): Un término débil que fomenta el movimiento desde un ancla de la pista hacia el soporte del objetivo.

3. Protocolo de Entrenamiento:
   El marco utiliza la Optimización de Política Relativa de Grupo (GRPO). El verificador calcula una recompensa escalar para cada respuesta generada, la cual se utiliza para actualizar la política del VLM. Los datos de entrenamiento consisten en 1,647 muestras construidas derivadas de AGD20K, PixMo y COCO, con una división diagnóstica separada de 200 muestras.

Contribuciones Clave

1. Interfaz de Señalización Verificable: El artículo introduce un método para construir prompts y evidencia de verificador oculto a partir de anotaciones heterogéneas (cajas, máscaras, etiquetas), preservando el espacio de respuestas no único de la supervisión basada en regiones mientras permite el aprendizaje a nivel de punto.
2. Diseño de Recompensa Estructurada: Define un mecanismo de recompensa jerárquico que maneja puntos válidos no únicos y restricciones de múltiples instancias, integrando localización suave, cobertura a nivel de conjunto, consistencia de cardinalidad y supresión de duplicados.
3. Validación Empírica: El trabajo proporciona evidencia de que la retroalimentación verificable derivada de anotaciones heterogéneas mejora la localización a nivel de punto tanto en entornos de dominio como en entornos externos sin necesidad de ajuste fino específico del benchmark.

Resultados

• PointArena (Point-Bench): Sobre la arquitectura base Qwen3.5-4B, PointRL mejoró la precisión general del 56.11% al 65.58% (+9.47 puntos porcentuales). El modelo Qwen3.5-2B experimentó una ganancia relativa mayor, mejorando del 25.25% al 56.82%.
• Estudios de Ablación: El paquete completo de recompensas (localización + cobertura + guardas) superó a las variantes parciales (por ejemplo, solo localización o solo cobertura), lo que indica que las restricciones estructurales y las guardas de atajos son necesarias para un rendimiento robusto.
• Benchmarks Externos:
  • RoboSpatial & BLINK: El modelo mostró ganancias de la misma arquitectura en estos benchmarks de localización espacial (por ejemplo, +7.38% en el contexto de RoboSpatial, +7.00% en BLINK) sin un ajuste fino específico para estos conjuntos de datos.
  • Ref-Adv: Evaluado mediante la interfaz de salida de caja requerida por el benchmark, el modelo mostró mejoras modestas pero consistentes en la precisión de la selección de objetivos a través de diversos umbrales de IoU y conteos de distractores, lo que sugiere que el comportamiento de señalización aprendido se transfiere a tareas de selección basadas en cajas.

Significancia y Pretensiones
El artículo sostiene que PointRL demuestra que las anotaciones de localización heterogéneas pueden servir como evidencia de verificador oculto efectiva para entrenar VLMs para realizar localización a nivel de punto. La significancia radica en la capacidad de aprovechar conjuntos de datos existentes que no son específicos de puntos (cajas, máscaras) para enseñar un comportamiento de señalización preciso a través de un bucle de aprendizaje por refuerzo verificable.

Los autores mantienen una postura modesta respecto a sus afirmaciones:

• Afirman que la retroalimentación de nivel de punto verificable beneficia la localización espacial en los entornos evaluados.
• Aclaran que, si bien el modelo muestra generalización en benchmarks externos, la supervisión específica del benchmark (por ejemplo, entrenar directamente en datos de RoboSpatial) sigue produciendo un rendimiento superior en divisiones específicas (como la división de "compatibilidad").
• No pretenden que PointRL reemplace el entrenamiento específico de cada benchmark, sino que proporciona un método para mejorar las capacidades de señalización utilizando fuentes de datos heterogéneas existentes.
• Las mejoras en Ref-Adv se enmarcan como evidencia de una mejora en la selección de objetivos, señalando que el protocolo de evaluación (salida de caja) difiere de la recompensa de entrenamiento (salida de punto).