Resumen Técnico: ProcVLM

Enunciado del Problema

La manipulación robótica de largo horizonte requiere señales de retroalimentación densas que reflejen con precisión el avance de la tarea a través de etapas procedimentales, en lugar de depender únicamente de resultados binarios de éxito/fracaso a nivel de trayectoria. Los modelos de recompensa existentes a menudo dependen de etiquetas terminales dispersas o de interpolación basada en tiempo. Los autores argumentan que estos enfoques no logran capturar estados críticos como pasos inconclusos, estancamiento y recuperación de fallos, ya que el tiempo transcurrido no necesariamente se correlaciona con el verdadero progreso de la tarea en tareas de manipulación complejas. Además, la mayoría de los conjuntos de datos robóticos a gran escala carecen de anotaciones explícitas de la estructura procedimental (por ejemplo, límites de subtareas y acciones restantes), lo que obliga a los modelos de recompensa a depender de una supervisión indirecta que confunde los proxies temporales con el progreso semántico.

Metodología

1. Síntesis de Supervisión Procedimental (ProcCorpus-60M)

Para abordar la falta de supervisión procedimental densa, los autores desarrollaron una pipeline escalable para sintetizar anotaciones a nivel de fotograma a partir de trayectorias robóticas crudas.

• Anotación Jerárquica: Utilizando Grandes Modelos Visuales-Lingüísticos (VLM) como anotadores, la pipeline infiere primero planes de tareas de alto nivel y lapsos temporales de subtareas a partir del video completo. Luego expande estos segmentos en asignaciones fotograma a fotograma, generando pistas de razonamiento (razonamiento de estado, estado de finalización, acciones restantes) en fotogramas clave visualmente desduplicados.
• Construcción del Conjunto de Datos: Esta pipeline se aplicó a 30 conjuntos de datos encarnados (incluyendo DROID, BridgeData V2, Fractal y puntos de referencia de simulación), dando como resultado ProcCorpus-60M, que contiene más de 400K trayectorias y 60M fotogramas anotados.
• Etiquetado de Progreso: Los objetivos de progreso continuo se derivan combinando la estructura a nivel de subtarea con el movimiento visual intra-subtarea. Se asigna un presupuesto de progreso a cada subtarea basándose en su duración relativa, y este presupuesto se distribuye en el tiempo según los cambios visuales locales ($\|\dot{\phi}(\tau)\|$), evitando una interpolación temporal lineal simple.

2. ProcVQA y Paradigma de Entrenamiento

Las anotaciones se convierten en ProcVQA, un corpus de entrenamiento de 20 mil millones de tokens centrado en la estimación del progreso de la tarea. El entrenamiento sigue un paradigma de "razonamiento antes que estimación", donde el modelo debe primero inferir la etapa de ejecución actual y las acciones atómicas restantes antes de predecir una puntuación de progreso continua.

• Familias de Tareas:
  • Predicción de progreso estructurado por subtareas: El modelo genera las subtareas atómicas restantes seguidas de un porcentaje de finalización continuo envuelto en etiquetas <progress>.
  • Segmentación de acciones: Predicción de los límites temporales de las acciones atómicas.
  • Planificación futura: Predicción de la secuencia de acciones restantes requeridas para completar la tarea.
• Arquitectura: ProcVLM se basa en un núcleo Qwen3-VL-2B-Instruct. Utiliza una cabeza estándar de modelado de lenguaje autoregresivo para la generación de texto y una cabeza de valor de progreso dedicada (un MLP de 3 capas) para la regresión continua.
• Objetivos de Entrenamiento: Una función de pérdida conjunta combina la pérdida de modelado de lenguaje ($L_{LM}$) con una pérdida de regresión ($L_{value}$) para la puntuación de progreso. Un mecanismo de activación (gating) activa la cabeza de valor solo cuando está presente la supervisión de progreso.
• Entrenamiento en Dos Etapas:
  1. Preentrenamiento: Entrenamiento a gran escala en todo el conjunto de datos ProcVQA (~20 mil millones de tokens) para aprender representaciones procedimentales generales.
  2. Refinamiento: Ajuste fino en un subconjunto curado y de alta calidad (~2.8 mil millones de tokens) para afinar la alineación de subtareas y la estimación de progreso.

Contribuciones Clave

1. ProcVLM: Un VLM encarnado consciente del progreso que predice recompensas densas fundamentadas en procedimientos. Vincula la estimación de progreso continuo con la semántica de subtareas, las acciones restantes y el avance dentro de la etapa mediante un paradigma de razonamiento antes que estimación.
2. Pipeline de Supervisión Escalable: Un método para convertir trayectorias de manipulación crudas en anotaciones estructuradas por subtareas a nivel de fotograma, generando ProcCorpus-60M y la referencia ProcVQA.
3. Evaluación Sistemática: Evaluación exhaustiva en comprensión consciente de procedimientos, modelado de recompensas, adaptación entre tareas y optimización de políticas aguas abajo.

Resultados Experimentales

Comprensión Procedimental Encarnada (ProcVQA)

Evaluada en divisiones dentro de la distribución (ID) y fuera de la distribución (OOD), ProcVLM superó a los VLMs principales (incluyendo GPT-5.4, Gemini 3.1 Pro y Qwen3.5) en segmentación de acciones, planificación futura y estimación de progreso de la tarea. Logró las puntuaciones más altas en BF1@5, Éxito, VOC (Correlación Valor-Orden) y EPR@50 (Resolución de Progreso Efectivo).

Evaluación de Recompensa de Progreso Generalizable

• Comparación Zero-Shot: En el subconjunto ProcVQA-OOD, ProcVLM logró la mejor VOC, indicando una ordenación de progreso interna a la trayectoria superior en comparación con líneas base como Robometer y RoboDopamine.
• Adaptación One-Shot: En la referencia RoboFAC (análisis de fallos en robots reales), añadir una sola demostración exitosa mejoró la VOC de ProcVLM en un 85.7% y el MCC en un 18.8%. En contraste, líneas base como Robometer mostraron una mejora mínima, lo que sugiere que la supervisión de preferencias dispersa es menos efectiva para la adaptación con una sola demostración.
• Estudios de Ablación: Eliminar el preentrenamiento consciente de procedimientos causó una degradación severa (por ejemplo, -88.8% en MAE para la localización de fallos), confirmando que el preentrenamiento a gran escala es esencial para la percepción de progreso transferible. Eliminar la supervisión con formato de razonamiento también llevó a caídas consistentes, destacando la importancia de la estructura explícita de subtareas.

Optimización de Políticas Aguas Abajo

En experimentos de ajuste fino guiado por recompensas (RFT) utilizando el marco Evo-RL:

• Simulación (LIBERO-10): El RFT con recompensas de ProcVLM produjo ganancias moderadas (+0.4 a +1.2 puntos porcentuales) sobre el ajuste fino supervisado (SFT).
• Robot Real (Stack Bowls): El RFT demostró mejoras significativas, aumentando las tasas de éxito en un +25.0% a 5k pasos y un +12.5% a 10k pasos en comparación con SFT. Los autores atribuyen esto a la capacidad de ProcVLM para reducir el peso de segmentos ruidosos (por ejemplo, reintentos repetidos de agarre) en datos teleoperados, estabilizando la optimización de la política.

Significado y Afirmaciones

El artículo afirma que la estimación de progreso fundamentada en procedimientos es un habilitador crítico para el modelado de recompensas transferible en robótica. Al fundamentar el progreso en la estructura procedimental en lugar de en proxies temporales, ProcVLM proporciona retroalimentación discriminatoria que apoya la mejora estable de la política, particularmente en escenarios que involucran datos de robots reales ruidosos y tareas de largo horizonte. El trabajo sugiere que el preentrenamiento a gran escala consciente de procedimientos es una ruta prometedora para desarrollar modelos de recompensa que puedan generalizarse entre tareas y modos de fallo, facilitando la optimización de políticas guiada por recompensas más allá de las demostraciones fuera de línea.

Los autores reconocen limitaciones, señalando que las estimaciones dependen de la calidad de la descomposición de subtareas y que el trabajo actual se centra en un conjunto específico de configuraciones de optimización guiada por recompensas en lugar de cubrir exhaustivamente todas las integraciones de gradiente de política o basadas en preferencias.