Resumen Técnico: Críticos de Robots que se Detallan en lo Pequeño

Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLM) de gran escala poseen amplios conocimientos previos sobre el mundo físico, lo que los convierte en candidatos prometedores para actuar como "críticos" que guíen las políticas robóticas durante la inferencia. Sin embargo, existe una brecha crítica en el razonamiento visual de grano fino. Aunque los VLM comerciales y los métodos existentes de detección de progreso pueden distinguir entre los estados iniciales y finales de una tarea o identificar subtareas de alto nivel, tienen dificultades para discriminar entre diferencias visuales sutiles que separan el éxito del fracaso.

Por ejemplo, un desalineamiento de la pinza de apenas 1 mm puede parecer visualmente similar a un agarre exitoso, pero resulta en el fallo de la tarea. Los métodos actuales fallan en este "régimen de grano fino" donde el intervalo de tiempo entre fotogramas es estrecho. En experimentos, modelos de referencia como Gemini 3 lograron solo un 54.7% de precisión al distinguir entre éxito y fracaso, mientras que los métodos especializados de detección de progreso (ROVER, ProgressLM) alcanzaron un 72.1% y 61.0% respectivamente, superando apenas el azar (50%) en estos escenarios sutiles. Esta limitación impide que los VLM guíen eficazmente a las políticas robóticas estocásticas para alejarse de los modos de fallo en la ejecución de bucle cerrado.

Metodología

Los autores proponen un marco para ajustar finamente (fine-tuning) los VLM específicamente para la discriminación de progreso y fallo por pares, integrándolos en una política robótica de bucle cerrado mediante un modelo de video condicionado por la acción.

1. Entrenamiento de Críticos VLM

La innovación central es la construcción de un conjunto de datos de supervisión de progreso por pares derivado de ejecuciones (rollouts) robóticas.

• Construcción de Datos: El sistema genera trayectorias pareadas desde las mismas condiciones iniciales: una exitosa ($S_s$) y una fallida ($S_f$).
• Pares Éxito-Éxito: Se emparejan fotogramas consecutivos de una trayectoria exitosa para enseñar al modelo el progreso gradual hacia adelante (etiquetando el fotograma posterior como poseedor de más progreso).
• Pares Éxito-Fallo: Los fotogramas de una trayectoria de fallo se emparejan con fotogramas de una trayectoria exitosa en el mismo paso de tiempo. El fotograma exitoso se etiqueta como poseedor de más progreso. Esto es crucial para enseñar al crítico a reconocer modos de fallo específicos de la política (por ejemplo, formas específicas en las que el robot falla dada su política actual) en lugar de solo un fallo de tarea genérico.
• Ajuste Fino (Fine-Tuning): Un VLM (específicamente Qwen2.5-VL-7B) es ajustado finamente bajo supervisión para predecir una decisión discreta $c(v_i, v_j) \in \{+1, -1\}$ que indica qué fotograma muestra mayor progreso, minimizando la pérdida de entropía cruzada.

2. Dirección de la Política en el Bucle (In-the-Loop)

El crítico ajustado se integra en el bucle de ejecución del robot para mejorar el rendimiento en tiempo de prueba:

1. Muestreo: Dada una observación $x_t$, la política estocástica base (por ejemplo, Diffusion Policy o GR00T N1.5) muestrea $N$ secuencias de acciones candidatas.
2. Poda de Diversidad: Una estrategia de muestreo de punto más lejano (FPS) codiciosa selecciona un subconjunto diverso de $K$ candidatos.
3. Síntesis de Futuro: Un modelo de video condicionado por la acción (HunyuanVideo 1.5, un Transformer de Difusión) sintetiza el estado visual terminal $x_{t+H}$ para cada secuencia de acciones candidatas.
4. Selección del Crítico: El crítico realiza todas las comparaciones por pares entre los $K$ estados terminales generados. El candidato cuyo estado terminal acumula más "votos" (indicando mayor progreso) es seleccionado para su ejecución.
5. Replanificación: La acción seleccionada se ejecuta, y el proceso se repite hasta completar la tarea.

Contribuciones Clave

• Entrenamiento de Crítico de Grano Fino: Un método para ajustar finamente los VLM utilizando trayectorias pareadas de éxito y fallo, permitiéndoles detectar diferencias visuales sutiles (por ejemplo, desalineamientos de escala milimétrica) que los VLM estándar pasan por alto.
• Aprendizaje de Fallos Específicos de la Política: Demostración de que entrenar con datos de fallo específicos de la política desplegada es esencial. Los críticos entrenados solo con demostraciones exitosas fallan al reconocer los modos de fallo específicos de la política, lo que provoca una caída significativa en la precisión al distinguir entre éxito y fracaso.
• Integración de Bucle Cerrado: Un flujo de trabajo completo que combina el muestreo de políticas estocásticas, la predicción de video generativo y la comparación por pares basada en VLM para dirigir las acciones del robot en tiempo real.
• Generalización: El enfoque se generaliza a objetos fuera de la distribución (OOD) y tareas no vistas, sugiriendo una estrategia de preentrenamiento viable para el aprendizaje de tareas futuras.

Resultados Experimentales

Los autores evaluaron el método tanto en hardware del mundo real como en entornos de simulación.

Benchmarks de Precisión

• RoboCasa (Simulación): El crítico ajustado alcanzó un 93.6% de precisión promedio en tareas dentro de la distribución y un 91.4% en tareas fuera de la distribución, superando significativamente a las bases como Gemini 3 (54.7%) y ROVER (72.1%).
• LBM (Mundo Real): En el conjunto de datos LBM, el método logró un 90.0% de precisión promedio, comparado con el 62.9% de ROVER y el 55.4% de Gemini 3.
• Régimen de Grano Fino: A medida que el intervalo temporal entre los fotogramas comparados disminuía (haciendo las diferencias visuales más sutiles), el rendimiento de la base cayó del 73% al 56%. El método propuesto mantuvo un alto rendimiento con solo una caída del 2%, demostrando robustez en la discriminación de grano fino.

Mejora del Rendimiento de la Política

• Tareas del Mundo Real: El uso del crítico en el bucle mejoró la tasa de éxito de la Diffusion Policy base en un promedio de +11%. Las ganancias específicas incluyeron un aumento del 18% en tareas de "Apilado" (Stacking) y una mejora de 2.3x en la media de la Intersección sobre Unión (mIoU) para tareas de "Empujar Cuenco" (Push-Bowl).
• Tareas de Simulación (RoboCasa365): El método mejoró la tasa de éxito de la política GR00T N1.5 del 43.6% al 49.5%, una ganancia promedio de +5.9%. Se observaron mejoras significativas en tareas que requieren manipulación precisa de botones, puertas y palancas.

Significado y Reivindicaciones

El artículo sostiene que, si bien los VLM proporcionan conocimientos semánticos valiosos, su utilidad en la robótica está limitada por su incapacidad para razonar sobre el progreso visual de grano fino y los fallos específicos de la política. Al entrenar explícitamente a los críticos en los matices de las trayectorias de éxito y fallo, los autores demuestran que los VLM pueden transformarse en efectivos "detallistas de lo pequeño".

El significado reside en la capacidad de mejorar las políticas estocásticas en tiempo de prueba sin reentrenar la política misma. El método actúa como un filtro, seleccionando los candidatos de acción más prometedores de una distribución de posibilidades. Los autores enfatizan que reconocer el fallo es tan importante como reconocer el progreso; sin datos de fallo, los críticos no pueden dirigir eficazmente las políticas lejos del "buscar una aguja en un pajar" de las acciones exitosas ocultas entre muchos modos de fallo. Este enfoque cierra la brecha entre el razonamiento de alto nivel de los modelos fundacionales y la precisión de bajo nivel requerida para la manipulación robótica exitosa.