Resumen Técnico: V-VLAPS – Planificación Guiada por Valor para Modelos Visión-Lenguaje-Acción

1. Enunciado del Problema

Los modelos Visión-Lenguaje-Acción (VLA), como Octo, proporcionan priores de acción sólidos para la manipulación robótica al predecir secuencias de acciones a partir de observaciones multimodales e instrucciones en lenguaje. Sin embargo, estos modelos dependen de la clonación de comportamiento, lo que los hace frágiles al enfrentar estados fuera de distribución (OOD) o tareas de largo horizonte. Aunque métodos recientes como VLAPS (Neary et al., 2025) aumentan los VLA con Búsqueda en Árbol Monte Carlo (MCTS) para mejorar la robustez, adolecen de una limitación crítica: la búsqueda depende exclusivamente del prior de política del VLA y de heurísticas de exploración basadas en conteo de visitas (PUCT).

Cuando el prior del VLA favorece acciones subóptimas, el planificador carece de una estimación fundamentada de la recompensa futura esperada para corregir este sesgo. La búsqueda se convierte en una exploración exhaustiva basada en conteos en lugar de una optimización guiada por valor. Trabajos previos (Gu et al., 2025) demostraron que las características latentes del VLA codifican señales binarias de éxito/fracaso, pero estas solo se utilizaron para monitoreo post-hoc. El problema central abordado es si estas representaciones internas pueden aprovecharse para aprender una función de valor continua que guíe activamente el proceso de búsqueda durante la planificación.

2. Metodología: V-VLAPS

Los autores introducen V-VLAPS (Planificación y Búsqueda Visión-Lenguaje-Acción Guiada por Valor), una extensión de VLAPS que integra una cabeza de valor aprendida en la regla de puntuación del MCTS. La metodología consta de tres etapas:

2.1. Recolección de Datos y Definición de Objetivos

Los datos de entrenamiento se construyen ejecutando un VLA preentrenado y congelado (Octo) en tareas de manipulación en mesa LIBERO sin ninguna planificación.

• Ejecuciones: El VLA genera fragmentos de acción basados en observaciones e instrucciones. Los episodios terminan en éxito de la tarea o agotamiento del tiempo.
• Estructura de Recompensa: Se utiliza una recompensa terminal dispersa ($R=1$ para éxito, $R=0$ para fracaso/agotamiento del tiempo).
• Objetivos de Valor: Para cada paso de decisión $t$, se calcula un objetivo de valor Monte Carlo $G_t$ propagando la recompensa terminal hacia atrás con un factor de descuento $\gamma=0.99$. Si el episodio tiene éxito, $G_t = \gamma^{T-t}$; de lo contrario, $G_t = 0$.
• Reequilibrio: Dado que la distribución de objetivos está fuertemente sesgada hacia cero (episodios fallidos y pasos tempranos en episodios exitosos), los datos se reequilibran muestreando hacia abajo el bin de valor cero para igualar el tamaño combinado de los bins no nulos.

2.2. Entrenamiento de la Cabeza de Valor

Se entrena una cabeza de valor ligera para predecir estos retornos Monte Carlo a partir del estado latente del VLA.

• Arquitectura: Un MLP de tres capas con una única capa oculta de 3072 unidades ReLU. Toma como entrada el vector de lectura de Octo de 768 dimensiones y devuelve una estimación de valor escalar.
• Objetivo de Entrenamiento: El modelo minimiza el Error Cuadrático Medio (MSE) entre el valor predicho y el objetivo Monte Carlo. Los parámetros subyacentes del VLA Octo permanecen congelados; solo se entrena la cabeza de valor.
• Generalización: La cabeza de valor se entrena en 4 de los 10 estados iniciales por tarea, poniendo a prueba su capacidad para generalizar a los 6 estados iniciales restantes no vistos durante la evaluación.

2.3. Integración en MCTS

El valor aprendido se integra en el procedimiento de búsqueda de VLAPS modificando la puntuación de selección de nodos.

• Regla de Puntuación: La puntuación estándar de VLAPS combina el prior del VLA y la exploración basada en conteo de visitas. V-VLAPS añade un término de valor aprendido $Q_\theta$:
  $$\text{SCORE}(v, a_i) = \lambda_V Q_\theta(v, a_i) + U_{\text{VLAPS}}(v, a_i)$$
  donde $Q_\theta(v, a_i)$ es la estimación de valor del estado sucesor resultante del fragmento de acción $a_i$, y $\lambda_V$ es un coeficiente fijo (establecido en 1).
• Mecanismo: Durante la expansión del MCTS, el simulador ejecuta el fragmento de acción hasta un estado sucesor, calcula la lectura de Octo y consulta la cabeza de valor. Este valor sesga la selección hacia ramas con retornos predichos más altos.

3. Contribuciones Clave

1. Guía Activa por Valor: El artículo extiende el concepto de sondeo de características VLA (anteriormente utilizado para detección pasiva de fallos) a la guía activa de búsqueda. Demuestra que las representaciones VLA pueden soportar estimación de valor continua, no solo predicción binaria de éxito.
2. Aumento Ligero: El método introduce una pequeña cabeza de valor entrenable (aprox. 2.4M de parámetros) que añade una sobrecarga mínima al proceso de planificación mientras altera significativamente el comportamiento de búsqueda.
3. Validación Empírica: El enfoque se evalúa en cinco suites LIBERO, demostrando que la planificación guiada por valor mejora el rendimiento específicamente cuando el presupuesto de búsqueda permite que el MCTS alcance estados más profundos donde es posible la diferenciación de valores.

4. Resultados Experimentales

El método se evaluó en cinco suites LIBERO (Object, Spatial, Goal, 10, 90) contra dos líneas base: el VLA Octo reactivo y VLAPS (sin la cabeza de valor). Se probaron dos presupuestos de búsqueda: 600s (predeterminado) y 1800s (extendido).

• Presupuesto Predeterminado (600s): V-VLAPS y VLAPS tuvieron un rendimiento casi idéntico, promediando un 87.4% de éxito en todas las suites.
  • Análisis: El análisis de fallos reveló que la mayoría de los fallos fueron "agotamientos de tiempo a nivel raíz". En tareas difíciles, la búsqueda agotó su presupuesto de tiempo en el primer paso de decisión. En esta etapa, las ramas candidatas están lejos de la finalización, resultando en estimaciones de valor cercanas a cero con una separación débil. En consecuencia, la cabeza de valor no pudo discriminar eficazmente entre ramas.
• Presupuesto Extendido (1800s): Con más tiempo para explorar más profundamente en el árbol, V-VLAPS superó a VLAPS.
  • Agregado: V-VLAPS logró un 91.6% frente al 88.4% de VLAPS.
  • Ganancias Específicas: La mejora se concentró en LIBERO-Object (+6 puntos porcentuales, 93% vs 87%) y LIBERO-10 (+4 puntos porcentuales, 85% vs 81%).
  • Estudio de Caso: En la Tarea 7 de LIBERO-Object, V-VLAPS logró un 85% de éxito (17/20) en comparación con el 65% (13/20) de VLAPS a los 1800s.
• Efectos Techo: Suites como LIBERO-Spatial y LIBERO-Goal ya estaban cerca del rendimiento máximo (≥90%) con el presupuesto de 600s, mostrando ganancias mínimas con la cabeza de valor o el tiempo extendido.

5. Significado y Afirmaciones

El artículo afirma que las representaciones VLA no son meramente útiles para el control reactivo o el monitoreo post-hoc, sino que pueden servir como base para la planificación guiada por valor.

• Dependencia del Régimen: Los autores enfatizan que la utilidad de la cabeza de valor es dependiente del régimen. Es más efectiva cuando el presupuesto de búsqueda es suficiente para moverse más allá de los estados cercanos a la raíz donde las señales de valor son débiles e indistinguibles.
• Complementariedad: La cabeza de valor no reemplaza el prior del VLA, sino que lo complementa. Proporciona un mecanismo para corregir sesgos en el prior de política cuando la búsqueda alcanza estados donde la estructura de recompensa subyacente (en lugar de solo el prior de imitación) se convierte en el factor decisivo.
• Alcance Modesto: Los autores son modestos en sus afirmaciones, señalando que las mejoras son específicas para tareas con "margen restante" para la clasificación guiada por valor. Reconocen limitaciones, incluido el uso de una sola columna vertebral VLA (Octo), la naturaleza off-policy de los datos de entrenamiento (entrenado en ejecuciones no guiadas) y el pequeño tamaño de los conjuntos de datos de entrenamiento en relación con los parámetros del modelo.

En conclusión, V-VLAPS demuestra que aumentar el MCTS guiado por VLA con una función de valor aprendida puede mejorar el éxito en tareas de largo horizonte, siempre que el algoritmo de búsqueda tenga un presupuesto computacional suficiente para aprovechar la señal de valor para la clasificación de ramas.