Resumen Técnico: TapSampling

Enunciado del Problema

La investigación existente en control encarnado se ha centrado en gran medida en escalar los datos de entrenamiento y el tamaño del modelo para mejorar las políticas de manipulación robótica. Si bien los modelos generativos no deterministas (por ejemplo, modelos de difusión y Modelos de Lenguaje Grandes autoregresivos) han demostrado capacidades notables, su rendimiento está fundamentalmente limitado por el paradigma de inferencia de un solo disparo. Debido a la naturaleza estocástica de estos modelos, condiciones ambientales idénticas pueden producir resultados exitosos en algunas instancias y fallos en otras. Las estrategias actuales de tiempo de inferencia para la robótica a menudo sufren dos limitaciones principales:

1. Ineficiencia o Fidelidad de Muestreo: Muestrear repetidamente directamente desde los modelos de políticas aumenta significativamente la latencia de inferencia (en un orden de magnitud), mientras que muestrear desde distribuciones gaussianas simples ignora las correlaciones interdimensionales en los fragmentos de acción, lo que conduce a candidatos que se desvían de la verdadera distribución de acciones.
2. Desafíos de Verificación: Existe una falta de modelos listos para usar capaces de comprender e interpretar acciones robóticas de bajo nivel. Los métodos de verificación existentes a menudo dependen de funciones diseñadas a mano, aprendizaje por refuerzo fuera de línea o aprendizaje de preferencias, que pueden carecer de interpretabilidad o estar estrechamente acoplados a arquitecturas de políticas específicas, limitando su aplicabilidad de tipo "plug-and-play".

Metodología

Los autores proponen TapSampling, un marco de muestreo en tiempo de inferencia, agnóstico a la política y listo para usar, diseñado para mejorar las políticas robóticas generalistas sin necesidad de ajuste fino adicional. El marco opera a través de dos componentes principales:

1. Muestreo Eficiente de Acciones con Posterior Aprendido

Para abordar el compromiso entre la eficiencia del muestreo y la calidad de la acción, TapSampling introduce un Action-VAE (Autoencoder Variacional de Acción).

• Arquitectura: El Action-VAE utiliza un codificador y un decodificador basados en transformadores.
• Proceso:
  • Se muestrea un pequeño conjunto de acciones iniciales ($N$) desde la política base $\pi$.
  • El codificador comprime estas acciones en una distribución gaussiana latente (media $\mu$ y covarianza diagonal $\sigma^2$).
  • Se construye una distribución posterior mixta promediando las distribuciones latentes de las muestras iniciales.
  • Se extrae un número arbitrario de nuevas muestras latentes de esta posterior comprimida y se decodifican en acciones candidatas.
• Beneficio: Este enfoque captura las correlaciones intra-franja entre las dimensiones de la acción, asegurando que los candidatos generados permanezcan cerca de la verdadera distribución de la política mientras son significativamente más rápidos que el muestreo repetido de políticas (aprox. 5$\times$ más rápido).

2. Selección de Acciones Interpretable mediante Verificación del Progreso de la Tarea

Para seleccionar la acción óptima entre los candidatos, TapSampling emplea un Verificador de Comprensión del Progreso de la Tarea.

• Construcción de Datos de Entrenamiento: El verificador se entrena utilizando la estructura secuencial intrínseca de las trayectorias robóticas expertas. Al asumir que el progreso de la tarea crece linealmente con el tiempo, los autores construyen muestras positivas (secuencias de acciones hacia adelante que conducen a progreso) y muestras negativas (secuencias de acciones invertidas que conducen a regresión) directamente desde conjuntos de datos existentes, sin requerir anotación manual adicional.
• Arquitectura: El verificador se basa en una columna vertebral de Visión-Lenguaje-Acción (VLA) (específicamente Qwen2.5-0.5B). Toma el estado actual, la instrucción de la tarea y una acción de consulta como entrada para predecir el cambio esperado en el progreso de la tarea ($\Delta p$).
• Mecanismo de Selección: La puntuación predicha tiene un significado semántico explícito (por ejemplo, una puntuación negativa indica obstaculización, una puntuación positiva grande indica progreso rápido). Durante la inferencia, los candidatos con puntuaciones por debajo de un umbral se descartan y se calcula un promedio ponderado por puntuación de los candidatos restantes para producir la acción final.
• Eficiencia: La columna vertebral VLM se ejecuta solo una vez por par de instrucción-observación. Los estados ocultos se comparten entre todos los candidatos, que luego se evalúan en paralelo a través de una cabeza de acción ligera, permitiendo una verificación de alto rendimiento.

Contribuciones Clave

1. Marco Agnóstico a la Política: Un sistema listo para usar que mejora las políticas generalistas preentrenadas sin requerir ajuste fino adicional.
2. Muestreo de Posterior Aprendido: Una estrategia basada en Action-VAE que codifica las acciones en una distribución comprimida, permitiendo la generación eficiente de candidatos de acción diversos y de alta calidad que se adhieren a la distribución de la política.
3. Verificación del Progreso de la Tarea: Un verificador entrenado para predecir el impacto de las acciones de bajo nivel en el progreso de la tarea, permitiendo una selección de acciones interpretable basada en puntuaciones semánticas explícitas en lugar de señales de recompensa opacas.
4. Validación Empírica: Demostración de mejoras sustanciales en el rendimiento en diversos entornos simulados y del mundo real.

Resultados Experimentales

Los autores evaluaron TapSampling tanto en puntos de referencia simulados (CALVIN, LIBERO) como en configuraciones robóticas del mundo real.

• Punto de Referencia CALVIN (Simulado): TapSampling mejoró la longitud de éxito promedio para múltiples políticas no deterministas:
  • Política de Difusión: Aumentó de 2.41 a 2.58.
  • OpenVLA: Aumentó de 3.30 a 3.51.
  • VPP: Aumentó de 4.39 a 4.46.
  • Las mejoras fueron consistentes en diferentes pasos de la tarea (1–5), indicando una mejor estabilidad a largo plazo.
• Punto de Referencia LIBERO-Long (Simulado): Aplicado a la política $\pi0.5$, el método mejoró la tasa de éxito del 96.8% al 98.0%.
• Experimentos del Mundo Real: Utilizando un brazo Franka Research 3, TapSampling mejoró la tasa de éxito promedio de la política $\pi0$ del 78.3% al 83.3%. Cabe destacar que mejoró la precisión en tareas que requieren alineación espacial y colocación consciente del contacto (por ejemplo, apilar y colocar objetos).
• Análisis de Eficiencia:
  • Muestreo: El Muestreo de Posterior Aprendido incurrió en una latencia adicional insignificante (<0.01s) en comparación con el muestreo gaussiano, mientras que fue significativamente más rápido que el Muestreo de Políticas repetido.
  • Verificación: TapSampling logró una aceleración de aproximadamente 12$\times$ en la latencia de verificación en comparación con RoboMonkey (que utiliza LLaVA-7B) al evaluar 16 candidatos, debido a su arquitectura de evaluación por lotes.
  • Fidelidad: El análisis de Discrepancia Media Máxima (MMD) confirmó que las acciones generadas mediante Muestreo de Posterior Aprendido se alinean más estrechamente con la verdadera distribución de la política que las provenientes del muestreo gaussiano.

Significado y Afirmaciones

El artículo postula que asignar computación al tiempo de inferencia ofrece una vía efectiva y agnóstica al modelo para mejorar la fiabilidad y el rendimiento de las políticas robóticas generalistas, sirviendo como un eje complementario al escalado de datos de entrenamiento.

Los autores afirman que TapSampling aborda la inestabilidad inherente a la inferencia de un solo disparo mediante:

1. Proporcionar un mecanismo para corregir fallos causados por la varianza estocástica sin reentrenar la política.
2. Habilitar la selección de acciones interpretable a través de un verificador que comprende el progreso de la tarea, en lugar de depender de puntuaciones de caja negra.
3. Equilibrar eficiencia y efectividad a través de la estrategia de Muestreo de Posterior Aprendido, que evita la alta latencia de las consultas repetidas a la política mientras mantiene una alta fidelidad de acción.

El trabajo sugiere que las estrategias de tiempo de inferencia, particularmente aquellas fundamentadas en la comprensión del progreso de la tarea, son una dirección viable y necesaria para desplegar sistemas robustos de manipulación robótica en escenarios complejos del mundo real.