Resumen Técnico: Dirección de Políticas en Tiempo de Inferencia mediante Visión y Tacto (ViTaL)

Planteamiento del Problema

La dirección en tiempo de inferencia adapta las políticas robóticas generativas preentrenadas (por ejemplo, políticas de difusión) durante el despliegue sin necesidad de reentrenamiento, verificando o refinando las acciones candidatas antes de su ejecución. Si bien los métodos recientes utilizan con éxito observaciones visuales para la verificación de tareas de largo horizonte, la visión por sí sola suele ser insuficiente para la manipulación rica en contacto. En tareas como el pipeteo, la limpieza o la inserción, el éxito depende tanto del progreso semántico global (observable mediante la visión) como de las interacciones físicas locales y sutiles, tales como la fuerza de contacto y la estabilidad del agarre (observables mediante el tacto).

Los enfoques actuales enfrentan dos desafíos principales al integrar estas modalidades:

1. Observabilidad dependiente de la modalidad a través de escalas temporales: Los resultados visuales suelen requerir predicciones de largo horizonte para distinguir modos semánticos (por ejemplo, moverse hacia la taza correcta), mientras que los resultados táctiles son locales y transitorios (por ejemplo, la aplicación de fuerza durante un apretón), a menudo oscurecidos en las predicciones visuales de largo horizonte.
2. Modelado de Recompensa Multimodal: Definir una función de recompensa unificada es difícil porque la importancia relativa de los resultados visuales y táctiles cambia a lo largo de las fases de la tarea. Una única función de recompensa tiene dificultades para equilibrar el progreso global de la tarea con los requisitos de contacto de grano fino (por ejemplo, distinguir un agarre suave de un soltar un objeto).

Metodología: Marco ViTaL

Los autores proponen ViTaL (Dirección Latente Visuo-Táctil), un marco que formula la guía multimodal como un problema de optimización de nivel doble. Este enfoque descompone la dirección en dos etapas que se alinean con las escalas temporales naturales de la visión y el tacto:

1. Formulación de Optimización de Nivel Doble

El objetivo es seleccionar una secuencia de acciones $a^*_{t:t+h}$ que maximice una recompensa condicionada a la tarea mientras se adhiere a un prior visual.

• Optimización Interna (Selección de Modo Visual): El sistema muestrea secuencias de acciones de largo horizonte ($H$ pasos) a partir de la política base. Estas se ejecutan utilizando un modelo de mundo latente visuo-táctil para predecir estados futuros. Un verificador visual califica estas predicciones basándose en el progreso semántico hacia el objetivo de la tarea. La secuencia con la mayor recompensa visual, $\bar{a}_{t:t+H}$, se selecciona como el modo de comportamiento global.
• Optimización Externa (Refinamiento Táctil): Los primeros $h$ pasos de la secuencia seleccionada visualmente sirven como un "ancla de acción". El sistema realiza entonces una edición de difusión de corto horizonte ($h$ pasos) para refinar este ancla. Un verificador táctil califica los futuros táctiles predichos, y la política se repondera para favorecer las acciones que satisfagan las restricciones de contacto locales mientras permanecen cerca del plan visual.

2. Modelo de Mundo Latente Visuo-Táctil

Para soportar la dirección basada en resultados, ViTaL emplea un modelo de mundo latente aprendido ($p_\phi$) que predice futuros estados visuales y táctiles directamente en el espacio latente.

• Arquitectura: Utiliza codificadores congelados (DINOv3 para visión, AnyTouch para tacto) para mapear las observaciones a estados latentes ($z_v, z_\tau$). Un transformador condicionado por la acción predice los futuros latentes de las articulaciones de forma recursiva.
• Eficiencia: Al operar en el espacio latente, el modelo evita el costo computacional de decodificar imágenes completas o mapas táctiles para cada acción candidata, permitiendo una guía eficiente condicionada por texto.

3. Verificadores Alineados Semánticamente

ViTaL utiliza el lenguaje como una representación de tarea compartida para cerrar la brecha entre el razonamiento visual y táctil. Un Modelo de Lenguaje y Visión (VLM) descompone las instrucciones de alto nivel en objetivos textuales a nivel de fase ($\ell^v_p, \ell^\tau_p$).

• Verificador Visual: Decodifica los latentes visuales predichos en imágenes RGB y utiliza un modelo de recompensa de cero disparos (ROBOMETER) para evaluar el progreso semántico (por ejemplo, "¿se está moviendo el robot hacia la taza azul?").
• Verificador Táctil: Calcula la similitud de coseno entre la incrustación del latente táctil predicho y la incrustación de texto del objetivo de contacto (por ejemplo, "sujetar ligeramente"). Esto constituye una recompensa táctil condicionada por texto, lo que permite al sistema calificar futuros táctiles sin necesidad de diseñar funciones de recompensa específicas para la tarea o decodificar imágenes táctiles.

4. Optimización en Tiempo de Inferencia

El proceso de dirección combina la selección visual basada en muestreo con la edición de difusión para el refinamiento táctil:

• Etapa Visual: Muestrea $N$ trayectorias de largo horizonte, las ejecuta en el modelo de mundo y selecciona la mejor basándose en el verificador visual.
• Etapa Táctica: Trata el ancla visual seleccionada como una condición para la edición de difusión. Añade ruido parcialmente al ancla y sesga el proceso de eliminación de ruido hacia acciones con mayores recompensas táctiles, refinando efectivamente la ejecución del contacto.

Principales Contribuciones

1. Guía Multimodal de Nivel Doble: Un marco que utiliza la visión para la selección de modo semántico de largo horizonte y el tacto para el refinamiento de contacto dirigido de corto horizonte, abordando el desajuste de la escala temporal entre modalidades.
2. Recompensa Táctica Condicionada por Lenguaje: La introducción de un novedoso verificador táctil que califica los futuros táctiles predichos en un espacio latente alineado utilizando descripciones de texto. Esto permite una verificación táctil escalable y sin demostraciones que es flexible a diferentes fases de la tarea.
3. Modelado de Mundo Latente: La integración de un modelo de mundo latente visuo-táctil que permite la calificación eficiente y directa de resultados multimodales en el espacio latente sin decodificación.

Resultados Experimentales

Los autores evaluaron ViTaL en tres tareas de manipulación ricas en contacto en el mundo real utilizando un robot Franka Emika con sensores GelSight Mini: transferencia de pipeta, limpieza e inserción de perno.

• Ganancias de Rendimiento: ViTaL mejoró el éxito general de la tarea en un 51% respecto a la política base. Superó a la dirección unimodal (solo visión o solo tacto) por al menos un 33% y excedió la fusión multimodal ingenua (suma simple de recompensas) por al menos un 20%.
• Modos de Fallo: La dirección basada solo en visión a menudo tenía éxito en la alineación global pero fallaba debido a errores de contacto local (por ejemplo, derramar líquido). La dirección basada solo en tacto mejoraba el contacto pero a menudo perdía el objetivo global. ViTaL abordó con éxito ambos modos de fallo.
• Precisión de la Recompensa: Los verificadores propuestos lograron una alta precisión en el orden de preferencia (aproximadamente 85% para visión, 81% para tacto) al comparar futuros predichos contra la verdad de terreno, demostrando la fiabilidad del modelo de mundo latente y los verificadores semánticos.
• Eficiencia: El enfoque de nivel doble proporcionó un mejor equilibrio entre éxito y velocidad de inferencia en comparación con la fusión ingenua, añadiendo solo 0.05 segundos por paso de inferencia mientras reducía significativamente las tasas de fallo.

Significancia y Reivindicaciones

El artículo afirma que ViTaL representa un paso significativo hacia la creación de políticas robóticas preentrenadas robustas para tareas ricas en contacto sin requerir reentrenamiento o una ingeniería extensiva de recompensas específicas de la tarea. Al descomponer el problema de la dirección en la selección de modo visual y el refinamiento táctil, el método aprovecha las fortalezas complementarias de la visión (contexto global) y el tacto (precisión local).

Los autores destacan que su recompensa táctil condicionada por texto es la primera de su tipo para la manipulación robótica, permitiendo un razonamiento de contacto flexible y dirigido por lenguaje. Reconocen limitaciones, señalando que la fidelidad del sistema depende del modelo de mundo latente (don donde los errores acumulativos pueden afectar la verificación) y que los codificadores táctiles están actualmente preentrenados en conjuntos de datos más pequeños en comparación con los VLM modernos. Sin embargo, los resultados sugieren que la dirección de la inferencia multimodal es un camino viable hacia una manipulación robótica más adaptable y fiable.