Resumen Técnico: TacWAM

Planteamiento del Problema

Los Modelos de Acción de Mundo (WAMs, por sus siglas en inglés) integran la predicción de estados futuros con la generación de acciones robóticas para facilitar el control. Sin embargo, los WAMs existentes dependen predominantemente de futuros visuales. Si bien la predicción visual captura eficazmente la estructura de la escena y el movimiento de los objetos, ofrece una supervisión limitada para los fenómenos físicos críticos en la manipulación rica en contactos, tales como la acumulación de fuerza, la deformación, el cizallamiento y el deslizamiento incipiente. Los estados visuales pueden ser ambiguos; por ejemplo, un agarre que parece estable puede estar al borde del deslizamiento, o una inserción puede parecer alineada pero estar mecánicamente restringida.

El desafío central abordado por este trabajo es doble:

1. Futuros Táctiles Informativos: Las predicciones táctiles deben portar información física significativa (fuerza, deformación) que los futuros visuales omiten.
2. Consistencia de Despliegue: Estos estados táctiles futuros deben servir como supervisión de entrenamiento sin convertirse en entradas "privilegiadas" para la generación de acciones. La rama de acción debe permanecer restringida a la información disponible en el momento del despliegue, evitando un desajuste entre entrenamiento y prueba donde el modelo dependa de conocimiento futuro que no puede acceder durante la ejecución.

Metodología: TacWAM

TacWAM (Modelo de Acción de Mundo con Anclaje de Guía Táctil y Predicción de Tacto Consciente de la Mecánica) es un WAM aumentado tácticamente diseñado para abordar estos desafíos a través de tres componentes arquitectónicos principales y un mecanismo de atención específico.

1. Codificador Táctil de Alineación Espacial (SAF)

Para crear una representación unificada para la predicción táctil, TacWAM emplea un Codificador Táctico SAF que mapea observaciones heterogéneas del lado del gripper en un espacio latente compartido.

• Entradas: El codificador fusiona tres señales registradas espacialmente: apariencia táctil rectificada ($I_{rect}$), campos de fuerza locales densos ($F_t$) y flujo de deformación de malla ($M_{flow}$).
• Fusión Bilateral: Las características de ambos lados del gripper se codifican y se fusionan bilateralmente.
• Supervisión Global: Para preservar la mecánica de contacto global, la representación latente es reconstruida por un reconstructor táctil ($R_{tac}$) que predice campos de fuerza densos, flujo de deformación y un par de fuerzas y torques resultante bilateral (fuerza 3D y torque 3D para cada sensor). Este par actúa como supervisión de la mecánica global, asegurando que el espacio latente capture estructuras de fuerza y deformación en lugar de solo estados de contacto binarios.

2. Predicción Modulada por la Historia Táctica

Reconociendo que una observación táctil de un solo fotograma suele ser ambigua (por ejemplo, magnitudes de fuerza idénticas pueden implicar un contacto estable, un aumento de presión o un deslizamiento), TacWAM incorpora contexto temporal.

• Un Codificador de Historia Táctica resume los cambios táctiles recientes ($z_{tac}$) que preceden al bloque de acción actual en un vector de contexto compacto ($c_{tac}$).
• Este contexto modula al experto táctil mediante normalización adaptativa, ayudando al modelo a desambiguar la fase de interacción actual y a predecir la evolución de la fuerza y la deformación. Crucialmente, esta historia se utiliza para condicionar la predicción de estados futuros, pero no es una entrada privilegiada directa para el flujo de acción.

3. Atención Tri-Modal Guiada por Anclajes (AGT)

El mecanismo central que garantiza la consistencia de despliegue es el módulo de atención AGT, que gobierna el flujo de información dentro del backbone de Mezcla de Transformers. El modelo procesa tres flujos: Visual ($V$), Táctil ($T$) y Acción ($A$).

• Anclajes: El fotograma visual actual ($V_0$) y el estado táctil limpio actual ($T_0$) sirven como anclajes.
• Objetivos Futuros: Los tokens visuales ($V_{1:H}$) y táctiles ($V_{1:H}$) futuros se tratan como variables de predicción con ruido durante el ajuste de flujo (flow matching).
• Aislamiento de Información: La máscara AGT impone estrictamente que los tokens de acción ($A$) no pueden leer los tokens de predicción futuros ($V_{1:H}, T_{1:H}$). Los tokens de acción solo pueden acceder a los anclajes actuales ($V_0, T_0$), el lenguaje de la tarea y la propiocepción.
• Objetivo de Entrenamiento: Los estados táctiles futuros sirven como un objetivo predictivo paralelo para supervisar el aprendizaje de representaciones relevantes al contacto, pero no condicionan la generación de la acción directamente.

Contribuciones Clave

1. Marco TacWAM: Un nuevo WAM que extiende el entrenamiento visual con historia táctil y predicción de futuro táctil, permitiendo que el modelo aprenda de la evolución táctil más allá de la observación actual.
2. Codificador Táctil SAF: Un mecanismo que mapea la apariencia táctil, la fuerza y la deformación en un espacio latente compartido mientras preserva los patrones de contacto local y la información global de fuerza/torque mediante la reconstrucción del par de fuerzas bilateral.
3. Atención AGT: Un mecanismo de atención tri-modal que aísla los objetivos sensoriales futuros de la rama de acción, asegurando que la generación de acciones dependa únicamente de la información disponible en el despliegue, mientras aún se beneficia de la supervisión táctil predictiva.
4. Validación Empírica: Evaluación exhaustiva en cuatro tareas del mundo real demostrando la eficacia de la arquitectura propuesta.

Resultados Experimentales

Los autores evaluaron TacWAM en una plataforma real (Agilex Piper con sensores Xense G1-WS) a través de cuatro tareas: agarre de papa frita frágil, agarre de cerezas de tamaño variable, limpieza sostenida de pizarra y giro dinámico de dos lápices.

• Desempeño: TacWAM logró una tasa de éxito promedio del 75.0%, superando al baseline más fuerte (VT-WAM, un WAM visual-táctil) por 37.5 puntos porcentuales.
• Ganancias Específicas por Tarea:
  • Agarre de papa frita: +40.0% sobre el mejor baseline.
  • Limpieza de pizarra: +40.0% sobre el mejor baseline.
  • Giro de dos lápices: +30.0% sobre el mejor baseline.
• Estudios de Ablación:
  • Eliminación de la Historia Táctica: Las tasas de éxito disminuyeron significativamente (de 82.5% a 55.0% en promedio), particularmente en tareas que requieren inferencia de acumulación de fuerza (por ejemplo, el agarre de la papa frita cayó de 90% a 50%). Esto confirma que el contexto temporal es vital para desambiguar los estados de contacto.
  • Relajación de las Restricciones AGT: Permitir que los tokens de acción accedan a las predicciones táctiles futuras (Attn-AT) o permitir la interacción bidireccional de tokens futuros (Attn-VT) causó una degradación severa del desempeño (hasta un 7.5% promedio). Esto valida que la restricción de "información privilegiada" es crítica; sin ella, el modelo aprende atajos que fallan durante el despliegue.
• Calidad de la Predicción: Las magnitudes de fuerza predichas por TacWAM siguieron más de cerca la verdad fundamental que las variantes sin historia, mostrando un menor retraso temporal en la estimación de las fases de contacto.

Significación y Reivindicaciones

El artículo sostiene que los estados táctiles predictivos son una señal de entrenamiento valiosa para el modelado de acción de mundo en contactos ricos, siempre que se integren con representaciones conscientes de la mecánica y estrictas restricciones de información.

La significación de TacWAM radica en su demostración de que:

1. Los Futuros Táctiles son Supervisores, No Entradas: Los estados táctiles futuros pueden enriquecer el entrenamiento del modelo de mundo supervisando los cambios de fuerza y deformación sin comprometer la naturaleza causal de la generación de acciones.
2. El Contexto Temporal es Esencial: Un solo fotograma táctil es insuficiente para un control robusto; resumir la historia táctica reciente es necesario para interpretar los estados actuales y predecir la dinámica futura con precisión.
3. El Aislamiento de Información Previene el Desajuste entre Entrenamiento y Prueba: El mecanismo de atención AGT demuestra que evitar que la rama de acción "haga trampa" leyendo las predicciones futuras es esencial para desplegar modelos en escenarios del mundo real de bucle cerrado.

Los autores concluyen que TacWAM cierra con éxito la brecha entre los modelos de mundo visuales y las realidades físicas de la manipulación rica en contactos, ofreciendo un marco donde la predicción táctil mejora el aprendizaje de la acción sin violar las restricciones de despliegue.