MLA: A Multisensory Language-Action Model for Multimodal Understanding and Forecasting in Robotic Manipulation

1. Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han demostrado capacidades de generalización en tareas de manipulación robótica al heredar modelos de visión-lenguaje (VLM) y aprender a generar acciones. Sin embargo, existen dos brechas críticas que limitan su eficacia en el mundo físico real:

• Limitación Sensorial: La mayoría de los VLA actuales dependen principalmente de imágenes 2D, lo cual es insuficiente para capturar dependencias espaciales complejas y modelar la dinámica física. Aunque algunos intentan incorporar datos 3D o táctiles, suelen requerir codificadores (encoders) específicos por modalidad que no están preentrenados para alinearse con el modelo de lenguaje grande (LLM), lo que reduce la eficiencia y la calidad de la representación.
• Falta de Predicción Dinámica: Los robots deben interactuar en entornos dinámicos y de contacto rico. Los métodos existentes que predicen estados futuros suelen limitarse a imágenes 2D o mapas de profundidad, fallando en predecir estructuras completas de nubes de puntos y retroalimentación táctil, información esencial para la planificación de movimientos en tareas de manipulación compleja.

2. Metodología Propuesta: MLA

El modelo MLA (Multisensory Language-Action) se propone como una solución unificada que procesa colaborativamente modalidades sensoriales heterogéneas y predice sus estados futuros para mejorar el modelado del mundo físico.

A. Arquitectura y Alineación Multimodal sin Codificadores (Encoder-Free)

En lugar de utilizar codificadores de visión o 3D externos, MLA reutiliza el propio LLM como módulo de percepción unificado:

• Tokenizadores Ligeros: Convierten las entradas crudas (imágenes RGB, nubes de puntos 3D y señales táctiles) en secuencias de tokens compartidas.
• Alineación Posicional Guiada: Se proyectan los puntos 3D y las posiciones de los dedos táctiles sobre el plano de la imagen 2D utilizando parámetros de cámara. Esto crea pares positivos a nivel de token (imagen-punto-táctil) basados en la correspondencia espacial.
• Pérdida de Contraste: Se aplica una pérdida de contraste (InfoNCE) a nivel de token dentro de las primeras capas del LLM (bloque 8) para alinear las representaciones de las diferentes modalidades en el espacio de incrustación del LLM, sin necesidad de entrenar codificadores adicionales.

B. Estrategia de Post-entrenamiento para Generación de Estados Futuros

Para mejorar la comprensión de la dinámica física, MLA incorpora una estrategia de post-entrenamiento que predice los estados futuros de múltiples modalidades:

• Generación Multimodal: Utiliza decodificadores basados en transformadores para predecir futuras imágenes clave, nubes de puntos 3D y señales táctiles a partir de las características finales del LLM.
• Objetivo: Esto permite al modelo razonar sobre la semántica, la geometría y las interacciones objeto-centricas antes de generar la acción.
• Eficiencia: Estas pérdidas de predicción futura se aplican solo durante el entrenamiento (fase de post-entrenamiento) y no afectan la eficiencia de la inferencia.

C. Pipeline de Entrenamiento

El modelo sigue un proceso progresivo de tres etapas:

1. Pre-entrenamiento a gran escala: Sobre 570k trayectorias de datos imagen-lenguaje (usando datasets como Open-X-Embodiment).
2. Ajuste Fino Supervisado (SFT): Introducción de todas las modalidades (imagen, 3D, táctil) con la alineación multimodal propuesta.
3. Post-entrenamiento: Incorporación de la predicción de estados futuros multisensoriales para refinar la comprensión de la dinámica física.

3. Contribuciones Clave

1. Modelo MLA: Un modelo de acción-lenguaje multisensorial que elimina la necesidad de codificadores específicos, utilizando el LLM para interpretar directamente señales visuales, geométricas y táctiles.
2. Alineación sin Codificadores: Un mecanismo innovador que alinea modalidades heterogéneas mediante correspondencia posicional y aprendizaje contrastivo a nivel de token dentro del LLM.
3. Predicción de Estados Futuros: Una estrategia de post-entrenamiento que fuerza al modelo a razonar sobre la evolución física del entorno (imágenes, 3D y tacto), proporcionando condiciones más robustas para la generación de acciones.
4. Rendimiento SOTA: Logra tasas de éxito superiores en tareas de manipulación real complejas y de contacto rico, superando a los métodos VLA 2D y 3D más avanzados.

4. Resultados Experimentales

El modelo fue evaluado en tareas de un solo brazo y de doble brazo (Franka Emika) en el mundo real y en el simulador RLBench.

• Rendimiento en Mundo Real:
  • En tareas complejas de contacto rico (ej. limpiar una pizarra, colocar un huevo sobre pan), MLA superó a $\pi_0$ (VLA 2D SOTA) en un 12% y a SpatialVLA (VLA 3D SOTA) en un 24%.
  • Demostró una capacidad superior para regular movimientos basándose en la retroalimentación táctil y la geometría 3D.
• Generalización:
  • En escenarios con objetos no vistos y fondos desordenados, MLA mantuvo una tasa de éxito significativamente mayor que las líneas base, mostrando una robustez superior ante variaciones semánticas y de fondo.
• Simulación (RLBench):
  • En el benchmark de 10 tareas de RLBench, MLA alcanzó una tasa de éxito promedio del 81%, superando notablemente a $\pi_0$ (65%) y SpatialVLA (46%).
• Estudios de Ablación:
  • Confirmaron que la alineación a nivel de token es superior a la concatenación simple.
  • La predicción de estados futuros en todas las modalidades (imagen, 3D, táctil) es crucial; eliminar cualquiera de ellas reduce el rendimiento.
  • El uso de codificadores externos adicionales disminuyó el rendimiento y la eficiencia.

5. Significado e Impacto

El trabajo MLA representa un avance significativo en la robótica de aprendizaje por imitación al cerrar la brecha entre la percepción multimodal y la acción física.

• Paradigma Unificado: Demuestra que un LLM puede ser reutilizado eficazmente como un módulo de percepción unificado, eliminando la complejidad y el costo computacional de mantener múltiples codificadores especializados.
• Comprensión Física Profunda: Al integrar la predicción de estados futuros multisensoriales, el modelo no solo reacciona al entorno, sino que "imagina" y razona sobre la dinámica física futura, lo cual es esencial para tareas de manipulación delicada y de contacto.
• Escalabilidad: La metodología propuesta ofrece una base sólida para desarrollar modelos fundacionales multimodales más robustos capaces de operar en entornos reales no estructurados, superando las limitaciones de los enfoques puramente visuales.