Resumen Técnico: Aprendizaje Continuo Multisensorial (MuSe)

Planteamiento del Problema

La manipulación robótica, particularmente en escenarios ricos en contacto, suele depender de datos sensoriales más allá de la visión, como la retroalimentación de fuerza-par (F/T), táctil o auditiva, para inferir estados de interacción como el deslizamiento o las fuerzas de contacto que no son directamente visibles. Sin embargo, los conjuntos de datos multisensoriales a gran escala son escasos, y los sensores suelen ser específicos de cada hardware o tarea, lo que hace que sea poco práctico preentrenar políticas con cada potencial modalidad sensorial.

Este artículo formaliza el desafío como aprendizaje continuo multisensorial: adaptar una política de robot preentrenada (entrenada con datos solo de visión) para incorporar nuevas modalidades sensoriales para nuevas tareas, preservando al mismo tiempo el rendimiento en las tareas originales. El objetivo es lograr tres objetivos específicos:

1. Transferencia hacia adelante (Forward Transfer): Mejorar el rendimiento en nuevas tareas utilizando la nueva modalidad en comparación con el entrenamiento desde cero.
2. Transferencia hacia atrás (Backward Transfer): Retener o mejorar el rendimiento en las tareas de preentrenamiento después de aprender nuevas tareas con nuevos datos sensoriales.
3. Generalización Cross-Modal: Comprender y utilizar una modalidad recién introducida en tareas donde nunca fue observada durante el entrenamiento.

El ajuste fino (fine-tuning) ingenuo en nuevos datos multisensoriales suele provocar un olvido catastrófico de las habilidades de preentrenamiento y no logra integrar adecuadamente las nuevas dimensiones de entrada sin depender excesivamente de ellas.

Metodología: Marco de Trabajo MuSe

Los autores proponen MuSe (Multi-Sensory continual learning), un marco diseñado para integrar eficientemente nuevas modalidades sensoriales en políticas de visión-acción preentrenadas. El marco se instancia añadiendo detección de fuerza-par a un modelo de Video-Acción Unificado (UVA) preentrenado. MuSe se basa en tres componentes críticos:

1. Fusión de Múltiples Etapas

Para equilibrar la interacción profunda cross-modal con la preservación de las representaciones preentrenadas, MuSe emplea una arquitectura de fusión de doble vía:

• Fusión Temprana (Early Fusion): La nueva modalidad (p. ej., F/T) es codificada por un codificador específico de la modalidad y proyectada en el espacio de incrustación (embedding) compartido. Estos tokens se concatenan con los tokens de observación y acción existentes antes de ser procesados por el transformador (backbone). Esto permite que el transformador realice atención cross-modal a través de todas las capas.
• Fusión Tardía (Late Fusion): Las características de la nueva modalidad se inyectan en las capas intermedias del transformador mediante adaptadores de atención cruzada ligeros.
  Esta combinación asegura que la nueva modalidad tenga acceso directo a la vía de procesamiento de secuencias y, al mismo tiempo, reciba condicionamiento específico de la modalidad, evitando que el nuevo sensor sobrescriba el conocimiento de visión-acción.

2. Predicción de Futuro Multisensorial (Modelado de Mundo)

MuSe se entrena con un objetivo de predicción de futuro flexible que fomenta un espacio latente unificado y físicamente fundamentado. En lugar de solo predecir acciones, el modelo predice:

• Acciones futuras ($L_{act}$).
• Observaciones originales futuras (p. ej., fotogramas de video, $L_{obs}$).
• Valores futuros de la modalidad recién introducida ($L_{new}$, p. ej., señales de F/T).

La pérdida total es una suma ponderada: $L = \lambda_a L_{act} + \lambda_o L_{obs} + \lambda_{n+1} L_{new}$. Predecir la nueva modalidad obliga a la representación a codificar datos sensoriales, mientras que predecir imágenes futuras ancla la representación a la dinámica visual compartida entre los conjuntos de datos.

3. Repetición de Experiencia (Experience Replay)

Para mitigar el olvido catastrófico durante el ajuste fino, MuSe utiliza la repetición de experiencia. Los lotes de entrenamiento se muestrean de una mezcla del nuevo conjunto de datos multisensorial ($D_{new}$) y el conjunto de datos de preentrenamiento original ($D_{pre}$).

• Para las muestras de $D_{new}$, el modelo recibe la entrada multisensorial completa y es supervisado en todas las pérdidas de predicción.
• Para las muestras de $D_{pre}$, la nueva modalidad está ausente. La entrada es reemplazada con un token de "máscara de modalidad" aprendido, y la pérdida para la nueva modalidad ($L_{new}$) se enmascara, mientras que la supervisión para las acciones y las observaciones originales se mantiene.

Configuración Experimental y Resultados

Los autores evaluaron MuSe en tareas de manipulación en el mundo real utilizando un backbone UVA preentrenado en 1,271 episodios de 21 tareas de solo visión. El modelo fue luego ajustado finamente en 434 episodios de cinco tareas ricas en contacto con supervisión de F/T.

Resultados Clave

• Generalización Cross-Modal: MuSe demostró la capacidad de predecir señales de F/T en tareas de preentrenamiento donde F/T se registró pero nunca se utilizó para supervisión. MuSe logró el error de predicción L2 más bajo (8.42) en comparación con las ablaciones (p. ej., eliminar la repetición de experiencia aumentó el error a 12.38).
• Transferencia hacia Adelante (Forward Transfer): En las tareas de ajuste fino ricas en contacto, MuSe superó significativamente a los baselines:
  • Limpieza de Jarrón (Vase Wiping): 11.5/15 éxito (MuSe) vs. 5/15 (Sin F/T) y 8/15 (Sin Preentrenamiento).
  • Inserción de Espiga (Peg Insertion): 13/15 éxito (MuSe) vs. 9/15 (Sin F/T) y 6/15 (Sin Preentrenamiento).
    MuSe utilizó eficazmente el F/T para regular las fuerzas de contacto y recuperarse de atascos, mientras que el baseline "Sin F/T" falló debido a una mala regulación de contacto.
• Transferencia hacia Atrás (Backward Transfer): MuSe preservó o mejoró el rendimiento en las tareas de preentrenamiento originales en comparación con la política de solo visión:
  • Limpieza de Pizarra (Whiteboard Wiping): 12.5/15 (MuSe) vs. 8.5/15 (Solo Preentrenamiento).
  • Inserción de Espiga (Peg Insertion): 10/15 (MuSe) vs. 8/15 (Solo Preentrenamiento).
    Crucialmente, el baseline "Sin Repetición de Experiencia" (No ER) sufrió un olvido severo (p. ej., 0.5/15 en limpieza de pizarra), resaltando la necesidad de la repetición para retener las habilidades visuales.

Significancia y Reivindicaciones

El artículo afirma que MuSe demuestra que un conjunto de datos multisensoriales modesto puede mejorar la capacidad general del modelo más allá de la distribución de ajuste fino. Específicamente:

1. Generalizabilidad de F/T: La detección de fuerza-par, incluso cuando se aprende de datos limitados, puede predecirse y explotarse en una amplia gama de tareas, incluyendo aquellas donde nunca fue supervisada explícitamente.
2. Representación Mejorada: El condicionamiento en F/T permite un aprendizaje de representación más rico para comportamientos ricos en contacto, mientras que la predicción de F/T futuro proporciona una estimación del perfil de complacencia requerido para una interacción precisa.
3. Despliegue Práctico: El enfoque permite que las políticas robóticas se adapten post-hoc a nuevos sensores sin requerir un preentrenamiento multisensorial a gran escala desde el principio, abordando las limitaciones de hardware y escasez de datos en la robótica real.

Los autores señalan las limitaciones, incluyendo el enfoque en una única expansión de sensor (F/T) y la dependencia del acceso a los datos de preentrenamiento originales para la repetición, sugiriendo que el trabajo futuro debería explorar otras modalidades y métodos que no requieran almacenar datos previos.