M2R2: MultiModal Robotic Representation for Temporal Action Segmentation

1. Planteamiento del Problema

La Segmentación Temporal de Acciones (TAS) consiste en identificar los límites temporales entre acciones en datos sin recortar y asignar etiquetas a cada segmento. Aunque es crucial para la robótica (por ejemplo, aprender políticas de movimiento, comprender precondiciones) y la visión por computadora (por ejemplo, documentación médica), los enfoques actuales enfrentan limitaciones significativas:

• Limitaciones en Robótica: La TAS robótica tradicional depende en gran medida de datos propioceptivos (fuerzas, torques, posiciones de las articulaciones). Estos métodos suelen utilizar heurísticas diseñadas a mano o bibliotecas de habilidades predefinidas, lo que requiere un ajuste extenso de hiperparámetros y carece de generalización.
• Limitaciones en Visión: Los enfoques de visión por computadora dependen de sensores exteroceptivos (cámaras). Aunque son potentes, tienen dificultades en escenarios con oclusiones u objetos visualmente similares (por ejemplo, distinguir pasadores que difieren en milímetros), lo cual es común en tareas de ensamblaje.
• Rigidez Arquitectónica: Los modelos existentes de TAS robótica multimodal suelen ser de extremo a extremo, fusionando características y realizando la segmentación dentro de un único modelo. Esto dificulta reutilizar las características aprendidas entre diferentes arquitecturas de TAS o adaptarse a nuevos cabezales de segmentación de última generación.

2. Metodología: M2R2

Los autores proponen M2R2 (MultiModal Robotic Representation), un marco modular que desacopla la extracción de características multimodales del modelo de TAS.

A. Modalidades de Entrada

M2R2 fusiona datos de sensores propioceptivos y exteroceptivos:

• Exteroceptivos: Video RGB (visual) y Audio.
• Propioceptivos: Posición y torsión del efector final, ancho de la pinza y mediciones de fuerza/torque.

B. Arquitectura

El sistema sigue una estrategia de fusión tardía utilizando una arquitectura basada en Transformers:

1. Codificadores Específicos por Modalidad:
   • Visión: Utiliza ActionCLIP (un Transformer Visual) para extraer características de imagen.
   • Audio: Utiliza el Audio Spectrogram Transformer (AST) para extraer características de espectrogramas log-mel.
   • Propiocepción: Los datos de sensores crudos se aumentan mediante proyección lineal e incrustan con incrustaciones temporales aprendibles para igualar la dimensión de las características.
2. Módulo de Fusión:
   • Las características de todas las modalidades se apilan en una secuencia de tokens.
   • Un Codificador Transformer de Autoatención intercambia información entre modalidades.
   • Un MLP fusiona los tokens actualizados en un único vector multimodal ($x_i$) por paso de tiempo.
3. Modularidad: Las características resultantes son genéricas y pueden alimentarse a cualquier modelo de TAS existente (por ejemplo, MSTCN, ASRF, DiffAct).

C. Estrategia de Entrenamiento

Los autores introducen una estrategia de entrenamiento novedosa para asegurar que las características capturen el orden temporal y los límites:

• Muestreo de Datos: Se muestrean ventanas cortas que contienen 3 acciones consecutivas con relleno para incluir contexto.
• Objetivos de Pérdida Dual:
  1. Pérdida de Orden de Acción ($L_{action}$): Inspirada en Br-Prompt, el modelo maximiza la similitud entre la representación de la ventana y una incrustación de texto que describe la secuencia de acciones (por ejemplo, "Primero agarrar, luego insertar"). Esto impone el aprendizaje de dependencias temporales.
  2. Pérdida de Regresión de Límites ($L_{boundary}$): Una Red de Regresión de Límites predice la probabilidad de que un fotograma sea un límite. El modelo minimiza el Error Cuadrático Medio (MSE) entre los límites predichos y los límites reales suavizados.
• Post-entrenamiento: Tras el entrenamiento, se descartan el Transformer de Fusión, la Red de Límites y el Codificador de Texto. Solo permanece el extractor de características para generar entradas para modelos de TAS posteriores.

3. Contribuciones Clave

1. Extractor de Características M2R2: Un extractor multimodal basado en aprendizaje profundo diseñado para TAS robótica que combina datos propioceptivos y exteroceptivos.
2. Estrategia de Entrenamiento Modular: Un método que permite la reutilización de características aprendidas entre diferentes arquitecturas de TAS, superando la rigidez de los modelos multimodales de extremo a extremo.
3. Ablación Exhaustiva: Un estudio extenso que evalúa la contribución específica de la visión, el audio y varios sensores propioceptivos (pinza, fuerza/torque, posición) al rendimiento de la segmentación.

4. Resultados Experimentales

El método se evaluó en tres conjuntos de datos: REASSEMBLE (ensamblaje/desensamblaje), (Im)PerfectPour (coctelería) y JIGSAWS (gestos quirúrgicos).

• Rendimiento de Última Generación:
  • En REASSEMBLE, M2R2 combinado con el modelo ASRF logró una puntuación F1@50 del 82.4%, superando significativamente a las líneas base solo de visión (que puntuaron ~8.4%) y a los métodos propioceptivos no supervisados (que puntuaron ~35.8%).
  • En (Im)PerfectPour, las características de M2R2 entrenadas en REASSEMBLE se generalizaron bien, superando a las líneas base solo de visión en un 16.1% en F1@50.
  • En JIGSAWS, M2R2 logró un F1@50 del 89.4% y una puntuación EDIT del 91.7%, superando a los enfoques multimodales de extremo a extremo anteriores.
• Robustez:
  • Los modelos solo de visión confundían frecuentemente objetos de apariencia similar. M2R2 resolvió estas ambigüedades aprovechando pistas propioceptivas (por ejemplo, cambios de fuerza durante el contacto).
  • Los métodos heurísticos tendían a sobre-segmentar durante cambios rápidos de sensores; M2R2 aprendió a ignorar el ruido local mientras identificaba los límites reales.
• Perspectivas de Ablación:
  • La propiocepción es crítica: Aunque la visión por sí sola tuvo un rendimiento pobre, la propiocepción por sí sola logró un alto rendimiento (75.4% F1@50) en REASSEMBLE, aunque combinar todas las modalidades produjo los mejores resultados.
  • Ancho de la Pinza: Eliminar los datos de la pinza causó la caída de rendimiento más significativa, destacando su importancia para distinguir tamaños de objetos.
  • Audio: Mejoró la detección de límites (Tasa de Detección) pero fue insuficiente para la identificación de objetos por sí solo.

5. Significado

• Cerrando la Brecha: M2R2 cierra con éxito la brecha entre la visión por computadora (que destaca en la comprensión semántica) y la robótica (que depende de datos de interacción física), creando una representación robusta para tareas complejas de manipulación.
• Reutilización y Flexibilidad: Al desacoplar la extracción de características del cabezal de segmentación, M2R2 permite a los investigadores integrar nuevos modelos de TAS mejorados sin reentrenar toda la tubería multimodal.
• Generalización: El marco demuestra una fuerte transferibilidad entre diferentes dominios de tareas (ensamblaje vs. coctelería vs. cirugía) y encarnaciones robóticas, sugiriendo un camino hacia sistemas de aprendizaje robótico más adaptables.
• Impacto Práctico: La capacidad de distinguir objetos visualmente similares utilizando datos multimodales es crucial para tareas de alta precisión como el ensamblaje, donde la oclusión visual es común.