Resumen Técnico: Aprendizaje de Imitación Táctil de Multiresolución para la Manipulación Robótica Rica en Contacto (MiTaS)

Planteamiento del Problema

La manipulación robótica en entornos ricos en contacto (por ejemplo, inserción, ensamblaje, limpieza) suele fallar cuando se depende únicamente de la visión debido a las oclusiones y a la incapacidad de percibir dinámicas de contacto sutiles. Si bien los sensores táctiles basados en visión (por ejemplo, GelSight) proporcionan información espacial de alta resolución sobre la geometría del contacto, operan a tasas de fotogramas estándar (por ejemplo, 25 Hz) y tienen dificultades para capturar eventos rápidos como impactos, deslizamientos incipientes o vibraciones de alta frecuencia. Por el contrario, los sensores táctiles basados en eventos (por ejemplo, Evetac) ofrecen una resolución temporal elevada para capturar estas dinámicas rápidas, pero carecen de la densidad de geometría espacial que proporcionan los sensores basados en fotogramas. Los marcos actuales de aprendizaje por imitación suelen depender de una única modalidad táctil, lo que impide aprovechar las fortalezas complementarias de sensores heterogéneos que operan a diferentes resoluciones temporales.

Metodología: Marco MiTaS

Los autores proponen el Aprendizaje de Tacto de Multiresolución (MiTaS), un marco de representación diseñado para fusionar sensores táctiles heterogéneos (visión RGB, GelSight y Evetac) para condicionar una política de aprendizaje por imitación de flujo de coincidencia (flow-matching).

1. Modalidades de Sensores y Entrada

El sistema integra tres flujos de detección distintos montados en una pinza:

• RGB Egocéntrico: Capturado por una cámara montada en la muñeca (25 Hz), que proporciona el contexto de la escena y la configuración mano-objeto.
• GelSight Mini: Un sensor táctil basado en visión (25 Hz) que proporciona datos espaciales de alta resolución sobre la geometría de contacto local y la deformación.
• Evetac: Un sensor táctil basado en eventos (200 Hz) que captura dinámicas de contacto rápidas. Para alinear con el paso de tiempo de la política, se apilan 16 fotogramas de eventos por cada paso de observación.

2. Arquitectura

La arquitectura MiTaS emplea un tronco CNN específico por modalidad seguido de una fusión basada en transformadores:

• Troncos de Sensores: Cada modalidad es procesada por un tronco de Red Neuronal Convolucional (CNN) dedicado para extraer representaciones de tokens.
  • RGB: Convoluciones 2D con saltos (strided) sobre fotogramas apilados.
  • GelSight: Convoluciones 2D espejadas adaptadas para resolución rectangular.
  • Evetac: Un tronco de convolución 3D de 4 capas que comprime conjuntamente las dimensiones temporales y espaciales, reflejando la mayor densidad temporal de los datos de eventos.
• Codificación Posicional y de Modalidad: Los tokens se aumentan con vectores posicionales aprendidos (que codifican la ubicación dentro de la rejilla del sensor) y embebidos específicos de la modalidad (que identifican la fuente del sensor).
• Fusión de Sensores: Las secuencias de tokens aumentadas son procesadas a través de un codificador de Transformador utilizando mecanismos de autoatención multicabezas y atención cruzada. Esto permite una integración rica de características multisensoriales sin crear un cuello de botella en la percepción.

3. Política: Flujo de Coincidencia con Transformador de Difusión (DiT)

Los tokens sensoriales fusionados condicionan un modelo generativo de Flujo de Coincidencia para la generación de acciones:

• Espacio de Acción: La política predice una secuencia de comandos delta ($\Delta x, \Delta y, \Delta z$ y $\Delta \psi$ de guiñada) en el marco local del robot.
• Entrenamiento: El modelo aprende a regredir un campo de velocidad objetivo a lo largo de una trayectoria de probabilidad de línea recta desde el ruido aleatorio hasta la secuencia de acciones demostrada.
• Inferencia: Las acciones se generan integrando el campo de velocidad aprendido mediante la integración explícita de Euler.
• Restricción: La política es independiente del estado (state-agnostic); no recibe el estado absoluto del robot ni la propiocepción, lo que la obliga a inferir el movimiento relativo basándose únicamente en entradas sensoriales multimodales de alta dimensión.

4. Co-entrenamiento Táctil Múltiple

Para permitir el despliegue con solo un subconjunto de sensores (específicamente Visión + GelSight) mientras se aprovechan los datos de alta frecuencia de Evetac durante el entrenamiento, los autores introducen un esquema de co-entrenamiento asimétrico:

• Durante el entrenamiento, los lotes se construyen estocásticamente: el 50% de las secuencias incluyen datos de Evetac, mientras que el otro 50% los excluye.
• Esto obliga a la representación visual-táctica a aprender implícitamente y compensar las características de alta frecuencia faltantes, regularizando el modelo para que actúe de forma robusta incluso cuando el codificador de Evetac se omite durante la inferencia.

Evaluación Experimental

El marco fue evaluado en un robot Franka Panda de 7 grados de libertad (7-DoF) en cinco tareas desafiantes ricas en contacto:

1. Ensamblaje de Engranajes: Insertar un engranaje entre dos otros.
2. Limpieza de Tablero: Mantener la presión de contacto mientras se limpia una línea.
3. Instalación de Lámpara: Alinear y atornillar una bombilla en un casquillo.
4. Llave en Cerradura: Inserción precisa de una llave en una cerradura.
5. Conexión de Bombilla: Alinear y rotar una bombilla GU10 en un casquillo.

Resultados Clave

• Rendimiento General: MiTaS logró una tasa de éxito promedio del 80% en todas las tareas.
• Líneas Base (Baselines):
  • Sparsh-X (una línea base de transformador multimodal que utiliza los mismos sensores): Logró un 54% de éxito promedio. Notablemente, falló en completar la tarea de "Llave en Cerradura", quedando atrapado en la ranura de la llave a pesar de múltiples intentos.
  • Modelos Solo Visión (ViT/ViT-CNN): Lograron solo un 31% y 26% respectivamente, fallando completamente en tareas que requieren inserciones ajustadas (Llave, Bombilla) debido a la oclusión y la falta de retroalimentación de contacto.
• Ablación de Sensores:
  • Eliminar Evetac (Visión + GelSight) redujo el rendimiento al 51% de éxito promedio, confirmando el valor de los datos de alta frecuencia.
  • Eliminar GelSight (Visión + Evetac) resultó en un 37% de éxito promedio, mostrando que la geometría espacial es crítica para la alineación inicial.
• Impacto del Co-entrenamiento: El co-entrenamiento de la política Visión+GelSight con datos de Evetac mejoró el rendimiento en más del 10% en tareas específicas (Limpieza de Tablero +15%, Bombilla +25%), a pesar de que no se utilizó Evetac durante la evaluación.

Análisis de Atención

La visualización de las puntuaciones de atención cruzada reveló que la política desplaza dinámicamente la dependencia de los sensores según la fase de la tarea:

• Alcance (Reaching): Atiende principalmente a la visión RGB.
• Atornillado/Inserción: Cambia el enfoque a GelSight para la alineación geométrica.
• Eventos Críticos: Atiende a Evetac durante bloqueos o estados ambiguos (por ejemplo, distinguir entre estar suspendido y estar totalmente insertado en la tarea de la Bombilla) para resolver la incertidencia.

Significancia y Contribuciones

El artículo reclama las siguientes contribuciones:

1. Arquitectura Novedosa: El primer trabajo que combina un sensor táctil clásico basado en fotogramas (GelSight) con un sensor táctil basado en eventos (Evetac) utilizando un tronco CNN específico por modalidad y una fusión de transformadores para manejar diferentes resoluciones temporales.
2. Esquema de Co-entrenamiento: Un método para aprovechar los datos de sensores de alta frecuencia durante el entrenamiento para potenciar el rendimiento de las políticas visuales-táctiles estándar en el momento de la inferencia, sin requerir el sensor de alta frecuencia durante el despliegue.
3. Conjunto de Datos y Benchmark: Un nuevo conjunto de datos táctiles de multiresolución que cubre cinco tareas de manipulación complejas, demostrando que la fusión de multiresolución permite un control robusto en escenarios donde los enfoques de solo visión o de un solo modo de tacto fallan.

Los autores enfatizan que, si bien el marco muestra un fuerte rendimiento, actualmente está limitado a acciones de 4-DoF y depende de la recolección de datos mediante teleoperación. El trabajo futuro apunta a escalar a control de 6-DoF y explorar una integración de sensores más amplia.