How to Train your Tactile Model: Tactile Perception with Multi-fingered Robot Hands

1. El Problema

La implementación rápida y escalable de nuevos sensores táctiles es crucial para la manipulación robótica avanzada, especialmente en manos multi-dedos equipadas con sensores táctiles basados en visión (VBTS), como el TacTip. Sin embargo, existen dos limitaciones principales en los métodos actuales:

• Dependencia de datos específicos por sensor: Los métodos basados en Redes Neuronales Convolucionales (CNN), que son el estado del arte, requieren grandes conjuntos de datos específicos para cada sensor individual.
• Falta de generalización: Las CNN dependen de jerarquías espaciales locales. Pequeñas variaciones entre sensores del mismo diseño (debido a diferencias en las propiedades de la lente, condiciones de iluminación, desgaste o variaciones en la fabricación 3D) provocan un cambio en la distribución de los datos (domain shift). Esto degrada drásticamente el rendimiento de las CNN, obligando a recopilar nuevos datos y reentrenar el modelo cada vez que se añade un nuevo sensor a la mano robótica.

2. Metodología

Para abordar este desafío, los autores proponen TacViT, un modelo de percepción táctil basado en Transformadores de Visión (Vision Transformers - ViT).

• Arquitectura del Modelo:

  • Backbone: Utiliza un modelo ViT preentrenado en ImageNet (vit-base-patch16-224).
  • Procesamiento: Las imágenes táctiles se dividen en parches no superpuestos que se linealizan y se alimentan a un codificador Transformer.
  • Mecanismo Clave: A diferencia de las CNN, los ViT utilizan mecanismos de auto-atención global. Esto permite modelar dependencias de largo alcance en la imagen, capturando características globales en lugar de solo locales, lo que facilita la generalización a variaciones entre sensores.
  • Cabeza de Regresión: Los embeddings de características se pasan a una cabeza de regresión (capas totalmente conectadas) para predecir la pose de contacto (posición $z$, orientación $R_x, R_y$) y la fuerza de contacto ($F_x, F_y, F_z$).
  • Entrenamiento Eficiente: Se utiliza LoRA (Low-Rank Adaptation) para el ajuste fino (fine-tuning). Esto permite adaptar el modelo preentrenado a las imágenes táctiles actualizando solo matrices de bajo rango, manteniendo la mayor parte de los parámetros congelados para evitar el olvido catastrófico y mejorar la estabilidad.

• Configuración Experimental:
  Se evaluó el modelo en una mano robótica de cinco dedos con cinco sensores táctiles distintos. Se diseñaron tres experimentos para comparar TacViT contra una CNN estándar:

  1. Tr1-Te1 (Línea base): Entrenar y probar en el mismo sensor.
  2. Tr5-Te1 (Múltiples conocidos): Entrenar en los 5 sensores y probar en uno de ellos (visto durante el entrenamiento).
  3. Tr4-TeU (Sensor no visto): Entrenar en 4 sensores y probar en el quinto sensor no visto durante el entrenamiento. Este es el escenario crítico para evaluar la generalización.

• Datos: Se recolectaron 15,000 imágenes táctiles (3,000 por sensor) utilizando un brazo robótico UR5, con movimientos cartesianos y fuerzas controladas.

3. Contribuciones Clave

1. Propuesta de TacViT: Un modelo basado en ViT diseñado específicamente para la percepción táctil que logra generalizar a sensores nuevos y no vistos sin necesidad de reentrenamiento extensivo.
2. Escalabilidad en la Despliegue: Al reducir la necesidad de recopilar datos específicos por sensor y reentrenar modelos para cada nuevo dedo, TacViT permite una implementación más rápida y escalable de manos robóticas multi-dedo.
3. Validación Empírica: Demostración experimental de que TacViT supera a las CNN en robustez y consistencia cuando se enfrenta a variaciones entre sensores, manteniendo errores aceptables incluso en dominios no vistos.

4. Resultados

Los resultados se midieron mediante el Error Absoluto Medio (MAE) para las variables de pose y fuerza.

• Escenario Tr1-Te1 y Tr5-Te1: Tanto CNN como TacViT mostraron un rendimiento comparable y alto (bajo MAE), cumpliendo con los estándares aceptables para robótica (ej. $z_{MAE} < 0.1$ mm, $F_{MAE} < 1$ N).
• Escenario Tr4-TeU (Sensor no visto): Aquí se observó la diferencia crítica:
  • CNN: El rendimiento se degradó drásticamente. El MAE aumentó en un orden de magnitud (ej. el error en $z$ saltó de ~0.08 mm a ~0.21 mm, y en orientación de ~1° a ~5.7°). La distribución de errores fue muy amplia, indicando inestabilidad.
  • TacViT: Aunque el rendimiento disminuyó ligeramente en comparación con el entrenamiento en todos los sensores, se mantuvo robusto. Los errores aumentaron solo marginalmente y se mantuvieron dentro de rangos aceptables para aplicaciones robóticas.
  • Consistencia: TacViT mostró una desviación estándar mucho menor que la CNN en el escenario de sensor no visto, lo que indica una mayor consistencia entre diferentes combinaciones de dominios.

5. Significado e Impacto

Este trabajo representa un paso significativo hacia la percepción táctil "plug-and-play" en la manipulación robótica.

• Superación de la Barrera de Despliegue: Elimina el cuello de botella actual donde cada nuevo sensor requiere un ciclo costoso de recolección de datos y reentrenamiento.
• Ventaja de los Transformadores: Demuestra que los mecanismos de atención global de los ViT son superiores a las jerarquías locales de las CNN para manejar las variaciones inherentes a la fabricación de sensores táctiles (artefactos, brillo, desgaste).
• Futuro: Sugiere que el entrenamiento de ViT desde cero con grandes conjuntos de datos táctiles podría mejorar aún más el rendimiento. Además, abre la puerta a la aplicación de estos modelos en otras arquitecturas de sensores basados en visión, facilitando la adopción masiva de sensores táctiles de alta resolución en robots del mundo real.

En resumen, TacViT ofrece una solución viable para la generalización inter-sensor, haciendo que la manipulación robótica con manos multi-dedo sea más práctica, escalable y adaptable a las variaciones del mundo real.