Resumen Técnico: Transformador Táctil Heterogéneo (HTT)

1. Planteamiento del Problema

La detección táctil es esencial para la manipulación robótica rica en contactos (por ejemplo, el agarre de objetos frágiles, el ensamblaje de precisión), sin embargo, escalar el aprendizaje táctil sigue siendo un cuello de botella significativo. A diferencia de las cámaras, los sensores táctiles son inherentemente heterogéneos: difieren fundamentalmente en sus mecanismos de transducción, estructuras de datos y formatos de salida.

• Los sensores ópticos (por ejemplo, GelSight, 9DTact) capturan información espacial y geométrica rica mediante la deformación del elastómero, pero suelen estar limitados por las tasas de fotogramas de la cámara.
• Los sensores basados en matrices (por ejemplo, Xela, Tac-02) proporcionan señales temporales de alta tasa y mediciones directas de fuerza/presión, pero ofrecen una resolución espacial menor.

Los métodos actuales de aprendizaje de representaciones se centran principalmente en sensores ópticos o tratan los sensores de forma aislada. Los modelos entrenados en una modalidad no pueden ingerir directamente datos de otra, lo que impide la creación de políticas de manipulación unificadas y agnósticas al sensor. Existe una falta de conjuntos de datos a gran escala y sincronizados que emparejen estas modalidades distintas, y no existe un marco que aprenda eficazmente representaciones compartidas entre ellas.

2. Metodología

2.1 El Conjunto de Datos Táctil Emparejado Heterogéneo (HPT)

Para abordar la escasez de datos, los autores construyeron el conjunto de datos Heterogeneous Paired Tactile (HPT) utilizando una configuración de Interfaz de Manipulación Universal (UMI).

• Escala: 1.6 millones de fotogramas emparejados y sincronizados.
• Sensores: Cuatro sensores distintos: dos ópticos (GelSight Mini, 9DTact) y dos basados en matrices (Xela, Tac-02).
• Recolección: Los sensores se montaron en lados opuestos de los dedos de la pinza para capturar propiedades de contacto simultáneas durante las interacciones con objetos de la vida cotidiana.
• Componentes: El conjunto de datos incluye:
  • Datos de interacción no etiquetados: Para el preentrenamiento autosupervisado (movimientos de presionar, girar, deslizar).
  • Clasificación de objetos: 20 objetos distintos con diversas geometrías y texturas.
  • Estimación de fuerza: Etiquetas de fuerza 6-D sincronizadas recolectadas mediante un soporte de sondeo con un sensor de fuerza/par (F/T) externo.
  • Detección de deslizamiento: Etiquetas derivadas de series temporales del coeficiente de fricción, categorizadas en deslizamiento estático, incipiente y bruto.

2.2 Arquitectura del Transformador Táctil Heterogéneo (HTT)

El HTT es un marco autosupervisado diseñado para aprender un espacio latente compartido a través de sensores heterogéneos. Adopta un diseño de Autocodificador de Máscara (MAE) con los siguientes componentes:

1. Codificadores específicos del sensor ($E_i$):
   • Para sensores ópticos: Codificadores de Vision Transformer (ViT) que procesan parches espaciales.
   • Para sensores de matriz: Transformadores de autoatención que procesan parches temporales de series temporales multidimensionales.
   • Las entradas se parchean y normalizan antes de la codificación.
2. Tronco de Transformador Compartido ($T$): Un backbone unificado que procesa las incrustaciones de tokens (token embeddings) de todos los sensores hacia un espacio latente común.
3. Decodificadores específicos del sensor ($D_i$): Utilizados durante el preentrenamiento para reconstruir los tokens de entrada enmascarados.
4. Predictores Cross-Modales ($P_{ij}$): Transformadores de atención cruzada que predicen las incrustaciones del sensor objetivo enmascarado utilizando las incrustaciones del sensor de origen y las incrustaciones visibles del objetivo.

2.3 Objetivo de Preentrenamiento

El modelo se entrena utilizando una función de pérdida conjunta que combina dos objetivos:

1. Reconstrucción de Máscara por Modalidad ($L_{MAE}$): Anima a cada sensor a extraer características estructurales y físicas robustas mediante la reconstruación de su propia entrada enmascarada.
2. Alineación Cross-Modal ($L_{Align}$): Entrena al modelo para predecir las incrustaciones del sensor objetivo enmascarado a partir de la incrustación completa del sensor de origen y las incrustaciones visibles del objetivo. Esto alinea modalidades dispares en el espacio latente compartido.
   • Se aplica un stop-gradient al objetivo para evitar el colapso de la representación.
   • La pérdida de alineación se pondera con un coeficiente dependiente del tiempo ($\alpha_t$), comenzando en 0 (calentamiento) para permitir el desarrollo de características específicas del sensor antes de aumentar.

Durante las tareas de aplicación (downstream), los decodificadores y predictores se descartan; solo se utilizan los codificadores de los sensores y el tronco compartido.

3. Contribuciones Clave

1. Dataset HPT: Un conjunto de datos a gran escala (1.6M de fotogramas), sincronizado, que empareja sensores táctiles ópticos y basados en matrices, permitiendo el estudio del aprendizaje de representaciones táctiles heterogéneas.
2. Marco HTT: Una arquitectura autosupervisada que combina la reconstrucción tipo MAE con la predicción bidireccional entre sensores para aprender representaciones transferibles a través de tipos de sensores heterogéneos.
3. Evaluación Exhaustiva: Validación extensa a través de tareas de percepción (clasificación, estimación de fuerza, detección de deslizamiento) y tareas de manipulación (simuladas y en el mundo real), demostrando la capacidad del marco para generalizarse a sensores y tareas no vistos.

4. Resultados Experimentales

4.1 Tareas de Percepción Táctica

• Clasificación de Objetos: HTT superó la línea base "Scratch" en los cuatro sensores. En sensores ópticos, HTT superó significativamente a las líneas base más fuertes de solo ópticos (T3, SITR) (por ejemplo, +13.5% en 9DTact, +17% en GSMini). La alineación cross-modal mejoró el rendimiento en los sensores ópticos, pero mostró resultados mixtos en los sensores de matriz (un ligero retroceso en Xela), atribuido al desequilibrio de información entre las modalidades.
• Estimación de Fuerza y Detección de Deslizamiento: HTT superó sustancialmente a las líneas base en todos los sensores. Los métodos de preentrenamiento de solo ópticos (T3, SITR) a menudo fallaron al transferirse a tareas sensibles a la fuerza, mientras que HTT mantuvo un rendimiento robusto. La alineación cross-modal fue particularmente efectiva para la detección de deslizamiento, mejorando significativamente las puntuaciones macro-F1 (por ejemplo, +12.0% en TAC-02) al vincular pistas de fuerza y espaciales complementarias.

4.2 Tareas de Manipulación Robótica

• Experimentos en el Mundo Real (Mano Sharpa en Brazo Franka):
  • Tareas: "Toy Screw" (apretar un tornillo) y "Grasp Tofu" (levantar tofu suave sin aplastarlo).
  • Configuración: Adaptación zero-shot usando incrustaciones HTT de un sensor (codificador 9DTact) no visto durante el preentrenamiento.
  • Resultados: Las políticas que usan incrustaciones HTT superaron significativamente a aquellas que usan vectores de wrench 6-D brutos o posiciones de articulación por sí solos.
    • Toy Screw: HTT logró un 95% de éxito frente al 50% de las políticas basadas en wrench. Los autores atribuyen esto a la capacidad de HTT para representar características de contacto espacial (ubicación de contacto y desplazamiento) requeridas para el regrip cíclico, que los vectores de fuerza brutos no pueden capturar.
    • Grasp Tofu: HTT logró un 55% de éxito frente al 35% de las políticas basadas en wrench, reduciendo las tasas de deslizamiento en un tercio y eliminando los fallos por aplastamiento.
• Tareas Simuladas (ManiFeel): Las incrustaciones de HTT mejoraron las tasas de éxito en las tareas de Inserción de Perno e Instalación de Bombilla en comparación con las líneas base, confirmando la utilidad de las incrustaciones de contacto agnósticas al sensor.

5. Significado y Reivindicaciones

El artículo afirma que el preentrenamiento emparejado heterogéneo es un camino práctico hacia el aprendizaje de representaciones táctiles generales y agnósticas al sensor.

• Transferibilidad: HTT aprende representaciones que se adaptan a nuevas tareas y a sensores previamente no vistos sin requerir un preentrenamiento específico del sensor.
• Aprendizaje de Políticas: El marco proporciona representaciones de contacto más ricas que las lecturas de fuerza brutas, impulsando directamente el rendimiento de las políticas de manipulación ricas en contactos.
• Escalabilidad: Al cerrar la brecha entre los sensores ópticos y los basados en matrices, HTT aborda un cuello de botella crítico en la escala del aprendizaje táctil, yendo más allá de las limitaciones de los conjuntos de datos de una sola modalidad.

Los autores señalan las limitaciones, incluyendo el enfoque actual únicamente en las familias ópticas y de matrices, la falta de estudios de emparejamiento dentro de la misma familia y la ausencia de una alineación explícita del espacio geométrico entre los parches de los sensores. El trabajo futuro pretende extender la alineación a otras modalidades de detección y refinar la supervisión cross-modal.