Resumen Técnico: BeingBeyond – Preentrenamiento Táctil Transferible para la Manipulación Robótica Diestra

1. Declaración del Problema

Si bien la percepción visual es dominante en la robótica, la detección táctil es fundamental para la manipulación compleja, fina y diestra, particularmente en escenarios que involucran oclusión, ambigüedad o interacciones frágiles. Sin embargo, el campo enfrenta dos cuellos de botella principales:

1. Escasez de Datos: La recolección de datos táctiles en robots reales es costosa, depende del hardware y es difícil de escalar debido a la integración de sensores no unificada y la intensidad de labor de la teleoperación.
2. Limitaciones Arquitectónicas: Los modelos existentes de Visión-Lenguaje-Acción (VLA) con modalidades táctiles suelen estar limitados por un postentrenamiento ajeno a la dinámica. Este enfoque sufre de un desajuste de distribución entre el preentrenamiento (a menudo solo visión) y el postentrenamiento (incluyente de lo táctil), lo que limita la capacidad del modelo para aprender la dinámica de contacto y generalizar a través de diferentes morfologías.

Los métodos actuales de transferencia de humano a robot pasan por alto mayoritariamente la modalidad táctil, centrándose en su lugar en la visión y la acción, lo que deja un vacío en el aprendizaje del control de contacto de grano fino a partir de demostraciones humanas.

2. Metodología

El artículo propone el Preentrenamiento Táctil Transferible (TTP), un sistema diseñado para cerrar la brecha entre las demostraciones humanas y la ejecución robótica mediante un preentrenamiento táctil a gran escala. La metodología consta de tres componentes principales:

A. H-Tac: Un Conjunto de Datos Táctiles-Acción a Gran Escala

Para abordar la escasez de datos, los autores construyeron H-Tac, un conjunto de datos de gran escala que comprende 160 horas de videos egocéntricos humanos que contienen más de 300 tareas y 135,000 episodios. El conjunto de datos está compuesto por tres subconjuntos:

• HOI-Tac: Derivado de 12 conjuntos de datos públicos (p. ej., ARCTIC, DexYCB, OakInk), generando etiquetas de contacto binario por vértice en la malla de la mano MANO proyectadas sobre un espacio UV unificado de 351 taxelos.
• DeskTask-Tac: Recolectado mediante un sistema personalizado utilizando cámaras RealSense y guantes táctiles (pipelines RawHand y AprilTag) para capturar la manipulación bimanual en escenarios de escritorio.
• InternData-Tac: Aumentado a partir del pipeline de InternDataEngine, proyectando parches de contacto sobre una superficie MANO compartida para permitir la supervisión de morfologías cruzadas.

B. Espacio Unificado de Acción y Táctil

Para preservar el conocimiento durante la transferencia de humano a robot, TTP emplea un espacio de representación unificado:

• Espacio de Acción Unificado: Un espacio de 200 dimensiones que abarca poses del efector final, articulaciones de la mano diestra y parámetros humanos MANO (forma $\beta$ y articulación $\theta$).
• Espacio Táctil Unificado: Basado en UniTacHand, mapeando sensores táctiles heterogéneos de diversas morfologías (manos humanas, manos robóticas piezorresistivas, grippers visuo-táctiles) sobre una superficie MANO estandarizada de 351 taxelos. Esto asegura la consistencia morfológica entre las fases de preentrenamiento (humano) y postentrenamiento (robot).

C. Arquitectura de Preentrenamiento de Doble Experto

El modelo extiende el modelo base VLA BeingH-0.5 con un sistema de doble experto entrenado mediante el ajuste de flujo (flow matching):

1. Experto de Comprensión: Procesa entradas visuales, textuales y propioceptivas.
2. Experto de Acción: Predice futuros fragmentos de acción ($A_t$).
3. Experto Táctil: Predice explícitamente señales táctiles futuras ($O^+_t$).

El objetivo de entrenamiento minimiza la pérdida de ajuste de flujo tanto para las predicciones de acción como de las táctiles. Para garantizar la estabilidad y la robustez contra los cambios de distribución, el sistema introduce una Puerta de Preservación del Manifold Táctil-Acción (MPG). La MPG calcula una puerta de confiabilidad basada en la distancia de Wasserstein segmentada entre el contexto actual y los anclajes de acción/táctil libres de ruido, modulando el realce residual para evitar predicciones inestables cuando el contexto no es confiable.

3. Contribuciones Clave

1. Conjunto de Datos H-Tac: La colección y apertura de un conjunto de datos de demostración humana egocéntrica a gran escala con anotaciones densas de tacto y acción, proporcionando un recurso crítico para el preentrenamiento condicionado por el tacto.
2. Marco de Trabajo TTP: El primer sistema que aprovecha el preentrenamiento táctil con demostraciones centradas en el humano, permitiendo que los modelos VLA adquieran sesgos (priors) fundamentados en el tacto a escala antes del postentrenamiento específico para el robot.
3. Desempeño de Transferencia Superior: Demostración de que TTP logra un desempeño superior en tareas relevantes para el tacto en el mundo real, exhibiendo fuertes capacidades de morfologías cruzadas y habilidades de manipulación de grano fino que superan a las líneas base sin preentrenamiento y sin tacto.

4. Resultados Experimentales

Benchmarks de Simulación

Evaluado en LIBERO, LIBERO-plus y RoboCasa, TTP alcanzó un desempeño de vanguardia o comparable al de las líneas base (p. ej., OpenVLA, $\pi$0.5, BeingH-0.5) a pesar de la carga computacional añadida de la modalidad táctil. Notablemente, TTP mostró una mejor generalización en configuraciones zero-shot (LIBERO-plus) y un desempeño robusto a través de diversas categorías de tareas en RoboCasa.

Experimentos con Robots Reales

Los experimentos se realizaron en diversas plataformas (Franka, Realman) y efectores finales (manos Inspire, grippers DM-Tac, manos DexBotic) a través de nueve tareas que van desde el pelado de grano fino hasta el manejo de objetos frágiles con alto contacto.

• Desempeño: TTP superó significativamente a las líneas base (incluyendo $\pi$0.5 y BeingH-0.5) en todas las categorías.
  • Grano Fino: Logró un progreso promedio del 96.7% (frente al 57.3% de BeingH-0.5).
  • Rico en Contacto y Frágil: Logró un éxito del 79.2% (frente al 9.2% de BeingH-0.5).
  • Defecto de Visión: Logró un éxito del 37.8% (frente al 15.6% de BeingH-0.5).
• Estudios de Ablación:
  • Eliminar el MPG Táctil-Acción o el Experto Táctil aumentó los errores de predicción de movimiento, confirmando la necesidad de ambos módulos.
  • Los experimentos de escalado mostraron que aumentar el tamaño del conjunto de datos de preentrenamiento redujo linealmente los errores de predicción, validando la escalabilidad del enfoque.
  • Comparar TTP contra TTP sin preentrenamiento confirmó que la fase de preentrenamiento táctil proporciona un conocimiento previo esencial para una transferencia efectiva de humano a robot.

5. Significado y Afirmaciones

El artículo afirma que TTP allana el camino para un preentrenamiento táctil escalable mediante la transferencia de humano a robot. Al unificar los espacios táctil y de acción y aprovechar los datos humanos a gran escala, el sistema logra cerrar la brecha entre la comprensión de tareas de alto nivel y el control de contacto de grano fino de bajo nivel. Los autores sostienen que su enfoque modela eficazmente la dinámica de contacto y las interacciones físicas, permitiendo que los robots realicen tareas delicadas (como pelar rábanos, doblar papel o manipular papas fritas) con un nivel de precisión y robustez previamente inalcanzable con los métodos de solo visión o de solo postentrenamiento táctil. El trabajo demuestra que los datos táctiles centrados en el humano son un recurso viable y poderoso para entrenar políticas robóticas generalizables.