💻 computer science

HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision

Este artículo presenta HT-Bench, un benchmark multitarea a gran escala para la detección táctil de mano completa diestra, y propone HandTouch, un codificador visión-táctil de cuantización vectorial que supera significativamente a los modelos base existentes en el aprendizaje de representaciones táctiles a través de visión egocéntrica y datos táctiles de mano completa.

Autores originales: Yuzhe Huang, Jiaping Wu, Jiaming Jiang, Hezhe Lin, Aikebaier Aierken, Yunlong Wang, Kun Cheng, Ziyuan Jiao, Yuanxin Zhong

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuzhe Huang, Jiaping Wu, Jiaming Jiang, Hezhe Lin, Aikebaier Aierken, Yunlong Wang, Kun Cheng, Ziyuan Jiao, Yuanxin Zhong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar enseñar a una mano robótica a "sentir" el mundo. Durante mucho tiempo, los científicos han luchado por crear una prueba estándar para esto, de forma muy parecida a intentar comparar el sabor de las manzanas de 200 huertos diferentes cuando cada huerto utiliza una escala distinta, un tipo de fruta diferente y una forma diferente de medir la dulzura.

Este artículo, HT-Bench, aborda ese problema cambiando las reglas del juego. En lugar de intentar forzar a que todas las manos robóticas sean iguales, los autores crearon un "gimnasio" masivo y estandarizado específicamente para robots que utilizan ojos en la muñeca (visión egocéntrica) y piel sensible por toda la mano (tacto de mano completa).

Aquí está el desglose de su trabajo utilizando analogías sencillas:

1. El Proble de: Una cocina desordenada de sensores

Actualmente, los sensores táctiles de los robots son como una cocina donde todo el mundo usa tazas de medir diferentes. Algunos sensores miden presión, otros miden deslizamiento, y todos tienen formas distintas. Debido a este desorden, es difícil saber si un robot está realmente "aprendiendo" a sentir o si solo está memorizando un truco específico para un sensor determinado.

2. La Solución: HT-Bench (El "Gimnasio")

Los autores construyeron HT-Bench, un conjunto de datos gigante que contiene 10 millones de fotogramas de video y 7,8 millones de fotogramas táctiles. Piensa en esto como una enorme biblioteca de "películas" donde una mano robótica realiza 226 tareas diferentes (como levantar una taza o girar un pomo), y podemos ver tanto lo que el robot ve como exactamente cómo siente su piel en cada momento.

Para probar si el "cerebro" de un robot es bueno sintiendo, no se limitan a pedirle que haga un trabajo. Le presentan cuatro tipos diferentes de exámenes:

El juego de "Emparejar la Memoria" (Recuperación): Se le muestra al robot una imagen de una mano tocando algo y se le pregunta: "¿Cuál de estas otras 20 interacciones de mano se siente exactamente como esta?". Es como un juego de memoria donde tienes que emparejar la sensación de una textura, no solo su apariencia.
El rompecabezas de "Completar los Espacios en Blanco" (Inpainting): Imagina una mano tocando una pelota, pero la mitad de los sensores de la mano de repente se quedan ciegos (como un parche de píxeles muertos en una pantalla). El robot tiene que adivinar qué deberían estar sintiendo los sensores faltantes basándose en el resto de la mano y en lo que ve con sus ojos.
La prueba del "Lector de Mentes" (Visión-a-Tacto): El robot ve la imagen de un objeto (como una esponja o una roca) pero aún no lo ha tocado. Tiene que predecir exactamente cómo será la presión en su piel con solo mirar el objeto. Esto es como ver la foto de un limón e intuir instintivamente que será ácido y rugoso antes de tocarlo.
La prueba de la "Bola de Cristal" (Predicción): El robot observa una mano moviéndose y tocando cosas a lo largo del tiempo. Tiene que predecir qué sentirá la mano en el próximo segundo, basándose en lo que vio y sintió un momento antes.

3. El Nuevo Cerebro: HandTouch

Para aprobar estos exámenes, los autores construyeron un nuevo modelo de IA llamado HandTouch. Lo entrenaron en tres etapas progresivas, como un estudiante aprendiendo un nuevo idioma:

Etapa 1 (Aprendiendo el abecedario): El robot aprende a mirar un mapa completo del tacto de su mano y a reconstruirlo perfectamente. Aprende la "forma" de cómo la presión se distribuye por toda la mano.
Etapa 2 (Aprendiendo a leer el contexto): El robot recibe un mapa roto (con partes faltantes) y una imagen de la escena. Aprende a usar la imagen para rellenar las partes faltantes del mapa táctil. Aprende que "si veo un cojín suave, mi mano debería sentir suavidad, incluso si mis sensores están dañados".
Etapa 3 (Aprendiendo la historia): El robot aprende a observar una secuencia de eventos y a predecir la siguiente sensación. Comprende que si una mano se desliza por una rampa, la sensación cambiará de una manera específica.

4. Los Resultados: Un Nuevo Campeón

Cuando sometieron a HandTouch al gimnasio de HT-Bench, arrasó con la competencia.

Emparejar la Memoria: Mejoró en el emparejamiento de sensaciones similares más que cualquier modelo anterior (mejorando de aproximadamente un 75% a un 85% de precisión).
Completar los Espacios en Blanco: Cometió muchos menos errores al adivinar los datos táctiles faltantes (reduciendo los errores a más de la mitad).
Lector de Mentes: Mejoró mucho en la predicción de cómo se siente un objeto con solo mirarlo.

La Conclusión

El artículo concluye que, si bien aún no podemos construir una única prueba para cada mano robótica existente, sí podemos construir un estándar masivo y de alta calidad para los robots que utilizan ojos y sensores de mano completa. HT-Bench proporciona el patio de recreo, y HandTouch demuestra que, con el entrenamiento adecuado, los robots pueden aprender a "sentir" el mundo de una manera inteligente, adaptable y capaz de generalizar a nuevas tareas que nunca han visto antes.

Lo que NO pretendieron afirmar:

No dijeron que este robot pueda realizar cirugías o tareas clínicas delicadas ahora mismo.
No afirmaron que esto funcione en todos los tipos de sensores robóticos (como un sensor solo de la punta de los dedos o un sensor de fuerza en una pierna).
No dijeron que esto esté listo para el uso comercial inmediato en los hogares; es un referente de investigación para ayudar a los futuros robots a llegar allí.

Resumen Técnico: HT-Bench y HandTouch

Planteamiento del Problema

Establecer un referente (benchmark) universal para el aprendizaje de representaciones táctiles en la manipulación robótica se ve actualmente obstaculizado por la heterogeneidad intrínseca de la detección táctil. Esta heterogeneidad surge de diversos diseños de sensores (principios de hardware, disposiciones espaciales, modalidades de señal), variaciones en la encarnación del robot (embodiment) e inconsistencias en los formatos de datos. A diferencia de la percepción visual, que se beneficia de conjuntos de datos estandarizados y protocolos de evaluación maduros, el aprendizaje táctil permanece constreñido por procesos dependientes de tareas específicas y sensores. En consecuencia, es difícil determinar si las características aprendidas representan representaciones táctiles transferibles o simplemente adaptaciones específicas de la tarea. Los autores argumentan que buscar un único benchmark universal para resolver todas las discrepancias de los sensores es poco práctico. En su lugar, proponen explorar una dirección escalable y prometedora: visión egocéntrica emparejada con datos táctiles de mano completa. Este entorno captura el contexto visual centrado en la interacción junto con la información de contacto distribuida durante la manipulación diestra, proporcionando una base para evaluar si los codificadores táctiles pueden codificar la geometría del contacto, alinearse con la información visual y generalizarse a tareas no vistas.

Metodología

1. HT-Bench: Un Benchmark Multitarea a Gran Escala

Los autores introducen HT-Bench, un benchmark que comprende aproximadamente 10 millones de fotogramas RGB y 7.8 millones de fotogramas táctiles recolectados a través de 226 tareas diversas en varios entornos (por ejemplo, hogar, banco de electrónica, laboratorio de química). El conjunto de datos está sincronizado entre la visión egocéntrica y los sensores táctiles de mano completa.

Para evaluar la generalización, HT-Bench emplea una estrategia de división de Fuera de Distribución (OOD) a nivel de tarea: se reserva una tarea de interacción para la evaluación OOD, mientras que las tareas restantes se dividen en una proporción 9:1 para entrenamiento y prueba dentro de la distribución (in-distribution).

HT-Bench evalúa las representaciones táctiles a través de cuatro tareas complementarias:

Recuperación de Similitud Táctil de Grano Fino: Una tarea de recuperación de 1 contra 20 donde los codificadores deben clasificar mapas táctiles candidatos basados en la Medida de Similitud Estructural (SSIM) contra una consulta, probando la preservación de la geometría de contacto de grano fino.
Inpainting Táctil Enmascarado: El modelo reconstruye regiones faltantes de un mapa táctil utilizando observaciones táctiles restantes y pistas visuales sincronizadas. Esto pone a prueba el razonamiento espacial y la capacidad de manejar la pérdida de información parcial (simulando fallos de sensores).
Síntesis de Visión a Táctil (RGB-a-Táctil): Dado un único fotograma RGB, el modelo predice la distribución de presión táctil correspondiente. Esto evalúa la alineación cross-modal y la capacidad de inferir respuestas táctiles a partir de la geometría visual del objeto.
Predicción de Fotogramas Táctiles Multimodales: El modelo predice la distribución táctil en el tiempo $T$ ( $t_T$ ) utilizando observaciones visuales recientes ( $v_{T-2}$ ) y trayectorias táctiles pasadas ( $t_{T-2}$ ). Esto evalúa el modelado de contacto temporal y la comprensión de la interacción dinámica.

2. HandTouch: Codificador de Visión-Táctil con Cuantización de Vectores

Para abordar los requisitos de evaluación de HT-Bench, los autores proponen HandTouch, un codificador de visión-táctil con cuantización de vectores entrenado mediante un pipeline progresivo de tres etapas:

Etapa 1: Reconstrucción Táctil de Cuantización de Vectores (Topología Espacial):
- Una capa convolucional tokeniza los mapas táctiles normalizados en parches, que son procesados por un codificador Vision Transformer (ViT) de 8 capas.
- Un cuantizador de vectores factorizado con un libro de códigos compartido ( $K=2048$ ) proyecta las características latentes continuas en un espacio de tokens discretos.
- Para prevenir el colapso del libro de códigos, un mecanismo de reinicio del libro de códigos reinicializa las entradas subutilizadas usando características activas del lote actual.
- El objetivo es reconstruir el mapa táctil de entrada a partir de los tokens cuantizados, aprendiendo una topología espacial estructuralmente discriminativa.
Etapa 2: Inpainting Táctil Enmascarado Cross-Modal (Alineación Visión-Tacto):
- El modelo aprende a reconstruir mapas táctiles corrompidos utilizando tanto los datos táctiles restantes como las pistas visuales sincronizadas.
- Se emplea una estrategia de enmascaramiento dual basada en currículo:
  - Enmascaramiento Aleatorio Regional: Enmascara partes específicas de la mano (pulgar, dedos, palma) para simular la pérdida parcial.
  - Enmascaramiento Completo: Enmascara todo el mapa táctil, obligando al modelo a inferir las respuestas táctiles principalmente a partir del contexto visual. La probabilidad de enmascaramiento completo aumenta durante el entrenamiento.
- Las características visuales (de un ViT pre-entrenado y congelado) se inyectan en el decodificador táctil mediante atención cruzada (cross-attention). Se añade un token específico de la mano ( $t_{hand}$ ) aprendible para resolver ambigüedades geométricas entre la mano izquierda y la derecha.
Etapa 3: Predicción de Fotogramas Táctiles Multimodales (Dinámica Temporal):
- El modelo integra observaciones visuales recientes e historias táctiles pasadas para predecir la futura distribución táctil.
- Esta etapa ajusta finamente (fine-tunes) los módulos de predicción, el libro de códigos compartido y el decodificador para capturar la evolución temporal de los estados de contacto.

Contribuciones Clave

HT-Bench: La introducción de un benchmark de gran escala y multitarea diseñado específicamente para la detección táctil de mano completa y destreza, que presenta datos de visión egocéntrica y táctiles sincronizados, junto con divisiones OOD a nivel de tarea para evaluar rigurosamente la generalización.
HandTouch: Un novedoso codificador de visión-táctil con cuantización de vectores que aprende representaciones transferibles a través de objetivos de entrenamiento progresivos: espaciales, cross-modales y temporales.
Evaluación Exhaustiva: Un marco de evaluación de múltiples perspectivas que evalúa la codificación de la geometría de contacto, la alineación visual y la generalización a tareas no vistas, yendo más allá de los objetivos únicos de uso posterior (downstream).

Resultados Experimentales

Los experimentos en HT-Bench demuestran que HandTouch supera consistentemente a los baselines representativos (basados en CNN, ResNet-18, VQ-VAE y codificadores basados en ViT):

Recuperación de Grano Fino: HandTouch mejoró el Recall@5 del 74.65% al 85.23% y el Hit@1 del 94.27% al 99.27% en comparación con el baseline más fuerte (basado en ViT).
Inpainting Táctil Enmascarado: En la división de prueba estándar, HandTouch redujo el RMSE de la imagen completa de 0.022 a 0.010 e incrementó el cIoU de 0.762 a 0.911. Mantuvo un rendimiento superior en las divisiones OOD también.
Síntesis de Visión a Táctil: HandTouch mejoró el cIoU OOD de 0.628 a 0.705, indicando una generación cross-modal y una generalización más fuertes. Mientras que VQ-VAE mostró un RMSE ligeramente menor en entornos OOD, HandTouch logró un cIoU significativamente mayor, lo que sugiere una mejor captura de patrones de contacto localizados y nítidos.
Predicción Temporal: HandTouch demostró una predicción precisa de las distribuciones táctiles tanto en entornos dentro de la distribución como en OOD, validando su capacidad para modelar la dinámica de contacto temporal.

Significado y Reivindicaciones

El artículo afirma que HT-Bench proporciona una base escalable y práctica para evaluar y avanzar en el aprendizaje de representaciones táctiles en la manipulación diestra, específicamente dentro del régimen de visión egocéntrica emparejada con detección de mano completa. Al cambiar el enfoque de un benchmark universal (pero actualmente poco práctico) hacia un enfoque escalable y basado en datos, los autores pretenden responder a la pregunta previa de qué constituye un "backbone" de representación efectivo para la percepción táctil de mano completa.

Los autores sostienen que HandTouch demuestra la efectividad del entrenamiento progresivo (espacial, cross-modal, temporal) y la cuantización de vectores para aprender representaciones que son estructuralmente discriminativas, visualmente fundamentadas y temporalmente conscientes. Los resultados sugieren que los datos táctiles de mano completa egocéntricos a gran escala pueden servir como base para el aprendizaje de representaciones táctiles generales.

El artículo mantiene la modestia respecto a su alcance, reconociendo que HT-Bench no cubre todos los paradigmas de detección táctil (por ejemplo, sensores solo en las puntas de los dedos, detección de fuerza/par o otras encarnaciones no manuales) y que las evaluaciones actuales se centran en las capacidades a nivel de representación en lugar del rendimiento directo de la manipulación robótica. Se identifica que el trabajo futuro es necesario para extender este benchmark a un hardware más amplio, realizar estudios de ablación más profundos y validar el rendimiento en tareas de manipulación de bucle cerrado en el mundo real.