💻 computer science

HOPE: Hand-Object Pressure Estimation from Monocular Videos

El artículo propone HOPE, un nuevo marco de trabajo que estima la presión y el contacto por vértice que evolucionan temporalmente en una malla de la mano a partir de videos monoculares mediante la unificación de diversos datos táctiles y de contacto en un espacio de vértices compartido y el empleo de un transformador de video anclado a vértices, permitiendo así una estimación de presión robusta para interacciones dinámicas entre la mano y objetos más allá de las limitaciones de los métodos previos planos o de una sola imagen.

Autores originales: Subin Jeon, Byungjun Kim, Hanbyul Joo

Publicado 2026-08-07

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Subin Jeon, Byungjun Kim, Hanbyul Joo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo un espectáculo de magia. El mago saca un conejo de un sombrero, y tú ves el movimiento, el color del pelaje y la forma en que el sombrero se inclina. Pero no puedes sentir al conejo. No sabes si el mago lo está acariciando suavemente o si lo está apretando con fuerza. En el mundo de los robots y las computadoras, este es un gran problema. Tenemos cámaras que pueden "ver" manos agarrando objetos, pero son ciegas a la fuerza invisible de un apretón. Este campo, llamado visión por computadora, intenta enseñar a las máquinas a comprender el mundo físico, no solo su apariencia. Durante mucho tiempo, los científicos solo podían suponer qué tan fuerte presionaba una mano si la mano tocaba una superficie plana y aburrida como una mesa, e incluso así, era complicado. Pero la vida real es desordenada. Agarrar manzanas redondas, aplastar almohadas suaves y usar herramientas. Para construir robots que puedan cocinar, limpiar o ayudarnos en la realidad virtual, necesitan entender no solo dónde una mano toca algo, sino qué tan fuerte está presionando en cada punto individual de la piel.

Entra HOPE (Estimación de Presión Mano-Objeto), un nuevo método que actúa como un rayo X superpotenciado para la fuerza invisible de un apretón de manos. En lugar de necesitar guantes especiales con sensores o alfombrillas de presión planas, HOPE observa un video regular de una mano y adivina el mapa de presión directamente sobre la propia piel. Piensa en esto como si tu mano fuera una malla 3D hecha de 778 puntos diminutos e invisibles; HOPE te dice exactamente qué tan fuerte cada punto está empujando contra un objeto. Los investigadores descubrieron que, al combinar videos de manos usando guantes con sensores (que dan números de presión exactos) con videos de manos desnudas tocando cosas (que dan pistas de contacto), pudieron enseñar a una computadora a "sentir" la presión sin haber tocado nada. Demostraron que este sistema funciona en guantes, en mesas planas e incluso en videos cotidianos y espontáneos de personas agarrando objetos aleatorios, prediciendo tanto dónde ocurre el contacto como la fuerza del apretón.

El Problema: Ver no es Sentir

Imagina intentar aprender a tocar el piano solo viendo un video de las manos de otra persona. Puedes ver sus dedos moviéndose, pero no puedes sentir el peso de las teclas ni la presión necesaria para producir un sonido. Ese es el desafío que enfrentan las computadoras hoy en día. Son excelentes detectando que una mano está cerca de una taza, pero son terribles para saber si la mano la sostiene suavemente o si está a punto de aplastarla. Los intentos previos para resolver esto eran como intentar medir el peso de un pez mirando una sombra plana en la pared. Funcionaban bien si el pez estaba sobre una mesa plana, pero tan pronto como el pez saltaba a un mundo 3D con curvas y ángulos, las mediciones se desmoronaban. Además, la mayoría de estos métodos requerían que la mano usara un guante especial y voluminoso con sensores, lo que cambia la apariencia y el tacto de la mano, dificultando su aplicación a humanos reales con las manos desnudas.

La Solución: Un "Traductor Universal" para el Tacto

El equipo detrás de HOPE tuvo una idea ingeniosa: dejar de intentar medir la presión en el objeto o la mesa, y medirla directamente en la mano misma. Trataron la mano como un mapa digital con 778 "puntos de control" específicos (llamados vértices).

Para enseñar a la computadora, utilizaron un enfoque de "traductor universal". Tomaron datos de tres fuentes diferentes y obligaron a que hablaran el mismo lenguaje:

Los Datos del Guante: Videos de manos usando guantes con sensores que miden la presión exacta (en kilopascales, o kPa). Esto es como tener un profesor que conoce la matemática exacta.
Los Datos Planos: Videos de manos presionando sobre mesas planas cubiertas de sensores. Esto es como un profesor que solo sabe presionar un botón.
Los Datos de Mano Desnuda: Videos de personas agarrando cosas sin guantes, donde solo sabemos dónde tocaron, pero no qué tan fuerte. Esto es como un estudiante que sabe dónde poner los dedos pero no cuánta fuerza debe usar.

El trucción de magia fue "elevar" todos estos diferentes tipos de datos al mismo mapa de 778 puntos de la mano. Aunque los datos del guante solo cubrían la palma y las puntas de los dedos, y los datos de la mano desnuda cubrían toda la mano, pudieron combinarlos. Los datos de la mano desnuda actuaron como una "red de seguridad" o guía estructural, enseñándole a la computadora que la presión solo puede ocurrir donde hay contacto. Si la computadora ve una mano tocando una pelota, sabe que la presión debe estar ahí, incluso si no tiene un número específico de qué tan fuerte es.

Cómo Funciona: El Detective que Viaja en el Tiempo

El cerebro de HOPE es un modelo de IA especial llamado "Transformer de Video Anclado a Vértices". Imagina este modelo como un detective que no solo mira una foto fija, sino que observa toda la película.

Los Tokens Persistentes: El modelo trata cada uno de los 778 puntos de la mano como un personaje que permanece constante durante todo el video. Incluso si la mano se mueve, el "personaje de la punta del pulgar" siempre es la punta del pulgar.
El Observador de Películas: Observa el video fotograma a fotograma. Sabe que la presión no es instantánea; se construye. Cuando una mano se acerca a una taza, no hay presión. Cuando la toca, la presión comienza. Cuando aprieta, la presión aumenta. Al observar la secuencia de eventos, el modelo puede adivinar la presión mejor que si solo mirara una imagen congelada.
La Regla de "Sin Contacto, Sin Presión": El modelo tiene una regla integrada: si la mano no está tocando el objeto, la presión debe ser cero. Esto le ayuda a ignorar señales falsas y concentrarse en interacciones reales.

Lo que Encontraron

Los investigadores probaron HOPE en varios conjuntos de datos, incluyendo el conjunto de datos "OpenTouch" (manos con guantes), "PressureVisionDB" (superficies planas) y "MOW" (manos desnudas en entornos reales).

Mejor que los Métodos Antiguos: En los conjuntos de datos de guantes, HOPE predijo la presión con mucha más precisión que los métodos anteriores que intentaban adivinar la presión a partir de imágenes planas. Fue especialmente bueno localizando exactamente qué parte de la mano estaba realizando el trabajo.
La Sorpresa de la Mano Desnuda: Aunque el modelo fue entrenado principalmente con datos de manos con guantes, pudo predecir con éxito la presión en manos desnudas en videos cotidianos. Esto es algo importante porque significa que el modelo aprendió la física del tacto, no solo la apariencia de un guante.
El Poder de Mezclar Datos: Cuando probaron el modelo con y sin los datos de "contacto de mano desnuda", encontraron que añadir los videos de manos desnudas hacía que el modelo fuera mucho mejor para generalizar a situaciones nuevas y no vistas. Los datos de contacto actuaron como una guía, ayudando al modelo a entender la forma de las interacciones incluso cuando no tenía números de presión exactos.

Los Límites y el Futuro

El artículo señala cuidadosamente que HOPE no es perfecto. Depende de una herramienta separada para determinar primero la forma de la mano; si esa herramienta se confunde (como cuando la mano está oculta detrás de un objeto), HOPE también podría confundirse. Además, el modelo actualmente solo predice la fuerza que empuja directamente hacia el objeto (presión normal), no las fuerzas de deslizamiento o torsión. Y aunque funciona bien, todavía necesita datos más diversos para manejar cualquier objeto posible en el mundo.

Sin embargo, los resultados sugieren un camino prometedor. Al tratar la presión como una propiedad de la mano misma, en lugar del objeto, y al mezclar diferentes tipos de datos de aprendizaje, HOPE nos acerca un paso más a los robots que pueden realmente "sentir" el mundo, no solo verlo. Es un paso hacia máquinas que pueden recoger un tomate maduro sin aplastarlo, o ayudarnos en una tarea delicada, todo con solo observar un video simple.

Resumen Técnico: HOPE – Estimación de la Presión Mano-Objeto a partir de Vídeos Monoculares

Planteamiento del Problema

La estimación de la presión física a partir de observaciones visuales es crítica para comprender las interacciones mano-objeto ricas en contacto, con aplicaciones en percepción egocéntrica, RV/RA y aprendizaje robótico. Sin embargo, los métodos existentes de estimación de presión basados en visión enfrentan limitaciones significativas:

Geometrías Constreñidas: Los enfoques previos (p. ej., PressureVision, EgoPressure) dependen en gran medida de configuraciones calibradas con superficies planas instrumentadas, representando la presión como mapas 2D vinculados a disposiciones de sensores específicas.
Falta de Generalización: Estos métodos tienen dificultades para generalizarse a interacciones mano-objeto dinámicas y diversas que involucren objetos 3D arbitrarios, oclusión propia y diversos modos de contacto (p. ej., agarre, uso de herramientas).
Desajuste de la Modalidad de Datos: Los conjuntos de datos táctiles recientes (p. ej., OpenTouch) proporcionan presión métrica en la mano pero requieren guantes táctiles, lo que oculta las pistas visuales (deformación de la piel, arrugas) y crea una brecha de dominio entre los datos de entrenamiento con guantes y las interacciones naturales de mano desnuda.

El desafío central es estimar la presión métrica y el contacto directamente en la superficie de la mano a partir de un vídeo RGB monocular, generalizando a través de diversos objetos e interacciones sin depender de geometrías de sensores fijas.

Metodología: Marco de Trabajo HOPE

Los autores proponen HOPE, un marco que formula la estimación de la presión como un problema de predicción de vídeo centrado en la mano. El sistema predice la evolución temporal de la presión normal por vértice y el contacto directamente en una malla MANO de la mano.

1. Pipeline de Anotación Unificado

Para abordar la heterogeneidad de los datos disponibles, HOPE eleva tres fuentes de supervisión distintas a un espacio compartido de vértices MANO ( $V=778$ ):

Presión de Guante Táctil (OpenTouch): La presión de una rejilla de taxeles de 16×16 en un guante se mapea a los vértices de MANO. Dado que los taxeles cubren múltiples vértices, las presiones se agregan mediante promedios y se suavizan usando un filtrado Gaussiano geodésico.
Presión de Sensor Planar (PressureVisionDB): La presión de un pad de senseles plano se proyecta sobre los vértices de la palma de una malla MANO reconstruida utilizando extrínsecos calibrados de cámara a pad.
Contacto Basado en Distancia (Conjuntos de Datos HOI): Para supervisar las regiones no cubiertas por los sensores (p. ej., el dorso de la mano) y cerrar la brecha hacia las interacciones de mano desnuda, los autores incorporan etiquetas de contacto binario de conjuntos de datos como DexYCB y ARCTIC. Un vértice se etiqueta como "en contacto" si su distancia a la superficie del objeto es inferior a un umbral ( $\delta_c = 10$ mm).

Esta unificación permite que las etiquetas de presión métrica y los datos de contacto de mano desnuda se utilicen conjuntamente, tratando el contacto como un prior estructural para la presión.

2. Arquitectura VertexFormer

El modelo central es un transformer de vídeo anclado a vértices diseñado para razonar tanto sobre la superficie de la mano como en el tiempo:

Tokenización:
- Tokens de Parche (Patch Tokens): Los fotogramas de vídeo de entrada se codifican utilizando un backbone DINOv3 congelado.
- Tokens de Vértice: Cada vértice MANO se representa como un token persistente. Estos tokens se enriquecen con características visuales, pose de la mano (de HaWoR), orientación global y traslación. Crucialmente, cada token incluye una incrustación de identidad aprendida ( $e_v$ ) para anclarlo a un índice de vértice específico, asegurando un espacio de salida fijo.
Mecanismos de Atención:
- Atención Espacial: Autoatención de Vértices Intercalada (propaga señales de contacto a través de la topología de la mano) y Atención Cruzada Vértice-a-Parche (refina la evidencia visual desde la rejilla de la imagen).
- Atención Temporal: Una capa que agrega información a través de $T$ fotogramas para cada vértice, ayudando a desambiguar estados de carga y manejar oclusiones cortas.
Cabezal de Presión con Puerta de Contacto (Contact-Gated Pressure Head): La red produce dos cabezales: una probabilidad de contacto ( $\hat{c}_t$ ) y un valor de presión bruto ( $\tilde{p}_t$ ). La predicción de presión final está controlada por la probabilidad de contacto: $\hat{p}_t = \hat{c}_t \odot \tilde{p}_t$ . Esto impone el prior físico de que la presión debe desaparecer en ausencia de contacto, permitiendo que la supervisión de solo contacto regularice la predicción de presión.

3. Objetivo de Entrenamiento

El modelo se entrena con una función de pérdida unificada que combina entropía cruzada binaria para el contacto y pérdida L1 para la presión. Para muestras que solo tienen etiquetas de contacto (de conjuntos de datos HOI), la pérdida de presión se enmascara, permitiendo el entrenamiento conjunto en datos heterogéneos.

Contribuciones Clave

Formulación Centrada en la Mano: Un enfoque novedoso que representa la presión y el contacto como campos por vértice en la malla MANO, desacoplando la estimación de formas de objetos o disposiciones de sensores específicas.
Supervisión Unificada: Un método para elevar la presión de guante táctil, la presión de sensor planar y las anotaciones de contacto basadas en distancia a un único espacio de vértices, utilizando los datos de contacto de mano desnuda como un prior estructural para el aprendizaje de la presión.
Transformer Anclado a Vértices: Un modelo temporal que trata los vértices como tokens persistentes, agregando evidencia visual y de pose a lo largo del tiempo, y empleando un cabezal de puerta de contacto para forzar la consistencia física.

Resultados Experimentales

El marco fue evaluado en tres benchmarks: OpenTouch (presión mano-objeto), PressureVisionDB (presión superficie-mano) y MOW/ARCTIC (contacto denso).

Presión Mano-Objeto (OpenTouch): HOPE superó a las líneas base (PressureVision, HACO) tanto en métricas de contacto como de fuerza. Notablemente, logró un F1 a nivel de vértice de 0.660 frente a valores cercanos a cero para los métodos planares y una precisión de 0.673 para el contacto, demostando una localización espacial superior.
Presión Superficie-Mano (PressureVisionDB): A pesar de predecir en un espacio centrado en la mano en lugar de en el espacio 2D nativo del sensor, HOPE logró los errores de fuerza más bajos a nivel de vértice (MAE: 0.449 kPa, RMSE: 2.314 kPa) en comparación con los métodos planares, manteniendo una precisión de contacto competitiva por fotograma.
Generalización a Mano Desnuda: El modelo se generalizó con éxito a vídeos egocéntricos y en entornos naturales de manos desnudas, produciendo predicciones densas de contacto y presión a pesar de haber sido entrenado principalmente con datos de manos con guantes.
Estudios de Ablación:
- Composición de Datos: La combinación de OpenTouch (fuerza con guante), PVDB (fuerza planar) y HOI (contacto de mano desnuda) produjo la mejor generalización entre dominios.
- Modalidades de Entrada: El modelo completo que utiliza características visuales, pose de la mano y contexto temporal logró el mejor rendimiento, confirmando la naturaleza complementaria de estas señales.
- Robustez: El sistema mostró una sensibilidad marginal al ruido de reconstrucción de MANO, manteniendo un rendimiento estable incluso con perturbaciones significativas de la pose.

Significado y Reivindicaciones

El artículo afirma que HOPE representa un cambio de la estimación de presión restringida y específica de un sensor hacia un enfoque unificado centrado en la mano. Al unificar fuentes de supervisión heterogéneas, el marco permite la estimación de presión métrica en escenarios donde los métodos previos son inaplicables (p. ej., objetos 3D arbitrarios, superficies no planas).

Los autores enfatizan que su método produce predicciones conjuntas de contacto y presión que van más allá del alcance de las líneas base de solo contacto o de presión planar. Si bien la supervisión de la presión está dominada por un único conjunto de datos de guante táctil, la integración de datos de contacto de mano desnuda permite que el modelo se generalice a interacciones naturales. Este trabajo establece una base para el razonamiento físico basado en la visión en la manipulación mano-objeto, aunque los autores señalan limitaciones respecto a la oclusión severa, la necesidad de fuentes más amplias de presión métrica y el enfoque actual en la presión normal en lugar de la fuerza de contacto completa (wrench).