💻 computer science

HOPE: Hand-Object Pressure Estimation from Monocular Videos

Le papier propose HOPE, un nouveau cadre qui estime l'évolution temporelle de la pression et du contact par sommet sur un maillage de main à partir de vidéos monoculaires en unifiant diverses données tactiles et de contact dans un espace de sommets partagé et en employant un transformateur vidéo ancré sur les sommets, permettant ainsi une estimation robuste de la pression pour les interactions main-objet dynamiques au-delà des limites des méthodes antérieures planaires ou à image unique.

Auteurs originaux : Subin Jeon, Byungjun Kim, Hanbyul Joo

Publié 2026-08-07

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Subin Jeon, Byungjun Kim, Hanbyul Joo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un spectacle de magie. Le magicien sort un lapin d'un chapeau, et vous voyez le mouvement, la couleur de la fourrure et l'inclinaison du chapeau. Mais vous ne pouvez pas sentir le lapin. Vous ne savez pas si le magicien le caresse doucement ou s'il le serre fort. Dans le monde des robots et des ordinateurs, c'est un énorme problème. Nous avons des caméras qui peuvent « voir » des mains saisir des objets, mais elles sont aveugles à la force invisible d'une pression. Ce domaine, appelé vision par ordinateur, tente d'apprendre aux machines à comprendre le monde physique, et pas seulement son apparence. Pendant longtemps, les scientifiques ne pouvaient que deviner la force avec laquelle une main pressait si la main touchait une surface plate et ennuyeuse comme une table, et même là, c'était difficile. Mais la vie réelle est désordonnée. Nous saisissons des pommes rondes, nous écrasons des oreillers mous et nous utilisons des outils. Pour construire des robots capables de cuisiner, de nettoyer ou de nous aider dans la réalité virtuelle, ils doivent comprendre non seulement où une main touche quelque chose, mais aussi à quel point elle presse en chaque point précis de la peau.

Entrez en scène HOPE (Hand-Object Pressure Estimation), une nouvelle méthode qui agit comme un rayon X surpuissant pour la force invisible d'une poignée de main. Au lieu d'avoir besoin de gants spéciaux avec des capteurs ou de tapis de pression plats, HOPE regarde une vidéo normale d'une main et devine la carte de pression directement sur la peau elle-même. Pensez-y de cette façon : si votre main était un maillage 3D composé de 778 petits points invisibles, HOPE vous dit exactement avec quelle force chaque point pousse contre un objet. Les chercheurs ont découvert qu'en combinant des vidéos de mains portant des gants capteurs (qui donnent des chiffres de pression exacts) avec des vidéos de mains nues touchant simplement des choses (qui donnent des indices de contact), ils pouvaient apprendre à un ordinateur à « ressentir » la pression sans jamais rien toucher. Ils ont prouvé que ce système fonctionne sur des gants, sur des tables plates et même sur des vidéos sauvages et quotidiennes de personnes saisissant des objets aléatoires, prédisant à la fois où le contact se produit et l'intensité de la pression.

Le Problème : Voir n'est pas Ressentir

Imaginez essayer d'apprendre à jouer du piano rien qu'en regardant une vidéo des mains de quelqu'un d'autre. Vous voyez leurs doigts bouger, mais vous ne pouvez pas ressentir le poids des touches ou la pression nécessaire pour produire un son. C'est le défi auquel les ordinateurs sont confrontés aujourd'hui. Ils sont excellents pour repérer qu'une main est proche d'une tasse, mais ils sont terribles pour savoir si la main la tient délicatement ou sur le point de l'écraser. Les tentatives précédentes pour résoudre cela revenaient à essayer de mesurer le poids d'un poisson en regardant une ombre plate sur un mur. Elles fonctionnaient assez bien si le poisson était allongé sur une table plate, mais dès que le poisson sautait dans un monde en 3D avec des courbes et des angles, les mesures s'effondraient. De plus, la plupart de ces méthodes nécessitaient que la main porte un gant spécial et encombrant avec des capteurs, ce qui change l'apparence et le ressenti de la main, rendant difficile l'application à de vrais humains aux mains nues.

La Solution : Un « Traducteur Universel » du Toucher

L'équipe derrière HOPE est arrivée à une idée ingénieuse : arrêter d'essayer de mesurer la pression sur l'objet ou la table, et la mesurer directement sur la main elle-même. Ils ont traité la main comme une carte numérique avec 778 « points de contrôle » spécifiques (appelés sommets ou vertices).

Pour enseigner à l'ordinateur, ils ont utilisé une approche de « traducteur universel ». Ils ont pris des données provenant de trois sources différentes et les ont forcées à parler la même langue :

Les Données de Gants : Des vidéos de mains portant des gants capteurs qui mesurent la pression exacte (en kilopascals, ou kPa). C'est comme avoir un professeur qui connaît l'arithmétique exacte.
Les Données Plates : Des vidéos de mains pressant sur des tables plates couvertes de capteurs. C'est comme un professeur qui ne sait que presser un bouton.
Les Données de Mains Nues : Des vidéos de personnes saisissant des objets sans gants, où nous savons seulement où elles ont touché, mais pas avec quelle force. C'est comme un étudiant qui sait où placer ses doigts mais pas quelle force utiliser.

Le tour de magie fut de « projeter » toutes ces différentes sortes de données sur la même carte de 778 points de la main. Même si les données du gant ne couvraient que la paume et le bout des doigts, et que les données de la main nue couvraient toute la main, ils ont pu les combiner. Les données de la main nue ont servi de « filet de sécurité » ou de guide structurel, apprenant à l'ordinateur que la pression ne peut se produire que là où il y a un contact. Si l'ordinateur voit une main toucher une balle, il sait que la pression doit être présente, même s'il n'a pas de chiffre précis pour la force.

Comment ça marche : Le Détective Voyageur dans le Temps

Le cerveau de HOPE est un modèle d'IA spécial appelé « Vertex-anchored Video Transformer ». Imaginez ce modèle comme un détective qui ne se contente pas de regarder une photo, mais qui regarde tout le film.

Les Tokens Persistants : Le modèle traite chacun des 778 points de la main comme un personnage qui reste le même tout au long de la vidéo. Même si la main bouge, le personnage « bout du pouce » est toujours le bout du pouce.
Le Spectateur de Film : Il regarde la vidéo image par image. Il sait que la pression n'est pas instantanée ; elle monte en puissance. Quand une main s'approche d'une tasse, il n'y a pas de pression. Quand elle touche, la pression commence. Quand elle serre, la pression augmente. En regardant la séquence des événements, le modèle peut deviner la pression bien mieux qu'en regardant simplement une image figée.
La Règle « Pas de Contact, Pas de Pression » : Le modèle possède une règle intégrée : si la main ne touche pas l'objet, la pression doit être nulle. Cela l'aide à ignorer les faux signaux et à se concentrer sur les interactions réelles.

Ce qu'ils ont trouvé

Les chercheurs ont testé HOPE sur plusieurs ensembles de données, notamment l'ensemble de données « OpenTouch » (mains gantées), « PressureVisionDB » (surfaces plates) et « MOW » (mains nues dans le monde réel).

Meilleur que les anciennes méthodes : Sur les ensembles de données de gants, HOPE a prédit la pression beaucoup plus précisément que les méthodes précédentes qui tentaient de deviner la pression à partir d'images plates. Il était particulièrement efficace pour localiser exactement quelle partie de la main effectuait le travail.
La Surprise de la Main Nue : Bien que le modèle ait été principalement entraîné sur des données de mains gantées, il a réussi à prédire la pression sur des mains nues dans des vidéos quotidiennes. C'est un événement majeur car cela signifie que le modèle a appris la physique du toucher, et pas seulement l'apparence d'un gant.
Le Pouvoir du Mélange de Données : Lorsqu'ils ont testé le modèle avec et sans les données de « contact de main nue », ils ont constaté que l'ajout des vidéos de mains nues rendait le modèle bien meilleur pour se généraliser à de nouvelles situations inconnues. Les données de contact ont agi comme un guide, aidant le modèle à comprendre la forme des interactions même lorsqu'il ne possédait pas de chiffres de pression exacts.

Les Limites et l'Avenir

L'article note prudemment que HOPE n'est pas parfait. Il repose sur un outil séparé pour déterminer la forme de la main d'abord ; si cet outil se trompe (par exemple, quand la main est cachée derrière un objet), HOPE pourrait aussi se tromper. De plus, le modèle prédit actuellement uniquement la force poussant droit dans l'objet (pression normale), et non les forces de glissement ou de torsion. Et bien qu'il fonctionne bien, il a encore besoin de données plus diverses pour gérer tous les objets possibles du monde.

Cependant, les résultats suggèrent une voie prometteuse. En traitant la pression comme une propriété de la main elle-même, plutôt que de l'objet, et en mélangeant différents types de données d'apprentissage, HOPE nous rapproche des robots qui pourront véritablement « ressentir » le monde, et pas seulement le voir. C'est une étape vers des machines capables de ramasser une tomate mûre sans l'écraser, ou d'aider un humain dans une tâche délicate, tout cela en regardant une simple vidéo.

Résumé Technique : HOPE – Estimation de la Pression Main-Objet à partir de Vidéos Monoculaires

Énoncé du Problème

Estimer la pression physique à partir d'observations visuelles est crucial pour comprendre les interactions riches en contacts entre la main et l'objet, avec des applications dans la perception égocentrée, la VR/AR et l'apprentissage robotique. Cependant, les méthodes existantes d'estimation de la pression par vision font face à des limitations significatives :

Géométries Contraintes : Les approches antérieures (par exemple, PressureVision, EgoPressure) reposent largement sur des configurations calibrées avec des surfaces planes instrumentées, représentant la pression sous forme de cartes 2D liées à des configurations de capteurs spécifiques.
Manque de Généralisation : Ces méthodes peinent à se généraliser aux interactions main-objet dynamiques et diverses impliquant des objets 3D arbitraires, l'auto-occlusion et des modes de contact variés (ex: saisie, utilisation d'outils).
Décalage de Modalité de Données : Les jeux de données tactiles récents (ex: OpenTouch) fournissent une pression métrique sur la main mais nécessitent des gants tactiles, masquant les indices visuels (déformation de la peau, rides) et créant un écart de domaine entre les données d'entraînement avec gants et les interactions naturelles à mains nues.

Le défi central est d'estimer la pression métrique et le contact directement sur la surface de la main à partir d'une vidéo RGB monoculaire, en se généralisant à travers divers objets et types d'interactions sans dépendre de géométries de capteurs fixes.

Méthodologie : Le Framework HOPE

Les auteurs proposent HOPE, un framework qui formule l'estimation de la pression comme un problème de prédiction vidéo centré sur la main. Le système prédit l'évolution temporelle de la pression normale par sommet et le contact directement sur un maillage de main MANO.

1. Pipeline d'Annotation Unifié

Pour traiter l'hétérogénéité des données disponibles, HOPE élève trois sources de supervision distinctes dans un espace partagé de sommets MANO ( $V=778$ ) :

Pression de Gants Tactiles (OpenTouch) : La pression d'une grille de taxels de 16×16 sur un gant est projetée sur les sommets MANO. Puisque les taxels couvrent plusieurs sommets, les pressions sont agrégées par moyenne et lissées via un filtrage gaussien géodésique.
Pression de Capteur Planaire (PressureVisionDB) : La pression d'un coussinet de capteurs planaires est projetée sur les sommets de la paume d'un maillage MANO reconstruit en utilisant les extrinsèques caméra-coussinet calibrées.
Contact Basé sur la Distance (Jeux de données HOI) : Pour superviser les régions non couvertes par les capteurs (ex: le dos de la main) et combler le fossé vers les interactions à mains nues, les auteurs incorporent des étiquettes de contact binaire provenant de jeux de données comme DexYCB et ARCTIC. Un sommet est étiqueté comme "en contact" si sa distance à la surface de l'objet est inférieure à un seuil ( $\delta_c = 10$ mm).

Cette unification permet d'utiliser conjointement des étiquettes de pression métrique et des données de contact à mains nues étendues, traitant le contact comme un a priori structurel pour la pression.

2. Architecture VertexFormer

Le modèle central est un transformeur vidéo ancré sur les sommets conçu pour raisonner à la fois sur la surface de la main et sur le temps :

Tokenisation :
- Tokens de Patchs : Les images vidéo d'entrée sont encodées à l'aide d'un backbone DINOv3 gelé.
- Tokens de Sommets : Chaque sommet MANO est représenté par un token persistant. Ces tokens sont enrichis de caractéristiques visuelles, de la pose de la main (via HaWoR), de l'orientation globale et de la translation. Crucialement, chaque token inclut un embedding d'identité appris ( $e_v$ ) pour l'ancrer à un index de sommet spécifique, assurant un espace de sortie fixe.
Mécanismes d'Attention :
- Attention Spatiale : Auto-attention intercalée des sommets (propageant les signaux de contact à travers la topologie de la main) et attention croisée Sommet-vers-Patch (affinant les preuves visuelles de la grille d'image).
- Attention Temporelle : Une couche qui agrège les informations sur $T$ images pour chaque sommet, aidant à lever l'ambiguïté des états de charge et à gérer les occultations courtes.
Tête de Pression à Porte de Contact (Contact-Gated Pressure Head) : Le réseau produit deux têtes : une probabilité de contact ( $\hat{c}_t$ ) et une valeur de pression brute ( $\tilde{p}_t$ ). La prédiction finale de la pression est filtrée par la probabilité de contact : $\hat{p}_t = \hat{c}_t \odot \tilde{p}_t$ . Cela impose le principe physique selon lequel la pression doit s'annuler en l'absence de contact, permettant à la supervision de contact seul de régulariser la prédiction de pression.

3. Objectif d'Entraînement

Le modèle est entraîné avec une fonction de perte unifiée combinant l'entropie croisée binaire pour le contact et la perte L1 pour la pression. Pour les échantillons ne possédant que des étiquettes de contact (provenant des jeux de données HOI), la perte de pression est masquée, permettant un entraînement conjoint sur des données hétérogènes.

Principales Contributions

Formulation Centrée sur la Main : Une nouvelle approche représentant la pression et le contact comme des champs par sommet sur le maillage MANO, découplant l'estimation des formes d'objets ou des configurations de capteurs spécifiques.
Supervision Unifiée : Une méthode pour élever la pression des gants tactiles, la pression des capteurs planaires et les annotations de contact basées sur la distance dans un espace de sommets unique, utilisant les données de contact à mains nues comme un a priori structurel pour l'apprentissage de la pression.
Transformeur Ancré sur les Sommets : Un modèle temporel qui traite les sommets comme des tokens persistants, agrégeant les preuves visuelles et de pose au fil du temps, et employant une tête à porte de contact pour imposer la cohérence physique.

Résultats Expérimentaux

Le framework a été évalué sur trois benchmarks : OpenTouch (pression main-objet), PressureVisionDB (pression main-surface) et MOW/ARCTIC (contact dense).

Pression Main-Objet (OpenTouch) : HOPE a surpassé les bases de référence (PressureVision, HACO) tant pour les métriques de contact que de force. Notamment, il a atteint un F1 au niveau du sommet de 0,660 contre presque zéro pour les méthodes planaires et une précision de 0,673 pour le contact, démontrant une localisation spatiale supérieure.
Pression Main-Surface (PressureVisionDB) : Malgré une prédiction dans un espace centré sur la main plutôt que dans l'espace 2D natif du capteur, HOPE a obtenu les erreurs de force les plus faibles au niveau du sommet (MAE : 0,449 kPa, RMSE : 2,314 kPa) par rapport aux méthodes planaires, tout en maintenant une précision de contact par image compétitive.
Généralisation aux Mains Nues : Le modèle s'est généralisé avec succès aux vidéos égocentrées et "in-the-wild" à mains nues, produisant des prédictions de contact et de pression denses malgré un entraînement principalement sur des données de mains gantées.
Études d'Ablation :
- Composition des Données : La combinaison d'OpenTouch (force avec gants), PVDB (force planaire) et HOI (contact à mains nues) a produit la meilleure généralisation inter-domaine.
- Modalités d'Entrée : Le modèle complet utilisant les caractéristiques visuelles, la pose de la main et le contexte temporel a obtenu les meilleures performances, confirmant la nature complémentaire de ces signaux.
- Robustesse : Le système a montré une sensibilité marginale au bruit de reconstruction MANO, maintenant des performances stables même avec des perturbations de pose significatives.

Signification et Revendications

L'article affirme que HOPE représente un changement de paradigme, passant d'une estimation de pression contrainte et spécifique aux capteurs à une approche unifiée centrée sur la main. En unifiant des sources de supervision hétérogènes, le framework permet l'estimation de la pression métrique dans des scénarios où les méthodes antérieures sont inapplicables (ex: objets 3D arbitraires, surfaces non planes).

Les auteurs soulignent que leur méthode produit des prédictions conjointes de contact et de pression qui vont au-delà de la portée des bases de référence de contact seul ou de pression planaire. Bien que la supervision de la pression soit dominée par un seul jeu de données de gants tactiles, l'intégration des données de contact à mains nues permet au modèle de se généraliser aux interactions naturelles. Ce travail établit une base pour le raisonnement physique par vision dans la manipulation main-objet, bien que les auteurs notent des limites concernant les occultations lourdes, le besoin de sources de pression métrique plus larges, et l'accent actuel mis sur la pression normale plutôt que sur les wrenches de contact complets.