💻 computer science

HOPE: Hand-Object Pressure Estimation from Monocular Videos

Het artikel stelt HOPE voor, een nieuw framework dat tijdsafhankelijk evoluerende druk en contact per vertex op een handmesh schat uit monoculaire video's door diverse tactiele en contactgegevens te verenigen in een gedeelde vertexruimte en een vertex-verankerde video-transformer te gebruiken, waardoor robuuste drukschatting voor dynamische hand-objectinteracties mogelijk wordt die de beperkingen van eerdere planaire of single-image methoden overstijgt.

Oorspronkelijke auteurs: Subin Jeon, Byungjun Kim, Hanbyul Joo

Gepubliceerd 2026-08-07

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Subin Jeon, Byungjun Kim, Hanbyul Joo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een goocheltruc kijkt. De goochelaar haalt een konijn uit een hoed, en je ziet de beweging, de kleur van de vacht en de manier waarop de hoed kantelt. Maar je kunt het konijn niet voelen. Je weet niet of de goochelaar het voorzichtig aait of stevig vastknijpt. In de wereld van robots en computers is dit een enorm probleem. We hebben camera's die handen zien grijpen naar objecten kunnen "zien", maar ze zijn blind voor de onzichtbare kracht van een knijpbeweging. Dit veld, computer vision, probeert machines te leren de fysieke wereld te begrijpen, niet alleen het uiterlijk ervan. Een lange tijd konden wetenschappers alleen maar gissen hoe hard een hand drukte als de hand een plat, saai oppervlak zoals een tafel aanraakte, en zelfs dan was het lastig. Maar het echte leven is rommelig. We pakken ronde appels, knijpen in zachte kussens en gebruiken gereedschap. Om robots te bouken die kunnen koken, schoonmaken of ons kunnen helpen in virtuele realiteit, moeten ze niet alleen begrijpen waar een hand iets aanraakt, maar ook hoe hard deze op elk afzonderlijk punt op de huid drukt.

Maak kennis met HOPE (Hand-Object Pressure Estimation), een nieuwe methode die fungeert als een superkrachtige röntgenfoto voor de onzichtbare kracht van een handdruk. In plaats van speciale handschoenen met sensoren of platte drukmatten nodig te hebben, kijkt HOPE naar een gewone video van een hand en raadt de drukkaart direct op de huid zelf. Denk er zo over na: als je hand een 3D-mesh zou zijn gemaakt van 778 kleine, onzichtbare puntjes, vertelt HOPE je precies hoe hard elk puntje tegen een object duwt. De onderzoekers ontdekten dat door video's van handen die sensorthandschoenen dragen (die exacte drukcijfers geven) te combineren met video's van blote handen die dingen aanraken (die contactaanwijzingen geven), ze een computer konden leren om druk te "voelen" zonder ooit iets aan te raken. Ze bewezen dat dit systeem werkt op handschoenen, op platte tafels en zelfs op ongecontroleerde, alledaagse video's van mensen die willekeurige objecten vastpakken, waarbij zowel de plek van het contact als de sterkte van de knijpbeweging wordt voorspeld.

Het Probleen: Zien is niet Voelen

Stel je voor dat je probeert te leren hoe je piano speelt door alleen naar een video van iemands handen te kijken. Je ziet hun vingers bewegen, maar je kunt het gewicht van de toetsen of de druk die nodig is om een geluid te maken niet voelen. Dat is de uitdaging waar computers vandaag de dag voor staan. Ze zijn erg goed in het spotten dat een hand in de buurt van een kopje is, maar ze zijn slecht in het weten of een hand het voorzichtig vasthoudt of op het punt staat het te verpletteren. Eerdere pogingen om dit op te lossen waren als het proberen te meten van het gewicht van een vis door alleen naar een platte schaduw op de muur te kijken. Ze werkten redelijk als de vis op een platte tafel lag, maar zodig snel de vis in een 3D-wereld met krommingen en hoeken sprong, stortten de metingen in. Bovendien hadden de meeste van deze methoden een speciale, logge handschoen met sensoren nodig, wat het uiterlijk en gevoel van de hand verandert, waardoor het moeilijk is toe te passen op echte, blote menselijke handen.

De Oplossing: Een "Universele Vertaler" voor Tast

Het team achter HOPE kwam met een slim idee: stop met het proberen te meten van de druk op het object of de tafel, en meet de druk direct op de hand zelf. Ze behandelden de hand als een digitale kaart met 778 specifieke "controlepunten" (noemen vertices).

Om de computer te leren, gebruikten ze een "universele vertaler"-aanpak. Ze namen gegevens uit drie verschillende bronnen en dwongen hen dezelfde taal te spreken:

De Handschoen-data: Video's van handen die sensorthandschoenen dragen die exacte druk meten (in kilopascal, of kPa). Dit is alsof je een leraar hebt die de exacte wiskunde kent.
De Platte Data: Video's van handen die op platte, met sensoren bedekte tafels drukken. Dit is als een leraar die alleen weet hoe hij op een knop moet drukken.
De Blote Hand-data: Video's van mensen die dingen vastpakken zonder handschoenen, waarbij we alleen weten waar ze hebben aangeraakt, maar niet hoe hard. Dit is als een student die weet waar hij zijn vingers moet plaatsen, maar niet hoeveel kracht hij moet gebruiken.

De magische truc was het "liften" van al deze verschillende soorten data naar dezelfde 778-punts kaart van de hand. Zelfs al dekte de handschoen-data alleen de handpalm en vingertoppen, en de blote hand-data de hele hand, konden ze deze combineren. De blote hand-data fungeerde als een "vangnet" of structurele gids, die de computer leerde dat druk alleen kan plaatsvinden waar er contact is. Als de computer ziet dat een hand een bal aanraakt, weet hij dat er druk moet zijn, zelfs als hij geen specifiek getal heeft voor hoe hard.

Hoe het Werkt: De Tijdreizende Detective

Het brein van HOPE is een speciaal AI-model genaamd een "Vertex-anchored Video Transformer". Stel je dit model voor als een detective die niet alleen naar één foto kijkt, maar de hele film bekijkt.

De Persistente Tokens: Het model behandelt elk van de 778 punten op de hand als een personage dat hetzelfde blijft gedurende de hele video. Zelfs als de hand beweegt, blijft het "karakter" van de duimtop altijd de duimtop.
De Filmkijker: Het bekijkt de video frame voor frame. Het weet dat druk niet instant is; het bouwt zich op. Wanneer een hand een kopje nadert, is er geen druk. Wanneer het de kop aanraakt, begint de druk. Wanneer het knijpt, gaat de druk omhoog. Door de volgorde van gebeurtenissen te bekijken, kan het model de druk beter raden dan wanneer het slechts naar één bevroren beeld zou kijken.
De "Geen Contact, Geen Druk" Regel: Het model heeft een ingebouwde regel: als de hand het object niet aanraakt, moet de druk nul zijn. Dit helpt het om valse signalen te negeren en zich te concentreren op echte interacties.

Wat Ze Vonden

De onderzoekers testten HOPE op verschillende datasets, waaronder de "OpenTouch" dataset (handschoenen), "PressureVisionDB" (platte oppervlakken) en "MOW" (blote handen in de vrije natuur).

Beter dan de Oude Manieren: Op de handschoen-datasets voorspelde HOPE de druk veel nauwkeuriger dan eerdere methoden die probeerden druk te raden vanuit platte afbeeldingen. Het was vooral goed in het exact aanwijzen welk deel van de hand het werk deed.
De Verrassing van de Blote Hand: Ondanks dat het model voornamelijk getraind was op data van handschoenen, kon het succesvol de druk voorspellen op blote handen in alledaagse video's. Dit is een grote zaak omdat het betekent dat het model de fysica van aanraken heeft geleerd, en niet alleen het uiterlijk van een handschoen.
De Kracht van het Mixen van Data: Toen ze het model testten met en zonder de "blote hand-contact" data, ontdekten ze dat het toevoegen van de blote hand-video's het model veel beter maakte in het generaliseren naar nieuwe, onbekende situaties. De contact-data fungeerde als een gids, die het model hielp de vorm van interacties te begrijpen, zelfs wanneer het niet over exacte drukcijfers beschikte.

De Limieten en de Toekomst

Het artikel merkt voorzichtig op dat HOPE niet perfect is. Het vertrouwt op een apart hulpmiddel om eerst de vorm van de hand te bepalen; als dat hulpmiddel in de war raakt (bijvoorbeeld wanneer de hand achter een object verborgen is), kan HOPE ook in de war raken. Ook voorspelt het model momenteel alleen de kracht die recht naar het object duwt (normale druk), en niet de schuivende of draaiende krachten. En hoewel het goed werkt, heeft het nog steeds meer diverse data nodig om elke mogelijke vorm van objecten in de wereld aan te kunnen.

Echter, de resultaten suggereren een veelbelovend pad voorwaarts. Door druk te behandelen als een eigenschap van de hand zelf, in plaats van het object, en door verschillende soorten leerdata te mengen, brengt HOPE ons een stap dichter bij robots die de wereld echt kunnen "voelen", en niet alleen zien. Het is een stap naar machines die een rijpe tomaat kunnen oppakken zonder deze te pletten, of een mens kunnen helpen bij een delicate taak, alles door simpelweg een video te bekijken.

Technische Samenvatting: HOPE – Hand-Object Drukvermelding uit Monoculaire Video's

Probleemstelling

Het schatten van fysieke druk op basis van visuele observaties is cruciaal voor het begrijpen van contactrijke interacties tussen hand en object, met toepassingen in egocentrische perceptie, VR/AR en robotleren. Bestaande visuele methoden voor drukvermelding kampen echter met aanzienlijke beperkingen:

Beperkte Geometrieën: Eerdere benaderingen (bijv. PressureVision, EgoPressure) vertrouwen grotendeels op gekalibreerde instellingen met geïnstrumenteerde vlakke oppervlakken, waarbij druk wordt gerepresenteerd als 2D-kaarten die gebonden zijn aan specifieke sensorlay-outs.
Gebrek aan Generalisatie: Deze methoden hebben moeite met het generaliseren naar dynamische, diverse hand-object interacties waarbij willekeurige 3D-objecten, zelf-occlusie en variërende contactmodi (bijv. grijpen, gereedschapsgebruik) betrokken zijn.
Mismatch in Datamodaliteit: Recente tactiele datasets (bijv. OpenTouch) bieden metrische druk op de hand, maar vereisen tactiele handschoenen, wat visuele cues (huidvervorming, rimpels) maskeert en een domeingap creëert tussen gloved trainingsdata en natuurlijke interacties met blote handen.

De kernuitdaging is het schatten van metrische druk en contact direct op het handoppervlak vanuit een monoculaire RGB-video, waarbij gegeneraliseerd wordt over diverse objecten en interactietypes zonder afhankelijk te zijn van vaste sensorgeometrieën.

Methodologie: HOPE Framework

De auteurs stellen HOPE voor, een framework dat drukvermelding formuleert als een hand-gecentreerd videovoorspellingsprobleem. Het systeem voorspelt tijdelijk evoluerende per-vertex normale druk en contact direct op een MANO-handmesh.

1. Unified Annotation Pipeline

Om de heterogeniteit van beschikbare data aan te pakken, tilt HOPE drie verschillende supervisiebronnen naar een gedeelde MANO-vertexruimte ( $V=778$ ):

Tactile-Glove Pressure (OpenTouch): Druk van een 16×16 taxel-grid op een handschoen wordt gemapt naar MANO-vertices. Omdat taxels meerdere vertices beslaan, wordt de druk geaggregeerd via middeling en gladgestreken met een geodesische Gaussische filtering.
Planar-Sensor Pressure (PressureVisionDB): Druk van een vlakke sensel-pad wordt geprojecteerd op de palm-vertices van een gereconstrueerde MANO-mesh met behulp van gekalibreerde camera-naar-pad extrinsieken.
Distance-Based Contact (HOI Datasets): Om regio's te superviseren die niet door sensoren worden gedekt (bijv. de rug van de hand) en om de kloof naar interacties met blote handen te overbruggen, integreren de auteurs binaire contactlabels uit datasets zoals DexYCB en ARCTIC. Een vertex wordt gelabeld als "in contact" als de afstand tot het objectoppervlak onder een drempelwaarde ( $\delta_c = 10$ mm) ligt.

Deze unificatie maakt het mogelijk om metrische druklabels en brede contactdata van blote handen gezamenlijk te gebruiken, waarbij contact wordt behandeld als een structurele prior voor druk.

2. VertexFormer Architectuur

De kern van het model is een vertex-verankerde video transformer die ontworpen is om zowel over het handoppervlak als over de tijd te redeneren:

Tokenisatie:
- Patch Tokens: Invoerframes worden gecodeerd met behulp van een bevroren DINOv3 backbone.
- Vertex Tokens: Elke MANO-vertex wordt gerepresenteerd als een persistente token. Deze tokens worden verrijkt met visuele kenmerken, handhouding (vanuit HaWoR), globale oriëntatie en translatie. Cruciaal is dat elke token een geleerde identiteit-embedding ( $e_v$ ) bevat om deze te verankeren aan een specifieke vertex-index, wat een vaste outputruimte garandeert.
Aandachtsmechanismen:
- Spatial Attention: Interleaved Vertex Self-Attention (die contactsignalen over de handtopologie verspreidt) en Vertex-to-Patch Cross-Attention (voor het verfijnen van visueel bewijs uit het beeldraster).
- Temporal Attention: Een laag die informatie aggregeert over $T$ frames voor elke vertex, wat helpt bij het onderscheiden van belastingsstaten en het afhandelen van korte occlusies.
Contact-Gated Pressure Head: Het netwerk heeft twee heads: een contactwaarschijnlijkheid ( $\hat{c}_t$ ) en een ruwe drukwaarde ( $\tilde{p}_t$ ). De uiteindelijke drukvoorspelling wordt afgeschermd door de contactwaarschijnlijkheid: $\hat{p}_t = \hat{c}_t \odot \tilde{p}_t$ . Dit dwingt de fysieke prior af dat druk moet verdwijnen bij afwezigheid van contact, waardoor contact-alleen supervisie de drukvoorspelling kan reguleren.

3. Trainingsdoelstelling

Het model wordt getraind met een uniforme verliesfunctie die binary cross-entropy voor contact combineert met L1-loss voor druk. Voor samples met enkel contactlabels (uit HOI-datasets) wordt de drukverlies gemaskeerd, wat gezamenlijke training op heterogene data mogelijk maakt.

Belangrijkste Bijdragen

Hand-Centric Formulering: Een nieuwe benadering waarbij druk en contact worden gerepresenteerd als per-vertex velden op de MANO-mesh, waardoor de schatting wordt ontkoppeld van specifieke objectvormen of sensorlay-outs.
Unified Supervision: Een methode om tactiele handschoen-druk, vlakke sensor-druk en afstand-gebaseerde contactannotaties naar een enkele vertexruimte te tillen, waarbij contactdata van blote handen worden gebruikt als een structurele prior voor het leren van druk.
Vertex-Anchored Transformer: Een temporeel model dat vertices behandelt als persistente tokens, visuele en pose-bewijslast over de tijd aggregeert en een contact-gated head gebruikt om fysieke consistentie af te dwingen.

Experimentele Resultaten

Het framework werd geëvalueerd op drie benchmarks: OpenTouch (hand-object druk), PressureVisionDB (hand-oppervlak druk) en MOW/ARCTIC (dense contact).

Hand-Object Pressure (OpenTouch): HOPE presteerde beter dan de baselines (PressureVision, HACO) op zowel contact- als krachtmetingen. Opvallend genoeg bereikte het een vertex-niveau F1 van 0.660 vergeleken met bijna nul voor vlakke methoden en 0.673 precisie voor contact, wat een superieure ruimtelijke lokalisatie aantoont.
Hand-Surface Pressure (PressureVisionDB): Ondanks het feit dat er in een hand-gecentreerde ruimte wordt voorspeld in plaats van de natuurlijke 2D-ruimte van de sensor, behaalde HOPE de laagste vertex-niveau fouten in kracht (MAE: 0.449 kPa, RMSE: 2.314 kPa) vergeleken met vlakke methoden, terwijl het concurrerende frame-niveau contactnauwkeurigheid behield.
Generalisatie naar Blote Handen: Het model slaagde erin te generaliseren naar video's met blote handen (egocentrisch en in het wild), waarbij het dichte contact- en drukvoorspellingen produceerde ondanks dat het primair getraind was op data met handschoenen.
Ablatie-studies:
- Data Compositie: Het combineren van OpenTouch (gloved force), PVDB (planar force) en HOI (bare-hand contact) leverde de beste cross-domein generalisatie op.
- Input Modalities: Het volledige model dat gebruikmaakt van visuele kenmerken, handhouding en temporele context behaalde de beste prestaties, wat de complementaire aard van deze signalen bevestigt.
- Robuustheid: Het systeem vertoonde slechts marginale gevoeligheid voor MANO-reconstructieruis en behield een stabiele prestatie, zelfs bij aanzienlijke pose-perturbaties.

Betekenis en Claims

Het artikel beweert dat HOPE een verschuiving vertegenwoordigt van beperkte, sensor-specifieke drukvermelding naar een verenigde, hand-gecentreerde benadering. Door heterogene supervisiebronnen te verenigen, stelt het framework metrische drukvermelding mogelijk in scenario's waar voorheen ongeschikte methoden (bijv. willekeurige 3D-objecten, niet-vlakke oppervlakken).

De auteurs benadrukken dat hun methode gezamenlijke contact- en drukvoorspellingen produceert die verder gaan dan de reikwijdte van contact-alleen of vlakke-druk baselines. Hoewel de druksupervisie wordt gedomineerd door een enkele tactiele handschoen-dataset, maakt de integratie van contactdata van blote handen het model in staat om te generaliseren naar natuurlijke interacties. Het werk legt een fundament voor visuele fysieke redenering bij hand-object manipulatie, hoewel de auteurs beperkingen noemen met betrekking tot zware occlusie, de noodzaak voor bredere bronnen van metrische druk, en de huidige focus op normale druk in plaats van volledige contactkrachten (wrenches).