💻 computer science

KPGrasp: Scalable Keypoint Flow Matching for Dexterous Grasp Generation

KPGrasp introduceert een schaalbaar flow-matching-framework dat hoogwaardige gracieuze grepen genereert door een volledig Euclidische 3D hand-keypoint parametrisatie te koppelen aan een Transformer-model, waarmee het de state-of-the-art prestaties bereikt op simulatiebenchmarks en succesvolle real-world implementatie zonder afhankelijk te zijn van contactverliezen of test-time verfijning.

Oorspronkelijke auteurs: Yuansen Huang, Jiayi Chen, Haoran Liu, Yubin Ke, Bing Han, Jiangran Lyu, Mi Yan, Li Yi, He Wang

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuansen Huang, Jiayi Chen, Haoran Liu, Yubin Ke, Bing Han, Jiangran Lyu, Mi Yan, Li Yi, He Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotarm leert om een koffiemok, een teddybeer of een vreemd gevormde vaas op te pakken. Lange tijd hadden robots hier moeite mee omdat hun "hersenen" probeerden een wiskundig probleem op te lossen dat veel te ingewikkeld was. Ze probeerden de exacte hoek van elk enkel vingergewricht en de exacte 3D-positie van de pols tegelijkertijd te berekenen, terwijl ze ook nog moesten letten op het niet pletten van het object. Het was alsof je een auto probeerde te besturen terwijl je tegelijkertijd een complexe calculusvergelijking oploste en een stapel borden in evenwicht hield.

Het artikel introduceert KPGrasp, een nieuwe manier om robots te leren hoe ze dingen moeten pakken. In plaats van de robot zware wiskunde te laten doen, leert KPGrasp de robot om de vorm van een hand op een veel eenvoudigere, meer intuïtieve manier te "zien".

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. De oude manier: De "door elkaar gehusselde" handleiding

Voorheen, wanneer een robot iets moest pakken, kreeg hij een verwarrende handleiding. Hij moest twee verschillende dingen tegelijkertijd uitzoeken:

De Pols: Waar bevindt de hand zich in de ruimte? (Dit is lastig omdat rotatie wiskundig gezien "hobbelig" is).
De Vingers: Hoe gebogen moet elke vinger zijn?

Dit is als het bakken van een cake waarbij je wordt verteld: "Draai de oven 45 graden met de klok mee, voeg dan 2,5 kopjes bloem toe, en draai de oven daarna 10 graden tegen de klok in." De instructies spreken verschillende "talen" (rotatie versus rechte lijnen), wat het voor de robot moeilijk maakt om het patroon te leren. Als de robot een kleine fout maakt met de rotatie van de pols, eindigt de hele hand op de verkeerde plek en kunnen de vingers tegen het object botsen.

2. De nieuwe manier: De "punt-op-lijn" tekening

KPGrasp verandert het spel. In plaats van de robot complexe rotatiehoeken te geven, vertelt het de robot simpelweg om punten in de 3D-ruimte te plaatsen.

Stel je voor dat je een plaatje van een hand hebt. In plaats van de hoeken van de gewrichten te beschrijven, plaats je gewoon een stip op de top van de duim, een stip op de top van de pink en een paar stippen op de handpalm.

De Magie: Deze punten bestaan in de normale, rechte ruimte (Euclidische ruimte). Het is voor een computer veel gemakkelijker om te leren hoe hij punten in de ruimte verplaatst dan om te leren hoe hij een pols moet roteren.
Het Resultaat: De robot leert deze punten precies te plaatsen waar ze moeten zijn om het object perfect te omhelzen. Zodra de punten zijn geplaatst, bepaalt een eenvoudige "vertaler" (genaamd Inverse Kinematics) direct welke vingerhoeken nodig zijn om bij die punten te passen.

3. Het "Flow" Model: Leren van een enorme bibliotheek

Hoe leert de robot waar hij deze punten moet plaatsen?

De Oude Manier: Onderzoekers moesten strikte regels schrijven (zoals "raak het object niet te hard aan" of "laat de vingers niet door het object heen gaan"). Als de regels te streng waren, bevroor de robot. Als ze te los waren, plette de robot het object. Het was een constante strijd om de "knoppen af te stellen".
De KPGrasp-manier: De onderzoekers voedden de robot met een enorme bibliotheek van 9,5 miljoen succesvolle grepen. Ze gebruikten een techniek genaamd Flow Matching.
- Analogie: Stel je een rivier voor die stroomt van een chaotische oceaan (willekeurige ruis) naar een kalm, georganiseerd meer (een perfecte greep). De robot leert de "stroming" van deze rivier. Hij begint met een willekeurige gok en volgt de stroom totdat hij landt op een perfecte greep.
- Omdat de robot van zoveel voorbeelden heeft geleerd, heeft hij geen strikte regels of "afstelschroeven" nodig. Hij weet gewoon hoe een goede greep eruit ziet, omdat hij miljoenen van die grepen heeft gezien.

4. De Resultaten: Snel, Nauwkeurig en Echt

Het artikel testte deze nieuwe methode tegen de beste bestaande robots:

Succespercentage: In een zware test genaamd "Dexonomy" slaagde KPGrasp in 76,3% van de gevallen. De op één na beste robot slaagde slechts ongeveer 29% van de tijd. Dat is een enorme sprong.
Niet Pletten: De robot raakte de objecten nauwelijks aan (de penetratiediepte was slechts 2,4 mm), wat betekent dat hij de objecten niet plette of samendrukte.
Snelheid: Het is ongelooflijk snel. Het kan een greep genereren in slechts 0,032 seconden. De oude methoden die probeerden hun fouten te "corrigeren" nadat ze waren gegenereerd, duurden ongeveer 2,8 seconden. KPGrasp is ongeveer 87 keer sneller.
De Werkelijkheid: Ze testten het op een echte robotarm met een echte camera. Zelfs toen de camera slechts één kant van het object zag (en dus geen perfecte 3D-scan had), slaagde de robot nog steeds in 83% van de gevallen.

Samenvatting

KPGrasp is als het aanleren van het grijpen aan een robot door hem een miljoen foto's van succesvolle grepen te laten zien en hem te vragen om de "punten te verbinden" op een hand, in plaats van hem te dwingen complexe meetkundige vergelijkingen op te lossen. Door de taal die de robot spreekt te vereenvoudigen (door punten te gebruiken in plaats van hoeken) en hem een enorme dieet van goede voorbeelden te voeren, leert de robot om bijna alles snel en voorzichtig te pakken, zonder dat een mens constant de instellingen hoeft bij te stellen.

Technische Samenvatting: KPGrasp: Schaalbare Keypoint Flow Matching voor Dexterous Grasp Generation

Probleemstelling

Het genereren van hoogwaardige dexterous grasps (behendige grijpbewegingen) blijft een aanzienlijke uitdaging voor lerende methoden. Traditionele benaderingen vertrouwen vaak op zorgvuldig afgestemde contactverliezen, natuurkundige doelstellingen of kostbare contactgebaseerde verfijning tijdens de testtijd om de stabiliteit van de grasp te waarborgen. Deze componenten erven nadelen van analytische methoden, zoals breekbare parameterafstemming, trage inferentie en het potentieel om grasps te genereren met grote penetraties of slechte stabiliteit. Bovendien introduceren bestaande lerende methoden frequent expliciete natuurkundige priors (bijv. contactstraffen, discriminatoren) in de trainings- of inferentiepipeline, wat de vraag oproept of grootschalige, hoogwaardige data impliciet voldoende grasp-priors kan bieden zonder dergelijke handmatig ontworpen elementen.

Daarnaast vormt de standaard output-parametrisatie voor dexterous grasps—een hybride tuple van een niet-Euclidische SE(3) polspositie en Euclidische gewrichtshoeken—een uitdaging voor schaalbare generatieve modellering. Deze "pose-joint" representatie introduceert manifold-discontinuïteiten (specifiek in SO(3)), leidt tot kinematische foutaccumulatie langs de kinematische keten en vereist complexe loss-balancering tussen gemengde output-ruimtes.

Methodologie

De auteurs stellen KPGrasp voor, een flow-matching framework dat dexterous grasp-priors direct leert van grootschalige offline gesynthetiseerde data, waardoor expliciete contactverliezen of verfijning tijdens de testtijd overbodig worden. De methode is gebouwd op twee kerninnovaties:

1. All-Euclidean 3D Hand-Keypoint Parametrisatie

In plaats van een polspositie en gewrichtshoeken te voorspellen, voorspelt KPGrasp een set 3D hand-keypoints ( $K \in \mathbb{R}^{J \times 3}$ ) direct in hetzelfde coördinatensysteem als de invoer object-pointcloud.

Definitie: Voor de Shadow Hand zijn $J=21$ keypoints gedefinieerd, gelokaliseerd bij mechanische gewrichten, vingertoppen en vijf punten op de rigide handpalm (centrum en vier vingerwortels).
Voordelen: Deze representatie plaatst de hand-output volledig in de Euclidische ruimte, wat natuurlijk aansluit bij object-pointclouds en ruimtelijk redeneren mogelijk maakt. Het vermijdt SO(3)-discontinuïteiten en stelt het netwerk in staat om over ruimtelijke nabijheid te redeneren tijdens de interactie tussen hand en object.
Conversie: Tijdens de training worden labels afgeleid door forward kinematics toe te passen op standaard pose-joint grasps. Tijdens de inferentie worden de voorspelde keypoints teruggeconverteerd naar uitvoerbare robotcommando's: handpalm-keypoints bepalen de polspositie ( $R, t$ ) via SVD-gebaseerde rigide registratie, en gewrichtshoeken ( $\theta$ ) worden hersteld met behulp van een standaard inverse kinematics (IK) solver. Deze IK-stap projecteert de keypoints op de kinematische manifold zonder te optimaliseren voor contact of penetratie.

2. Schaalbare Transformer Flow Model

KPGrasp gebruikt een conditioneel Transformer-gebaseerd flow-model om de grasp-distributie te leren.

Architectuur: Het model gebruikt een Diffusion Transformer (DiT) backbone. De invoer object-pointcloud wordt verwerkt door een MinkUNet om geometrie-tokens te generen. Ruisende hand-keypoints worden als tokens ingebed. Het netwerk wisselt af tussen keypoint self-attention (modellering van de handstructuur) en object-geconditioneerde cross-attention (uitlijning van de handgeometrie met het objectoppervlak).
Trainingsdoelstelling: Het model wordt uitsluitend getraind met de standaard Flow Matching (FM) loss, die de afstand minimaliseert tussen het voorspelde snelheidveld en de conditionele snelheid van het datapad. Er worden geen hulpmatige contactverliezen, discriminatoren of natuurkundige straffen gebruikt.
Inferentie: Samples worden gegenereerd door de geleerde Ordinary Differential Equation (ODE) op te lossen via Euler-integratie. Om kwalitatief hoogwaardige grasps te selecteren, maakt het model gebruik van de hanteerbare likelihood van de Continuous Normalizing Flow (CNF), geschat via de Hutchinson trace estimator, om kandidaten te rangschikken zonder externe evaluatoren.

Belangrijkste Bijdragen

KPGrasp Framework: Een dexterous grasp generator die grasp-priors direct leert van grootschalige data zonder contactverliezen of contactgebaseerde verfijning tijdens de testtijd.
Keypoint Parametrisatie: De introductie van een volledig Euclidische 3D hand-keypoint outputruimte, ter vervanging van de conventionele hybride SE(3) pose en gewrichtshoek representatie om schaalbare generatieve leerprocessen te faciliteren.
Schaalbaar Flow Model: Een Transformer-gebaseerd flow-model dat effectief schaalt met datasetgrootte, modelcapaciteit en batchgrootte onder een standaard flow-matching doelstelling.
Empirische Validatie: Demonstratie van state-of-the-art (SOTA) prestaties op simulatiebenchmarks en succesvolle implementatie in real-world experimenten.

Experimentele Resultaten

Simulatie Benchmarks

Dexonomy Benchmark: KPGrasp behaalde een Grasp Success Rate (GSR) van 76,3%, waarmee het de sterkst vergelijkbare baseline (Dexonomy zonder classifier) met 47,4 procentpunten versloeg. Het overtrof ook de classifier-gebaseerde Dexonomy variant (63,9% GSR) zonder extra gegenereerde trainingsdata nodig te hebben. Cruciaal was dat het de gemiddelde penetratiediepte verminderde tot 2,4 mm en een Object Success Rate (OSR) van 97,3% bereikte.
DexGrasp Anything Benchmark: Zonder fine-tuning behaalde het model dat getraind is op Dexonomy de beste gemiddelde succesrate (63,8%) en laagste gemiddelde penetratiediepte (12,9 mm) over vijf diverse objectsets, wat een sterke generalisatie aantoont.

Ablatie Studies

Parametrisatie: De keypoint-parametrisatie presteerde significant beter dan pose-joint varianten (zowel Euclidische als SE(3) flow), wat bevestigt dat de Euclidische representatie superieur is voor deze taak.
Tokenisatie: De prestatiewinst werd toegeschreven aan het multi-token redeneervermogen van de keypoint-representatie; pose-joint outputs behaalden dit voordeel niet, zelfs niet met een hoger aantal tokens.
Likelihood Ranking: Het gebruik van de flow-likelihood om kandidaten te rangschikken verbeterde de GSR van 67,0% naar 76,3%, wat de likelihood score valideert als een effectieve selectiemetriek.
Scaling: De prestaties verbeterden consistent met toenames in datasetgrootte, modelcapaciteit (aantal DiT blocks) en batchgenschap.

Efficiëntie en Real-World Implementatie

Inferentiesnelheid: KPGrasp vereist slechts 0,032 seconden per grasp tijdens gebatchte inferentie (inclusief sampling, ranking en IK), wat ongeveer 87 keer sneller is dan DexGrasp Anything (2,8s) en een throughput biedt van ~24 geldige grasps per seconde per GPU.
Real-World Experimenten: Getest op 20 diverse objecten met een Galbot-platform met een Shadow Hand en een single-view pointcloud setup. De pipeline behaalde een succesrate van 83% (83/100 pogingen) zonder de kernarchitectuur te finetunen, hoewel er een gevoeligheid werd opgemerkt voor kleine verstoringen in de objectpositie.

Betekenis en Claims

Het artikel claimt dat KPGrasp aantoont dat grootschalige, hoogwaardige data impliciet voldoende grasp-priors kan leveren voor het leren, waardoor expliciete natuurkundige doelstellingen en verfijning tijdens de testtijd overbodig worden. Door over te stappen naar een volledig Euclidische keypoint-parametrisatie, tonen de auteurs aan dat dexterous grasp generatie kan worden geformuleerd als een zuiver Euclidisch leerprobleem dat compatibel is met schaalbare Transformer-architecturen. De resultaten suggereren dat deze aanpak niet alleen superieure prestaties levert in termen van succesrate en penetratiediepte, maar ook aanzienlijke voordelen biedt in inferentiesnelheid en schaalbaarheid vergeleken met eerdere methoden die vertrouwen op complexe loss-tuning of iteratieve verfijning. De auteurs positioneren KPGrasp als een stap richting efficiënte, datagedreven dexterous manipulatie die de broosheid van analytische methoden en de computationele overhead van physics-guided inferentie vermijdt.