💻 computer science

Rodrigues Network for Learning Robot Actions

Dit artikel introduceert RodriNet, een nieuw neuraal netwerk dat de klassieke Rodrigues-operator generaliseert om kinematische inductieve bias in te bouwen, wat leidt tot verbeterde robotactie-voorspelling en nabootsingslering in vergelijking met standaardarchitecturen.

Oorspronkelijke auteurs: Jialiang Zhang, Haoran Geng, Yang You, Congyue Deng, Pieter Abbeel, Jitendra Malik, Leonidas Guibas

Gepubliceerd 2026-04-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jialiang Zhang, Haoran Geng, Yang You, Congyue Deng, Pieter Abbeel, Jitendra Malik, Leonidas Guibas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotarm wilt leren om een kop koffie van de tafel naar je mond te brengen. Of dat je wilt dat een computer een foto van een hand ziet en precies weet hoe elke vinger gebogen is. Dit klinkt als magie, maar voor computers is het eigenlijk heel lastig. Waarom? Omdat robots en menselijke handen gearticuleerd zijn. Dat betekent: ze bestaan uit stukken (zoals botten of metalen armen) die aan elkaar hangen via gewrichten (zoals ellebogen of knokkels).

Als je een gewone computerprogramma (zoals een standaard "MLP" of "Transformer") vraagt om dit te leren, gedraagt het zich alsof het een kind is dat probeert een puzzel op te lossen zonder te weten dat de stukjes aan elkaar vastzitten. Het ziet de elleboog en de handpalm als twee losse, willekeurige punten. Het moet alles van nul af leren, wat veel tijd kost en vaak fouten oplevert.

De auteurs van dit paper (uit ICLR 2026) zeggen: "Waarom laten we de computer niet gewoon weten hoe een robot of een hand werkt?"

Ze hebben een nieuwe manier bedacht om dit te doen, genaamd de Rodrigues Network (of RodriNet). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Geheim: De "Rodrigues Formule"

In de oude, klassieke robotica bestaat er een wiskundige formule (de Rodrigues' rotation formula). Deze formule is als een recept dat precies vertelt: "Als je dit gewricht 30 graden draait, beweegt de hand dan precies naar hier."

Het probleem is dat dit recept star is. Het werkt alleen voor perfecte robots in een perfecte wereld. Als je een robot wilt leren om te voelen of te voorspellen in een chaotische wereld, is dit starre recept te stijf.

2. De Oplossing: Een Leerbaar Recept

De auteurs hebben een slimme truc bedacht. Ze hebben dat starre recept omgebouwd tot een leerbaar recept.

Stel je voor dat je een bakker bent:

De oude manier: Je hebt een receptboekje met vaste maten. Je kunt geen suiker of bloem toevoegen. Als het cakeje mislukt, is het je eigen schuld, maar je kunt het recept niet aanpassen.
De nieuwe manier (Rodrigues Network): Je hebt een receptboekje, maar de maten zijn geschreven met verwijderbare post-its. Je kunt de hoeveelheid suiker of bloem aanpassen terwijl je bakt.

In hun systeem noemen ze dit de Neural Rodrigues Operator. In plaats van vaste wiskundige getallen te gebruiken, gebruiken ze "leerbare gewichten". Het systeem leert zelf welke "maten" (of parameters) het beste werken voor de specifieke taak, maar het houdt wel de structuur van het recept vast. Het weet nog steeds dat als je de elleboog beweegt, de hand meebeweegt.

3. De Robot als een Familie (De Netwerkstructuur)

Het hele netwerk is opgebouwd als een familieboom:

De Ouders (Linken): De grote stukken van de robot (de schouder, de bovenarm).
De Kinderen (Gewrichten): De verbindingen die bewegen.
De Boodschapper: In hun netwerk sturen de "ouders" en "kinderen" voortdurend boodschappen naar elkaar. Als de schouder beweegt, vertelt hij dat direct aan de onderarm.

Dit is heel anders dan een standaard AI, die vaak alles door elkaar gooit en hoopt dat het patroon eruit springt. Hier is de structuur ingebouwd. Het is alsof je een kind leert fietsen door het wiel aan de fiets te laten zien, in plaats van het kind blindelings op een fiets te zetten en te hopen dat het balanceert.

4. Wat kunnen ze ermee?

De auteurs hebben getest of dit werkt in drie verschillende situaties:

De "Speelgoed" Test: Ze gaven de robot een simpele taak: "Beweg mijn hand van punt A naar punt B." De nieuwe robot deed dit veel sneller en nauwkeuriger dan de oude methoden. Het was alsof de robot eindelijk de logica van zijn eigen lichaam begreep.
De Robot in de Werkplaats: Ze gebruikten het om een robotarm te leren om blokjes te pakken en te stapelen (imitatie learning). De robot met de nieuwe "Rodrigues Network" achtergrond was beter in het leren van deze taken dan robots met standaard software. Het maakte minder fouten en leerde sneller.
De Hand in de Foto: Ze pasten het ook toe op menselijke handen. Als je een foto van een hand maakt, kan dit systeem precies voorspellen hoe de vingers gebogen zijn, zelfs als de hand deels verborgen is. Dit is heel nuttig voor virtual reality of animatie.

Waarom is dit belangrijk?

Vroeger probeerden we robots te leren door ze te laten "gissen" met enorme rekenkracht, net als een kind dat duizenden keren valt voordat het leert lopen.

Met de Rodrigues Network geven we de robot een intuïtie. We zeggen: "Je bent een robot met gewrichten. Weet dat als je dit doet, dat gebeurt." Door deze kennis in de basis van het brein van de robot te stoppen, hoeft het niet alles van nul af te leren. Het is efficiënter, sneller en maakt minder fouten.

Kortom: Ze hebben een manier gevonden om de wiskunde van beweging te "hackeren" zodat AI-systemen het lichaam van een robot (of een mens) niet als een verzameling losse onderdelen zien, maar als één samenhangend geheel. En dat maakt robots slimmer en menselijker.

Probleemstelling

Het begrijpen en voorspellen van gearticuleerde acties (zoals die van robots of geanimeerde personages) is cruciaal voor robotleren. Gearticuleerde systemen bestaan uit meerdere roterende gewrichten die bewegende schakels met elkaar verbinden. Hun acties (posities, bewegingen of besturingscommando's) zijn inherent gestructureerd door de kinematica van deze systemen.

Bestaande architecturen, zoals MLP's (Multi-Layer Perceptrons) en Transformers, behandelen deze acties vaak als ongestructureerde tokens. Hierdoor missen ze de inductieve bias die nodig is om de onderliggende kinematische relaties tussen gewrichten en schakels te begrijpen. Hoewel eerdere werken gebruik hebben gemaakt van grafconvoluties of gemaskeerde aandacht om connectiviteit te modelleren, worden de specifieke rekenpatronen van voorwaartse kinematica (forward kinematics) niet direct benut in de netwerkarchitectuur. De centrale vraag is: Kunnen we een neurale netwerkbouwen die gearticuleerde kinematica als inductieve bias inbedt?

Methodologie

De auteurs introduceren de Neural Rodrigues Operator en het daarop gebaseerde Rodrigues Network (RodriNet).

1. Neural Rodrigues Operator

De kern van de methode is een leerbaar generalisatie van de klassieke Rodrigues' rotatieformule uit de robotbesturing.

Classische basis: De Rodrigues-formule berekent een rotatiematrix $R(\hat{\omega}, \theta)$ op basis van een rotatieas $\hat{\omega}$ en een hoek $\theta$ . De formule is een lineaire combinatie van $1$, $\cos(\theta)$ en $\sin(\theta)$ met vaste coëfficiënten die afhangen van de robotstructuur.
Neurale extensie: De auteurs vervangen de vaste coëfficiënten door leerbare gewichten ( $W_{bias}, W_{cos}, W_{sin}$ ). De gewrichtshoek $\theta$ wordt veralgemeend tot een abstracte feature $\Theta$ .
Formule: De transformatie wordt herschreven als:
$F_{out} = F_{in} (W_{bias} + W_{cos} \cos(\Theta) + W_{sin} \sin(\Theta))$
Hierbij zijn $F_{in}$ en $F_{out}$ features van respectievelijk de ouder- en kind-schakel.
Multi-channel: De operator wordt uitgebreid naar multi-channel features (hoge dimensie) en ondersteunt zowel linkse als rechtse vermenigvuldiging voor meer expressiviteit.

2. Rodrigues Network (RodriNet) Architectuur

Op basis van deze operator wordt een volledig netwerk ontworpen dat bestaat uit herhaalde Rodrigues Blocks. Elke block bevat drie lagen:

Rodrigues Layer: Verwerkt informatie van gewrichten naar schakels (links) door de kinematische boom te traverseren. Dit injecteert de kinematische bias.
Joint Layer: Verwerkt informatie van schakels terug naar de gewrichten, waardoor gewrichtsspecifieke informatie kan worden bijgewerkt.
Self-Attention Layer: Zorgt voor globale informatie-uitwisseling tussen alle schakels en een optionele "global token" (voor taakvariabelen zoals perceptie-invoer), ongeacht de ruimtelijke afstand.

Dit ontwerp combineert de structurele bias van klassieke robotica met de expressiviteit van moderne diepe neurale netwerken.

Belangrijkste Bijdragen

Neural Rodrigues Operator: Een nieuw, leerbaar operator dat de klassieke Rodrigues-formule transformeert tot een neurale bouwsteen die kinematische structuur direct in de netwerkberekening integreert.
RodriNet Architectuur: Een gespecialiseerd netwerk voor het verwerken van gearticuleerde acties, dat uitperft boven standaard backbones door inductieve bias te gebruiken in plaats van deze te laten leren uit data.
Brede Toepasbaarheid: De methode wordt succesvol toegepast op zowel robotica (imitatie-leren) als computergraphics (3D handherconstructie), wat aantoont dat de kinematische prior universeel is voor gearticuleerde systemen.

Resultaten

De auteurs evalueren hun methode in drie experimentele settings:

Synthetische Taken (Kinematica en Beweging):
- Forward Kinematics Fitting: RodriNet bereikte een aanzienlijk lagere MSE (Mean Squared Error) dan MLP, GCN, Transformer en Body Transformer bij het voorspellen van de pose van robotlinken op basis van gewrichtshoeken. Het convergeerde sneller en had minder parameters nodig.
- Cartesiaanse Bewegingsvoorspelling: Bij het voorspellen van toekomstige gewrichtshoeken op basis van een traject in de 3D-ruimte, overtrof RodriNet alle baselines significant. Het model generaliseerde beter en vertoonde minder overfitting, zelfs bij kleinere datasetgroottes.
Robotica: Imitatie-leren (Diffusion Policy):
- RodriNet werd geïntegreerd als backbone in de Diffusion Policy voor vijf manipulatietaakken (PushCube, PickCube, StackCube, PegInsertionSide, PlugCharger) in de ManiSkill-benchmark.
- Het bereikte state-of-the-art prestaties met een gemiddelde succesratio van 61%, vergeleken met 44% voor Transformer-DP en 58% voor UNet-DP. De verbeteringen waren het grootst bij complexe taken zoals het stapelen van blokken en het oppakken van objecten.
Computer Vision: 3D Handherconstructie:
- De methode werd toegepast op de FreiHand-dataset voor het reconstrueren van 3D-handposities uit enkele RGB-afbeeldingen (gebaseerd op het MANO-model).
- RodriNet verbeterde de bestaande state-of-the-art (HaMeR) aanzienlijk, met een PA-MPJPE van 5.9 mm (vs 6.0 mm bij HaMeR) en een PA-MPVPE van 5.6 mm, terwijl het model tegelijkertijd 73% minder parameters had (10.7M vs 39.5M).

Betekenis en Conclusie

Dit paper markeert een verschuiving in robotleren: van het toepassen van algemene architecturen (ontworpen voor taal of beelden) naar het ontwerpen van actie-gerichte netwerken die de fysieke en kinematische realiteit van robots respecteren.

Structuur als Bias: Het bewijst dat het inbedden van fysieke wetten (zoals de Rodrigues-formule) als inductieve bias in de architectuur leidt tot betere data-efficiëntie, snellere convergentie en superieure generalisatie.
Universeel: De succesvolle toepassing op zowel robots als menselijke handen toont aan dat de methode niet beperkt is tot specifieke hardware, maar werkt voor elk gearticuleerd systeem.
Toekomst: Hoewel de huidige versie zich beperkt tot roterende gewrichten en geen rekening houdt met de geometrie van individuele schakels, opent dit werk de weg voor nog meer gespecialiseerde, "embodiment-aware" netwerken voor complexe robotcontrole en animatie.