💻 computer science

GAIT: Legged Robot Proprioceptive State Estimation with Attention over Inertial-Leg Tokens

Dit artikel introduceert GAIT, een op aandacht gebaseerde toestandsschatting voor geloopde robots die inertiële en beenmetingen tokeniseert om de betrouwbaarheid van sensoren dynamisch te herwegen op basis van contactcondities, waarmee een superieure prestatie wordt behaald ten opzichte van bestaande leergebaseerde en modelgebaseerde schatters in onbekende terreinen en looppatronen zonder dat expliciete contactschatting vereist is.

Oorspronkelijke auteurs: Young-Rang Seo, Hajun Kim, Sangmin Kim, Dongyun Kang, Hae-Won Park

Gepubliceerd 2026-06-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Young-Rang Seo, Hajun Kim, Sangmin Kim, Dongyun Kang, Hae-Won Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een viervoetige robot voor die door een rommelig park probeert te rennen. De robot moet precies uitzoeken waar zijn lichaam zich bevindt, hoe snel hij beweegt en welke kant hij op kijkt, terwijl zijn poten uitglijden in de modder, op losse stenen stappen of in de lucht springen.

Dit artikel introduceert een nieuw "brein" voor deze robots genaamd GAIT. De belangrijkste taak is om de robot te helpen zijn eigen beweging te begrijpen met behulp van alleen de sensoren in zijn eigen lichaam (zoals een mens die weet dat hij rent zonder op een kaart te kijken).

Hier is hoe de nieuwe methode werkt, uitgelegd aan de hand van eenvoudige analogieën:

1. De Oude Manier: Het "Smoothie"-probleem

Voorheen namen de breinen van robots al hun sensordata mee — hoe snel het lichaam draait, hoe snel de poten bewegen en hoe de gewrichten gebogen zijn — en mengden dit allemaal samen tot één grote "smoothie" (een enkele lijst met getallen).

Het Gebrek: Als één voet over een steen glijdt, raakt het brein van de robot in de war omdat het niet kan onderscheiden welk deel van de smoothie de "slip" is en welk deel de "echte beweging". Het behandelt een uitschietende voet hetzelfde als een stevige voet, wat leidt tot foute inschattingen.

2. De Nieuwe Manier: Een "Panel van Rechters"

De nieuwe GAIT-methode mengt niet alles. In plaats daarvan behandelt het elke sensorwaarde als een afzonderlijke individuele token, zoals een duidelijke rechter op een panel.

Inertiaal-tokens: Dit zijn de "balansrechters" (sensoren die draaien en trillingen voelen).
Poot-tokens: Dit zijn de "voetrechters" (sensoren die vertellen waar elke specifieke poot zich bevindt).

3. Het "Aandachtsmechanisme": De Slimme Moderator

De magie gebeurt met een Aandachtsmechanisme (Attention Mechanism). Denk aan dit als een slimme moderator die voor het panel van rechters zit.

Hoe het werkt: De moderator kijkt naar de huidige situatie.
- Als een voet stevig op de grond staat, zegt de moderator: "Luister goed naar die voetrechter! Die is op dit moment erg betrouwbaar."
- Als een voet wegglijdt of in de lucht is, zegt de moderator: "Negeer die voetrechter even; die liegt tegen ons. Laten we in plaats daarvan meer luisteren naar de balansrechters."
Het Resultaat: De robot leert om zijn eigen zintuigen in realtime opnieuw te wegen. Het heeft geen apart programma nodig om te vertellen: "je voet glijdt uit." Het netwerk leert zelf te ontdekken: "Oh, deze pootdata ziet er onbetrouwbaar uit, dus ik vertrouw meer op de lichaamsensoren."

4. Leren van Eén Gang om Meester te Worden in Veel

De onderzoekers hebben het brein van deze robot getraind in een simulatie waarin de robot alleen leerde om te trotteren (een specifiek tweestaps loopritme).

De Test: Ze namen de robot vervolgens mee naar de echte wereld en vroegen hem om patronen te rennen die hij nooit eerder had gezien, zoals bounding (galopperen) of pronking (op de vier poten tegelijk omhoog springen). Ze plaatsten hem ook op "puin-terrein" (losse stenen en hout) dat niet in de trainingssimulatie zat.
De Uitkomst: Ondanks dat hij alleen trotteren had geoefend, was het "Panel van Rechters"-brein slim genoeg om de nieuwe gangen en de gladde stenen aan te kunnen. Het presteerde beter dan oudere methoden die vertrouwden op rigide wiskundige formules of andere leerprocessen die in de nieuwe situaties in de war raakten.

5. Waarom het Ertoe Doet

Geen "Slip Detectors" Nodig: Oude methoden hadden een speciale sensor of een complexe wiskundige controle nodig om te weten of een voet gleed. Deze nieuwe methode leert dit gedrag zelfstandig door te letten op welke sensoren betrouwbaar zijn.
Beter in de echte wereld: Omdat het leerde om zijn eigen zintuigen dynamisch te wegen, crashte de robot niet en raakte hij niet de weg kwijt toen de ondergrond veranderde of wanneer de robot op een nieuwe manier begon te springen.

Samenvattend: Het artikel presenteert een robotbrein dat werkt als een slimme teamleider. In plaats van blindelings al zijn zintuigen gelijkwaardig te vertrouwen, vraagt het constant: "Wie kan ik nu vertrouwen?" en past het de focus daarop aan. Hierdoor kan de robot zelfverzekerd over ongelijk terrein rennen en nieuwe loopstijlen hanteren die hij nog nooit heeft geoefend.

Technische Samenvatting: GAIT: Legged Robot Proprioceptive State Estimation met Attention over Inertial–Leg Tokens

Probleemstelling
Nauwkeurige en robuuste proprioceptieve toestandschatting is cruciaal voor de voortbeweging van legged robots, vooral in omgevingen waar exteroceptieve sensoren (camera's, LiDAR) kunnen falen door beperkingen in lichtinval of geometrie. Hoewel bestaande leergestuurde state estimators de robuustheid tegen slip hebben verbeterd ten opzichte van heuristische modelgebaseerde methoden, lijden ze vaak aan een slechte generalisatie wanneer ze worden ingezet op onbekende terreinen of loopmodellen (gait patterns). Deze beperking komt voort uit het feit dat standaardarchitecturen doorgaans alle sensormetingen samenvoegen tot één platte vector, waardoor het netwerk gedwongen wordt om de variërende betrouwbaarheid van kinematische metingen impliciet te leren zonder een expliciet structureel mechanisme om onderscheid te maken tussen contact en niet-contact van poten. Als gevolg hiervan overfitten deze modellen vaak op de specifieke contactpatronen die tijdens de training zijn waargenomen en verslechteren ze bij distributieverschuivingen, zoals slip of niet-gemodelleerd terrein.

Methodologie
Het artikel stelt GAIT voor, een op aandacht gebaseerd (attention-based) proprioceptief state estimation framework dat inductieve biases in de netwerkarchitectuur incorporeert om contactafhankelijke meetbetrouwbaarheid te hanteren. Het systeem bestaat uit twee primaire componenten:

Attention-Based State Estimation Network met IL Tokenization:
- Inertial-Leg (IL) Tokenization: In plaats van inputs te flatten, representeert het netwerk traagheidsmetingen (IMU) en been-specifieke kinematische metingen (gewrichtspositie, snelheid en tracking error) als individuele tokens. Specifiek creëert het aparte tokens voor elk been en voor de inertiële sensoren.
- Architectuur: Het netwerk maakt gebruik van een Perceiver IO-encoder met cross-attention. Latente tokens bevragen (query) de input-tokens (inertieel en been-specifiek) om de relatieve belangrijkheid van elke meting te leren op basis van de huidige toestand. Dit stelt het netwerk in staat om kinematische metingen van benen adaptief te herwegen volgens de vraag of een voet in contact is, zonder dat een expliciete contactschatter vereist is.
- Temporele Modellering: De getokeniseerde inputs worden verwerkt met 2D-positionele embeddings (die zowel de "IL-as" als de "history-as" dekken) en door Gated Recurrent Units (GRU's) geleid om temporele afhankelijkheden te vangen.
- Output: Het netwerk voorspelt de lineaire snelheid in het lichaamsframe ( $\bar{v}_B$ ) en de bijbehorende onzekerheid ( $\bar{u}$ ), die geparametriseerd is als een diagonale covariantie-matrix.
- Trainingsstrategie: Er wordt een tweefasige verliesfunctie gebruikt. Aanvankelijk wordt Mean Absolute Error (MAE) gebruikt voor stabiliteit, gevolgd door een Gaussian Maximum Likelihood loss om de snelheidsvoorspelling en de onzekerheid gezamenlijk te trainen. Trainingsdata wordt gegenereerd in simulatie (RaiSim) met een Unitree Go1 robot, uitsluitend met trot-gangdata (trot gait). Opmerkelijk genoeg wordt Gaussische ruis alleen aan IMU-metingen toegevoegd tijdens de training om correlatieproblemen tussen filterpropagatie en updates te voorkomen.
Invariant Extended Kalman Filter (IEKF):
- De voorspelde lineaire snelheid van het lichaam en de bijbehorende onzekerheid worden geïntegreerd in een IEKF als een pseudo-meting.
- In tegenstelling tot traditionele contact-ondersteunde IEKF's, vertrouwt deze aanpak niet op expliciete contactschatting of zero-velocity updates gebaseerd op stationaire contactveronderstellingen. In plaats daarvan behandelt het de snelheidsvoorspelling van het netwerk als een right-invariant observatie, waardoor het filter robuust kan functionen, zelfs wanneer contactveronderstellingen worden geschonden (bijv. tijdens slip).

Belangrijkste Bijdragen

IL Tokenization: De introductie van een getokeniseerde architectuur die inertiële en been-specifieke metingen scheidt, wat een inductieve bias biedt voor het representeren van contactafhankelijke variaties in de betrouwbaarheid van metingen.
Contact-Agnostisch Leren: De methode leert metingen te herwegen op basis van contactcondities zonder te vertrouing op expliciete contactschatters of heuristische slip-rejection mechanismen.
Onzekerheid-Bewuste Integratie: Het netwerk voorspelt gezamenlijk de snelheid en de onzekerheid, wat een betrouwbaardere integratie van geleerde pseudo-metingen binnen het Kalman-filtering framework mogelijk maakt.
Generalisatie: Het framework demonstreert robuustheid tegenover onbekende gangpatronen (bound, pace, pronk) en niet-gemodelleerd terrein (puin), ondanks dat het uitsluitend is getraind op gesimuleerde trot-data.

Experimentele Resultaten
Experimenten werden uitgevoerd op een Unitree Go1 robot over diverse terreinen, waaronder rubber, gladde oppervlakken (boorzuurpoeder) en ongemodelleerd puinterrein. Het systeem werd getest op zowel de trainingsgang (trot) als onbekende gangen (bound, pace, pronk).

Snelheidsvoorspelling: De voorgestelde methode behaalde een lagere Root Mean Square Error (RMSE) in de lineaire snelheid van het lichaam vergeleken met baseline leergestuurde methoden (NMN) en modelgebaseerde IEKF's over de meeste terreinen. Met name op het ongemodelleerde puinterrein presteerde de voorgestelde methode beter dan de "w/o IL token" variant, wat aangeeft dat tokenization helpt bij het afhandelen van ongemodelleerde contactgeometrieën.
Toestandschatting (State Estimation): Wanneer geïntegreerd met de IEKF, verminderde het voorgestelde framework de Absolute Trajectory Error (ATE) en de Relatieve Error (RE) in positie en snelheid vergeleken met contact-ondersteunde IEKF's en andere leergestuurde baselines. De "w/o IL token" variant vertoonde aanzienlijk hogere positiedrift (gemiddeld 73,6% grotere REpos), wat het belang van het tokenization-schema onderstreept.
Generalisatie naar Onbekende Gangen: Hoewel alleen getraind op trot, behield het voorgestelde netwerk lagere voorspellingsfouten dan de baselines bij testen op bound, pace en pronk gangen. In contrast hiermee vertoonden andere leergestuurde baselines grotere fouten dan de modelgebaseerde IEKF onder deze onbekende gangcondities.
Attention Analyse: Visualisatie van de attention weights onthulde dat het netwerk de focus dynamisch aanpast. Tijdens de vluchtfases (bijv. in de pronk-gang) verschuift de aandacht naar de inertiële tokens (vooral versnellingsmeters), en neemt de voorspelde onzekerheid toe, wat correct reflecteert dat de observeerbaarheid vanuit de been-kinematica verloren gaat. Tijdens de contactfasen weegt de aandacht de been-tokens op passende wijze.

Betekenis en Claims
Het artikel claimt dat het incorporeren van structurele priors (inductieve biases) in neurale netwerkarchitecturen een effectieve strategie is om de generalisatie van leergestuurde state estimators te verbeteren. Door de structurele relatie tussen contactcondities en de betrouwbaarheid van metingen expliciet te modelleren via tokenization en attention, bereikt de voorgestelde methode een robuustheid die vergelijkbaar met of zelfs beter is dan modelgebaseerde benaderingen, zonder dat expliciete contactschatting of heuristische afstemming nodig is. De resultaten suggereren dat dit framework effectief kan omgaan met distributieverschuivingen veroorzaakt door onbekende terreinen en gangpatronen, wat het een levensvatbare oplossing maakt voor hoogfrequente, betrouwbare proprioceptieve feedback voor legged robots die opereren in complexe, echte omgevingen.