⚡ electrical engineering

Physics-informed Goal-Conditioned Reinforcement Learning under Hybrid Contact Dynamics

Dit artikel behandelt het falen van bestaande natuurkundig geïnformeerde doelgeconditioneerde reinforcement learning-methoden bij contactrijke manipulatietaken door contactbewuste en hiërarchische formuleringen te introduceren die selectief natuurkundig geïnformeerde inductieve biases toepassen om hybride dynamica en niet-gladde waardelandschappen te verwerken.

Oorspronkelijke auteurs: Vittorio Giammarino, Anastasios Manganaris, Ahmed H. Qureshi

Gepubliceerd 2026-06-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vittorio Giammarino, Anastasios Manganaris, Ahmed H. Qureshi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een doos over een tafel te bewegen. Soms staat de doos gewoon stil en moet de robot erheen lopen, hem pakken en meedragen. Op andere momenten houdt de robot de doos al vast.

Dit artikel gaat over het leren van deze taken aan robots met behulp van Reinforcement Learning (vallen en opstaan), maar met een speciale truc: in plaats van simpelweg te gokken, gebruikt de robot natuurkunde om de beste route te bepalen.

Hier is de uiteenzetting van wat de auteurs ontdekten en hoe ze het hebben opgelost, met behulp van alledaagse analogieën.

Het Probleem: De "Eenheidsworst"-kaart

De onderzoekers gebruikten een methode genaamd Physics-Informed Goal-Conditioned Reinforcement Learning (Pi-GCRL). Zie dit als het geven van een "slimme kaart" aan de robot die aangeeft hoe moeilijk het is om van punt A naar punt B te komen.

Bij eenvoudige taken (zoals een robot die beweegt in een lege kamer), werkt deze kaart uitstekend. Het gaat ervan uit dat als je ergens naartoe wilt, je in elke richting kunt bewegen, en dat de "kosten" (inspanning) in alle richtingen gelijk zijn. Het is als wandelen op een vlak, open veld waar je even goed naar het noorden, zuiden, oosten of westen kunt rennen.

Maar robots die objecten manipuleren, zijn anders.
Wanneer een robot een object niet aanraakt, kan hij zijn arm vrij bewegen, maar het object blijft op zijn plek zitten. De robot kan het object niet direct "bewegen" totdat hij het vastpakt.

De Analogie: Stel je voor dat je een zware bank probeert te verplaatsen.
- Fase 1 (Geen contact): Je kunt vrij om de bank heen lopen, maar je kunt de bank niet duwen. Als je probeert de bank te "duwen" terwijl je er vandaan loopt, zegt de natuurkunde dat dit onmogelijk is.
- Fase 2 (Contact): Zodra je de bank vastpakt, kun je hem wel bewegen. Nu zijn jouw beweging en de beweging van de bank aan elkaar gekoppeld.

De auteurs ontdekten dat de oude "slimme kaart" (de Eikonal-vergelijking) kapot was voor dit scenario. Het probeerde de robot te laten geloven dat hij de bank kon bewegen zelfs wanneer hij hem niet aanraakte.

Het Resultaat: De kaart raakte vervormd. Het vertelde de robot: "Je kunt het doel bereiken door de bank van de andere kant van de kamer uit te duwen," wat fysiek onmogelijk is. Dit verwarde de robot, waardoor hij langzamer leerde of zelfs faalde.

De Oplossing: Twee Nieuwe Hulpmiddelen

Om dit op te lossen, introduceerden de auteurs twee nieuwe ideeën om de "kaart" van de robot de regels van contact te laten respecteren.

1. De "Contact-Bewuste" Kompas

In plaats van de robot te vertellen hoe hij in elke richting moet bewegen, controleert deze nieuwe methode alleen de richtingen waarin de robot op dit moment daadwerkelijk kan bewegen.

De Analogie: Stel je voor dat je in een doolhof staat met een gesloten deur. De oude kaart zei: "Je kunt door de deur lopen." De nieuwe kaart zegt: "Je kunt alleen door de deur lopen als je een sleutel hebt (of als je momenteel de deurklink vasthebt)."
Hoe het werkt: Als de robot het object niet aanraakt, negeert de kaart de positie van het object bij het berekenen van de "inspanning" om te bewegen. Het geeft alleen om de arm van de robot. Zodra de robot het object vastpakt, wordt de kaart bijgewerkt om de beweging van het object mee te tellen. Dit voorkomt dat de robot het onmogelijke probeert te doen.

2. Het "Manager en Werker" Team (Hiërarchisch Leren)

De tweede oplossing was het opsplitsen van de taak in twee niveaus: een Hoog-niveau Manager en een Laag-niveau Werker.

De Manager (Hoog niveau): Dit deel van de hersenen kijkt naar het grote plaatje. Het beslist wat de robot nu moet doen (bijv. "Ga naar het object", "Pak het vast", "Beweeg het naar het doel"). Het maakt zich geen zorgen over de kleine details van de natuurkunde.
De Werker (Laag niveau): Dit deel regelt de eigenlijke beweging. Cruciaal is dat de Werker alleen kijkt naar de zaken die hij op dit moment kan controleren.
- Als de robot het object niet vasthoudt, negeert de Werker de positie van het object en focust hij zich puur op het bewegen van de arm naar het object.
- Als de robot het object vasthoudt, focust de Werker zich op het gezamenlijk bewegen van beide.
De Analogie: Denk aan een bouwplaats. De Voorman (Manager) zegt tegen de Ploeg (Werker): "Ga die balk halen." De Ploeg maakt zich geen zorgen over de motor van de kraan of de GPS van de vrachtwagen; ze focussen zich alleen op de specifieik taak om de balk te grijpen. Door het "grote plaatje" te scheiden van de "onmiddellijke natuurkunde", leert de robot veel sneller.

Wat Ze Testten

Het team testte deze ideeën op drie manieren:

Een Simpele 1D-Game: Ze maakten een hele kleine, simpele simulatie waarin een robot een blokje moest bewegen. Ze lieten zien dat de oude methode in de war raakte en een rommelige kaart tekende, terwijl hun nieuwe methode een schone, correcte kaart tekende.
Complexe Simulaties: Ze gebruikten een virtuele robotarm (een UR5e) om meerdere kubussen op elkaar te stapelen. Ze ontdekten dat hun nieuwe methoden (vooral het "Manager en Werker" team) veel beter waren in het stapelen van kubussen dan de oude methoden, die vaak vastliepen of faalden.
Echte Robot: Ze testten het op een echte robotarm in een laboratorium. Zelfs met een kleine hoeveelheid data was de robot die hun nieuwe "Contact-Bewuste" en "Hiërarchische" methoden gebruikte, veel beter in het oppakken van een object en het plaatsen ervan in het midden van een tafel vergeleken met de andere methoden.

De Kern van het Verhaal

Het artikel stelt dat wanneer robots objecten moeten aanraken en bewegen, je niet een "eenheidsworst" natuurkunde-kaart kunt gebruiken. Je moet slim zijn over wanneer de robot het object kan bewegen en wanneer hij dat niet kan.

Door een systeem te bous dat begrijpt wanneer deze "contactmodi" (aanraken versus niet aanraken) van kracht zijn en door het denken op te splitsen in een hoog-niveau planner en een laag-niveau controller, kunnen robots objecten veel betrouwbaarder manipuleren.

Noot: De auteurs geven expliciet aan dat hoewel hun methode goed werkt in simulaties en gecontroleerde labsettings, het nog geen veiligheid garandeert voor mensen of automatisch complexe krachtlimieten afhandelt. Ze beschouwen dit als een stap richting veiliger, robuuster robotleren, maar niet als een definitieve veiligheidsoplossing.

Technische Samenvatting: Physics-informed Goal-Conditioned Reinforcement Learning onder Hybride Contactdynamica

Probleemstelling

Goal-Conditioned Reinforcement Learning (GCRL) streeft ernaar beleid te leren dat generaliseert over willekeurige doelen met behulp van ijle (sparse) feedback. Hoewel Physics-informed GCRL (Pi-GCRL) succesvol optimalisatie-geïnspireerde inductieve biases (specifiek Partial Differential Equation-constraints) heeft toegepast op navigatie en doelbereiking zonder objecten, blijft de toepassing ervan op contactrijke robotische manipulatie problematisch.

In contactrijke omgevingen zijn systeemdynamica hybride, waarbij ze afwisselen tussen beweging in de vrije ruimte, interactie via contact en objecttransport. Deze transities induceren mode-afhankelijke controleerbaarheid: bepaalde systeemcoördinaten (bijv. objectposities) kunnen in specifieke contactmodi (bijv. wanneer niet vastgegrepen) lokaal oncontroleerbaar zijn. De auteurs stellen dat bestaande Pi-GCRL-methoden, die doorgaans volledige Eikonal-regularisatie toepassen, falen in deze settings omdat de onderliggende aannames van de Eikonal-vergelijking (isotrope, volledig controleerbare dynamica) worden geschonden. Deze mismatch veroorzaakt een vervorming van de waarde-functie, waarbij geldige variaties langs oncontroleerbare coördinaten worden bestraft en de prestaties van het beleid worden verslechterd.

Methodologie

Het artikel stelt een principiële analyse van dit faalmechanisme voor en introduceert twee complementaire formuleringen om dit aan te pakken: Contact-bewuste Regularisatie en Hiërarchische Decompositie.

1. Theoretische Analyse: Eikonal Mismatch

De auteurs formaliseren het falen van volledige Eikonal-regularisatie in hybride systemen. Ze modelleren manipulatie als een hybride systeem waarbij de staat $s = (x, z)$ bestaat uit controleerbare coördinaten $x$ en lokaal oncontroleerbare coördinaten $z$ (bijv. de pose van een object wanneer niet vastgegrepen).

Propositie 4.1 toont aan dat als de optimale kosten-naar-doel $d^*$ afhankelijk is van lokaal oncontroleerbare coördinaten ( $\nabla_z d^* \neq 0$ ), de volledige Eikonal-constraint ( $\|\nabla_s d^*\| = 1$ ) in strijd is met de lokale Hamilton-Jacobi-Bellman (HJB) karakterisering.
De Eikonal-constraint wijst onterecht het gradiëntbudget toe aan richtingen waar geen instantane beweging mogelijk is, terwijl de HJB-vergelijking gradiënten correct beperkt tot alleen de haalbare richtingen.

2. Contact-bewuste Physics-informed Waarde-leren

Om deze mismatch op te lossen, stellen de auteurs voor om de volledige staat-gradiëntnorm-constraint te vervangen door een directionele constraint die is afgestemd op geobserveerde haalbare transities.

In plaats van de volledige gradiëntnorm te bestraffen, benadert de methode de continue-tijd dynamica-richting met behulp van de empirische transitievector $(s' - s)$ .
Dit resulteert in een Contact-bewuste HJB-stijl residu (Eq. 4):
$\mathcal{L}_{CA-HJB} = \mathbb{E} \left[ \left( \nabla_s d_\theta(s, g)^\top \frac{s' - s}{\|s' - s\| + \epsilon} + 1 \right)^2 \right]$
Deze formulering zorgt ervoor dat waarde-gradiënten alleen worden beperkt langs richtingen waar beweging daadwerkelijk wordt waargenomen, waardoor oncontroleerbare coördinaten tijdens specifieke contactmodi effectief worden genegeerd.

3. Physics-informed Hiërarchische Flow (Pi-H-Flow)

De auteurs introduceren een hiërarchisch kader om regularisatie verder af te stemmen op controleerbaarheid:

High-Level Policy ( $\pi_{hi}$ ): Een flow-gebaseerd model genereert subdoelen $x_g$ in een controleerbare representatie $X$ (exclusief de coördinaten van de object-pose). Dit scheidt hoog-niveau object-centrische redenering van laag-niveau uitvoering.
Low-Level Policy ( $\pi_{lo}$ ): Werkt volledig binnen de controleerbare representatie $X$ en brengt de huidige staat en het subdoel in kaart naar primitieve acties.
Regularisatie: Physics-informed constraints (Eikonal of HJB) worden alleen toegepast op het lage niveau binnen $X$ , waar de dynamica volledig controleerbaar is en de isotrope aannames geldiger zijn.
De high-level flow wordt getraind om toekomstige controleerbare staten te genereren, terwijl de low-level learner de contact-bewuste HJB-residu gebruikt om de waarde-functie te leren.

Belangrijkste Bijdragen

Principiële Analyse: Het artikel identificeert en bewijst dat volledige Eikonal-regularisatie structureel niet-gealigneerd is met hybride contactdynamica vanwege lokaal oncontroleerbare coördinaten, wat verschilt van problemen veroorzaakt door anisotrope dynamica.
Nieuwe Formuleringen:
- Een contact-bewust residu dat waarde-gradiënten alleen beperkt langs haalbare transitierichtingen.
- Een hiërarchische decompositie die controleerbare dynamica isoleert voor physics-informed regularisatie, door deze te scheiden van object-centrische staatvariabelen.
Empirische Validatie: De auteurs valideren hun aanpak via offline goal-conditioned manipulatie taken in simulatie (OGBench) en op een echte UR5e robot.

Experimentele Resultaten

De voorgestelde methoden werden geëvalueerd op de OGBench-suite (Double, Triple, en Quadruple cube rearrangement taken) en een real-world pick-and-place taak.

Simulatie (OGBench):
- Falen van Baselines: Standaard Eikonal-geregulariseerde methoden (Eik-GCIVL, Eik-QRL) faalden om betrouwbaar te convergeren, wat de theoretische mismatch bevestigt.
- Verbetering door Contact-bewustheid: De contact-bewuste HJB-variant (HJB-GCIVL) presteerde aanzienlijk beter dan volledige Eikonal-methoden, vooral in complexe scenario's met meerdere objecten.
- Hiërarchisch Voordeel: Het hiërarchische framework (Pi-H-Flow-HJB-GCIVL) behaalde de hoogste succesratio's en de snelste convergentie.
- Ablatie: Het gebruik van de controleerbare "Joints+Contacts" representatie op het lage niveau verbeterde de prestaties consistent (10–20% winst in succesratio) ten opzichte van het gebruik van de volledige staat, wat het voordeel van staat-decompositie valideert.
Real-World Experimenten:
- Getraind op een offline dataset van ~60k stappen verzameld van een gescript MPC-beleid.
- De voorgestelde Pi-H-Flow-HJB-GCIVL behaalde de hoogste succesratio's (75% bij een 10cm drempel, 60% bij 5cm, 50% bij 3cm), waarmee zowel niet-physics-informed baselines als niet-hiërarchische physics-informed varianten werden overtroffen.
- Kwalitatieve resultaten toonden aan dat het beleid kan herstellen van misalignerde grijpacties en alternatieve interactiemodi kan gebruiken (bijv. het schuiven van objecten).

Betekenis en Claims

Het artikel claimt een principiële stap te bieden naar het uitbreiden van Pi-GCRL naar contactrijke manipulatie. Door de geometrische mismatch tussen Eikonal-constraints en hybride dynamica te analyseren, tonen de auteurs aan dat de naïeve toepassing van physics-informed biases nadelig kan zijn.

De betekenis ligt in:

Correctie van een Theoretische Fout: Het aantonen dat Lipschitz-continuïteit (afgedwongen door Eikonal-constraints) onvoldoende is voor hybride systemen en dat constraints de lokale controleerbaarheid moeten respecteren.
Praktisch Framework: Het aanbieden van een schaalbare, hiërarchische architectuur die flow-gebaseerde subgoal-generatie combineert met contact-bewuste waarde-leren.
Real-World Toepasbaarheid: Het demonstreren dat deze theoretische inzichten vertaald kunnen worden naar verbeterde prestaties op fysieke robots met beperkte offline data.

De auteurs blijven bescheiden over beperkingen en merken op dat de huidige algoritmen nog steeds data-hongerig zijn en dat de HJB-regulator niet inherent veiligheid garandeert of actuatorlimieten respecteert. Zij suggereren dat toekomstig werk expliciete physics-modellen en veiligheidsconstraints moet integreren.