💻 computer science

Inference-Time Robot Behavior Steering through Physically-Aware Reconfiguration of Task-Structure

Dit artikel introduceert ReStruct, een methode die geleerde robotbeleid tijdens de inferentie stuurt om onvoorziene gebruikersvoorkeuren te bevredigen door de taakstructuur van een neurale automaat te herconfigureren via synchrone productintegratie, waardoor fysiek bewuste controle mogelijk wordt zonder hertraining en bestaande benaderingen overtreft in zowel taaksucces als naleving van voorkeuren.

Oorspronkelijke auteurs: Yiyuan Pan, Hanjiang Hu, Shangtao Li, Xusheng Luo, Changliu Liu

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiyuan Pan, Hanjiang Hu, Shangtao Li, Xusheng Luo, Changliu Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een hooggeschoolde robotkok hebt. Je hebt de robot getraind door video's te laten zien van hoe je een broodje maakt. Nu is de robot klaar om aan het werk te gaan. Maar dan verander je van gedachten. Je zegt: "Eigenlijk wil ik geen ham, ik wil kalkoen," of "Zet het broodje op de bovenste plank, niet op de onderste."

In de wereld van robotica is dit een enorme hoofdpijn. Normaal gesproken moet je de robot stoppen en hem opnieuw trainen (retraining), of een menselijke expert inhuren om handmatig de code van zijn brein te herschrijven, om van de mening van de robot te veranderen. Dit is traag, duur en onpraktisch.

Dit artikel introduceert een nieuwe methode genaamd ReStruct, die je de mogelijkheid geeft om het gedrag van de robot direct bij te sturen, simpelweg door erover te praten, zonder hem ooit opnieuw te trainen.

Zo werkt het, met behulp van eenvoudige analogieën:

Het Probleem: Twee Gebroken Manieren om een Robot te Veranderen

De auteurs leggen uit dat huidige methoden op twee specifieke manieren falen:

De "Hard-Reset" Methode (End-to-End): Stel je voor dat je probeert het plot van een film te veranderen door de filmrol frame voor frame te bewerken. Je moet de hele film opnieuw bewerken (de robot opnieuw trainen) elke keer dat je een ander einde wilt. Dit is traag en vereist een regisseur (expert) die precies weet hoe hij moet editen.
De "Logica-alleen" Methode (Neuro-symbolisch): Stel je voor dat je een robot een lijst met logische regels geeft zoals "Pak de beker op" en "Zet hem op de plank". De robot volgt de logica perfect, maar hij kan proberen de beker door de plank heen te plaatsen omdat hij de natuurkunde niet begrijpt. Hij heeft de juiste woorden, maar het verkeerde spiergeheugen.

De Oplossing: ReStruct (Het "Herstructurerings"-framework)

ReStruct lost dit op door het brein van de robot te behandelen als een systeem met twee duidelijke onderdelen: een Kaart (het hoog-niveau plan) en een Chauffeur (de laag-niveau motorische controle).

1. De Kaart en de Chauffeur

Beschouw de beleid van de robot als een autorit:

De Chauffeur (Low-Level Controller): Dit is het deel dat daadwerkelijk stuurt, het gaspedaal indrukt en het stuur draait. Het weet hoe het fysiek moet bewegen. In ReStruct is deze chauffeur bevroren. We veranderen de chauffeur niet; we vertrouwen erop dat zij goed kunnen rijden.
De Kaart (High-Level Skeleton): Dit is de reisroute. Het zegt: "Ga eerst naar het benzinestation, ga dan naar de supermarkt, en ga dan naar huis." Bij de oude robot was deze kaart rigide.

2. De Magische Truk: De Kaart opnieuw tekenen

Wanneer je een nieuwe voorkeur opgeeft (bijv. "Ga naar de supermarkt voordat je naar het benzinestation gaat"), vraagt ReStruct de chauffeur niet om op een nieuwe manier te leren rijden. In plaats daarvan tekent ReStruct de kaart opnieuw.

Stap A: De Vertaler (VLM): Je vertelt de robot je voorkeur in gewone mensentaal. Een slimme AI-vertaler (een Vision-Language Model) zet je zin om in een strikte set regels (een "state machine").
Stap B: De Versmelting: Het neemt je nieuwe regels en voegt deze samen met de oorspronkelijke kaart van de robot. Het creëert een nieuwe kaart die alleen paden toestaat die aan jouw nieuwe regel voldoen.
Stap C: De Realiteitscheck (Trajectory Replay): Dit is het belangrijkste deel. De oude kaart bevatte misschien een pad dat logisch gezien wel klopte, maar fysiek onmogelijk was (zoals door een muur rijden). ReStruct kijkt naar de originele trainingsvideo's (de demonstraties) en vraagt: "Op deze nieuwe kaart, welke van de oude rijpaden werken daadwerkelijk?"
- Het gooit de paden weg die een crash zouden veroorzaken.
- Het houdt de paden die wel werken en werkt de "instructies" voor de chauffeur op die specifieke wegen bij.

3. Het Resultaat

Nu heeft de robot een nieuwe kaart die jouw regels volgt, maar gebruikt hij nog steeds dezelfde vertrouwde chauffeur. Omdat de kaart is bijgewerkt om alleen paden te bevatten die de chauffeur daadwerkelijk kan afleggen, volgt de robot jouw nieuwe voorkeur perfect zonder te crashen of opnieuw getraind te hoeven worden.

Waarom dit een Groot Ding is

Het artikel laat zien dat ReStruct complexe verzoeken aankan, zoals:

"Pak de rode blok op, maar alleen als het blauwe blok er al staat."
"Zet de beker op de hoogste plank, niet op de laagste."

In tests was ReStruct in staat om deze nieuwe regels 25% beter op te volgen dan de meest geavanceerde huidige robotmodellen (zoals VLA-modellen), terwijl de hoofdtaak nog steeds succesvol werd voltooid.

De Kernboodschap

ReStruct is als het geven van een GPS aan een robotchauffeur. Als je de bestemming wilt veranderen, hoef je de chauffeur niet opnieuw te leren hoe hij moet rijden. Je past alleen de GPS-route aan om ervoor te zorgen dat de chauffeur alleen wegen suggereert die hij kan navigeren. Dit maakt robots veel flexibeler en gemakkelijker te besturen door gewone mensen met behulp van eenvoudige taal.

Technische Samenvatting: ReStruct – Sturing van Robotgedrag tijdens Inferentie door Fysiek-Bewuste Reconfiguratie van Taakstructuur

1. Probleemstelling

De centrale uitdaging die wordt aangepakt is sturing van gedrag tijdens inferentie: het vermogen om een geleerd robotbeleid tijdens de testfase te heroriënteren om aan gebruikersvoorkeuren te voldoen die niet tijdens de training zijn voorzien, zonder hertraining of extra dataverzameling.

Bestaande benaderingen falen op twee specifieke manieren:

End-to-End Methoden (bijv. VLA-modellen, Diffusion Policies): Deze vertrouwen op fijnafstemming of het opleggen van sturingsmechanismen (bijv. zachte Lagrangians). Ze vereisen deskundige kennis en zijn beperkt tot voorkeuren die ongeveer differentieerbaar zijn. Ze missen een expliciete abstractie om nieuwe voorkeuren te grond in de set van uitvoerbare gedragingen zonder hertraining.
Neuro-symbolische Methoden: Deze gebruiken een symbolische laag om voorkeuren te specificeren. Echter, ze vertrouwen vaak op vooraf gedefinieerde symbolen. Het bewerken van deze symbolen kan plannen opleveren die logisch geldig zijn, maar fysiek onhaalbaar zijn, omdat de symbolische bewerkingen niet doorwerken naar de lage-niveau controller. De controller kan proberen een plan uit te voeren dat fysieke beperkingen schendt (bijv. onvoldoende vrije ruimte), omdat de symbolische abstractie losgekoppeld is van de uitvoerbare gedragsdistributie van de controller.

Het artikel betoogt dat robuuste sturing een intermediaire representatie vereist die fysiek-bewust is, waarbij elke voorkeur wordt gegrond in de subset van door de controller uitvoerbare gedragingen die eraan voldoet.

2. Methodologie: ReStruct

De auteurs stellen ReStruct voor, een framework gebouwd op de Emergent Neural Automaton Policy (ENAP). ENAP deelt een visuomotorisch beleid op in een hoog-niveau state-machine skelet (Probabilistic Mealy Machine, PMM) en een laag-niveau continue controller. ReStruct past deze architectuur aan om zero-shot sturing mogelijk te maken via een driestappenproces:

A. Hoog-niveau: Reconfiguratie van het Symbolische Skelet ( $p(z|\phi)$ )

Gegeven een natuurlijke taalvoorkeur $\phi$ , reconfigureert ReStruct de taakstructuur van het basisbeleid terwijl de laag-niveau controller bevroren blijft.

Gronding van Voorkeuren: Een Vision-Language Model (VLM) analyseert de voorkeur en het cluster-alfabet van het basis-skelet.
- Als het bestaande alfabet voldoende is, vertaalt de VLM $\phi$ naar een Linear Temporal Logic over Finite Traces (LTLf) formule en compileert deze naar een Deterministic Finite Automaton (DFA).
- Als het alfabet onvoldoende granulariteit heeft (bijv. "pakken" moet onderscheid maken tussen "rood pakken" en "blauw pakken"), verfijnt de VLM de clusters en werkt de topologie van het skelet dienovereenkomstig bij.
Synchrone Product: De voorkeurs-DFA wordt gecombineerd met het (of verfijnde) basis-PMM-skelet via een synchroon product. Dit creëert een nieuw, gestuurd skelet ( $M_2$ ) dat structureel alleen trajecten toelaat die voldoen aan de voorkeur $\phi$ .

B. Action-Prior Brug: Traject-Replay ( $p_D(z|\tau)$ )

Om te garanderen dat het nieuwe skelet fysiek haalbaar is, berekent ReStruct de actie-priors voor het gewijzigde skelet opnieuw.

Replay-mechanisme: Het systeem speelt representatieve trajecten uit de originele demonstratiedataset opnieuw af door het nieuwe gestuurde skelet $M_2$ .
Filtering: Trajecten die ongeldige staten bereiken of eindigen buiten de accepterende set van de product-automaat worden weggefilterd.
Herpopulatie: Geldige trajecten worden geaccepteerd, en hun specifieke acties worden geschreven in de actielijsten die bij de randen van het nieuwe skelet horen. Dit overbrugt de kloof tussen de bewerkte symbolische structuur en de bevroren laag-niveau netwerk, waardoor de priors de fysiek uitvoerbare gedragingen onder de nieuwe beperkingen weerspiegelen.

C. Laag-niveau: Actiegeneratie ( $p_D(\tau)$ )

De laag-niveau controller blijft gedurende het hele sturingsproces bevroren.

Architectuur: De controller neemt de huidige observatie en de actieve rand's actielijst (de herpopuleerde priors) als input.
Mechanisme: Het gebruikt een aandachtmechanisme om de observatie naar een prototype-actie uit de lijst te mappen, en past vervolgens een residuele MLP toe om een correctie te genereren op basis van de offset tussen de observatie en het cluster-centroid. De uiteindelijke actie wordt afgekapt (clamped) binnen het bereik van de verstrekte actielijst.
Voordeel: Dit ontwerp stelt de controller in staat om zich aan te passen aan de nieuwe structurele priors zonder hertraining, wat de robuustheid behoudt tegen de distributieverschuiving veroorzaakt door de reconfiguratie van het skelet.

3. Belangrijkste Bijdragen

ReStruct Framework: Een zero-shot sturingsframework dat geleerde beleidsregels in staat stelt om hoog-niveau semantische voorkeuren te volgen (van object-gecentreerd tot temporele logica) zonder hertraining. Het stelt dagelijkse gebruikers in staat om robotgedrag te hervormen via taal.
Fysiek-Bewuste Sturing: Door de actie-priors via traject-replay op het geconfigureerde skelet opnieuw te berekenen, zorgt de methode ervoor dat symbolische bewerkingen doorwerken naar het niveau van de controller, waardoor fysiek onhaalbare plannen worden voorkomen.
Interpreteerbaarheid en Verifieerbaarheid: De state-machine structuur en de op prototypes gebaseerde actie-priors maken het mogelijk om de voldoening van voorkeuren te inspecteren op zowel het symbolische als het controle-niveau.
Data-efficiëntie: Het framework maakt cross-taak adaptatie mogelijk door ervaringen over diverse demonstraties te hergebruiken, waarbij het gedrag van de doeltaak wordt gesynthetiseerd door voorkeuren in gerelateerde maar verschillende taken te injecteren.

4. Experimentele Resultaten

De auteurs evalueerden ReStruct in simulatie (ManiSkill, Calvin) en real-world (Kinova Gen3) omgevingen voor taken variërend van complexe manipulatie tot langdurige Temporal Action en Motion Planning (TAMP).

Voorkeursvolging vs. Taaksucces: ReStruct presteerde consistent beter dan baselines (inclusief VLA-modellen zoals OpenVLA en $\pi_0.5$ $π_{0} .5$ , en Diffusion Policies) in zowel Success Rate (SR) als Success Rate onder Voorkeur (SRP).
- In complexe manipulatietaken (bijv. SeqPushT, PegInsert), verbeterde ReStruct de voorkeursvolging met wel 25% vergeleken met VLA-modellen, terwijl de taaksucces intact bleef of verbeterde.
- In tegenstelling tot rejection-filtering baselines (die SR opofferen voor SRP) of prompt-injection baselines (die SR behouden maar SRP niet halen), behaalde ReStruct hoge scores op beide metrieken.
Long-Horizon Adaptatie: Op langdurige taken (bijv. Causal en Unconstrained skill sets), slaagde ReStruct erin om geordende sequenties te herstellen uit ongeordende demonstratiedata, waarmee het gefinetunede VLA-baselines versloeg.
Robuustheid: In real-world experimenten (CanSorting, PassTeaPot, ConeCover) behaalde ReStruct een bijna perfecte SRP (vaak 100%), waar VLA-baselines significant daalden (bijv. naar ~30-40%).
Ablatie-studies: Het verwijderen van de traject-replay stap of het aandacht/clamp mechanisme leidde tot een significante verslechtering van de prestaties, wat de noodzaak bevestigt van het opnieuw gronden van actie-priors en het flexibele controller-ontwerp.

5. Betekenis en Claims

Het artikel claimt dat ReStruct een levensvatbaar pad biedt voor dagelijkse gebruikers om hun robots vorm te geven via taal in plaats van via hertraining. Door de symbolische taakstructuur te ontkoppelen van de laag-niveau controller terwijl een fysieke link behouden blijft via actie-priors, bereikt de methode een niveau van "besluitvaardigheid" en fysieke haalbaarheid dat puur symbolische of puur end-to-end methoden missen.

De auteurs positioneren ReStruct als een oplossing voor de structurele beperkingen van huidige implementatiemethoden: het vermijdt de noodzaak voor re-optimalisatie (in tegen tegenover training-time methoden) en zorgt ervoor dat symbolische bewerkingen betrouwbaar doorwerken naar uitvoerbaar gedrag (in tegenstelling tot traditionele neuro-symbolische routing). Het werk demonstreert dat sturing tijdens inferentie zowel interpreteerbaar (via de automaat) als fysiek gegrond (via de gereplayed priors) kan zijn, wat robuuste adaptatie aan gebruikersvoorkeuren mogelijk maakt in complexe, real-world manipulatiescenario's.

Erkende Beperkingen:

De methode is afhankelijk van de ENAP-backbone; het uitbreiden naar andere beleidsklassen vereist het distilleren van beleidsregels naar ENAP, wat momenteel een prestatiekloof veroorzaakt.
De kwaliteit van de sturing hangt af van het vermogen van de VLM om correcte LTL-formules te genereren; iteratieve verfijning kan nodig zijn voor complexe gevallen.
De stuurbare reikwijdte is momenteel begrensd tot in-domain en compositionele out-of-the-domain (OOD) voorkeuren; het opschalen naar rijkere OOD-regimes en het oproepen van geheel nieuwe vaardigheden blijft een open uitdaging.