🤖 machine learning

ReGuide: From Test-Time Guidance to Self-Improving Diffusion Policies

ReGuide is een zelfverbeterend framework voor gedragsklonerende diffusiebeleid dat fase-geconditioneerde sturing gebruikt om corrigerende rollouts te genereren tijdens afwijkingen tijdens de testtijd en dit herstelde data iteratief bijstelt, wat de succespercentages van taken significant verhoogt vergeleken met bestaande statische of niet-herbruikbare sturingsmethoden.

Oorspronkelijke auteurs: Tzu-Hsiang Lin, Srinivas Shakkottai, Dileep Kalathil, P. R. Kumar

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tzu-Hsiang Lin, Srinivas Shakkottai, Dileep Kalathil, P. R. Kumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een complexe taak uit te voeren, zoals het stapelen van blokken of het ophangen van een gereedschap, door hem een paar video's te laten zien van een mens die dit perfect doet. Dit wordt "Imitation Learning" (imitatie-leren) genoemd.

Het probleem is dat robots onhandig zijn. Als de robot een kleine fout maakt in het begin — zoals een blokje een klein beetje scheef houden — beweegt hij naar een situatie die hij niet heeft gezien in de trainingsvideo's. Omdat de robot niet weet wat hij moet doen in deze "nieuwe" situatie, raakt hij in paniek, maakt hij een nieuwe fout, en de hele taak mislukt. Dit wordt het covariate shift-probleem genoemd: de robot raakt de weg kwijt omdat zijn realiteit afwijkt van de voorbeelden die hem zijn geleerd.

De Oude Manieren vs. De Nieuwe Manier

De Oude Manieren:

De "Expert Tutor" Methode: Elke keer dat de robot de weg kwijtraakt, moet jij (de menselijke expert) ingrijpen, de fout herstellen en de correctie opnemen. Dit is geweldig, maar het is duur en vereist een mens die 24/7 naar de robot kijkt.
De "Test-Time Steering" Methode: Je geeft de robot een "GPS" (een sturingsmodel) die hem weer op het juiste pad duwt terwijl hij beweegt. Maar hier zit de crux: zodra de robot de taak voltooit, gooi je de GPS-data weg. Je leert niet van de correctie; je hebt het er alleen voor die ene keer voor gebruikt.

De Nieuwe Manier (ReGuide):
De auteurs van dit paper, ReGuide, stellen een slim middenpad voor. Ze zeggen: "Waarom gooien we de GPS-data weg? Laten we de succesvolle correcties van de robot gebruiken als nieuwe trainingslessen!"

Denk aan een student die een oefentoets maakt.

Standaard Leren: De student maakt de toets, maakt een fout, en de leraar zegt alleen: "Probeer het de volgende keer weer."
ReGuide: De student komt vast te zitten, een slimme tutor helpt hem op dat moment het probleem op te lossen, en de student schrijft vervolgens die specifieke oplossing op in zijn studienotitiesboek. De volgende keer bestudeert hij dat notitieboek. De robot wordt niet alleen gestuurd; hij leert van zijn eigen herstelacties.

Hoe ReGuide Werkt (Het 3-Stappen Recept)

Het paper verdeelt dit in drie hoofdingrediënten:

1. Fase-geconditioneerde Begeleiding (De "Kaart met Controlepunten")

Lange taken (zoals het assembleren van een speelgoedje) hebben verschillende fasen: "Pak het onderdeel op", "Beweeg naar de tafel", "Steek de schroef erin".

Het Probleem: Als je de robot alleen vertelt "Ga naar de finishlijn", kan hij proberen de schroef erin te steken voordat hij zelfs het onderdeel heeft opgepakt.
De Oplossing: ReGuide verdeelt de taak in fasen (zoals hoofdstukken in een boek). Het creëert specifieke "doelzones" voor elke fase.
De Analogie: Stel je voor dat je van New York naar LA rijdt. Een globale GPS zegt misschien alleen "Rij naar het westen". ReGuide is als een GPS die zegt: "Op dit moment ben je in de fase 'Woestijnoversteek'. Je doel is het volgende tankstation. Maak je nog geen zorgen over de oceaan." Dit houdt de robot gefocust op de onmiddellijke, juiste stap.

2. De "Drifted-but-Recoverable" Gate (De "Veiligheidsschakelaar")

De robot heeft een "glazen bol" (een dynamisch model) die voorspelt wat er zal gebeuren als hij een bepaalde actie onderneemt.

Het Probleem: Als de robot al perfect is, kan het bijsturen de situatie juist verslechteren. Als de robot te ver van het pad af is (bijv. hij heeft het blokje op de grond laten vallen), kan de glazen bol niet meer voorspellen wat hij moet doen.
De Oplossing: ReGuide zet de "GPS-sturing" alleen aan wanneer de robot licht uit koers is, maar nog wel te redden is.
De Analogie: Denk aan een koorddanser. Als ze een beetje wankelen, geeft een coach een zachte tik om ze te stabiliseren. Als ze perfect stilstaan, blijft de coach stil. Als ze al van het koord zijn gevallen, kan de coach hen niet meer helpen om over het koord te lopen. ReGuide grijpt alleen in wanneer de "wankeling" nog te herstellen is.

3. Iteratieve Zelfverbetering (De "Studieloop")

Dit is de geheime saus.

Stap A: De robot probeert de taak. Wanneer hij begint af te wijken, stuurt ReGuide hem terug naar succes.
Stap B: De robot slaat dat "gestuurde" pad op als een nieuwe trainingsvoorbeelden.
Stap C: De robot traint zichzelf opnieuw met deze nieuwe voorbeelden.
Stap D: De robot probeert het opnieuw, maar deze keer is hij slimmer omdat hij heeft geleerd van de vorige "sturing".

Het paper laat zien dat je deze loop kunt herhalen. De robot wordt beter, genereert nog betere "hersteldata" en wordt er nog beter van. Het is als een videogame-personage dat sterker wordt elke keer dat ze een baasgevecht overleven en het patroon van de baas leren.

De Resultaten

De auteurs hebben dit getest op vier verschillende robottaken (een blik verplaatsen, vierkantjes stapelen, objecten transporteren en gereedschap ophangen).

De Uitkomst: De robots die ReGuide gebruikten, werden 1,3 tot 7,7 keer succesvoller dan de robots die alleen leerden van de originele video's.
Vergelijking: Het versloeg de "Test-Time Steering" methode (die de data weggooit) en vereiste geen constante tussenkomst van een menselijke expert.

Samenvatting

ReGuide is een systeem dat de "bijna-fouten" van een robot verandert in zijn beste leraren. In plaats van alleen een fout te herstellen en het te vergeten, legt de robot de correctie vast, bestudeert deze en wordt een meester in het herstellen van fouten. Het is een zelfverbeterende loop waarbij de robot leert zichzelf te redden, keer op keer opnieuw.

Technische Samenvatting: ReGuide

Probleemstelling

Behavior-cloned diffusiebeleid (diffusion policies), hoewel expressief in het modelleren van multimodale actieverdelingen, blijven kwetsbaar voor covariabele shift (covariate shift). Kleine afwijkingen van de gedemonstreerde toestanden kunnen ervoor zorgen dat het beleid observaties opvraagt die buiten de trainingsdistributie vallen, wat leidt tot cumulatieve fouten en taalfalen. Dit is met name acuut bij manipulatietaken met een lange horizon.

Bestaande oplossingen kampen met aanzienlijke trade-offs:

Expansie van de Trainingsdistributie: Methoden zoals DAgger vereisen voortdurende toegang tot experts voor correcties, terwijl data-augmentatie steunt op aannames over de taakstructuur of lokale dynamica.
Guidance tijdens de Testfase: Recente methoden (bijv. DynaGuide, Latent Policy Barrier) sturen een bevroren beleid tijdens de inferentie aan met behulp van gradiënten van een geleerd dynamisch model. Deze benaderingen gooien de gecorrigeerde trajecten echter weg na uitvoering, waardoor ze er niet in slagen de herstelde data te benutten voor beleidsverbetering.

Methodologie: ReGuide

ReGuide is een zelfverbeterend framework dat test-time guidance transformeert naar een mechanisme voor het genereren van herbruikbare, on-policy hersteldata. Het werkt via een iteratieve rollout–collect–train lus, bestaande uit drie kerncomponenten:

1. Fase-bewuste Doelconstructie (Phase-Aware Target Construction)

Om de ambiguïteit van globale doelen in taken met een lange horizon aan te pakken, deelt ReGuide demonstraties op in tijdsgeordende macro-fasen.

Feature Augmentatie: Latente toestanden worden uitgebreid met temporele verschillen (visueel en proprioceptief) om visueel gelijkaardige toestanden die bij verschillende taalfasen horen, te onderscheiden.
Clustering: Features worden geclusterd via PCA en gesorteerd op tijdstap om macro-fasen te vormen.
Doelsets: Voor elke fase $j$ wordt een set representatieve centroids $P_j$ geconstrueerd. Dit behoudt de multimodaliteit binnen fasen terwijl het precieze, lokale guidance-doelen biedt in plaats van een enkele globale manifold.

2. Fase-geconditioneerde Guidance (Phase-Conditioned Guidance - PCG)

ReGuide maakt gebruik van een geleerd dynamisch model om het diffusie-denoising proces aan te sturen, maar met specifieke beperkingen om de datakwaliteit te waarborgen:

Clean-Action Guidance: In tegen tegenstelling tot standaard guidance die differentieert door ruizige denoising-iteraties, past ReGuide Manifold Preserving Guided Diffusion (MPGD) aan. Het past de guidance-gradiënt toe via de geschatte schone actie ( $\hat{A}^0_t$ ), wat overeenkomt met de distributie waarop het dynamische model is getraind.
Two-Threshold Gating: Guidance wordt alleen toegepast in het "gedrift-maar-herstelbaar" regime.
- Een onderste drempel voorkomt onnodige interventie wanneer de rollout al dicht bij de expert-manifold ligt.
- Een bovenste drempel voorkomt afhankelijkheid van extrapolatieve dynamische gradiënten wanneer de rollout te ver van de trainingsdistributie verwijderd is.
- Deze drempels zijn fase-specifiek en passen zich aan aan de lokale geometrie van elke taalfase.
Fase-switching: Het systeem houdt de huidige fase-index bij en gaat pas verder wanneer de voorspelde latente staat consistent dichter bij de doelen van de volgende fase ligt.

3. Iteratieve Zelfverbeterende Leerprocessen

Succesvolle guided rollouts worden gefilterd en geabsorbeerd in de trainingsset om het beleid bij te werken. Het framework ondersteunt twee complementaire update-mechanismen:

ReGuide-FT (Fine-Tuning): Verfijnt de huidige checkpoint op een mengeling van de originele dataset en de nieuwe guided rollouts. Dit is computationeel efficiënt en behoudt de bestaande competentie.
ReGuide-FS (From Scratch): Traint een nieuw beleid vanaf nul op de uitgebreide dataset. Dit elimineert de afhankelijkheid van de initiële checkpoint, wat gunstig is wanneer het basisbeleid een slechte initialisatie is.
Compositie: Deze kunnen worden gestapeld (bijv. ReGuide-FS gevolgd door ReGuide-FT) om de sterke punten van beide benaderingen te combineren.

Belangrijkste Bijdragen

Data-generatiemechanisme: ReGuide herformuleert test-time guidance niet alleen als een correctietool, maar als een generator van hoogwaardige, on-policy hersteldata die vastlegt waar beleid afwijkt en hoe het kan herstellen.
Fase-geconditioneerde Guidance (PCG): Een nieuwe guidance-strategie die doelen lokaliseert naar taalfasen en guidance afschermt naar betrouwbare regimes, om de instorting van geldige gedragsmodi te voorkomen.
Clean-Action Differentiatie: Het aanpassen van guidance om te differentiëren door geschatte schone acties in plaats van ruizige iteraties, wat compatibiliteit garandeert met dynamische modellen getraind op schone data.
Iteratieve Lus: Een framework dat het beleid iteratief verbetert zonder extra expert-demonstraties te vereisen, beperkt door de prestatieplafond van zelfgegenereerde data.

Experimentele Resultaten

Geëvalueerd op vier Robomimic manipulatietaken (Can, Square, Transport, Tool Hang) onder lage-data regimes:

Prestatiewinst: ReGuide verbetert de succesratio's van het basisbeleid met 1,3–7,7×.
- Tool Hang zag de meest dramatische verbetering (7,7× met geïtegreerde ReGuide-FT), uitgaande van een basis succesratio van 3%.
- Can, Square, en Transport zagen consistente verbeteringen (1,3–1,5×) met enkele iteraties, en verdere winst met compositie of iteratie.
Vergelijking met LPB: In test-time-only settings (geen fine-tuning) presteert PCG beter dan de Latent Policy Barrier (LPB) baseline op alle geëvalueerde taken.
Ablatie-inzichten:
- Guided vs. Unguided: Winsten worden toegeschreven aan de kwaliteit van de guided hersteldata, niet enkel aan het volume van de extra rollouts.
- Thresholding: De two-threshold gate is cruciaal; het verwijderen van de bovenste drempel vermindert de prestaties aanzienlijk.
- Multimodaliteit: Een intermediaal aantal fase-targets ( $M \approx 50$ ) is optimaal; te weinig zorgt voor het instorten van modi, terwijl te veel het signaal verzwakt.
- Iteratie: Een tweede iteratie van ReGuide-FT presteert consequent beter dan de eerste, wat de levensvatbaarheid van de zelfverbeterende lus aantoont.

Betekenis en Claims

Het artikel claimt dat ReGuide een praktische oplossing biedt voor het probleem van covariabele shift in imitation learning door de "verspilling" van mislukte of gecorrigeerde trajecten om te zetten in waardevolle trainingsdata. Door guided rollouts te behandelen als herbruikbare on-policy data, stelt ReGuide beleid in staat om iteratief te verbeteren zonder de hoge kosten van continue expert-interventie.

De auteurs benadrukken dat het framework bescheiden is in zijn scope: het vertrouwt op een vast dynamisch model over de iteraties heen (voor efficiëntie) en gebruikt traject-niveau succesfiltering. Ze erkennen dat hoewel de methode goed werkt in simulatie, toekomstig werk nodig is om real-robot validatie, adaptieve fase-ontdekking en onzekerheidskalibratie van het dynamische model aan te pakken. De kernbijdrage is de demonstratie dat guided hersteldata waardevoller is dan ongeleide rollouts, wat een gesloten lus van beleidsverbetering mogelijk maakt die uitsluitend wordt gedreven door de gecorrigeerde ervaringen van het beleid zelf.