ExpertGen: Scalable Sim-to-Real Expert Policy Learning from Imperfect Behavior Priors

1. Het Probleem

De ontwikkeling van robuuste en generaliseerbare robotbeleid (policies) vereist doorgaans enorme hoeveelheden hoogwaardige data. Hoewel menselijke demonstraties (bijvoorbeeld via teleoperatie) de standaard zijn voor expertgedrag, is het verzamelen van deze data in de echte wereld op grote schaal prohibitief duur en tijdrovend.

Bestaande methoden voor simulatie-naar-realiteit (Sim-to-Real) transfer hebben te kampen met verschillende beperkingen:

• Onvolmaakte Priors: Beschikbare demonstraties (vaak gegenereerd door scripten of Large Language Models) dekken vaak niet alle mogelijke toestanden, missen herstelgedrag bij fouten, of vertonen dynamische mismatch met de echte hardware.
• Reward Engineering: Reinforcement Learning (RL) vereist vaak zorgvuldig ontworpen beloningfuncties (reward functions), wat domein-expertise vereist en de schaalbaarheid beperkt.
• Generalisatie en Robuustheid: Bestaande beleidstrategieën falen vaak bij onverwachte verstoringen of in situaties die afwijken van de getrainde demonstraties (distribution shift).

2. Methodologie: Het EXPERTGEN Framework

EXPERTGEN is een end-to-end framework dat expertbeleid automatiseert in simulatie om schaalbare Sim-to-Real transfer mogelijk te maken. Het proces bestaat uit drie hoofdfasen (zie Figuur 1 en 2 in het paper):

Fase 1: Generatieve Modellering van Onvolmaakte Gedragspriors

• Input: Een kleine set onvolmaakte demonstraties (bijv. gegenereerd door LLM's of menselijke teleoperatie). Deze data kan onvolledige staatendekking hebben of geen herstelgedrag bevatten.
• Model: Een diffusiebeleid (diffusion policy) wordt getraind op deze imperfecte data. Dit beleid fungeert als een "gedragsprior" die de menselijke of script-gebaseerde bewegingsmanifold leert, maar nog niet optimaal is voor de specifieke taak.
• Doel: Het creëren van een veilige, haalbare basisbeweging die binnen de fysieke beperkingen van de robot blijft.

Fase 2: Expertbeleid Verwerving via Diffusion Steering RL

• Techniek: Het framework gebruikt Diffusion Steering Reinforcement Learning (DSRL). In plaats van de gewichten van het voorgetrainde diffusiemodel aan te passen (wat de menselijke bewegingskwaliteit zou kunnen vernietigen), wordt alleen de initiële ruis (initial noise) van het diffusiemodel geoptimaliseerd.
• RL Algorithm: Een lichtgewicht RL-adapter (gebaseerd op FastTD3) leert hoe deze initiële ruis moet worden gestuurd om de taak te voltooien.
• Voordeel: Door het diffusiemodel "bevroren" te houden, blijft het beleid binnen de veilige, menselijke bewegingsmanifold (in-distribution). Dit regulariseert de exploratie en maakt effectief leren mogelijk met alleen spare beloningen (bijv. alleen succes/falen), zonder complexe reward engineering.
• Schaalbaarheid: Het proces draait in massaal parallelle simulatie (bijv. IsaacLab), wat het mogelijk maakt om duizenden rollouts tegelijkertijd te verwerken.

Fase 3: Visuomotorische Policy Distillatie via DAgger

• Overdracht: De in simulatie geleerde expertbeleid (dat toegang heeft tot "privileged state" informatie) wordt gebruikt als leraar.
• Distillatie: Via DAgger (Dataset Aggregation) wordt een student-beleid getraind dat alleen werkt op observaties (zoals RGB-beelden of puntwolken).
• Proces: De student voert acties uit in de simulatie; de expert corrigeert de acties op de gegenereerde toestanden. Dit proces wordt iteratief herhaald, waardoor de student leert om fouten te corrigeren en robuust te zijn tegen visuele onzekerheid.
• Domain Randomization: Tijdens dit proces wordt agressieve visuele randomisatie toegepast (lichting, texturen, camera-hoeken) om de overdracht naar de echte wereld te garanderen.

3. Belangrijkste Bijdragen

1. Schaalbare Diffusion Steering: Het paper toont aan dat het sturen van de initiële ruis van een diffusiemodel in massaal parallelle simulatie de natuurlijke bewegingsmanifold behoudt terwijl het succespercentages onder sparsere beloningen drastisch verbetert.
2. EXPERTGEN Framework: Een volledig geautomatiseerd proces dat een handvol onvolmaakte demonstraties omzet in robuuste, Sim-to-Real-klaar expertbeleid, zonder handmatige reward engineering.
3. Robuuste Zero-Shot Transfer: Succesvolle implementatie van visuele policies op echte robothardware via DAgger-distillatie, met bewezen vermogen om fouten te herstellen en te generaliseren naar nieuwe startconfiguraties.

4. Resultaten

Het framework is geëvalueerd op twee benchmarks: ANYTASK (algemene manipulatie) en AutoMate (industriële assemblage).

• Succespercentages:
  • Op de AutoMate benchmark (industriële pennen-in-holletjes taken) bereikte EXPERTGEN een overall succesrate van 90,5%, wat aanzienlijk hoger is dan alle baselines (zoals scripten, pure diffusie, of residual RL).
  • Op de ANYTASK benchmark (lange horizon taken zoals stapelen en laden) behaalde het 85% overall succes, opnieuw het beste resultaat vergeleken met concurrenten.
• Foutherstel: EXPERTGEN toonde aanzienlijke robuustheid tegen verstoringen (zoals willekeurige krachten op de gripper of het openen van de gripper tijdens een taak). Terwijl basisdiffusiepolities vaak volledig faalden bij dergelijke verstoringen, herstelde EXPERTGEN de taak succesvol.
• Smoothness en Haalbaarheid: De gegenereerde trajecten waren soepel (lage "jerk") en fysiek haalbaar, in tegenstelling tot Residual RL-methoden die bij grotere correcties vaak onnatuurlijke, trillende bewegingen produceerden.
• Sim-to-Real: De getrainde visuele policies werden succesvol gedeployed op een echte Franka-robotarm. Zelfs zonder extra fine-tuning in de echte wereld (zero-shot), behaalde het beleid hoge succespercentages (bijv. 80% bij het plaatsen van aardbeien in een kom), terwijl baselines op scripten faalden.

5. Significantie en Conclusie

EXPERTGEN biedt een praktische en schaalbare oplossing voor het "data-probleem" in de robotica. Door te combineren:

1. Onvolmaakte data (die goedkoop en makkelijk te genereren is),
2. Diffusiemodellen (voor het behoud van menselijke bewegingskwaliteit),
3. Massaal parallelle RL (voor het optimaliseren van taaksucces zonder complexe beloningen),

...creëert het framework hoogwaardige expertbeleid dat direct inzetbaar is in de echte wereld. Dit benadert de kloof tussen semantisch begrip (van VLA-modellen) en fysieke uitvoering, en maakt het mogelijk om robuuste robotsystemen te bouwen die niet alleen weten wat ze moeten doen, maar ook hoe ze het veilig en effectief moeten doen, zelfs bij fouten. De methode elimineert de noodzaak voor dure menselijke demonstraties en complexe reward-engineering, wat een belangrijke stap is richting autonome robotica in complexe omgevingen.