Technische Samenvatting: Residual Flow Steering (RFS) voor Dexterous Manipulation

Probleemstelling

Imitatie-leren, met name het gebruik van expressieve generatieve modellen zoals diffusie en flow matching, is effectief gebleken voor het bootstrappen van beleid (policies) in hoogdimensionale dexterous manipulation. Echter, beleidsmodellen die uitsluitend zijn voorgetraind op menselijke demonstraties, vertonen vaak een beperkte generalisatie naar ongeziene scenario's en vereisen fijnafstemming om robuuste, productiewaardige prestaties te bereiken.

Bestaande adaptatiemethoden kampen met een afruil:

• Supervised Fine-Tuning: Vereist hoogwaardige, gecureerde expertdata, wat kostbaar is om te verzamelen.
• Reinforcement Learning (RL) met Generatieve Modellen: Hoewel RL een principieel kader biedt voor de verbetering van gedrag via beloningsoptimalisatie, vertrouwen standaard RL-fijnafstemmingsmethoden vaak op gesloten vorm likelihoods of reparameterisatie-trucs. Deze zijn incompatibel met complexe generatieve architecturen (diffusie-/flow-modellen). Bovendien hebben bestaande technieken voor beleidsmodulatie moeite met het balanceren van globale exploratie versus lokale precisie:
  • Residual RL maakt lokale actiecorrecties mogelijk, maar faalt in het induceren van noodzakelijke globale gedragsveranderingen.
  • Diffusion Steering (inputmodulatie) staat globale modulatie toe, maar biedt beperkte fijnmazige controle in off-distribution staten.

De kernuitdaging is het aanpassen van voorgetrainde generatieve beleidsmodellen aan nieuwe taken en realistische dynamiek, terwijl de voordelen van globale exploratie uit de voorgetrainde fase behouden blijven en de mogelijkheid tot snelle correctie van lokale uitvoeringsfouten wordt vergroot.

Methodologie: Residual Flow Steering (RFS)

De auteurs stellen Residual Flow Steering (RFS) voor, een datageefficiënt reinforcement learning framework dat input- en outputmodulatie verenigt om voorgetrainde flow-matching beleidsmodellen aan te passen.

Unified Policy Modulation

RFS beschouwt beleidsadaptatie als het moduleren van een voorgetraind basisbeleid $\pi_{base}$ (gerepresenteerd door een flow-matching velocity field $v_\theta$) zonder de onderliggende parameters bij te werken. Het optimaliseert gezamenlijk twee componenten:

1. Latent Noise Steering (Input Modulatie): Een beleid $\pi_H$ leert een initiële latente ruisvector $a_0$ te produceren, geconditioneerd op de staat $s$. Dit stuurt het globale gedrag van het generatieve model, waardoor het beleid modi kan verschuiven en kan exploreren buiten de demonstratie-manifold.
2. Residual Action Correction (Output Modulatie): Een beleid $\pi_r$ leert een residuele actie $a_r$ die wordt toegevoegd aan de output van het basisbeleid. Dit maakt precieze, lokale verfijningen mogelijk om uitvoeringsfouten te corrigeren of off-manifold vereisten af te handelen.

De uiteindelijke actie wordt berekend als:
$$a = a_{base} + a_r$$
waarbij $a_{base}$ wordt gegenereerd door de flow-dynamiek te integreren vanaf de gestuurde latente ruis $a_0$.

Implementatie Pipeline

Het framework wordt geïnstancieerd via een simulatie-naar-realiteit pipeline:

1. Simulatie Pretraining: Een basis flow-matching beleid wordt getraind op een kleine set VR-teleoperated demonstraties.
2. Online RL in Simulatie: Het RFS-beleid ($\pi_{RFS}$) wordt gefinetuned met behulp van online PPO om grijpsucces en stabiliteit te optimaliseren. Geprivilegieerde staatinformatie (bijv. objectposities) wordt hier gebruikt om hoogwaardige demonstraties te genereren.
3. Distillatie: Het RFS-verbeterde beleid wordt gedistilleerd naar een visuomotorisch beleid geconditioneerd op point clouds, waardoor de noodzaak voor geprivilegieerde staatinformatie voor deployment wordt weggenomen.
4. Real-World Offline Fine-Tuning: Om de sim-to-real kloof te overbruggen, wordt het gedistilleerde beleid aangepast met behulp van een kleine dataset van door mensen gecorrigeerde transities.
   • Dataverzameling: Het basisbeleid voert rollouts uit; mensen grijpen in met corrigerende acties ($a_{human}$).
   • Residue Definitie: Het residu wordt gedefinieerd als $a_r = a_{human} - a_{base}$.
   • Training: Het RFS-beleid wordt getraind met behulp van Offline RL (specifiek TD3+BC). De critic is geconditioneerd op de uiteindelijke uitgevoerde actie ($a = a_{base} + a_r$) in plaats van op de gedecomposeerde componenten, wat volgens de auteurs cruciaal was voor stabiliteit. De actor maximaliseert de critic-waarde terwijl een behavior cloning regularisator op de residuele acties wordt toegepast.

Belangrijkste Bijdragen

1. RFS Framework: Introductie van Residual Flow Steering, een verenigd framework dat gezamenlijk latente ruis (voor globale adaptatie) en residuele acties (voor lokale verfijning) optimaliseert om voorgetrainde flow-matching beleidsmodellen aan te passen.
2. Effectieve Simulatie Pretraining: Demonstratie dat RFS robuuste simulatie-pretraining mogelijk maakt vanuit menselijke demonstraties, waarbij complexe coördinatie van meerdere vingers succesvol wordt gevangen.
3. Datageefficiënte Real-World Adaptatie: Validatie dat RFS real-world fine-tuning ondersteunt via offline RL, waarbij het beter presteert dan bootstrapped imitatie-leren baselines en standaard residual-only of steering-only methoden.
4. Uitgebreide Ablaties: Uitgebreide experimenten die de noodzaak van zowel input- als outputmodulatie identificeren voor hoge prestaties in zowel simulatie als real-world settings.

Experimentele Resultaten

Simulatie Prestaties

RFS werd geëvalueerd op zes dexterous manipulation taken: Grasping, Pick & Place, Packing, Push-to-Grasp, Stacking en Pouring.

• Baselines: RFS werd vergeleken met Diffusion/Flow RL fine-tuning (DPPO, ReinFlow), Offline-to-Online RL (IQL, AWAC, Flow Q-Learning), en RL met Demonstraties (RLPD, IBRL).
• Ablaties: Vergeleken met enkel Residual RL (Policy Decorator, ResiP) en enkel Diffusion Steering (DSRL).
• Resultaat: RFS behaalde de hoogste succesratio's over alle taken, met een gemiddelde succesratio van 0,87.
  • Opvallend genoeg presteerde RFS significant beter dan het basisbeleid en alle baselines op langdurige (Packing) en precisie-gevoelige (Stacking, Pouring) taken waar andere methoden faalden of moeite hadden.
  • Bijvoorbeeld, op Stacking behaalde RFS 0,95 succes, vergeleken met 0,15 voor het basisbeleid en 0,135 voor DSRL.

Real-World Prestaties

Experimenten werden uitgevoerd met een Franka arm met een LEAP hand, waarbij beleidsmodellen getraind in simulatie werden overgebracht naar real-world grasping en pick-and-place taken met zowel bekende als onbekende objecten.

• Setup: Fine-tuning werd uitgevoerd met slechts 50 door mensen gecorrigeerde demonstraties (offline RL).
• Baselines: Zero-shot transfer, Behavior Cloning (BC) fine-tuning, en Co-training.
• Resultaat:
  • Bekende Objecten: RFS behaalde 90,0% succes in Pick-and-Place en 80,0% in Grasping, waarmee het Co-training (60,0% / 83,3%) en BC (40,0% / 73,3%) versloeg.
  • Onbekende Objecten: RFS demonstreerde superieure generalisatie, met een succespercentage van 74,0% in Grasping en 48,0% in Pick-and-Place, aanzienlijk hoger dan de zero-shot baseline (43,3% / 30,0%) en andere offline RL varianten.
• Critic Design: De auteurs stelden vast dat het conditioneren van de critic op de uiteindelijke uitgevoerde actie ($a_{base} + a_r$) essentieel was; het conditioneren op gedecomposeerde componenten leverde geen consistente resultaten op.

Betekenis en Claims

Het artikel claimt dat RFS een fundamentele oplossing biedt voor de "adaptatie-bottleneck" in generatief imitatie-leren. Door globale exploratie (via latente ruis) te ontkoppelen van lokale verfijning (via residuen), stelt RFS beleidsmodellen in staat om:

1. Pretraining te Preserveren: De expressieve structuur en multimodale capaciteiten van het voorgetrainde flow-matching beleid te behouden.
2. Efficiënt te Adapteren: Robuuste prestaties te behalen met minimale real-world interactiegegevens (offline fine-tuning).
3. Te Generaliseren: Succesvol te transferen van simulatie naar de echte wereld, waarbij zij onbekende objecten en dynamische condities aanpakken die zero-shot beleidsmodellen doen falen.

De auteurs concluderen dat hoewel RFS zeer effectief is, de huidige beperkingen een afhankelijkheid van point-cloud observaties zijn (gebrek aan hoog niveau semantisch redeneren) en een restrictie tot offline fine-tuning, wat de responsiviteit tijdens deployment bij dynamisch veranderende condities beperkt.