Technische Samenvatting: Latent Policy Barrier (LPB)

Probleemstelling

Visuomotorische policies die getraind zijn via Behavior Cloning (BC) zijn inherent kwetsbaar voor covariate shift. In dit scenario leiden kleine afwijkingen van expert-trajecten tijdens de uitvoering tot een cumulatief effect, waardoor de agent in out-of-distribution (OOD) toestanden terechtkomt en de taak faalt.

Huidige mitigatiestrategieën kampen met significante beperkingen:

• Human-in-the-loop correcties (bijv. DAgger): Vereisen uitgebreide menselijke interventie, zijn arbeidsintensief en introduceren vaak suboptimale of inconsistente demonstraties die de kwaliteit van de policy degraderen.
• Synthetische Data Augmentatie: Leunt op sterke taakspecifieke aannames of invarianties en riskeert het introduceren van ruis die de precisie van imitatie in gevaar brengt.
• Fundamentele Trade-off: Er bestaat een spanning tussen de behoefte aan hoogwaardige, consistente expert-data voor precieze imitatie en de behoefte aan diverse, vaak suboptimale data om robuustheid tegen OOD-toestanden te waarborgen. Het construeren van een enkele dataset die beide behoeften in balans brengt, is uitdagend.

Methodologie: Latent Policy Barrier (LPB)

Geïnspireerd door Control Barrier Functions (CBF's) in de regeltechniek, stelt LPB een framework voor dat de latente distributie van expert-demonstraties behandelt als een impliciete barrière die veilige (in-distribution) toestanden scheidt van onveilige (OOD) toestanden. De kerninnovatie is de ontkoppeling van precieze expert-imitatie en OOD-herstel naar twee afzonderlijke modules.

1. Architectuurcomponenten

• Base Diffusion Policy ($\pi_\theta$): Uitsluitend getraind op een beperkte set hoogwaardige expert-demonstraties. Het enige doel is precieze imitatie. Het maakt gebruik van een visuele encoder $h_\theta$ om ruwe observaties te mappen naar latente representaties.
• Visual Latent Dynamics Model ($d_\phi$): Getraind op een bredere, dataset van gemengde kwaliteit, bestaande uit zowel expert-demonstraties als automatisch gegenereerde rollout-data.
  • Rollout Data Collectie: Tussentijdse checkpoints van de base policy worden tijdens de training opgeslagen en uitgevoerd in de omgeving. Dit genereert diverse staat-actie paren die afwijkingen dekken zonder dat menselijke teleoperatie, beloningsannotaties of succeslabels nodig zijn.
  • Modelstructuur: Het dynamica-model bestaat uit de bevroren visuele encoder $h_\theta$ (gedeeld met de base policy) en een leerbare dynamics predictor $f_\phi$ (geïmplementeerd als een decoder-only transformer). Het voorspelt toekomstige latente observaties op basis van huidige latente staten en kandidaat-actievolgordes.

2. Trainingsfase

• Base Policy: Geoptimaliseerd via een behavior cloning loss op expert-data.
• Dynamics Model: Getraind met een latente-ruimte Mean Squared Error (MSE) loss tussen de voorspelde toekomstige latente staat en de grondwaarheid van de toekomstige latente staat. Het gebruik van de bevroren encoder zorgt voor consistentie tussen de beslissingsruimte van de policy en de voorspellingsruimte van het dynamica-model.

3. Optimalisatie tijdens Inferentie (Steering)

Tijdens inferentie stuurt LPB de base policy actief bij om drift te voorkomen:

1. OOD Detectie: Het systeem berekent een Latent OOD Score ($\delta$), gedefinieerd als de $\ell_2$-afstand tussen de huidige gecodeerde observatie en de dichtstbijzijnde buur in de expert-latente ruimte.
2. Drempelwaarde (Thresholding): Als $\delta$ onder een vooraf bepaalde drempelwaarde $\tau$ ligt, voert de base policy normaal uit.
3. Gradient Guidance: Als $\delta > \tau$, activeert het systeem een correctiemechanisme geïnspireerd op classifier guidance in diffusiemodellen.
   • Het systeem voorspelt toekomstige latente staten met behulp van het dynamica-model op basis van kandidaat-acties.
   • Het berekent de gradiënt van de OOD-score met betrekking tot de actievolgorde.
   • Deze gradiënt wordt gebruikt om de ruisvoorspelling in het diffusie-denoising proces te verfijnen, wat effectief de voorspelde toekomstige staten terugtrekt naar het expert-manifold.
   • Noot: Om stabiliteit te garanderen, wordt gradient guidance alleen toegepast tijdens de laatste $K_{guide}$ denoising-stappen (bijv. de laatste 10 van de 100 stappen), waar de samples meer gestructureerd zijn.

Belangrijkste Bijdragen

1. Ontkoppeld Leerframework: LPB scheidt het leren van precieze imitatie (Base Policy) van robuustheid (Dynamics Model), waardoor een kleine, hoogwaardige expert-dataset kan worden gebruikt voor imitatie, terwijl goedkope, suboptimale rollout-data kan worden benut voor robuustheid.
2. Impliciet Barrière-mechanisme: In plaats van expliciete analytische veiligheidssets of systeemdynamica te vereisen, leert LPB een impliciete barrière in de latente ruimte die wordt gedefinieerd door de expert-data distributie.
3. Plug-and-Play Compatibiliteit: De methode kan off-the-shelf pre-trained policies verbeteren zonder dat hertraining of fine-tuning van de base policy zelf nodig is, mits er een dynamica-model getraind kan worden op rollout-data.
4. Data-efficiëntie: Door automatisch gegenereerde rollout-data te gebruiken voor het dynamica-model, vermindert LPB de afhankelijkheid van arbeidsintensieve menselijke correcties.

Experimentele Resultaten

De auteurs evalueerden LPB in gesimuleerde omgevingen (Push-T, Robomimic, Libero-10) en real-world robotica-taken (Cup Arrangement, Belt Assembly).

• Sample Efficiëntie: In scenario's met weinig data (bijv. het gebruik van slechts 20% van de expert-demonstraties) presteerde LPB consistent beter dan baselines, inclus_ief Expert BC, Mixed BC, Filtered BC, CQL en CCIL. De verbeteringen waren het meest uitgesproken in langdurige, precisiegevoelige taken zoals Tool-Hang en Transport.
• Robuustheid tegen Perturbaties: Wanneer tijdens inferentie Gaussische ruis in de acties werd geïnjecteerd, behield LPB de hoogste succesratio vergeleken met de baselines, wat een superieure veerkracht tegen covariate shift aantoont.
• Real-World Prestaties:
  • Cup Arrangement: LPB slaagde erin te herstellen van out-of-distribution initiële posities (waarbij de camera noch de beker, noch het schoteltje zag) door de robot aan te sturen om de objecten te onthullen, terwijl de base policy faalde.
  • Belt Assembly: In een contact-rijke taak die hoge precisie vereist, verbeterde LPB de succesratio van 0.55 (Base BC) naar 0.75, waarbij het succesvol herstelde van initiële afwijkingen die de base policy lieten falen.
• Ablatie: De studie bevestigde dat het dynamica-model profiteert van de bredere staat-actie dekking van de rollout-data, zelfs wanneer deze data suboptimaal is, en dat de latente OOD-score dient als een betrouwbaar signaal voor het detecteren en corrigeren van drift.

Betekenis en Claims

Het artikel claimt dat LPB een praktisch pad biedt naar betrouwbaar visuomotorisch leren door de trade-off tussen imitatieprecisie en robuustheid op te lossen. Door behavior cloning te transformeren van een passieve imitator naar een actieve, zelfcorrigerende controller, maakt LPB het volgende mogelijk:

• Betrouwbare manipulatie vanuit beperkte expert-data.
• Robuustheid zonder extra menselijke correctie of annotatie.
• Het vermogen om te herstellen van OOD-toestanden door de policy terug te sturen naar het expert-manifold in de latente ruimte.

De auteurs erkennen beperkingen en merken op dat LPB momenteel korte-termijn, lokale afwijkingen corrigeert en een taakspecifiek dynamica-model vereist. Toekomstig werk wordt gesuggereerd om long-horizon redeneren, multitask dynamica-modellen voor zero-shot generalisatie en distributievrije onzekerheidskwantificering voor scenario's zonder expert-trainingdata te verkennen.