Technische Samenvatting: Wanneer Dynamiek Verschuift, Wint Robuuste Taak-inferentie

Probleemstelling

Behavior Foundation Models (BFM's) zijn naar voren gekomen als een schaalbare oplossing voor imitatielearning (IL), waardoor agenten snel kunnen adapteren aan nieuwe taken door taakongebonden representaties voor te trainen op diverse offline data. Echter, standaard BFM's opereren onder een kritieke aanname: dat de omgevingsdynamiek tijdens het voortrainen en het inzetten identiek is. In real-world scenario's wordt deze aanname vaak geschonden door discrepanties tussen simulatie en realiteit, mechanische slijtage, sensorruis en omgevingsvariaties (bijvoorbeeld veranderingen in wrijving, actuatiegrenzen of zwaartekracht).

Bestaande oplossingen voor deze kwetsbaarheid, zoals dynamiek-geconditioneerde geloofsencoders of geheugenverrijkte architecturen, vereisen doorgaans voortrainingsdata die een breed scala aan dynamische regimes bestrijkt. Deze vereiste is vaak duur, tijdrovend en onuitvoerbaar in praktische situaties waar alleen offline data uit één enkel nominaal milieu beschikbaar is. De centrale vraag die dit werk adresseert is: Kunnen BFM's robuust worden gemaakt voor verschuivingen in omgevingsdynamiek wanneer alleen offline data uit één enkel nominaal milieu beschikbaar is?

Methodologie

De auteurs stellen een raamwerk voor dat de last van robuustheid verplaatst van de voortrainingsfase naar de fase van taak-inferentie. In plaats van het voorgetrainde BFM te wijzigen of voortrainingsdata met meerdere dynamieken te vereisen, formuleren zij het probleem van taak-inferentie als een robuuste minimax-optimalisatie over een onzekerheidsset van omgevingsdynamiek.

De kernbenadering omvat het leren van een latente taak-embedding $z$ die de imitatieverlies minimaliseert tegen een adversary. De adversary kiest op zijn beurt een overgangsmodel binnen een gespecificeerde onzekerheidsset (gedefinieerd door een totale variatie- of $f$-divergentiebol rond de nominale dynamiek) die dit verlies maximaliseert. Dit resulteert in een taak-embedding die "hedgt" tegen plausibele verschuivingen in dynamiek zonder de voortrainingsprocedure te wijzigen.

Twee specifieke algoritmen worden geïntroduceerd om computationele efficiëntie en robuustheid in evenwicht te brengen:

1. RBFM-Light: Deze variant verslapt de dynamiek-perturbaties tot een onzekerheidsset voor staatsbezettingsgraad. Door de gevoeligheid van de afgekwete staatsbezettingsmaatstaf voor perturbaties van de overgangskern te karakteriseren, leiden de auteurs een hanteerbare offline doelstelling af. Deze benadering introduceert één robuustheidsparameter die gezamenlijk wordt geoptimaliseerd met de taak-embedding $z$, waardoor robuustheid wordt bereikt met minimale computationele overhead.
2. RBFM-Heavy: Deze variant dwingt robuustheid af via expliciete Bellman-stroombeperkingen. Het zorgt ervoor dat de geperturbeerde bezettingsmaten corresponderen met geldige stationaire verdelingen die worden geïnduceerd door het expertbeleid onder de onderliggende MDP-structuur. Door realisatiebeperkingen op te nemen en $f$-divergentie te gebruiken (specifiek een gladde SoftTV-generator), vermijdt deze methode te conservatieve oplossingen die kunnen ontstaan uit onbeperkte bezettingsperturbaties. Het lost een bilevel-optimalisatieprobleem op dat de schatting van duale variabelen (Lagrange-multiplicatoren) en de taakvector $z$ omvat.

Beide methoden vertrouwen uitsluitend op offline data uit het nominale milieu voor voortraining en een kleine set expertdemonstraties voor taak-inferentie. Er is op geen enkel stadium expertdata uit geperturbeerde omgevingen vereist.

Belangrijkste Bijdragen

1. Robuuste Formulering: Het paper stelt een robuuste formulering van BFM-taak-inferentie voor via minimax-optimalisatie over een onzekerheidsset van omgevingsdynamiek. Dit maakt robuustheid tegen dynamiekverschuivingen mogelijk zonder enige wijziging in het BFM-voortrainingsproces.
2. Algoritmische Varianties: De auteurs introduceren RBFM-Light en RBFM-Heavy, twee algoritmen die een afweging bieden tussen computationele efficiëntie en robuustheid, terwijl ze de snelle eigenschap van taak-inferentie die inherent is aan BFM's behouden.
3. Data-efficiëntie: De benadering vereist slechts één exploratiedataset verzameld in de nominale setting voor voortraining en een kleine set expertdemonstraties voor inferentie. Dit staat in contrast met eerdere werken die vertrouwen op data uit meerdere diverse omgevingen om robuuste representaties te leren.
4. Nieuwheid: Naar beste weten van de auteurs is dit het eerste werk dat robuustheid tegen variatie in omgevingsdynamiek bereikt binnen het BFM-raamwerk zonder voortraining of expertdata uit meerdere dynamische regimes te vereisen.

Experimentele Resultaten

De auteurs evalueerden hun methoden op de ExORL-benchmark over drie morfologisch diverse omgevingen: Walker, Quadruped en Cheetah, met behulp van datasets gegenereerd door ongesuperviseerde exploratiestrategieën (RND, APS, PROTO). Zij introduceerden diverse fysica-perturbaties, waaronder veranderingen in zwaartekracht, schaling van lichaamsmassa, gewrichtswrijving, gekantelde zwaartekracht en het afsnijden van het bereik van actuatorbesturing.

• Robuustheid versus Standaard BFM: In alle omgevingen en perturbatietypes presteerden beide RBFM-varianten consequent beter dan de standaard FB-IL-baseline. Naarmate de ernst van de perturbatie toenam, vergrootte de prestatiekloof, waarbij FB-IL de steilste degradatie vertoonde. RBFM-Heavy bereikte over het algemeen de hoogste returns, gevolgd door RBFM-Light.
• Vergelijking met Robuuste IL voor Eén Taak: De voorgestelde methoden werden vergeleken met baselines voor distributioneel robuuste offline IL voor één enkele taak (DRBC en BE-DROIL). Hoewel single-task baselines FB-IL overtroffen bij hoge perturbatieniveaus, behield het RBFM-raamwerk consistente superioriteit ten opzichte van zowel FB-IL als de single-task baselines over de volledige perturbatiesweep. Dit onderstreept het voordeel van multi-task voortraining gecombineerd met robuuste inferentie.
• Computationele Efficiëntie: Een cruciale bevinding is de efficiëntie van de aanpak. Single-task robuuste baselines vereisten uren (5–6 uur) per taak voor optimalisatie. Daarentegen reduceerden RBFM-varianten de taakspecifieke inferentietijd tot minuten (5–10 minuten), waardoor ze orde van grootte sneller zijn terwijl ze superieure robuustheid bereiken.
• Gevoeligheid voor Data en Parameters: De studie toonde aan dat robuuste taak-inferentie kritiek afhankelijk is van de kwaliteit van de geleerde FB-representaties, waarbij voldoende voortrainingsdata (bijvoorbeeld 1 miljoen overgangen) vereist is om expressief te worden. Bovendien bleek de robuustheidsparameter $\epsilon$ de afweging te controleren tussen nominale prestaties en robuustheid, waarbij een tussenwaarde ($\epsilon=0,8$) de beste algehele afweging opleverde.

Betekenis en Claims

Het paper claimt dat robuuste beleidsplannen volledig kunnen worden bereikt op het moment van taak-inferentie, wat de praktische toepasbaarheid van BFM's in dynamische settings aanzienlijk verbetert. Door robuustheid te ontkoppelen van voortraining, stelt het voorgestelde raamwerk een enkel voorgetraind model in staat om robuust te adaptieren aan nieuwe taken met alleen offline data uit één enkel nominaal milieu.

De auteurs benadrukken dat deze aanpak een fundamentele beperking van huidige BFM's adresseert – hun broosheid bij dynamische mismatch – zonder de prohibitieve kosten van voortraining in meerdere omgevingen of de computationele inefficiëntie van per-taak robuuste optimalisatie te incurren. De resultaten tonen aan dat robuustheid tijdens de inferentiestap kan worden "ingebakken", wat een schaalbare weg biedt voor het inzetten van foundation-modellen in real-world, ongestructureerde omgevingen waar dynamiek onderhevig is aan onvoorspelbare verschuivingen.