Technische Samenvatting: Offline Versterkend Leren met Generatieve Trajectbeleid

Probleemstelling

Offline Versterkend Leren (RL) staat voor een fundamentele uitdaging: het leren van een beleid uit een statische, vooraf verzamelde dataset zonder verdere interactie met de omgeving. Deze setting vereist dat het beleid generaliseert vanuit beperkte, vaak nauwe ervaring naar een onvoorspelbare wereld. Een kritieke knelpunt in dit domein is de afweging tussen beleidsuitdrukkingsvermogen en rekenkundige efficiëntie.

Traditionele offline RL-methoden vertrouwen vaak op eenvoudige functiebenaderingen (bijvoorbeeld Gaussische beleidsregels) die moeite hebben om de complexe, multimodale gedragingen in real-world datasets vast te leggen. Omgekeerd bieden recente generatieve benaderingen, zoals Diffusiebeleid, een hoog uitdrukkingsvermogen door complexe actie-distributies te modelleren, maar lijden ze onder trage, iteratieve bemonsteringsprocessen die een aanzienlijke rekenkundige last opleggen. Om dit te mitigeren werden Consistentiebeleid geïntroduceerd om inferentie te versnellen (vaak tot één of twee stappen), maar deze vereenvoudiging leidt vaak tot een verslechterde beleidsprestatie. De centrale onderzoeksvraag die door dit werk wordt aangepakt is: Is het mogelijk om een beleidsklasse te ontwerpen die zowel een hoog beleidsuitdrukkingsvermogen als rekenkundige efficiëntie bereikt?

Methodologie

1. Gecombineerd ODE-kader

De auteurs stellen een verenigend perspectief voor dat moderne generatieve modellen – inclusief Diffusiemodellen, Flow Matching, Consistentiemodellen (CM's) en Consistentietrajectmodellen (CTM's) – ziet als specifieke instanties van het leren van een continue-tijd generatief traject dat wordt geregeerd door een Gewone Differentiaalvergelijking (ODE).

Het omgekeerde proces wordt beschreven door de ODE:
$$\frac{dx_t}{dt} = f(x_t, t)$$
waarbij $f(x, t)$ een deterministisch traject definieert van een ruisverdeling $x_T$ naar een datasample $x_0$. De auteurs introduceren een Flow Map $\Phi(x_t, t, s)$, die een staat op tijdstip $t$ afbeeldt op een staat op tijdstip $s$. Zij betogen dat bestaande methoden slechts benaderingen zijn van specifieke aspecten van deze flow map.

Om deze kaart te leren, definiëren zij twee complementaire trainingsdoelen:

1. Instantane Flow-verlies (Lokaal Anker): Dwingt correctheid af voor infinitesimale stappen door de geleerde kaart te laten overeenkomen met het vectorveld (of denoiser) bij de limiet $s \to t$. Dit verenigt denoising in diffusiestijl en snelheidsschatting bij flow-matching.
2. Trajectconsistentieverlies (Globaal Regelaar): Dwingt zelfconsistentie af over lange, meerstaps sprongen, waarbij wordt gewaarborgd dat de samenstelling van tussenliggende stappen gelijk is aan de directe sprong.

2. Generatieve Trajectbeleid (GTP)

Op basis van dit kader introduceert het artikel Generatieve Trajectbeleid (GTP's), een nieuw beleidsparadigma dat de volledige oplossingskaart van de onderliggende ODE leert. In tegenstelling tot methoden die beperkt zijn tot trage, hoog-trouwheidsbemonstering of snelle, laag-trouwheids shortcuts, maken GTP's flexibele, meerstaps, deterministische generatie mogelijk.

3. Praktische Aanpassingen voor Offline RL

Het vertalen van het GTP-paradigma naar een functioneel offline RL-algorithm vereist het aanpakken van drie specifieke uitdagingen: verbodsfactoren in rekenkosten, trainingsinstabiliteit en niet-uitgelijnde doelen. De auteurs introduceren twee belangrijke, theoretisch onderbouwde aanpassingen:

• Stabiele Score-benadering:

  • Uitdaging: Het leren van het ODE-traject vereist typisch het numeriek oplossen van de ODE achterwaarts met een inner-loop solver voor elke sample, wat rekenkundig onuitvoerbaar en instabiel is door foutpropagatie vanuit onnauwkeurige schattingen in een vroeg stadium.
  • Oplossing: De auteurs vervangen het geleerde vectorveld door een gesloten-vorm surrogaat dat is verankerd aan het offline datasample: $\tilde{f}(x_t, t) = (x_t - x)/t$.
  • Theoretische Garantie: Stelling 4.1 bewijst dat het gebruik van dit surrogaat het trainingsdoel slechts verandert met $O(h^p)$ (waarbij $h$ de stapgrootte is), waardoor het praktische doel asymptotisch equivalent wordt aan het ideale doel. Dit elimineert de noodzaak voor kostbare meerstaps ODE-integratie tijdens training, terwijl stabiliteit wordt gewaarborgd.

• Waarde-gedreven Gidsing:

  • Uitdaging: Standaard generatieve doelen komen overeen met de data-distributie (Behavior Cloning), wat niet inherent leidt tot beleidsverbetering.
  • Oplossing: De auteurs formaliseren een waarde-gewogen trainingsdoel. Door de optimale oplossing af te leiden voor een KL-geregulariseerd beleidsoptimalisatieprobleem, tonen zij aan dat het trainen van een generatief beleid om overeen te komen met het optimale beleid gelijkwaardig is aan het oplossen van een gewogen generatief doel waarbij de gewichten de geëxponentieerde voordeel-functie zijn: $w(s, a) \propto \exp(\eta A(s, a))$.
  • Implementatie: Om stabiliteit te waarborgen, worden voordeel-gewichten genormaliseerd en worden negatieve waarden afgekapt. Dit stelt het beleid in staat om voorkeurig hoge-voordeel acties na te bootsen, terwijl het verankerd blijft bij de data-ondersteuning.

Belangrijkste Bijdragen

1. Generatieve Trajectbeleid (GTP): Een nieuw, zeer expressief beleidsparadigma afgeleid van een verenigend kader dat moderne generatieve modellen verbindt met continue-tijd ODE-trajecten.
2. Theoretische Aanpassingen: Twee belangrijke aanpassingen voor praktische offline RL:
   • Een score-benadering techniek die theoretische garanties biedt voor efficiëntie en stabiliteit, waardoor de noodzaak voor iteratieve solvers tijdens training wordt verwijderd.
   • Een variational kader voor waarde-gedreven beleidsverbetering dat de kloof overbrugt tussen imitatie-leren en beleidsoptimalisatie.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat GTP state-of-the-art prestaties bereikt op D4RL-benchmarks, en andere generatieve en offline RL-methoden overtreft.

Experimentele Resultaten

De auteurs evalueerden GTP op de D4RL-benchmark, die Gym (locomotie) en AntMaze (spaarzaam-beloning, lange-horizon) domeinen bestrijkt.

• Behavior Cloning (BC) Prestaties: Als een puur imitatie-leraar (zonder waarde-gidsing) bereikte GTP-BC state-of-the-art resultaten in 11 van de 15 taken. Opmerkelijk is dat het Diffusion-BC en Consistency-BC significant overtrof, met name in de uitdagende AntMaze-suite (gemiddelde score 66,3 versus 44,1 voor de volgende beste).
• Beleidsverbetering: Het volledige GTP actor-critic algoritme vestigde nieuwe state-of-the-art records voor generatieve beleid.
  • Op Gym-taken bereikte GTP een gemiddelde return van 89,0, en overtrof hiermee de vorige beste (Diffusion-QL bij 87,9).
  • Op AntMaze-taken bereikte GTP een gemiddelde van 80,6, en overtrof hiermee Diffusion-QL (69,6) en QGPO (78,3) significant.
  • Opmerkelijke Prestatie: GTP behaalde een perfecte score van 100,0 op de berucht moeilijke antmaze-umaze taak.
• Efficiëntie: Ablatiestudies bevestigden dat GTP niet afhankelijk is van lange ODE-trajecten voor prestaties; het reduceren van het bemonsteringshorizon van 5 naar 2 stappen behield hoge prestaties terwijl de inferentielatentie substantieel werd verminderd.

Betekenis en Claims

Het artikel claimt dat GTP succesvol de kloof overbrugt tussen uitdrukkingsvermogen en efficiëntie in offline RL. Door generatieve beleid te bekijken door de lens van een verenigd ODE-kader en de volledige oplossingskaart te leren, vermijdt GTP de rekenkundige knelpunten van iteratieve diffusiemodellen en de prestatiedegradatie van vereenvoudigde consistentiemodellen.

De auteurs benadrukken dat hun aanpak een principiële basis biedt voor het ontwerpen van generatieve beleid. De introductie van score-benadering en waarde-gedreven gidsing maakt dit theoretisch rijke kader praktisch haalbaar voor offline RL. De resultaten suggereren dat het leren van het volledige continue-tijd traject een krachtige inductieve bias biedt voor het vastleggen van complexe, temporeel uitgebreide gedragingen, met name in spaarzaam-beloning, lange-horizon omgevingen waar andere methoden moeite hebben.

Het artikel concludeert dat hoewel inferentie snel is, het verminderen van de aanzienlijke trainingsduur van deze modelklasse een belangrijke weg blijft voor toekomstig onderzoek. Het werk opent een veelbelovende richting voor het benutten van continue-tijd dynamiek in RL, en biedt een balans tussen robuustheid en prestatie die eerder onbereikbaar was.