Technische Samenvatting: Het Afstemmen van Flow Map-beleidsregels op Optimale Q-Geleiding

Probleemstelling

Generatieve beleidsregels gebaseerd op expressieve modelklassen, zoals diffusiemodellen en flow-matching, zijn goed geschikt voor complexe controleproblemen die worden gekenmerkt door sterk multimodale actie-distributies. Hun expressiviteit brengt echter aanzienlijke inferentiekosten met zich mee: het genereren van een enkele actie vereist doorgaans het simuleren van vele stappen van het generatieve proces (bijvoorbeeld het numeriek oplossen van een gewone differentiaalvergelijking). Deze cumulatieve latentie vormt een belemmering voor de implementatie in online en real-world omgevingen.

Hoewel recente inspanningen hebben geprobeerd één-staps offline beleidsregels te leren om deze latentie te mitigeren, blijken deze benaderingen vaak ontoereikend voor offline-naar-online versterkend leren (RL). In de online fase moet het beleid zich verbeteren boven de statische gedragsprior. Huidige één-staps generatieve beleidsregels vertrouwen vaak op heuristische "genereer-en-selecteer"-procedures (bijvoorbeeld best-of-$N$-sampling) om acties te beïnvloeden richting hoge critic $Q$-waarden. Deze aanpak compenseert het rekenkundige voordeel van één-staps generatie niet, omdat het talloze evaluaties van beleid en critic per beslissing vereist, en het garandeert geen optimale lokale verbetering voor enige eindige $N$.

Methodologie

Het artikel introduceert Flow Map-beleidsregels, een nieuwe klasse van generatieve beleidsregels die zijn ontworpen voor snelle actiegeneratie door het leren van jumps van willekeurige grootte – inclusief één-staps jumps – over de generatieve dynamiek van bestaande flow-based beleidsregels.

1. Flow Map-beleidsregels

In tegenstelling tot standaard flow-matching beleidsregels die een instantane snelheidsveld $v_t$ leren dat over de tijd moet worden geïntegreerd, leren Flow Map-beleidsregels een twee-tijds jump-operator $X_{r,t}$ die de actie-dynamiek ontwikkelt tussen twee willekeurige tijdstippen $r, t \in [0, 1]$.

• Definitie: Het beleid wordt gedefinieerd door een flow map $X_{r,t}$ zodanig dat $X_{r,t}(a_r | s) = a_t$.
• Parametrisatie: De map wordt geparametriseerd via een gemiddelde actiesnelheid $u_{r,t}$, waarbij $X_{r,t}(a_r | s) = a_r + (t-r)u_{r,t}(a_r | s)$.
• Trainingsdoelen: Om de flow map te trainen op niet-diagonale tijdsparen ($r < t$), handhaven de auteurs consistentieregels die zijn afgeleid uit de flow-map jump-voorwaarde en de semi-groeps-eigenschap van de ODE. Dit levert drie beleidsdistillatiedoelen op:
  1. Lagrangiaans: Distilleert de tijdsafgeleide van de map.
  2. Euleriaans: Distilleert de ruimtelijke gradiënt en de tijdsafgeleide.
  3. Progressief: Zorgt voor consistentie over tussenliggende jumps.
     Opmerking: Mean-flow beleidsregels (bijvoorbeeld MVP) blijken een specifieke instantiatie van het Euleriaanse doel te zijn.

2. Flow Map Q-Geleiding (FMQ)

Voor online adaptatie formuleren de auteurs het probleem als een trust-region optimalisatie die de $Q$-waarde van de critic verbetert terwijl het dicht bij het offline beleid blijft.

• Optimalisatieprobleem: Maximaliseer $Q_\phi(s, a_1 + \Delta)$ onder de voorwaarde $\|\Delta\|_2 \le \eta$, waarbij $a_1$ de actie is gegenereerd door de offline flow map.
• Gesloten-vorm oplossing (Stelling 3.2): Door de $Q$-functie te benaderen met een Taylor-ontwikkeling van de eerste orde, leiden de auteurs een analytisch optimale doelverplaatsing af. De optimale gemiddelde snelheid $u^*_{r,1}$ is:
  $$u^*_{r,1} = u^{off}_{r,1} + \eta \frac{\nabla_a Q_\phi(s, a_1)}{\|\nabla_a Q_\phi(s, a_1)\|_2}$$
• Leerdoel: Het beleid wordt getraind om te regresseren tegen dit optimale doel met behulp van een stop-gradient-operator, waardoor een zelfgebootstraapt leardoel ontstaat dat de actie-distributie afstemt op Q-geleiding zonder distillatienetwerken.
• Adaptieve Trust Region: Om critic-onzekerheid te hanteren, wordt de straal $\eta$ adaptief gemaakt per steekproef op basis van de onenigheid tussen een twin-critic ensemble. Hogere onenigheid leidt tot een kleinere trust region, waarbij prioriteit wordt gegeven aan de offline prior.

3. Q-Geleide Beam Search (QGBS)

Om acties tijdens de inferentie verder te verfijnen zonder extra training of kostbare ODE-simulaties, introduceren de auteurs QGBS.

• Mechanisme: Het combineert stochastische renoising (het corrumperen van de huidige actie naar een tussenliggende toestand $t' < 1$ op basis van het Signaal-Ruisverhouding) met beam search.
• Proces:
  1. Exploratie: Renoise de huidige actie om een batch tussenliggende toestanden te genereren.
  2. Denoising & Selectie: Gebruik de flow map om deze toestanden te denoisen naar $t=1$, waardoor meerdere kandidaat-acties worden gegenereerd.
  3. Exploitatie: Selecteer de top-kandidaten op basis van de critic $Q$-waarde, pas de optimale trust-region verplaatsing toe (Vergelijking 11) en itereren.
• Dit maakt iteratieve verfijning tijdens de inferentie mogelijk, waarbij exploratie en exploitatie in evenwicht worden gebracht.

Belangrijkste Bijdragen

1. Flow Map-beleidsregels: Een raamwerk voor het leren van één-staps beleidsregels als twee-tijds jump-operators voor flow-based generatieve acteurs, dat bestaande één-staps beleidsregels generaliseert.
2. Algoritmen (FMQ & QGBS):
   • FMQ: Een efficiënte adaptatiemethode die gebruikmaakt van optimale Q-geleiding afgeleid uit een trust-region-beperking, waardoor de noodzaak voor best-of-$N$-heuristieken tijdens training wordt geëlimineerd.
   • QGBS: Een stochastisch algoritme voor verfijning tijdens de inferentie dat renoising, beam-selectie en trust-region Q-geleiding combineert.
3. State-of-the-Art Prestaties: De methode behaalt superieure prestaties over 12 robotische manipulatie- en locomotietaken.

Experimentele Resultaten

De auteurs hebben FMQ en QGBS geëvalueerd op 12 taken uit OGBench en RoboMimic, waarbij ze werden vergeleken met baselines waaronder QC (multi-step flow matching) en MVP (state-of-the-art één-staps mean flow beleid).

• Prestaties: FMQ behaalde een state-of-the-art Interquartile Mean (IQM) succespercentage van 0,91, wat een relatieve verbetering van 21,3% betekent ten opzichte van MVP (0,75) en 5,8% ten opzichte van QC (0,86).
• Efficiëntie: FMQ is tijdens online adaptatie ongeveer 2,77$\times$ efficiënter dan MVP en convergeert aanzienlijk sneller naar dezelfde succesdoelen.
• Inferentie Schaling: Het toepassen van QGBS op FMQ verbeterde de IQM verder naar 0,93. Opmerkelijk is dat QGBS dit bereikte met minder netwerk-forward-evaluaties (NFE) dan standaard best-of-32-sampling in bepaalde configuraties, wat aantoont dat het diversifiëren van kandidaten via renoising efficiënter is dan simpelweg meer kandidaten te sample.
• Robuustheid: De methode toonde specifieke winsten in uitdagende omgevingen (bijvoorbeeld cube-trl-t4 en amaze-gnt-t4) waar baselines worstelden, en behield stabiliteit in locomotietaken met schaarse beloningen.

Betekenis

Het artikel claimt de kloof te overbruggen tussen de expressiviteit van generatieve beleidsregels en de eisen voor lage latentie van offline-naar-online RL. Door online adaptatie te formuleren als een trust-region optimalisatieprobleem, leiden de auteurs een principieel, gesloten-vorm leardoel af (FMQ) dat acties afstemt op Q-waarde-geleiding zonder de rekenkundige overhead van iteratieve sampling of de sub-optimaliteit van heuristische selectie. Bovendien biedt de introductie van QGBS een mechanisme om beleidsregels tijdens de inferentie te verfijnen, waarbij gebruik wordt gemaakt van stochastische sampling en beam search om de prestaties te verbeteren zonder extra trainingskosten. Het werk toont aan dat één-staps generatieve beleidsregels, wanneer correct worden geleid door optimale Q-gradiënten, zowel multi-step diffusiemodellen als bestaande één-staps baselines kunnen overtreffen in complexe continue controletaken.