Technische Samenvatting: Entropy-Geregulariseerde Adjoint Matching voor Offline RL

Probleemstelling

Het artikel behandelt het Support-Binding Dilemma (SBD) dat inherent is aan offline Reinforcement Learning (RL) bij het gebruik van expressieve generatieve beleidsstrategieën, zoals flow-matching-modellen. Hoewel continu-tijd frameworks zoals Adjoint Matching (QAM) de beleidsoptimalisatie stabiliseren door onstabiele solver-backpropagation te omzeilen, blijven ze strikt gebonden aan de vaste gedragsverdeling ($\pi_\beta$) van het offline dataset. Deze afhankelijkheid creëert twee kritieke beperkingen:

1. Populariteitsbias (Dichtheidsfront): De optimalisatie berust op een multiplicatieve afhankelijkheid van de gedragsprior ($\pi^* \propto \pi_\beta \exp(Q/\tau)$). Als een optimale actie zeldzaam is in het dataset, onderdrukt het verdwijnende $\pi_\beta$-term het beloningssignaal. Het overwinnen hiervan vereist agressieve temperatuurschaalvergroting, wat criticus-benaderingsfouten versterkt en de agent dwingt suboptimale, hoogfrequente acties te accepteren om stabiliteit te behouden.
2. Zero-Support Valstrik (Geometrisch front): Als een optimale actie buiten de support van het gedragsdata ligt, geldt $\pi_\beta = 0$. Deze structurele beperking verhindert dat de agent deze gebieden ooit bereikt, waardoor de ontdekking van nieuwe gedragspatronen wordt gestopt, ongeacht het beloningssignaal.

Bestaande oplossingen, zoals het toevoegen van residuële Gaussische beleidsstrategieën (bijv. QAM-Edit) om de agent van het data-manifold te duwen, breken vaak de continue Gewone Differentiaalvergelijking (ODE)-formulering. Deze heuristieken fungeren als structurele pleisters die de coherente vectorveld-trajectie verstoren en de expressiviteitsknelpunten die geassocieerd zijn met unimodale verdelingen, opnieuw introduceren.

Methodologie: Maximum Entropy Adjoint Matching (ME-AM)

De auteurs stellen Maximum Entropy Adjoint Matching (ME-AM) voor, een unificerend kader dat het SBD volledig oplost binnen de continue flow-formulering. ME-AM integreert twee primaire mechanismen:

1. Beloningsgeleid Mengsel-Prior (Geometrische Expansie)

Om de geometrische kloof tussen geïsoleerde dataclusters te overbruggen zonder de continue ODE te breken, vult ME-AM het gedragsdataset tijdens het trainen aan.

• Mechanisme: Een fractie $\epsilon$ van de dataset-acties wordt vervangen door synthetische doelen gegenereerd door een auxiliary Gaussische actor ($\pi_\omega$). Deze actor wordt getraind via een Soft Actor-Critic (SAC)-stijl doelstelling om hoge-beloningsacties te voorspellen, geconditioneerd op de staat en een empirische actie.
• Effect: De basisflow wordt getraind tegen een mengselverdeling $\pi_{mix} = (1-\epsilon)\pi_\beta + \epsilon\pi_\omega$. Dit breidt de geldige geometrische support op natuurlijke wijze uit, waardoor het model leert ruis te transporteren naar out-of-distribution (OOD)-modi, terwijl een structureel gezonde, continue ODE behouden blijft.

2. Dichtheidsvereffening via Mirror Descent (Entropie-Maximalisatie)

Om populariteitsbias te mitigeren, maximaliseert ME-AM de differentiaal-entropie van de fijngefineerde beleidsstrategie direct binnen het adjoint-systeem.

• Mechanisme: In plaats van expliciete dichtheidsbeoordeling (wat computationeel prohibitief is), maakt de methode gebruik van Functionele Mirror Descent (MD). De functionele gradiënt voor entropie-maximalisatie reduceert tot de negatieve scorefunctie ($-\nabla \log \pi$).
• Implementatie: De negatieve score wordt direct geïnjecteerd in de terminale randvoorwaarde van de Adjoint ODE, naast de waardegradiënt. Om numerieke instabiliteit bij de terminale rand ($t \to 1$) te voorkomen, wordt een lichtgewicht auxiliary score-netwerk ($S_\psi$) getraind via een variantie-gewogen denoising-doelstelling.
• Effect: Dit proces vult de gepiekte gedragsdichtheid over de uitgebreide support, waardoor de agent hoge-beloningsacties kan benadrukken zonder de extreme, fout-versterkende contrasten van strikte temperatuurschaalvergroting te vereisen.

Theoretische Formulering

De unificerende doelstelling aligneert het fijngefineerde vectorveld met een geïnterpoleerde referentiestroom ($v_{ref}$) die de statische mengselbasis en een langzaam bewegende target-anker in evenwicht brengt. De auteurs bewijzen (Stelling 2) dat de optimale stationaire beleidsstrategie convergeert naar:
$$\pi^*(a|s) \propto (\pi_{mix}(a|s))^{\delta(s)} \exp\left( \frac{1}{\kappa(s)} Q_\phi(s, a) \right)$$
waarbij $\delta(s) \in (0, 1)$ een staat-afhankelijke exponent is die wiskundig de vereffening van de prior-dichtheid garandeert, waardoor exploratie wordt ontkoppeld van empirische datafrequenties.

Belangrijkste Bijdragen

1. Unificerend Kader: ME-AM is de eerste methode om het Support-Binding Dilemma volledig op te lossen binnen een continue flow-formulering, waardoor de noodzaak voor losgekoppelde bewerkingen of post-processing-heuristieken die de ODE-structuur breken, wordt geëlimineerd.
2. Geometrische en Dichtheidsoplossing: Het lost gelijktijdig de zero-support-valstrik op via een leerbare, criticus-geleid mengsel-prior en de populariteitsbias via functionele Mirror Descent entropie-maximalisatie.
3. Theoretische Waarborgen: Het artikel biedt bewijzen die aantonen dat de continu-tijd doelstelling exact convergeert naar een doorgestreepte, dichtheids-vereffende stationaire beleidsstrategie.
4. Robuste Implementatie: De methode maakt gebruik van een ontkoppelde auxiliary score-parametrisatie om de numerieke explosie van analytische scores bij de terminale rand te omzeilen, waardoor stabiel trainen wordt gewaarborgd.

Experimentele Resultaten

De auteurs hebben ME-AM geëvalueerd op twee uitdagende domeinen uit OGBench (puzzle-4x4 en cube-triple), gekenmerkt door schaarse beloningen en complexe, multimodale gedragspatronen.

• Offline Prestaties: ME-AM toonde concurrerende of superieure prestaties vergeleken met een diverse reeks State-of-the-Art (SOTA) methoden, waaronder QAM, FEdit, CGQL en ReBRAC. Op het puzzle-4x4-domein bereikte ME-AM een globaal slagingspercentage van 56% (aggregaat), wat significant beter was dan de volgende beste methode (QAM-E met 37%).
• Ablatiestudies:
  • Geometrische Expansie: Uitsluitend vertrouwen op gedragsupport ($\epsilon=0$) veroorzaakte een totale prestatie-inzinking in schaarse domeinen, wat de noodzaak van de mengsel-prior bevestigt.
  • KL-Regularisatie: Expliciete KL-padbeperkingen bleken essentieel voor het stabiliseren van training wanneer stochasticiteit werd geïntroduceerd tijdens geometrische expansie.
  • Ruisvloer: Een grotere evaluatie-ruisvloer ($\sigma_{min} = 0.3$) verbeterde de prestaties in bepaalde taken, fungerend als een ruimtelijke smoothing-factor.
• Offline-naar-Online Fijnfineren: ME-AM verbeterde de online prestaties significant in vergelijking met standaard QAM, en bereikte resultaten die gelijkwaardig waren aan QAM-edit, terwijl de noodzaak voor een extra edit-beleidsstrategie voor online exploratie werd geëlimineerd.
• Efficiëntie: Hoewel de trainingstijd iets hoger is vanwege auxiliary netwerken, komt de inferentiesnelheid (0,14 ms/stap) overeen met standaard flow-matching beleidsstrategieën, aangezien de auxiliary componenten voorafgaand aan implementatie worden losgekoppeld van het computationele graf.

Betekenis en Claims

Het artikel beweert dat ME-AM een structurele vooruitgang in offline RL vertegenwoordigt door de fundamentele spanning tussen het maximaliseren van beloning en het vermijden van out-of-distribution extrapolatie op te lossen. Door de geldige actie-manifold uit te breiden en de empirische gedragsdichtheid te vereffenen binnen een enkel, coherent continu-tijd kader, stelt ME-AM agenten in staat robuuste, optimale beleidsstrategieën te extraheren uit schaarse, offline datasets zonder de instabiliteit of expressiviteitsbeperkingen van eerdere heuristische benaderingen. De auteurs benadrukken dat deze benadering de ontdekking van nieuwe gedragspatronen in gebieden zonder data-ondersteuning mogelijk maakt, terwijl de wiskundige waarborgen van continu optimale controle worden gehandhaafd.