Technische Samenvatting: SPAR (Support-Preserving Action Rectification)

Probleemstelling

Offline Versterkend Leren (Offline RL) beoogt optimale beleidsregels te leren uit vaste datasets zonder verdere interactie met het omgeving. Een fundamentele uitdaging in dit domein is de beperkte dekking van datasets, waardoor grote gebieden van de toestands-actie-ruimte onbeperkt blijven. Bestaande methoden voor beleidsverbetering staan voor een inherente conflic tussen het maximaliseren van waarde en het aanpassen aan de data-distributie, wat leidt tot twee primaire faalmodi onder beperkte dekking:

1. In-Sample (In-Support) Leren: Methoden zoals AWAC en IQL behandelen verbetering als gewogen regressie op dataset-acties. Hoewel ze robuust zijn voor Out-of-Distribution (OOD) queries, benadrukt hun maximum-likelihood-bias gebieden met hoge dichtheid, waardoor zeldzame maar waardevolle acties in de staart van de distributie systematisch worden onderdrukt. Geometrisch kan dit het continue actie-manifold versplinteren, waardoor het beleid vastzit in suboptimale gebieden.
2. Waarde-Gestuurde Optimalisatie: Methoden die de gradiënt van een geleerde criticus opzoeken (bijv. CQL, Diff-QL) lijden vaak aan een conflict tussen aanpassing en optimalisatie. In het offline regime moeten criticussen extrapoleren buiten de data-omgeving, wat leidt tot valse pieken met hoge waarde. Waardegradiënten bevatten vaak grote normale componenten die acties van het data-manifold duwen naar onhaalbare adversariële gebieden, wat catastrofale vergetelheid of OOD-inzakking veroorzaakt.

Methodologie: SPAR Framework

De auteurs stellen Support-Preserving Action Rectification (SPAR) voor, een framework dat globale beleidsverbetering herformuleert als een lokale residu-rectificatie verankerd aan een bevroren pure behavior cloning (BC) beleidsregel. Deze benadering ontkoppelt de doelen van aanpassing en verbetering in distincte fasen.

1. Drie-Fasen Pipeline

• Fase I: Conservatieve Anker. Een basisbeleid ($\pi_{base}$) wordt getraind via pure Behavior Cloning op de dataset $D$, waarbij voorkeurs-gewogen doelen worden vermeden om te waarborgen dat het de globale manifold-topologie vastlegt. Tegelijkertijd wordt een conservatieve criticus-ensemble ($Q_{rob}$) getraind met strikt in-sample expectile-regressie en een Lower Confidence Bound (LCB) om onzekerheid te bestraffen en over-schatting bias te voorkomen. Zowel $\pi_{base}$ als $Q_{rob}$ worden na deze fase bevroren.
• Fase II: Support-Behoudende Residu-Leren. Het definitieve beleid wordt geparametriseerd als $\pi(s) = \pi_{base}(s) + \Delta_\theta(s, \pi_{base}(s))$, waarbij $\Delta_\theta$ een residubeleid is. Dit decomposeert de optimalisatie van de volledige actieruimte naar een lokale omgeving rond het anker, waardoor het volume van de hypothese-ruimte wordt gecontracteerd.
  • Residu-Modellering: Voor unimodale residuen wordt een deterministische regressor (SPAR-MLP) gebruikt. Voor multimodale residuen modelleert een Conditionele Variational Autoencoder (SPAR-CVAE) de distributie.
  • Latente Zelf-Imitatie (LSI): Om het conflict tussen aanpassing en verbetering op te lossen, introduceert SPAR een mechanisme zonder afgeleiden. In plaats van gradiëntascent op de criticus, steekt de methode latente kandidaten uit het residubeleid, decodeert deze tot acties, weegt ze op basis van conservatieve waarde-schattingen, en regresseert het beleid naar deze gewogen empirische distributie. Dit waarborgt dat updates binnen het residu-manifold blijven, waardoor drift buiten het manifold wordt vermeden.
• Fase III: Rectificatie bij Implementatie. Tijdens inferentie wordt de residu-actie alleen toegepast als de voorspelde verbetering ten opzichte van de baseline specifieke absolute en relatieve drempels overschrijdt, dienend als een conservatief veiligheidsfilter.

2. Theoretische Inzichten

Het paper biedt theoretische bewijzen die aantonen dat:

• Contractie van Zoekruimte: Door verfijning te beperken tot een lokale omgeving gedefinieerd door de $(1-\rho)$-quantiel van residu-magnitudes, wordt het overdekkingsgetal van de zoekruimte polynoom-logaritmisch gereduceerd, wat de sample-efficiëntie verbetert.
• Eliminatie van Gradiëntconflicten: Theoretische analyse (Propositie 3.3) toont aan dat Latente Zelf-Imitatie updates beperkt tot koorden binnen het residu-manifold. Dit bereikt onderdrukking van drift van de tweede orde in vergelijking met de lineaire drift veroorzaakt door standaard gradiëntascent, waardoor de drift loodrecht op het manifold van standaard waarden-gradiënten effectief wordt geëlimineerd.

Belangrijkste Bijdragen

1. Theoretische Kwantificering: De auteurs kwantificeren de reductie in de zoekruimte van het beleid die wordt bereikt door residu-leren en karakteriseren formeel de gradiëntconflicten tussen criticus-gidsing en aanpassingsdoelen.
2. SPAR Framework: Een nieuw framework dat aanpassing en verbetering ontkoppelt. Het maakt gebruik van een bevroren BC-anker voor structurele stabiliteit en hanteert Latente Zelf-Imitatie om lokale beleidsverbetering uit te voeren via gewogen regressie in de latente ruimte, waarbij exploratie in evenwicht wordt gebracht met manifold-beperkingen.
3. Empirische Validatie: Uitgebreide evaluatie op de D4RL-benchmark toont aan dat SPAR aanzienlijke winsten haalt uit suboptimale baselines, en state-of-the-art prestaties bereikt over diverse domeinen (locomotie, manipulatie en navigatie met schaarse beloningen).

Experimentele Resultaten

Het paper evalueert SPAR op de D4RL-benchmark over drie domeinen: MuJoCo Locomotie, AntMaze Navigatie en Adroit Manipulatie.

• Prestaties: SPAR-varianten (SPAR-MLP voor unimodaal, SPAR-PROJ voor multimodaal) presteren consistent beter dan sterke baselines, waaronder gradiënt-gebaseerde methoden (TD3+BC, CQL, Diff-QL) en in-sample methoden (IQL, AWAC).
  • In MuJoCo Medium-Replay presteert SPAR-MLP aanzienlijk beter dan in-sample methoden en komt overeen met of overtreft complexe generatieve modellen met lagere rekenkosten.
  • In MuJoCo Medium-Expert en Adroit-taken herstelt SPAR-PROJ succesvol optimale prestaties waar deterministische methoden falen door multimodale complexiteiten.
  • In AntMaze (schaarse beloningen) demonstreert SPAR-PROJ robuuste herstelcapaciteiten, en overtreft het beleidsgradiënt-gidsing en in-sample methoden.
• Mechanisme-analyse:
  • Gradiëntconflict: Metrieken tonen aan dat SPAR-PROJ de directionele projectie van update-vectoren op aanpassingsgradiënten ($D_D$) en de daadwerkelijke degradatie in aanpassingsprestaties ($V_{SD}$) met meerdere ordes van grootte reduceert in vergelijking met gradiënt-gebaseerde baselines.
  • Support-Behoud: Visualisaties bevestigen dat SPAR-PROJ-acties dicht blijven bij de empirische data-support (q95 kNN support-afstand ratio van 0,98), terwijl gradiënt-gebaseerde methoden significant afwijken (ratio van 6,32).
  • Ablatiestudies: Het verwijderen van de latente zelf-imitatie of de Fase III-rectificatie leidt tot prestatiedalingen, wat de noodzaak van de volledige pipeline bevestigt. De methode toont robustheid tegen variaties in gidsingsgewichten, met name in omgevingen met schaarse beloningen.

Betekenis en Claims

Het paper claimt dat SPAR de fundamentele geometrische faalmodi van bestaande Offline RL-paradigma's aanpakt door de conflicterende doelen van aanpassing en verbetering te ontkoppelen. Door optimalisatie te verankeren aan een bevroren behavior cloning-beleid en verbetering uit te voeren via Latente Zelf-Imitatie in een gecontracteerde residu-ruimte, doet SPAR het volgende:

1. Voorkomt catastrofale vergetelheid en OOD-inzakking.
2. Elimineert de "normale-drift" pathologie waarbij waarden-gradiënten beleidsregels van het data-manifold duwen.
3. Biedt een geünificeerde aanpak die zich aanpast aan zowel unimodale als multimodale residu-geometrieën zonder complexe generatieve ruggegronden voor alle taken te vereisen.

De auteurs concluderen dat, hoewel de effectiviteit van SPAR afhankelijk is van de kwaliteit van het bevroren anker en conservatieve waarde-schattingen, het een robuust, theoretisch onderbouwd mechanisme biedt voor offline beleidsverbetering dat state-of-the-art resultaten bereikt over diverse taakcomplexiteiten.