Technische Samenvatting: ReBRAC-v2

Probleemstelling

Offline Reinforcement Learning (RL) streeft ernaar om beleid (policies) te leren uit vaste datasets zonder verdere interactie met de omgeving. Hoewel deze setting cruciaal is voor toepassingen waarbij online exploratie duur of onveilig is, introduceert het een fundamentele broosheid: beleid faalt vaak wanneer het acties selecteert buiten de ondersteuning (support) van de dataset, wat leidt tot onbetrouwbare waardeschattingen die de leerder niet kan corrigeren. Recente vooruitgang in offline RL heeft steeds meer vertrouwd op expressieve generatieve beleidsmodellen (bijv. diffusiemodellen, flow-matching) gekoppeld aan gespecialiseerde mechanismen voor waardesturing (value-guidance). Deze benaderingen introduceren echter vaak iteratieve actiegeneratie, hulpbeleidsmodellen, distillatiestappen of complexe sturingsmechanismen.

De centrale vraag die dit werk adresseert, is of vergelijkbare of superieure vooruitgang kan worden geboekt niet door de algoritmische complexiteit te vergroten, maar door een conventioneel, gedragsgereguleerd actor-critic framework systematisch te moderniseren terwijl de algoritmische eenvoud behouden blijft.

Methodologie

ReBRAC-v2 is een evolutie van het ReBRAC-framework, dat op zichzelf een modernisering van TD3+BC was. In plaats van een nieuwe doelfunctie of een fundamenteel andere algoritmische structuur voor te stellen, integreert ReBRAC-v2 complementaire vooruitgang in een standaard gedragsgereguleerd actor-critic loop. De kerncomponenten zijn:

1. End-to-End Normalizing Flow Actor

In tegenstelling tot methoden die generatieve modellen gebruiken als gedragsreferenties die worden gedestilleerd naar een apart beleid, gebruikt ReBRAC-v2 een conditionele normalizing flow als de RL-actor zelf.

• Architectuur: De actor is een 14-laagse conditionele affine coupling flow (RealNVP-stijl) met PLU-dimensiemenging, een uniforme basisdistributie en een finale tanh-transformatie.
• Training: De flow wordt direct getraind via critic-gradiënten en een gemengde behavior cloning-doelstelling. Het biedt exacte likelihood-evaluatie, reparameteriseerbare one-pass sampling en directe gradiënten van de critic.
• Gemengde Cloning Doelstelling: De gedragsregulatieterm combineert drie componenten:
  1. Exacte Negative Log-Likelihood (NLL): Traint de volledige conditionele dichtheid.
  2. Mean Squared Error (MSE): Trekt policy-samples naar dataset-acties, waarbij de nadruk ligt op grote afwijkingen.
  3. Mean Absolute Error (MAE): Biedt een correctie met constante magnitude voor niet-nul residuen.
     Deze combinatie presteert empirisch beter dan het gebruik van een enkele term alleen.

2. Categorische Residuele Critic Ensemble

De waardefunctie-schatting wordt gemoderniseerd om stabiliteit en nauwkeurigheid te verbeteren:

• Categorische Voorspelling: In plaats van scalaire waarden te regresseren, voorspellen vier critics logits over 201 waardebins. De scalaire waarde wordt berekend als de verwachting over deze bins.
• Target Projectie: Bellman-targets worden geprojecteerd met behulp van een zachte categorische target (HL-Gauss projectie) om cross-entropy te minimaliseren.
• Architectuur: Critics maken gebruik van een 5-laagse residuele trunk met GSP-activatie, aparte waarde- en volgende-toestand heads, en een compact ensemble van vier critics.
• Auxiliaire Loss: Een hulp-head voor de volgende toestand minimaliseert de MSE tussen voorspelde en werkelijke toestanden gedurende de training, wat zorgt voor dynamica-bewuste kenmerken zonder de rollouts te wijzigen.

3. Gefaseerde Optimalisatie en Regularisatie

Het trainingsschema is verdeeld in drie afzonderlijke stadia om het leren te stabiliseren:

1. Behavior Cloning Warm-up (100k updates): De actor wordt uitsluitend getraind op de gemengde cloning-doelstelling om een redelijk initieel beleid vast te stellen voordat er enige critic-gradiënten worden toegepast.
2. Critic Warm-up (200k updates): De actor wordt bevroren terwijl de critics waardeschattingen leren onder het vaste gedragsbeleid.
3. Gezamenlijke RL (700k updates): De actor en de critics worden gezamenlijk getraind, waarbij de actor elke twee critic-stappen wordt bijgewerkt.
   Regularisatie omvat weight decay, gradient noise en dropout, met specifieke hyperparameters geselecteerd via Bayesiaanse zoektocht.

4. Multi-Sample Test-Time Actie Selectie

Tijdens de evaluatie hanteert de methode een test-time optimalisatiestrategie zonder netwerkparameters bij te werken:

• Sampling: $K=32$ kandidaat-acties worden gesampled uit de Exponential Moving Average (EMA) actor.
• Verfijning: Elke kandidaat wordt verfijnd voor $J=2$ stappen met behulp van genormaliseerde gradiënten van de minimale Q-waarde ($Q_{min}$) over het critic-ensemble.
• Selectie: De actie met de hoogste $Q_{min}$ na verfijning wordt uitgevoerd.

5. Adaptatie Interface

Een belangrijk ontwerpdoel is overdraagbaarheid. De auteurs hebben een enkel gedeeld "recept" (architectuur, optimizer, trainingsschema, regularisatie) ontwikkeld via Bayesiaanse zoektocht op zes OGBench-taken. Dit recept is bevroren voor alle downstream-taken. Adaptatie aan nieuwe omgevingen vereist alleen het afstemmen van twee gedrags-regularisatiecoëfficiënten ($\alpha_{NF}$ en $\alpha_{aux}$) over een kleine 16-punts grid.

Belangrijkste Bijdragen

1. Systematische Modernisering: Het artikel demonstreert dat een gedisciplineerde engineering-aanpak van een minimalistisch actor-critic framework state-of-the-art prestaties kan bereiken zonder de kernprincipes van gedragsregulatie los te laten.
2. Geïntegreerde Flow Actor: Het combineert directe exacte-likelihood flow-training met mixed behavior cloning (NLL + MSE + MAE) en critic-gestuurde verbetering, waardoor de noodzaak voor iteratieve flow-matching of distillatie vervalt.
3. Verenigd Recept: De auteurs bieden een enkele, gedeelde configuratie die effectief overdraagbaar is naar diverse benchmarks (OGBench en D4RL) met minimale hyperparameter-afstemming (slechts twee coëfficiënten).
4. Empirische Analyse: Door middel van gecontroleerde ablaties identificeren de auteurs dat de gemengde cloning-doelstelling, gefaseerde training, voldoende flow-capaciteit en multi-sample inferentie de primaire drijvers van prestaties zijn, terwijl zij aantonen dat andere keuzes (bijv. specifieke regularisatoren) afhangen van de interactie met andere hyperparameters.

Resultaten

ReBRAC-v2 werd geëvalueerd op de state-based OGBench (50 taken over 10 categorieën) en de D4RL AntMaze en Adroit suites.

• OGBench Prestaties: ReBRAC-v2 behaalde een gemiddelde genormaliseerde score van 74,8 over tien veelvoorkomende categorieën. Dit presteert aanzienlijk beter dan het op één na beste geaggregeerde resultaat (DriftQL met 52,3) en staat op de eerste plaats in acht van de tien categorieën.
• D4RL Prestaties: Met hetzelfde bevroren recept behaalde ReBRAC-v2 de sterkste suite-gemiddelden op AntMaze (90,2) en Adroit (33,6), waarmee het recente methoden zoals GFP, FAC en DriftQL verslaat.
• Falen (Failure Cases): De methode presteerde ondermaats op de "Cube Double" taak (score 8,3 versus 40,1 voor GFP), wat suggereert dat hoewel het recept robuust is, specifieke critic-ontwerpen aanpassing kunnen vereisen voor bepaalde taakdynamieken.
• Ablatie Inzichten:
  • Het verwijderen van de hulp-MSE+MAE cloning-term verminderde de prestaties met ~88%.
  • Het verwijderen van de flow-likelihood term verminderde de prestaties met ~15%.
  • Gefaseerde training (warm-ups) droeg significant bij; het verwijderen ervan verminderde de prestaties met ~14%.
  • Multi-sample inferentie (sampling + verfijning) leverde de duidelijkste winst op tijdens de testfase.

Betekenis en Claims

Het artikel claimt dat ReBRAC-v2 aantoont dat gedisciplineerde, overdraagbare engineering een minimalistische offline RL-basis naar state-of-the-art geaggregeerde prestaties kan stuwen. De auteurs argumenteren dat steeds complexere algoritmen niet strikt noodzakelijk zijn; in plaats daarvan kan een conventionele gedragsgereguleerde actor-critic, uitgerust met moderne componenten (exact-likelihood flows, categorische critics, gefaseerde optimalisatie en test-time search), concurreren met en zelfs beter presteren dan complexere generatieve benaderingen.

Het werk benadrukt dat de bijdrage ligt in de systematische integratie van deze componenten binnen een bekende structuur, in plaats van in een enkele algoritmische uitvinding. Door de structurele en optimalisatiekeuzes te bevriezen en slechts een smalle adaptatie-interface open te stellen, tonen de auteurs aan dat hoge prestaties kunnen worden behaald met een "vast recept"-aanpak die de last van taakspecifieke afstemming vermindert. De resultaten suggereren dat het "recept" zelf — bestaande uit de specifieke combinatie van flow actor, mixed cloning en trainingsschema — een robuuste en overdraagbare oplossing is voor offline RL.