Technische Samenvatting: STITCH-OPE

Probleemstelling

Off-Policy Evaluatie (OPE) beoogt de prestaties van een doelbeleid ($\pi$) te schatten met behulp van offline data verzameld van een ander gedragsbeleid ($\beta$). Dit is cruciaal in domeinen zoals robotica en de gezondheidszorg, waar online interactie kostbaar of onveilig is. Echter, bestaande OPE-methoden worstelen met hoogdimensionele, lange-horizon problemen vanwege twee primaire faalmodi:

1. Importance Sampling (IS): Lijdt onder de "curse of horizon", waarbij de variantie exponentieel groeit met de evaluatiehorizon.
2. Model-gebaseerde Methoden: Hoewel ze campagnerefficiënt zijn, lijden ze onder stapelende fouten (compounding errors) bij het leren van dynamische modellen voor lange trajecten, wat leidt tot onnauwkeurige waardeschattingen.
3. Distributieverschuiving (Distribution Shift): Verschillen tussen $\beta$ en $\pi$ leiden tot onnauwkeurige schattingen, wat het moeilijk maakt om beleidsselectie te vertrouwen vóór implementatie.

Recente pogingen met model-vrije dichtheidsratio-schatting hebben aangetoond een matige empirische prestatie te leveren wanneer de gedrags- en doelbeleid aanzienlijk van elkaar verschillen.

Methodologie: STITCH-OPE

De auteurs stellen STITCH-OPE (Sub-Trajectory Importance-Weighted Trajectory Composition for Long-Horizon OPE) voor, een model-gebaseerd generatief framework dat gebruikmaakt van denoising diffusion modellen. De kerninnovatie ligt in het genereren van synthetische trajecten voor het doelbeleid door een diffusiemodel te sturen dat getraind is op gedragsdata, terwijl de stapelende fouten van volledige trajectgeneratie worden vermeden.

1. Geleide Diffusie voor Correctie van Distributieverschuiving

In plaats van voor elk nieuw doelbeleid een model opnieuw te trainen, traint STITCH-OPE vooraf een diffusiemodel op de gedragsdataset ($D_\beta$) om de gedrags-trajectdistributie $p_\beta(\tau)$ te leren. Tijdens de inferentie genereert het trajecten van het doelbeleid ($p_\pi$) door het denoising proces te sturen (guiding).

De sturingsfunctie $g(\tau)$ wordt afgeleid van de likelihood ratio tussen het doelbeleid en het gedragsbeleid. Door de likelihood ratio te interpreteren als een classificatiedichtheid in diffusion guidance, formuleren de auteurs de sturing als het verschil tussen de scorefuncties:
$$g(\tau) = \nabla_\tau \sum_{t=0}^{T-1} \log \pi(a_t|s_t) - \nabla_\tau \sum_{t=0}^{T-1} \log \beta(a_t|s_t)$$
Dit stelt het model in staat om de sampling-distributie te verschuiven van $p_\beta$ naar $p_\pi$ zonder hertraining.

2. Negatieve Gedragssturing (Negative Behavior Guidance)

Een belangrijke technische bijdrage is de inclusie van de negatieve gedragsscore term ($-\nabla_\tau \log \beta$).

• Probleem: Het gebruik van alleen de doelbeleid-score ($\nabla_\tau \log \pi$) kan ervoor zorgen dat de gestuurde sampling-distributie instort naar gebieden met een hoge dichtheid van het gedragsbeleid, zelfs als die gebieden onwaarschijnlijk zijn onder het doelbeleid (over-regularisatie).
• Oplossing: Het aftrekken van de gedragsscore voorkomt deze instorting, waardoor het model buiten de data kan generaliseren en de distributieverschuiving correct aanpakt. De auteurs generaliseren dit met coëfficiënten $\alpha$ en $\lambda$ (waarbij doorgaans $\lambda < \alpha$) om de relatieve belangrijkheid van de beleidsregels te controleren.

3. Traject-stitching met Conditionele Diffusie

Om de stapelende fout van lange-horizon generatie aan te pakken, genereert STITCH-OPE niet één volledig traject in één pass. In plaats daarvan:

• Sub-traject Generatie: Het diffusiemodel wordt getraind op korte sub-trajecten van lengte $w \ll T$.
• Conditionele Sampling: Generatie vindt plaats op een semi-autoregressieve wijze. Het model genereert een sub-traject geconditioneerd op de eindtoestand van het eerder gegenereerde sub-traject.
• Stitching: Deze gedeeltelijke rollouts worden aan elkaar genaaid (gestitched) om een volledig traject van de gewenste lengte te vormen.

Deze aanpak behandelt de gedrags-trajectdistributie als een mengeling van sub-trajecten. Door alleen te conditioneren op de onmiddellijk voorgaande toestand (in plaats van de volledige historie), behoudt het model een hogere entropie en een bredere dekking van de modi in de gedragsdata, wat de compositonaliteit en generalisatie naar nieuwe begintoestanden aanzienlijk verbetert.

Theoretische Garanties

Het artikel biedt een theoretische grens op de gemiddelde kwadratische fout (MSE) van de STITCH-OPE estimator (Stelling 3.3).

• Onder milde aannames (begrensde likelihood ratio en begrensde fout in het geleerde gedachtsmodel) is de MSE begrensd.
• Cruciaal is dat de grens afhankelijk is van de sub-trajectlengte $w$ in plaats van de totale horizon $T$.
• Dit resulteert in een exponentiële reductie in variantie vergeleken met standaard Importance Sampling (die schaalt als $O(\exp(T))$) en een gunstiger polynomiale afhankelijkheid ($O(T^2)$) vergeleken met volledige-traject diffusiemethoden.

Empirische Resultaten

De auteurs hebben STITCH-OPE geëvalueerd op de D4RL benchmark (Hopper, Walker2d, HalfCheetah) en OpenAI Gym (Pendulum, Acrobot).

• Prestaties: STITCH-OPE presteerde beter dan state-of-the-art baselines (inclusief Fitted Q-Evaluation, Doubly Robust, Importance Sampling en Policy-Guided Diffusion) in 11 van de 15 gevallen over diverse metrieken:
  • Log RMSE: Significante reductie in fout.
  • Rangcorrelatie: Verbeterde capaciteit om doelbeleid correct te rangschikken.
  • Regret@1: Lagere regret bij het selecteren van het beste beleid.
• Diffusion Policies: De methode evalueerde succesvol complexe doelbeleid gedefinieerd als diffusiemodellen, een taak waar andere estimators moeite mee hebben vanwege het gebrek aan expliciete waarschijnlijkheidsverdelingen.
• Ablatie: Experimenten bevestigden dat optimale prestaties optreden met een kleine venstergrootte ($w=8$) en een sturingsconfiguratie waarbij de negatieve gedragsterm aanwezig is ($0 < \lambda < \alpha$).

Betekenis en Claims

Het artikel claimt dat STITCH-OPE het eerste werk is dat robuuste off-policy evaluatie in hoogdimensionele, lange-horizon taken demonstreert. De significantie ligt in:

1. Het overbruggen van de kloof: Het slaagt erin de kloof te overbruggen tussen model-gebaseerde OPE (campagnesefficiëntie) en volledige-traject offline diffusie (generatieve capaciteit) door stapelende fouten te mitigeren via traject-stitching.
2. Schaalbaarheid: Het toont aan dat diffusiemodellen kunnen worden toegepast op OPE in hoogdimensionele ruimtes zonder te lijden onder de exponentiële variantie-explosie die typisch is voor IS-methoden.
3. Generalisatie: De combinatie van conditionele diffusie en negatieve gedragssturing maakt een robuuste evaluatie mogelijk van doelbeleid dat aanzienlijk afwijkt van het gedragsbeleid, inclusief beleid met andere begintoestanden of actiedistributies.

De auteurs blijven bescheiden over beperkingen en merken op dat de methode steunt op de aanname dat de gedragsdata de support van het doelbeleid dekt (Aanname 3.1) en dat het evalueren van de getrouwheid van trajecten in complexe, gedeeltelijk observeerbare toestanden een uitdaging blijft. Ze merken ook op dat de toepasbaarheid op domeinspecifieke problemen buiten de robotica een openstaande vraag is.