Technische Samenvatting: Counterfactual Transport Flows voor Offline Conservatieve Trajectverfijning

1. Probleemformulering

Het artikel behandelt een fundamentele beperking in offline reinforcement learning (RL): de moeilijkheid om geobserveerd gedrag te verbeteren zonder te extrapoleren buiten de ondersteuning van de gelogde data. Terwijl standaard RL reactieve state-to-action mappings leert, faalt het vaak in het expliciet modelleren van hoe een specifiek traject met een lage uitkomst lokaal herzien zou kunnen worden om succesvol te zijn. Bestaande offline methoden beperken beleid meestal via waarde-straffen of gebruiken generatieve modellen (diffusion/flow) om nieuw gedrag te creëren, wat vaak werkt op het niveau van transities of globale beleidsregels leert in plaats van op instantie-specifieke verbeteringen.

De auteurs formuleren het probleem als source-conditioned trajectory refinement (bron-geconditioneerde trajectverfijning). Gegeven een initieel kandidaattraject $\tau^-$ met lage wereldfeedback (bijv. lage return, veiligheidschendingen), is het doel om een lokale revisie te leren naar een nabijgelegen alternatief $\tau^*$ dat verbeterde feedback biedt terwijl het gedragsmatig plausibel blijft binnen de offline datadistributie. Dit wordt geconceptualiseerd als het vinden van een haalbaar traject dat de afwijking van de bron minimaliseert en tegelijkertijd een verbeteringsmarge $\delta$ voldoet:
$$\tau^* = \arg \min_{\tau' \in \mathcal{T}_{feas}} d_\tau(\tau', \tau^-) \quad \text{s.t.} \quad R(\tau') \ge R(\tau^-) + \delta$$
waarbij $R(\tau)$ de meetbare wereldfeedback representeert en $d_\tau$ de traject-niveau afwijking meet.

2. Methodologie: Counterfactual Transport Flows

Het voorgestelde framework, Counterfactual Transport Flows, leert een bron-traject te transporteren naar een beter alternatief in een latente trajectruimte met behulp van conditional flow matching. De methode werkt in drie hoofdfasen:

A. Lokale Preferentiepaar Constructie

In plaats van een globaal beleid te leren, construeert de methode zwakke lokale preferentieparen uit offline data. Voor een gegeven bron-traject $\tau^-$ voert het algoritme de volgende stappen uit:

1. Encodeert trajecten naar een latente ruimte met behulp van een encoder $\phi$.
2. Identificeert een lokale latente buurt $\mathcal{N}(\tau^-)$ van vergelijkbare trajecten.
3. Selecteert een doel-traject $\tau^+$ uit deze buurt dat aan het verbeteringscriterium voldoet ($R(\tau^+) \ge R(\tau^-) + \delta$).
4. Vormt een paar $(\tau^-, \tau^+)$ dat een "counterfactual" revisie representeert: wat de agent anders had kunnen doen onder vergelijkbare omstandigheden om betere feedback te bereiken.

B. Source-Conditioned Flow Matching

De verfijning wordt gemodelleerd als een continu transportproces in plaats van een eenmalige voorspelling.

• Latente Interpolatie: Voor elk paar wordt een lineair interpolatiepad gedefinieerd: $z_s = (1-s)z^- + s z^+$, waarbij $z^- = \phi(\tau^-)$ en $z^+ = \phi(\tau^+)$, met $s \sim U(0, 1)$.
• Conditional Vector Field: Het model leert een vectorveld $v_\theta(z_s, s \mid z^-)$ dat specifiek geconditioneerd is op het bron-traject $z^-$. Dit zorgt ervoor dat de verfijningsrichting instantie-specifiek is, waarbij geleerd wordt hoe dit specifieke traject kan worden herzien, in plaats van een globale richting naar gebieden met hoge feedback te leren.
• Trainingsdoelstelling: Het model wordt getraind met de flow matching doelstelling om het verschil tussen de voorspelde snelheid en de doelsnelheid ($z^+ - z^-$) te minimaliseren:
  $$\mathcal{L}_{FM} = \mathbb{E}_{z^-, z^+, s} \left[ \| v_\theta(z_s, s \mid z^-) - (z^+ - z^-) \|_2^2 \right]$$

C. Inferentie met Verfijningssterkte

Tijdens de inferentie neemt de methode een initieel kandidaattraject $\tau^-$, encodeert dit naar $z^-$, en integreert het geleerde vectorveld. De integratie wordt gestopt bij een verfijningssterkte parameter $\alpha \in [0, 1]$:
$$\tilde{z} = z_\alpha$$
De resulterende latente staat wordt gedecodeerd om het verfijnde traject $\tau^* = \psi(\tilde{z})$ te produceren.

• $\alpha = 0$: Herstelt het originele traject (conservatief).
• $\alpha = 1$: Transporteert het traject volledig naar het lokale traject met hoge feedback.
• $0 < \alpha < 1$: Maakt een continue afweging mogelijk tussen het behouden van het originele gedrag en het toepassen van sterkere verbetering.

3. Belangrijkste Bijdragen

De auteurs benadrukken drie primaire bijdragen:

1. Formulering: Ze herformuleren offline besluitverbetering als source-conditioned trajectory refinement vanuit wereldfeedback, wat verschilt van globale beleidsoptimalisatie of ongecontroleerde trajectgeneratie.
2. Methodologie: Ze stellen voor om lokale preferentieparen te construeren uit geobserveerde uitkomsten en maken gebruik van conditional flow matching om instantie-specifieke verfijningsrichtingen in de latente trajectruimte te leren.
3. Validatie: Ze valideren de aanpak op D4RL benchmarks (AntMaze en MuJoCo), waarbij ze verbeterde feedback laten zien met conservatieve trajectafwijkingen, zonder dat daarvoor menselijke preferentie-labels of aparte beloningsmodellen nodig zijn.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op D4RL-datasets, inclusief AntMaze en MuJoCo taken (HalfCheetah), met behulp van een traject-autoencoder voor de constructie van de latente ruimte.

• Baselines: De methode werd vergeleken met:
  • Nearest Improved Neighbor: Het direct vervangen van de bron door het dichtstbijzijnde traject met hogere feedback.
  • Random Improved Trajectory: Het vervangen van de bron door een willekeurig traject met hogere feedback.
  • Non-local Flow Matching: Het trainen van het flow-model zonder de lokale beperkingen op doelselectie.
• Prestaties:
  • AntMaze: De voorgestelde methode bereikte een feedbackverbetering van +69.44 met de laagste actie-afwijking (1.41) en latente afwijking (27.00). In contrast hiermee behaalde de "Random Improved Trajectory" hogere ruwe winsten (+117.50) maar met aanzienlijk grotere afwijkingen (Actie: 2.18, Latent: 62.50), wat wijst op een gebrek aan conservatisme. De "Non-local Flow Matching" baseline degradeerde de feedback zelfs (-11.48).
  • MuJoCo: Vergelijkbare trends werden waargenomen. De voorgestelde methode bereikte een feedbackverbetering van +1180.20 met afwijkingen van 1.58 (actie) en 31.40 (latent). De "Nearest Improved Neighbor" behaalde een iets lagere ruwe verbetering (+1050.30) maar met hogere afwijkingen (2.14/42.50).
• Analyse: De resultaten geven aan dat zowel lokale doelconstructie als source conditioning noodzakelijk zijn voor conservatieve verfijning. Globale of niet-lokale benaderingen falen in het leren van stabiele verfijningsrichtingen, terwijl directe vervangingsstrategieën te veel gedragsgetrouwheid opofferen.

5. Betekenis en Claims

Het artikel beweert dat Counterfactual Transport Flows een veelbelovende richting bieden voor betrouwbare offline verbetering door:

• Verbetering te funderen in data: De methode verbetert gedrag met enkel scalaire wereldfeedback (bijv. returns) uit de gelogde data, waardoor de noodzaak voor menselijke preferentie-labels, aparte beloningsmodellen of online interactie met de omgeving vervalt.
• Interpreteerbaarheid: Het transportperspectief biedt interpreteerbaarheid op trajectniveau. Het geleerde vectorveld volgt expliciete verfijningspaden, wat "counterfactual-stijl" verklaringen biedt over hoe trajecten met lage feedback kunnen worden herzien.
• Controleerbaarheid: De verfijningssterkte parameter $\alpha$ maakt een afstembare afweging mogelijk tussen conservatisme (het behouden van het oorspronkelijke voorstel) en agressieve verbetering.

De auteurs houden een bescheiden standpunt en merken op dat de term "counterfactual" wordt gebruikt in de zin van trajectverfijning (gegrond in geobserveerde data) in plaats van formele causale inferentie. Zij identificeren toekomstige onderzoeksrichtingen, waaronder adaptieve buurtselectie, theoretische garanties voor gedecodeerde trajecten, en integratie met geleerde wereldmodellen voor iteratieve hypothetische planning.