Technische Samenvatting: NFTR – Van Bewijsbaar Modus-Gemiddelde naar Geodetische Subdoelselectie in Offline Goal-Conditioned RL

1. Probleemstelling

Het artikel behandelt kritieke beperkingen van Hierarchical Implicit Q-Learning (HIQL), een state-of-the-art offline goal-conditioned reinforcement learning (GCRL) methode. HIQL deelt het bereiken van doelen op in hoog-niveau subdoelselectie en laag-niveau actie-uitvoering. De auteurs identificeren twee gekoppelde faalmodi in de huidige formulering van HIQL:

1. Optimistische Bias: HIQL selecteert subdoelen uitsluitend op basis van waarde-functie voordelen ($A_{env}$). In stochastische omgevingen worden trajecten die doelen bereiken via "gelukkige" willekeurige transities (bijv. gunstige ruis of teleporters) identiek behandeld als trajecten die doelen bereiken via herhaalbare, betrouwbare paden. Dit blaast de Advantage-Weighted Regression (AWR) gewichten op voor off-path, onbetrouwbare subdoelen.
2. Modus-instorting (Mode Collapse): HIQL gebruikt een unimodale Gaussische policy voor hoog-niveau subdoelselectie. Wanneer de optimale subdoelverdeling multi-modaal is (bijv. vertakkende gangen of meerdere geldige landingsplaatsen voor teleporters), stort de Gaussische policy in tot een enkele gemiddelde waarde. Dit gemiddelde valt vaak in een convexe combinatie van geldige modi, waardoor het in onbereikbare regio's terechtkomt (bijv. binnen muren of obstakels) in plaats van op geldige paden.

De kernvraag die wordt gesteld is of subdoelen kunnen worden geleerd die tegelijkertijd hoogwaardig, betrouwbaar bereikbaar en getrouw aan multi-modale padstructuren zijn.

2. Methodologie: NFTR

De auteurs stellen NFTR voor (Normalizing Flows subgoal policies with Triangle-slack Reweighting), wat twee complementaire innovaties introduceert om de bovenstaande fouten op te lossen.

2.1 Normalizing Flow Hoog-Niveau Policy

Om modus-instorting aan te pakken, vervangt NFTR de unimodale Gaussische policy van HIQL door een Conditional Normalizing Flow (NF).

• Theoretische Rechtvaardiging: De auteurs bewijzen (Theorema 3.1) dat onder de AWR-doelstelling het optimale Gaussische gemiddelde een convexe combinatie is van de AWR-getitlede modale centra. Als deze centra gescheiden worden door onbereikbare regio's, plaatst het Gaussische gemiddelde onvermijdelijk waarschijnlijkheidsmassa op deze ongeldige regio's.
• Minimale Generatieve Klasse: Het artikel beargumenteert dat Conditionele NFs de minimale generatieve klasse zijn die aan drie vereisten voldoet voor AWR-gebaseerde subdoelselectie:
  1. Multi-modaliteit: Capabel om state-afhankelijke mengverdelingen met variërende aantallen modi te modelleren.
  2. Exacte Log-Dichtheid: Vereist omdat de exponentiële AWR-weging elke dichtheidsbias versterkt.
  3. Single-Pass Sampling: Vereist voor efficiënte hoog-niveau queries.
     In tegen tegenstelling tot diffusion models of flow matching, voldoen NFs aan alle drie de beperkingen.

2.2 Triangle-Slack Reweighting (RWDR)

Om optimistische bias aan te pakken, introduceert NFTR een geometrisch consistentiesignaal genaamd Triangle-Slack om de AWR-doelstelling te herwegen.

• Quasimetrische Afstand: Een geleerde afstandfunctie $d_\theta$ wordt getraind (met behulp van een MRN-architectuur) om de driehoeksongelijkheid op architecturaal niveau te voldoen, ongeacht de convergentie tijdens de training.
• Slack Definitie: Voor een subdoel $w$ tussen staat $s$ en doel $g$, is de triangle slack gedefinieerd als:
  $$\Delta(s, w, g) = \max(0, d_\theta(s, w) + d_\theta(w, g) - d_\theta(s, g))$$
• Mechanisme:
  • Als $w$ op een geodeet ligt (optimaal pad), dan is $\Delta \approx 0$.
  • Als $w$ een "gelukkig" subdoel is dat via een omweg of stochastische uitschieter is bereikt, overschrijdt de som van de afstanden de directe afstand, wat resulteert in $\Delta > 0$.
• RWDR Doelstelling: De AWR-weging wordt multiplicatief gecorrigeerd door de slack:
  $$w(s, w, g) = \exp(\alpha_H A_{env}(s, w, g) - \kappa \Delta(s, w, g))$$
  Dit verlaagt de weging van subdoelen met een hoge geometrische inconsistentie (hoge slack), waardoor onbetrouwbare transities effectief worden gefilterd, zelfs als ze een hoge waarde-voordeel hebben.

2.3 Theoretische Garanties

Het artikel biedt een theoretische decompositie van de suboptimaliteit van de NFTR-doelstelling (Theorema 3.7), die bestaat uit:

1. Waarde-fout: Standaard IQL waarde-schattingsfout.
2. Sampling-fout: Standaard $O(1/\sqrt{n})$ term.
3. Geometrische Regularisatie: Een residuele bias-term die begrensd wordt door de triangle slack. Cruciaal is dat deze term verdwijnt op geodeten en een conservatieve bovengrens blijft onder stochastische dynamiek.

Daarnaast stelt Propositie 3.8 vast dat de RWDR-doelstelling de eigenschap van populatie-niveau monotone verbetering van AWR behoudt, waardoor de in-distributie optimum wordt verbeterd.

3. Belangrijkste Bijdragen

1. Bewijsbaar Modus-Gemiddelde Karakterisering: De eerste gesloten vorm karakterisering van HIQL's modus-instorting, waarbij bewezen wordt dat unimodale Gaussische policies onvermijdelijk massa lekken naar onbereikbare regio's wanneer zij worden geconfronteerd met multi-modale subdoelverdelingen.
2. Geometrische Composabiliteits-filtering: De introductie van triangle-slack als een structurele prior voor het herwegen van AWR. Dit fungeert als een mechanistische proxy voor het filteren van onbetrouwbare transities zonder dat een precieze afstandsschatting nodig is.
3. Methodologische Integratie: NFTR is de eerste hiërarchische offline GCRL methode die multi-modale subdoelmodellering (via NFs) koppelt aan geometrische composabiliteitsfiltering (via triangle-slack).
4. Theoretische Decompositie: Een drieledige suboptimaliteits-decompositie voor de gecombineerde methode, die aantoont dat geometrische regularisatie de selectie van subdoelen controleert terwijl de AWR's monotone verbeteringsgaranties behouden blijven.

4. Experimentele Resultaten

De auteurs evalueren NFTR op OGBench, met de focus op stochastische, stitching en manipulatie taken waar de beperkingen van HIQL het meest prominent zijn.

• Stochastische & Teleport Tasks: NFTR presteert significant beter dan HIQL en andere baselines (SAW, OTA, QRL) op taken zoals pointmaze-teleport-navigate en antmaze-teleport-stitch. Bijvoorbeeld, op pointmaze-teleport-navigate bereikt NFTR 53,8% succes vergeleken met de 18% van HIQL.
• Stitching Tasks: Op medium-stitch taken legt NFTR gedisconnecteerde subdoelclusters vast die door Gaussische policies worden gemiddeld, wat resulteert in een succespercentage van 98,0% versus 74% voor HIQL.
• Manipulatie: In ruizige manipulatie taken (cube-single-noisy) verbetert NFTR de succespercentages van 41% (HIQL) naar 67,4%, wat robuustheid tegen observatieruis aantoont.
• Ablatie Studies:
  • NF vs. Gaussian: Het vervangen van de Gaussische verdeling door een NF alleen (B1) levert aanzienlijke winst op, wat de noodzaak van multi-modale modellering bevestigt.
  • RWDR Noodzakelijkheid: Het verwijderen van de triangle-slack straf (A1) verslechtert de prestaties op stitching taken, wat de noodzaak van geometrische filtering valideert.
  • Afstandstraining: Verrassend genoeg levert het gebruiken van een ongetraind afstandnetwerk (A2) prestaties op die vergelijkbaar zijn met een getraind netwerk. Dit suggereert dat de architecturale garantie van de driehoeksongelijkheid de primaire drijfveer van succes is, eerder dan precieze metriek-lering.

5. Betekenis en Claims

Het artikel claimt dat NFTR een bewijsbaar stabiele aanpak biedt voor offline subdoelselectie die de Gaussische instorting en optimistische bias vermijdt die inherent zijn aan eerdere hiërarchische methoden.

• Mechanistisch Inzicht: Het werk demonstreert dat geometrische consistentie (driehoeksongelijkheid) kan dienen als een robuuste filter voor stochastische ongeldigheid, waarbij het fungeert als een conservatieve bovengrens op composabiliteits-schendingen.
• Schaalbaarheid: De methode blijft effectief, zelfs wanneer het afstandnetwerk ongetraind is, wat het belang van structurele priors boven precieze metriek-lering in deze context benadrukt.
• Beperkingen: De auteurs merken bescheiden op dat voor zeer langdurige taken (bijv. antmaze-giant-stitch) of contactrijke locomotie met veel vrijheidsgraden, de bottleneck verschuift naar temporele abstractie of fysieke realiseerbaarheid, gebieden waar andere methoden (zoals OTA) mogelijk nog steeds domineren. Bovendien is de garantie van monotone verbetering een populatie-niveau verklaring en vertaalt deze zich niet strikt naar SGD op niet-convexe parametrisaties, hoewel het empirische trainen stabiel blijft.

Samenvattend brengt NFTR een vooruitgang in het veld door rigoureus de structurele fouten van Gaussische policies in offline RL aan te pakken en een geometrisch herwegingsschema te introduceren dat stochastisch "geluk" wegfiltert zonder de theoretische garanties van advantage-weighted regression op te offeren.