Characterizing optimal hierarchical policy inference on graphs via non-equilibrium thermodynamics

Technische Samenvatting: Karakterisering van Optimale Hiërarchische Beleidsinferentie op Grafen via Niet-evenwichtsthermodynamica

Probleemstelling
Hiërarchieën worden erkend als fundamenteel voor zowel stochastische optimale controle als biologische controlesystemen, waarbij ze computationele voordelen bieden en mogelijk dienen als kernprincipes voor sensorimotorische en cognitieve controle. Echter, een theoretisch gerechtvaardigde methode voor het construeren van toestandsruimte-hiërarchieën over alle ruimtelijke resoluties, en specifiek het karakteriseren van hun evolutie door een beleidsinferentieproces, is tot nu toe ontvlucht. Het artikel adresseert de uitdaging om normatieve representaties van discrete Markov Beslissingsprocessen (MDP's) af te leiden die deze hiërarchische structuren onthullen zonder te vertrouwen op ad-hoc constructies.

Methodologie
De auteurs stellen een formalisme voor dat beleidsinferentie in discrete MDP's interpreteert vanuit het perspectief van niet-evenwichtsthermodynamica.

1. MDP-formulering als Vrije Energie Minimalisatie:
   Het standaard MDP-doel van het maximaliseren van cumulatieve beloning wordt geherformuleerd als een vrije energiefunctional $J[\pi]$. Door de MDP in te bedden in een lineair oplosbaar kader (KL Control), incorporeert het objectief een afweging tussen verwachte beloning en beleidscomplexiteit (entropie). Het optimale beleid $\pi^*$ wordt uitgedrukt via een Gibbs-Boltzmann verdeling, die een prior-beleid $\pi_{prior}$ afweegt tegen het beloningssignaal.

2. Thermodynamische Interpretatie:
   Plannen wordt geconceptualiseerd als een fysisch proces waarbij "deeltjes", die staatstrajecten vertegenwoordigen, evolueren van een initiële dichtheid (het prior-beleid) naar een thermisch evenwicht (het optimale beleid). Deze evolutie wordt beheerst door een potentiaal $\Psi(x) = -R(x)$. In plaats van stochastische deeltjesdynamica te simuleren, analyseert het artikel de evolutie van de trajectdichtheid $\pi_\tau$ over de tijd $\tau$.

3. Fokker-Planck Dynamica:
   De evolutie van de beleidsdichtheid wordt beschreven door de Fokker-Planck (FP) vergelijking. De auteurs stellen vast dat de tijdsafhankelijke evolutie van $\pi_\tau$ volgens de FP-vergelijking overeenkomt met een steilste daling op de vrije energiefunctional $J[\pi]$ met betrekking tot de Wasserstein-metriek. Dit impliceert dat de FP-vergelijking de dynamica beschrijft van een optimaal beleidsinferentie-algoritme dat het prior-beleid transformeert naar het optimale beleid.

4. Discretisatie en Toestandsruimte-projectie:
   Om dit toe te passen op discrete MDP's, wordt de continue FP-vergelijking gediscretiseerd met behulp van een Markov-keten benadering van de onderliggende Langevin-dynamica. Dit levert een discrete FP-vergelijking op (Vergelijking 5) die wordt gedreven door een gegeneraliseerde potentiaal $\bar{\Psi}(x) = -R(x) + \log \pi(x)$.
   Cruciaal is dat de auteurs de flux op trajectniveau "terugtrekken" naar het staatniveau. Door de totale flux bij elke staat te sommeren, leiden zij een dynamische staatshiërarchie af. Dit wordt geometrisch uitgedrukt met behulp van een discrete Laplaciaan-operator $\Delta_D$, gedefinieerd door de fundamentele matrix van de Markov-keten van het beleid:
   $$\dot{\pi}(x) = \Delta_D J_\pi(x)$$
   Hierbij is $J_\pi(x)$ de lokale bijdrage aan de vrije energie (planningscomplexiteit) in staat $x$.

Belangrijkste Bijdragen en Resultaten

• Normatieve Hiërarchische Representatie: Het artikel introduceert een formele afleiding van staatruimte-hiërarchieën als een bijproduct van optimale beleidsinferentie. De hiërarchie is niet vooraf gedefinieerd, maar emergeert uit de dynamica van de beleidsstroom.
• Identificatie van Bottlenecks: Bij een toepassing op een regelmatige graaf (een veelgebruikte benchmark met homogene lokale structuur maar globale bottlenecks), identificeert de voorgestelde metriek $\Delta_D J_\pi(x)$ succesvol bottleneck-staten. De grootte van de beleidsflux bij deze staten komt overeen met hun rangorde in de optimale hiërarchie.
• Informatie-theoretische Validatie: De auteurs demonstreren dat de hiërarchische ordening die uit de flux-metriek wordt afgeleid, overeenkomt met menselijke gedragsdata met betrekking tot de identificatie van bottlenecks. Bovendien tonen zij aan dat een "oracle planner" die gebruikmaakt van deze hiërarchische sampling-volgorde de entropie van kandidaat-trajecten vermindert (oftewel informatie wint) efficiënter dan willekeurige sampling. De hoogst gerangschikte staten in de hiërarchie bieden de meeste informatie met betrekking tot het kortste pad.

Betekenis en Claims
Het artikel beweert een beginsel van optimaliteit vast te stellen voor beleidsinferentieprocessen: de Fokker-Planck-vergelijking beschrijft de verwachte tijdsafhankelijke evolutie van processen die een steile daling volgen op de vrije energie-functie. Door in de trajectruimte te opereren, integreert deze benadering de staatruimte-structuur op alle schalen in het inferentieproces.

De auteurs positioneren dit werk als een voorlopige studie die een "normatief perspectief" biedt op optimale hiërarchische beleidsinferentie. Zij suggereren dat het raamwerk een theoretische link biedt tussen optimale controle en hiërarchische representaties in de menselijke cognitie. De betekenis ligt in het potentieel om aspecten van gedragsmatige en neurale dynamica in natuurlijk plannen en probleemoplossing te verklaren, hoewel de auteurs nederig opmerken dat het inbedden van deze principes in praktische algoritmen een open vraag blijft. Het werk claimt niet een oplossing te zijn voor alle hiërarchische leerproblemen, maar biedt een formele karakterisering van hoe optimale hiërarchieën theoretisch zouden moeten evolueren.