Characterizing optimal hierarchical policy inference on graphs via non-equilibrium thermodynamics

Sintesi Tecnica: Caratterizzazione dell'Inferenza di Policy Gerarchica Ottimale su Grafi tramite la Termodinamica del Non-Equilibrio

Definizione del Problema
Le gerarchie sono riconosciute come fondamentali sia per il controllo ottimale stocastico che per i sistemi di controllo biologico, offrendo vantaggi computazionali e potenzialmente fungendo da principi cardine per il controllo sensomotorio e cognitivo. Tuttavia, un metodo teoricamente giustificato per costruire gerarchie dello spazio degli stati attraverso tutte le risoluzioni spaziali, e specificamente per caratterizzarne l'evoluzione attraverso un processo di inferenza della policy, è rimasto elusivo. Il documento affronta la sfida di derivare rappresentazioni normative di Processi Decisionali di Markov (MDP) discreti che rivelino queste strutture gerarchiche senza fare affidamento su costruzioni ad hoc.

Metodologia
Gli autori propongono un formalismo che interpreta l'inferenza della policy in MDP discreti attraverso la lente della termodinamica del non-equilibrio.

1. Formulazione dell'MDP come Minimizzazione dell'Energia Libera:
   L'obiettivo standard dell'MDP di massimizzare la ricompensa cumulativa viene riformulato come un funzionale di energia libera $J[\pi]$. Incorporando l'MDP in un quadro linearmente risolvibile (Controllo KL), l'obiettivo include un compromesso tra la ricompensa attesa e la complessità della policy (entropia). La policy ottima $\pi^*$ è espressa tramite una distribuzione di Gibbs-Boltzmann, bilanciando una policy a priori $\pi_{prior}$ rispetto al segnale di ricompensa.

2. Interpretazione Termodinamica:
   La pianificazione è concepita come un processo fisico in cui le "particelle", che rappresentano le traiettorie degli stati, evolvono da una densità iniziale (la policy a priori) verso un equilibrio termico (la policy ottima). Questa evoluzione è governata da un potenziale $\Psi(x) = -R(x)$. Invece di simulare la dinamica stocastica delle particelle, il documento analizza l'evoluzione della densità della traiettoria $\pi_\tau$ nel tempo $\tau$.

3. Dinamica di Fokker-Planck:
   L'evoluzione della densità della policy è descritta dall'equazione di Fokker-Planck (FP). Gli autori stabiliscono che l'evoluzione temporale di $\pi_\tau$ secondo l'equazione FP corrisponde a una discesa del gradiente sul funzionale di energia libera $J[\pi]$ rispetto alla metrica di Wasserstein. Ciò implica che l'equazione FP descrive la dinamica di un algoritmo di inferenza della policy ottima che trasforma la prior nell'ottima.

4. Discretizzazione e Proiezione dello Spazio degli Stati:
   Per applicare questo approccio a MDP discreti, l'equazione FP continua viene discretizzata utilizzando un'approssimazione di catena di Markov della sottostante dinamica di Langevin. Ciò produce un'equazione FP discreta (Eqn. 5) guidata da un potenziale generalizzato $\bar{\Psi}(x) = -R(x) + \log \pi(x)$.
   Fondamentalmente, gli autori "riportano indietro" (pull back) il flusso a livello di traiettoria al livello di stato. Sommando il flusso totale in ogni stato, derivano una gerarchia dinamica degli stati. Questo è espresso geometricamente usando un operatore Laplaciano discreto $\Delta_D$ definito dalla matrice fondamentale della catena di Markov della policy:
   $$\dot{\pi}(x) = \Delta_D J_\pi(x)$$
   Qui, $J_\pi(x)$ rappresenta il contributo locale all'energia libera (complessità di pianificazione) nello stato $x$.

Contributi Chiave e Risultati

• Rappresentazione Gerarchica Normativa: Il documento introduce una derivazione formale delle gerarchie dello spazio degli stati come sottoprodotto dell'inferenza ottimale della policy. La gerarchia non è predefinita, ma emerge dalle dinamiche del flusso della policy.
• Identificazione dei Colli di Bottiglia: In un'applicazione a un grafo regolare (un benchmark comune con struttura locale omogenea ma colli di bottiglia globali), la metrica proposta $\Delta_D J_\pi(x)$ identifica con successo gli stati collo di bottiglia. L'entità del flusso della policy in questi stati corrisponde al loro rango nella gerarchia ottima.
• Validazione Informativa-Teoretica: Gli autori dimostrano che l'ordinamento gerarchico derivato dalla metrica del flusso si allinea con i dati comportamentali umani riguardanti l'identificazione dei colli di bottiglia. Inoltre, mostrano che un "pianificatore oracle" che utilizza questo ordine di campionamento gerarchico riduce l'entropia delle traiettorie candidate (ovvero acquisisce informazione) in modo più efficiente rispetto al campionamento casuale. Gli stati con il rango più alto nella gerarchia forniscono la maggior quantità di informazioni riguardo al percorso più breve.

Significato e Rivendicazioni
Il documento sostiene di aver stabilito un principio di ottimalità per i processi di inferenza della policy: l'equazione di Fokker-Planck descrive l'evoluzione temporale attesa di processi che compiono una discesa del gradiente sulla funzione obiettivo di energia libera. Operando nello spazio delle traiettorie, questo approccio integra la struttura dello spazio degli stati a tutte le scale nel processo di inferenza.

Gli autori posizionano questo lavoro come uno studio preliminare che offre una "prospettiva normativa" sull'inferenza gerarchica ottima della policy. Suggeriscono che il framework fornisca un collegamento teorico tra il controllo ottimale e le rappresentazioni gerarchiche nella cognizione umana. Il significato risiede nel potenziale di spiegare aspetti della dinamica comportamentale e neurale nella pianificazione naturale e nella risoluzione di problemi, sebbene gli autori notino modestamente che l'integrazione di questi principi in algoritmi pratici rimane una questione aperta. Il lavoro non pretende di risolvere tutti i problemi di apprendimento gerarchico, ma fornisce una caratterizzazione formale di come le gerarchie ottime dovrebbero teoricamente evolvere.