Characterizing optimal hierarchical policy inference on graphs via non-equilibrium thermodynamics

Resumo Técnico: Caracterização da Inferência de Políticas Hierárquicas Ótimas em Grafos via Termodinâmica de Não-Equilíbrio

Problema
As hierarquias são reconhecidas como fundamentais tanto para o controle estocástico ótimo quanto para sistemas de controle biológico, oferecendo vantagens computacionais e servindo potencialmente como princípios centrais para o controle sensoriomotor e cognitivo. No entanto, um método teoricamente justificado para construir hierarquias de espaço de estados em todas as resoluções espaciais, e especificamente para caracterizar sua evolução através de um processo de inferência de política, tem permanecido elusivo. O artigo aborda o desafio de derivar representações normativas de Processos de Decisão de Markov (MDPs) discretos que revelem essas estruturas hierárquicas sem depender de construções ad-hoc.

Metodologia
Os autores propõem um formalismo que interpreta a inferência de política em MDPs discretos através da lente da termodinâmica de não-equilíbrio.

1. Formulação de MDP como Minimização de Energia Livre:
   O objetivo padrão de um MDP de maximizar a recompensa cumulativa é reformulado como um funcional de energia livre $J[\pi]$. Ao incorporar o MDP em um arcabouço linearmente solúvel (Controle KL), o objetivo incorpora um compromisso entre a recompensa esperada e a complexidade da política (entropia). A política ótima $\pi^*$ é expressa via uma distribuição de Gibbs-Boltzmann, equilibrando uma política prévia $\pi_{prior}$ contra o sinal de recompensa.

2. Interpretação Termodinâmica:
   O planejamento é conceituado como um processo físico onde "partículas" representando trajetórias de estados evoluem de uma densidade inicial (a política prévia) em direção a um equilíbrio térmico (a política ótima). Essa evolução é governada por um potencial $\Psi(x) = -R(x)$. Em vez de simular a dinâmica estocástica de partículas, o artigo analisa a evolução da densidade de trajetória $\pi_\tau$ ao longo do tempo $\tau$.

3. Dinâmica de Fokker-Planck:
   A evolução da densidade da política é descrita pela equação de Fokker-Planck (FP). Os autores estabelecem que a evolução temporal de $\pi_\tau$ de acordo com a equação FP corresponde a um declive de maior inclinação (steepest descent) no funcional de energia livre $J[\pi]$ em relação à métrica de Wasserstein. Isso implica que a equação FP descreve a dinâmica de um algoritmo de inferência de política ótima transformando a política prévia na política ótima.

4. Discretização e Projeção do Espaço de Estados:
   Para aplicar isso a MDPs discretos, a equação FP contínua é discretizada usando uma aproximação de cadeia de Markov da dinâmica de Langevin subjacente. Isso resulta em uma equação FP discreta (Eq. 5) impulsionada por um potencial generalizado $\bar{\Psi}(x) = -R(x) + \log \pi(x)$.
   Crucialmente, os autores "puxam de volta" (pull back) o fluxo ao nível da trajetória para o nível do estado. Ao somar o fluxo total em cada estado, eles derivam uma hierarquia de estado dinâmica. Isso é expresso geometricamente usando um operador Laplaciano discreto $\Delta_D$ definido pela matriz fundamental da cadeia de Markov da política:
   $$\dot{\pi}(x) = \Delta_D J_\pi(x)$$
   Aqui, $J_\pi(x)$ representa a contribuição local para a energia livre (complexidade de planejamento) no estado $x$.

Principais Contribuições e Resultados

• Representação Hierárquica Normativa: O artigo introduz uma derivação formal de hierarquias de espaço de estados como um subproduto da inferência de política ótima. A hierarquia não é pré-definida, mas emerge da dinâmica do fluxo da política.
• Identificação de Gargalos: Em uma aplicação a um grafo regular (um teste comum com estrutura local homogênea, mas gargalos globais), a métrica proposta $\Delta_D J_\pi(x)$ identifica com sucesso estados de gargalo. A magnitude do fluxo de política nesses estados corresponde ao seu ranking na hierarquia ótima.
• Validação Informacional-Teórica: Os autores demonstram que o ordenamento hierárquico derivado da métrica de fluxo se alinha com dados comportamentais humanos relativos à identificação de gargalos. Além disso, mostram que um "planejador oráculo" utilizando essa ordem de amostragem hierárquica reduz a entropia das trajetórias candidatas (ou seja, ganha informação) de forma mais eficiente do que a amostragem aleatória. Os estados de maior ranking na hierarquia fornecem mais informação sobre o caminho mais curto.

Significância e Alegações
O artigo afirma estabelecer um princípio de otimalidade para processos de inferência de política: a equação de Fokker-Planck descreve a evolução temporal esperada de processos que realizam o declive de maior inclinação no objetivo de energia livre. Ao operar no espaço de trajetórias, esta abordagem integra a estrutura do espaço de estados em todas as escalas no processo de inferência.

Os autores posicionam este trabalho como um estudo preliminar que oferece uma "perspectiva normativa" sobre a inferência de política hierárquica ótima. Eles sugerem que o arcabouço fornece um elo teórico entre o controle ótimo e as representações hierárquicas na cognição humana. A significância reside no potencial de explicar aspectos da dinâmica comportamental e neural no planejamento natural e na resolução de problemas, embora os autores notem modestamente que incorporar esses princípios em algoritmos práticos permanece uma questão aberta. O trabalho não pretende resolver todos os problemas de aprendizado hierárquico, mas sim fornecer uma caracterização formal de como as hierarquias ótimas devem teoricamente evoluir.