Characterizing optimal hierarchical policy inference on graphs via non-equilibrium thermodynamics

Resumen Técnico: Caracterización de la Inferencia de Políticas Jerárquicas Óptimas en Grafos mediante la Termodinámica de No Equilibrio

Planteamiento del Problema
Se reconoce que las jerarquías son fundamentales tanto para el control óptimo estocástico como para los sistemas de control biológico, ofreciendo ventajas computacionales y sirviendo potencialmente como principios centrales para el control sensoriomotor y cognitivo. Sin embargo, ha sido esquivo un método teóricamente justificado para construir jerarquías de espacios de estados en todas las resoluciones espaciales y, específicamente, para caracterizar su evolución a través de un proceso de inferencia de políticas. El artículo aborda el desafío de derivar representaciones normativas de Procesos de Decisión de Markov (MDP) discretos que revelen estas estructuras jerárquicas sin depender de construcciones ad-hoc.

Metodología
Los autores proponen un formalismo que interpreta la inferencia de políticas en MDP discretos a través de la lente de la termodinámica de no equilibrio.

1. Formulación del MDP como Minimización de la Energía Libre:
   El objetivo estándar de un MDP de maximizar la recompensa acumulada se reformula como un funcional de energía libre $J[\pi]$. Al embeber el MDP en un marco linealmente resoluble (Control KL), el objetivo incorpora un compromiso entre la recompensa esperada y la complejidad de la política (entropía). La política óptima $\pi^*$ se expresa mediante una distribución de Gibbs-Boltzmann, equilibrando una política previa $\pi_{prior}$ contra la señal de recompensa.

2. Interpretación Termodinámica:
   La planificación se conceptualiza como un proceso físico donde "partículas" que representan trayectorias de estados evolucionan desde una densidad inicial (la política previa) hacia un equilibrio térmico (la política óptima). Esta evolución está gobernada por un potencial $\Psi(x) = -R(x)$. En lugar de simular la dinámica estocástica de partículas, el artículo analiza la evolución de la densidad de trayectoria $\pi_\tau$ a lo largo del tiempo $\tau$.

3. Dinámica de Fokker-Planck:
   La evolución de la densidad de la política se describe mediante la ecuación de Fokker-Planck (FP). Los autores establecen que la evolución temporal de $\pi_\tau$ según la ecuación FP corresponde a un descenso de máxima pendiente en el funcional de energía libre $J[\pi]$ con respecto a la métrica de Wasserstein. Esto implica que la ecuación FP describe la dinámica de un algoritmo de inferencia de política óptima que transforma la previa en la óptima.

4. Discretización y Proyección del Espacio de Estados:
   Para aplicar esto a MDP discretos, la ecuación FP continua se discretiza utilizando una aproximación de cadena de Markov de la dinámica de Langevin subyacente. Esto produce una ecuación FP discreta (Ec. 5) impulsada por un potencial generalizado $\bar{\Psi}(x) = -R(x) + \log \pi(x)$.
   Crucialmente, los autores "contraen" el flujo a nivel de trayectoria al nivel de estado. Al sumar el flujo total en cada estado, derivan una jerarquía de estados dinámica. Esto se expresa geométricamente utilizando un operador Laplaciano discreto $\Delta_D$ definido por la matriz fundamental de la cadena de Markov de la política:
   $$\dot{\pi}(x) = \Delta_D J_\pi(x)$$
   Aquí, $J_\pi(x)$ representa la contribución local a la energía libre (complejidad de la planificación) en el estado $x$.

Contribuciones Clave y Resultados

• Representación Jerárquica Normativa: El artículo introduce una derivación formal de jerarquías de espacios de estados como un subproducto de la inferencia de política óptima. La jerarquía no está predefinida, sino que emerge de la dinámica del flujo de la política.
• Identificación de Cuellos de Botella: En una aplicación a un grafo regular (un benchmark común con estructura local homogénea pero cuellos de botella globales), la métrica propuesta $\Delta_D J_\pi(x)$ identifica con éxito los estados de cuello de botella. La magnitud del flujo de la política en estos estados corresponde a su rango en la jerarquía óptima.
• Validación de Información-Teórica: Los autores demuestran que el orden jerárquico derivado de la métrica de flujo se alinea con los datos de comportamiento humano respecto a la identificación de cuellos de botella. Además, muestran que un "planificador oráculo" que utiliza este orden de muestreo jerárquico reduce la entropía de las trayectorias candidatas (es decir, gana información) de manera más eficiente que el muestreo aleatorio. Los estados con mayor rango en la jerarquía proporcionan la mayor información respecto al camino más corto.

Significancia y Reivindicaciones
El artículo afirma establecer un principio de optimalidad para los procesos de inferencia de políticas: la ecuación de Fokker-Planck describe la evolución temporal esperada de procesos que realizan un descenso de máxima pendiente sobre el objetivo de energía libre. Al operar en el espacio de trayectorias, este enfoque integra la estructura del espacio de estados en todas las escalas dentro del proceso de inferencia.

Los autores posicionan este trabajo como un estudio preliminar que ofrece una "perspectiva normativa" sobre la inferencia de políticas jerárquicas óptimas. Sugieren que el marco proporciona un vínculo teórico entre el control óptimo y las representaciones jerárquicas en la cognición humana. La significancia radica en la capacidad de explicar aspectos de la dinámica conductual y neural en la planificación natural y la resolución de problemas, aunque los autores señalan modestamente que integrar estos principios en algoritmos prácticos sigue siendo una cuestión abierta. El trabajo no pretende resolver todos los problemas de aprendizaje jerárquico, sino proporcionar una caracterización formal de cómo deberían evolucionar teóricamente las jerarquías óptimas.