Characterizing optimal hierarchical policy inference on graphs via non-equilibrium thermodynamics

기술 요약: 비평형 열역학을 통한 그래프 상의 최적 계층적 정책 추론의 특성 규명

문제 정의
계층 구조는 확률적 최적 제어와 생물학적 제어 시스템 모두에서 근본적인 것으로 인식되며, 계산상의 이점을 제공하고 감각 운동 및 인지 제어의 핵심 원리로 작로할 가능성이 있습니다. 그러나 모든 공간적 해상도에 걸쳐 상태 공간 계층을 구축하고, 특히 정책 추론 과정을 통해 그 진화를 규명할 수 있는 이론적으로 정당화된 방법은 그동안 밝혀지지 않았습니다. 본 논문은 임의적인 구성에 의존하지 않고 이러한 계층적 구조를 드러내는 이산 마르코프 결정 과정(MDP)의 규범적 표현을 도출하는 과제를 다룹니다.

방법론
저자들은 정책 추론을 비평형 열역학의 관점에서 해석하는 형식론을 제안합니다.

1. 자유 에너지 최소화로서의 MDP 공식화:
   표준적인 MDP 목표인 누적 보상 최대화는 자유 에너지 범함수 $J[\pi]$로 재구성됩니다. MDP를 선형 해결 가능한 프레임워크(KL 제어) 내에 내장함으로써, 이 목표는 기대 보상과 정책 복잡도(엔트로피) 사이의 절충안을 포함합니다. 최적 정책 $\pi^*$는 사전 정책 $\pi_{prior}$와 보상 신호 사이의 균형을 맞추는 깁스-볼츠만 분포를 통해 표현됩니다.

2. 열역학적 해석:
   계획(Planning)은 "입자"가 초기 밀도(사전 정책)로부터 열적 평형(최적 정책)을 향해 진화하는 물리적 과정으로 개념화됩니다. 이 진화는 포텐셜 $\Psi(x) = -R(x)$에 의해 지배됩니다. 저자들은 확률적 입자 역학을 시뮬레이션하는 대신, 시간 $\tau$에 따른 궤적 밀도 $\pi_\tau$의 진화를 분석합니다.

3. 포커-플랑크(Fokker-Planck) 역학:
   정책 밀도의 진화는 포커-플랑크(FP) 방정식에 의해 기술됩니다. 저자들은 FP 방정식에 따른 $\pi_\tau$의 시간 진화가 와서스테인(Wasserstein) 메트릭에 대한 자유 에너지 범함수 $J[\pi]$의 가장 가파른 하강(steepest descent)에 해당함을 입증합니다. 이는 FP 방정식이 사전 정책을 최적 정책으로 변환하는 최적 정책 추론 알고리즘의 역학을 기술함을 의미합니다.

4. 이산화 및 상태 공간 투영:
   이를 이산 MDP에 적용하기 위해, 연속적인 FP 방정식을 기저의 랑제뱅(Langevin) 역학에 대한 마르코프 체인 근사를 사용하여 이산화합니다. 이를 통해 일반화된 포텐셜 $\bar{\Psi}(x) = -R(x) + \log \pi(x)$에 의해 구동되는 이산 FP 방정식(식 5)을 얻습니다.
   결정적으로, 저자들은 궤적 수준의 플럭스(flux)를 상태 수준으로 "끌어옵/pull back" 합니다. 각 상태에서의 총 플럭스를 합산함으로써, 이들은 동적 상태 계층을 도출합니다. 이는 정책의 마르코프 체인의 기본 행렬에 의해 정의된 이산 라플라스 연산자 $\Delta_D$를 사용하여 기하학적으로 다음과 같이 표현됩니다:
   $$\dot{\pi}(x) = \Delta_D J_\pi(x)$$
   여기서 $J_\pi(x)$는 상태 $x$에서의 자유 에너지에 대한 국소적 기여(계획 복잡도)를 나타냅니다.

주요 기여 및 결과

• 규범적 계층적 표현: 본 논문은 상태 공간 계층을 최적 정책 추론의 부산물로서 도입하는 공식적 유도를 제시합니다. 이 계층은 미리 정의된 것이 아니라, 정책 흐름의 역학으로부터 창발됩니다.
• 병목 지점 식별: (균질한 국소 구조를 가지나 전역적 병목 현상이 존재하는 일반적인 벤치마크인) 정규 그래프에 대한 적용을 통해, 제안된 메트릭 $\Delta_D J_\pi(x)$는 병목 상태를 성공적으로 식별합니다. 이 상태들에서의 정책 플럭스 크기는 최적 계층에서의 순위와 일치합니다.
• 정보 이론적 검증: 저자들은 제안된 계층적 샘플링 순서로부터 도출된 계층적 질서가 병목 식별에 관한 인간의 행동 데이터와 일치함을 보여줍니다. 또한, "오라클 플래너(oracle planner)"가 이 계층적 샘플링 순서를 사용할 경우, 무작위 샘플링보다 후보 궤적의 엔트로피(즉, 정보 획득)를 더 효율적으로 감소시킨다는 것을 보여줍니다. 계층 구조에서 가장 높은 순위를 가진 상태들은 최단 경로에 관한 가장 많은 정보를 제공합니다.

의의 및 주장
본 논문은 정책 추론 과정의 최적성에 대한 원리를 확립했다고 주장합니다. 즉, 포커-플랑크 방정식은 자유 에너지 목표에 대해 가장 가파른 하강을 수행하는 과정의 기대 시간 진화를 기술합니다. 궤적 공간에서 작동함으로써, 이 접근 방식은 모든 규모의 상태 공간 구조를 추론 과정에 통합합니다.

저자들은 이 연구를 "규범적 관점"을 제공하는 예비 연구로 위치시킵니다. 이들은 이 프레임워크가 인간의 인지 내 계층적 표현과 최적 제어 사이의 이론적 연결 고리를 제공한다고 제안합니다. 이 연구의 의의는 자연적인 계획 및 문제 해결 과정에서의 행동 및 신경 역학의 측면을 설명할 수 있는 잠재력에 있습니다. 다만, 저자들은 이러한 원칙을 실제 알고리즘에 내재화하는 것은 여전히 미해결 과제로 남아 있음을 겸허히 언급하며, 본 연구가 모든 계층적 학습 문제를 해결한다고 주장하는 것이 아니라 최적의 계층이 이론적으로 어떻게 진화해야 하는지에 대한 공식적 특성을 제공하는 것임을 명시합니다.