Towards Tsallis Fully Probabilistic Design

1. 문제 정의 (Problem Statement)

• 배경: 완전 확률적 설계 (Fully Probabilistic Design, FPD) 는 불확실성 하의 순차적 의사결정 문제를 확률 밀도 함수 (PDF) 의 관점에서 정의하는 강력한 프레임워크입니다. 기존 FPD 는 주로 클룰백 - 라이블러 (Kullback-Leibler, KL) 발산을 비용 함수로 사용하여, 최적 정책을 역방향 귀납법 (Backwards Induction) 으로 해석적으로 구할 수 있었습니다.
• 한계: KL 발산은 가법성 (Additivity) 과 체인 룰 (Chain Rule) 을 만족하여 역방향 계산을 가능하게 하지만, 시스템의 긴 범위 상관관계 (Long-range correlations) 나 두꺼운 꼬리 (Fat-tail) 분포를 모델링하는 데는 한계가 있습니다.
• 목표: 본 논문은 KL 발산 대신 **Tsallis 발산 (Tsallis Divergence, TsD)**을 사용하여 FPD 를 확장하는 것을 목표로 합니다. Tsallis 발산은 형태 파라미터 ($r$ 또는 $q$) 를 통해 유연한 확률 모델링이 가능하며, 특히 꼬리 위험 (Tail risk) 이 중요한 시스템에 유용합니다.
• 핵심 난제: Tsallis 발산은 KL 발산과 달리 **비가법성 (Non-additivity)**을 가지며, 표준적인 체인 룰이 성립하지 않습니다. 이로 인해 기존 FPD 에서와 같은 직접적인 역방향 귀납법 (Closed-form Backwards Induction) 을 적용할 수 없게 되어, 최적 해의 존재성과 계산 방법을 증명하는 것이 주요 과제가 되었습니다.

2. 방법론 (Methodology)

본 논문은 Tsallis 발산의 비가법성으로 인한 역방향 귀납법의 부재를 해결하기 위해 고정점 반복 (Fixed Point Iteration) 기법을 도입합니다.

• 고정점 반복 체계 구축:

  • KL 발산의 경우 한 단계씩 역으로 계산할 수 있지만, Tsallis 발산의 경우 각 단계의 비용이 이전 및 이후 단계의 분포와 상호작용하므로 (Lemma 2.4 참조), 단일 단계 최적화가 불가능합니다.
  • 이를 해결하기 위해, 전체 정책 집합 $\{p_k\}$에 대한 이중 루프 (Double-loop) 고정점 반복 알고리즘을 설계했습니다.
  • 내부 루프 (Gauss-Seidel 유형): $k=N$에서 $k=1$까지 역방향으로 각 단계 $k$의 정책을 최적화합니다. 이때 다른 단계 $j \neq k$의 정책은 이전 반복 ($l$) 또는 최근 계산된 값으로 고정합니다.
  • 외부 루프 (Relaxation): 최적화된 정책 집합을 업데이트하는 맵 $\tilde{T}_\omega$를 정의하고, 이를 반복하여 수렴을 유도합니다.
    $$\{p^{l+1}\} = \omega T(\{p^l\}) + (1-\omega)\{p^l\}$$
    여기서 $\omega$는 완화 파라미터 (Relaxation parameter) 입니다.

• 해의 구성적 증명 (Constructive Proof):

  • 각 단계의 최적화 문제 (Lemma 2.6 기반) 를 해결하여, 최적 정책 $p^\star_k$가 **변형된 지수 커널 (Deformed exponential kernel)**을 가진 닫힌 형식 (Closed-form) 으로 표현됨을 보입니다.
  • 이는 기존 엔트로피 정규화 최적화의 일반화된 형태로, Tsallis 로그 함수와 지수 함수가 사용됩니다.

3. 주요 기여 (Key Contributions)

1. Tsallis 기반 FPD 프레임워크 정립: KL 발산 대신 Tsallis 발산을 사용한 새로운 FPD 형식화를 제시했습니다. 기존 FPD 문헌의 도구만으로는 도출할 수 없는 새로운 유도 과정과 해법 전략을 제공합니다.
2. 구체적 알고리즘 제안: 최적 정책을 찾기 위한 이중 루프 고정점 - 역방향 귀납법 알고리즘을 구체적으로 제시했습니다. 이는 기존 근사법 (Variational Inference 등) 이 아닌, 원래 동적 프로그래밍 문제의 **정확한 해 (Exact Solution)**를 구하는 것을 목표로 합니다.
3. 존재성 및 수렴성 증명:
   • 알고리즘이 고정점 반복의 형태를 가지며, Banach 고정점 정리 (수축 사상) 와 Schauder 고정점 정리를 적용하여 해의 존재성과 수렴성을 수학적으로 증명했습니다.
   • 특정 조건 (예: $\omega < 1/2$ 또는 비용 함수의 볼록성 조건) 하에서 알고리즘이 수렴함을 보였습니다.

4. 주요 결과 (Results)

• 해의 닫힌 형식 유도: Lemma 2.6 을 활용하여, 고정된 다른 단계의 분포 하에서 각 단계 $k$의 최적 정책 $p^\star_k(u_k|x_{k-1})$이 다음과 같은 형태임을 보였습니다:
  $$p^\star_k \propto \text{expr}\left(-\bar{\rho}^{-1} J_k\right) q_k$$
  여기서 $\text{expr}$은 Tsallis 지수 함수이며, $J_k$는 비용과 발산 항을 포함한 목적 함수입니다.
• 수렴성 보장:
  • Theorem 5.3: 완화 파라미터 $\omega < 1/2$일 때, 반복 연산자 $\tilde{T}_\omega$는 수축 사상 (Contraction) 이 되어 임의의 초기값에서 고정점으로 수렴함을 보였습니다.
  • Theorem 5.4: 비용 함수가 특정 조건 (예: $r > 3$ 또는 2 차 성장 조건) 을 만족할 때, 완화 없이 ($\omega=1$) 도 국소적으로 수렴하는 고정점이 존재함을 보였습니다.
• 알고리즘적 구현: 알고리즘 1 을 통해 $N$단계에서 1 단계까지 역방향으로 블록 최적화를 수행하고, 이를 외부 반복을 통해 전체 시스템의 최적 해에 도달하는 과정을 명시했습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 모델링 유연성 증대: Tsallis 발산을 도입함으로써, 기존 KL 기반 FPD 가 다루기 어려웠던 긴 범위 상관관계와 **두꺼운 꼬리 분포 (Fat-tail distributions)**를 가진 시스템을 더 정교하게 모델링할 수 있게 되었습니다. 이는 로봇 공학, 금융 리스크 관리 등 꼬리 위험이 치명적인 분야에서 중요합니다.
• 이론적 엄밀성: 기존 연구들 (예: MPC 와 변분 추정을 결합한 접근법) 이 근사 해에 그쳤다면, 본 논문은 동적 프로그래밍의 정확한 해에 대한 존재성 증명과 이를 계산하는 알고리즘을 제시했다는 점에서 이론적 의의가 큽니다.
• 확장성: 본 연구는 베이지안 의사결정 프레임워크에 새로운 수학적 도구를 제공하며, 다양한 확률적 제어 및 의사결정 문제에 적용 가능한 새로운 패러다임을 제시합니다.

요약하자면, 본 논문은 KL 발산의 대안으로 Tsallis 발산을 도입하여 FPD 를 확장하고, 비가법성으로 인한 계산적 난제를 고정점 반복 알고리즘을 통해 해결함으로써, 해의 존재성을 증명하고 수렴하는 계산 절차를 제시한 선구적인 연구입니다.