기술 요약: 평균 보상 분산 강화 학습을 위한 벨만 호환 평균 보상 분산 표현을 위한 몫-범주적 표현

1. 문제 정의

분산 강화 학습 (DRL) 은 벨만 연산자의 축소 기하학이 분석과 알고리즘 설계를 용이하게 하는 할인 마르코프 결정 과정 (MDP) 에서 상당한 성과를 거두었습니다. 그러나 평균 보상 설정은 분산 모델링에 근본적인 구조적 도전을 제시합니다.

평균 보상 MDP 에서 평가는 두 가지 객체에 의존합니다: 이득 (장기 평균 보상) 과 편향 (상대 가치 함수). 편향은 포아송 방정식을 만족하며, 이는 평균 보상 버전의 벨만 방정식입니다. 포아송 방정식의 중요한 성질은 그 해가 상수만큼의 가산성을 제외하고만 유일하다는 점입니다. 이러한 번역 불변성은 표준 분산 모델링에 장애물이 됩니다: $\mathbb{R}$상의 상태 인덱스 확률 법칙의 가족은 고정된 원점을 가지고 직접 정의될 수 없습니다. 왜냐하면 모든 상태의 편향 분포를 동일한 상수로 번역하는 것은 학습된 객체를 변경해서는 안 되기 때문입니다.

기존 평균 보상 DRL 연구는 종종 보상 기준 자체를 정교화하거나 스칼라 표현을 사용하는 데 초점을 맞춥니다. 본 논문은 가산성 대칭을 존중하는 편향의 벨만 호환 분산 아날로그를 구성하는 격차를 해소하여, 평균 보상 체제에서 분산 동적 프로그래밍 및 시간 차 (TD) 학습을 가능하게 합니다.

2. 방법론

2.1 몫 공간 공식화

저자들은 상태 인덱스 편향 법칙을 공통 번역에 대한 모듈로로 모델링할 것을 제안합니다.

• 몫 공간: $\mathcal{F}_S$를 $\mathbb{R}$상의 상태 인덱스 확률 법칙 집합이라고 합시다. 동치 관계 $\approx$를 $\zeta$가 $\eta$의 공통 번역일 때 $\eta \approx \zeta$가 되도록 정의합니다. 결과적으로 생성된 공간 $\mathcal{F}_S / \approx$는 포아송 방정식의 가산성 대칭을 보존합니다.
• 분산 연산자: 평균 보상 분산 연산자 $T$는 $\mathcal{F}_S$ 위에서 정의됩니다. 본 논문은 $T$가 공통 번역과 교환 법칙을 만족함을 증명하여, 몫 공간 $\mathcal{F}_S / \approx$ 위에서 잘 정의된 연산자를 유도합니다.

2.2 범주적 매개변수화

몫 공간을 계산적으로 다루기 쉽게 만들기 위해, 저자들은 몫-범주적 표현을 도입합니다:

• 표현: 각 상태의 편향 법칙은 고정된 그리드 $\Theta = \{\theta_1, \dots, \theta_d\}$ 위의 범주형 분포로 표현됩니다.
• 이동 공변성: 대표 가족을 $\eta_{p,c} = \sum p_k \delta_{\theta_k + c}$로 정의합니다. 여기서 $c$는 임의의 이동입니다. 계수 벡터 $p$는 $c$와 무관하게 몫 클래스 $[\eta_{p,c}]$를 고유하게 특징짓습니다.
• 투영: 이동 공변 범주형 투영 $\Pi_{\Theta_c}^C$가 정의됩니다. 본 논문은 번역된 법칙을 번역된 그리드에 투영하는 것이 원래 법칙을 원래 그리드에 투영하는 것과 동일한 계수 벡터를 산출함을 입증합니다.

2.3 투영 연산자와 비확장성

저자들은 분산 연산자를 적용하고 범주형 그리드로 다시 투영하는 것에 해당하는 투영 연산자 $G_g$를 범주형 계수 위에서 정의합니다.

• 거리: 수렴성은 좌표 크라메르 거리 ($\ell_{\Theta, C, \infty}$) 를 사용하여 분석되며, 이는 대표 법칙 위의 표준 크라메르 거리와 일치합니다.
• 주요 성질: 할인 DRL 연산자가 축소하는 것과 달리, 평균 보상 설정에서의 투영 연산자 $G_g$는 비확장입니다. 본 논문은 $G_g$가 잘 정의되어 있고, 좌표 크라메르 거리에서 비확장하며, 브라우어 고정점 정리를 통해 고정점을 가진다는 것을 증명합니다.

2.4 확률적 근사 (SA) 재귀

연산자가 축소적이 아닌 비확장적이므로, 표준 축소 논증은 적용되지 않습니다. 저자들은 샘플링된 재귀를 투영 연산자의 비동기 완화로 분석합니다:

1. 중심화된 재귀: 이득 $\bar{r}^\pi$가 알려져 있다고 가정할 때, 중심화된 보상 $B = R - \bar{r}^\pi$를 사용하여 단일 상태 TD 업데이트 (확률적 크라소넬스키 - 만 재귀) 를 정의합니다. 이 재귀의 평균장 맵이 비확장적이고 $G$와 고정점을 공유함이 입증됩니다.
2. 결합된 재귀 (알려지지 않은 이득): 이득이 알려지지 않은 경우, 재귀는 온라인 이득 추정기 $g_k$를 포함하도록 확장됩니다. 저자들은 범주형 잔차와 이득 오차를 결합한 곱 거리 $d_\lambda$를 정의합니다. 결합된 업데이트 맵이 이 곱 거리에서 비확장적이고, 그 고정점이 올바른 몫 - 범주적 편향 법칙과 실제 이득에 해당함을 증명합니다.

3. 주요 기여

1. 몫 공간 기반: 본 논문은 공통 번역에 의한 상태 인덱스 법칙 가족의 몫 공간이 스칼라 편향의 분산 아날로그에 대한 자연스러운 정의역임을 확립합니다.
2. 잘 정의된 투영 연산자: 정확한 몫 공간 연산자와 몫 - 범주적 투영 알고리즘을 정의하며, 투영 연산자가 잘 정의되어 있고 비확장적이며 고정점을 가진다는 것을 증명합니다.
3. 수렴 보장:
   • 중심화된 보상 (알려진 이득) 의 경우, i.i.d. 및 마르코프 샘플링 하에서 TD 재귀에 대한 거의 확실한 (a.s.) 수렴과 유한 반복 잔차 경계를 증명합니다.
   • 알려지지 않은 이득의 경우, 온라인 이득 추정기를 포함한 결합된 재귀를 도입하여 비확장성과 결합된 계획의 마르코프 수렴을 증명합니다.
4. 구조적 통찰: 이 작업은 이상적인 몫 분포 (중심화 상수가 공통 번역만 유도함) 와 실제 고정 그리드 범주형 표현 (투영이 계수를 변경할 수 있어 올바른 중심화가 필요함) 사이의 구조적 대비를 강조합니다.

4. 실험 결과

본 논문은 두 가지 실험을 통해 이론적 주장을 검증합니다:

• 5 상태 MDP: 정확한 KM 반복, 중심화된 i.i.d. SKM, 중심화된 마르코프 SKM, 그리고 결합된 이득 추정 SKM 을 비교하는 표형 실험.
  • 결과는 정확하고 확률적인 재귀가 동일한 고정점으로 수렴함을 확인합니다.
  • 결합된 재귀는 편향 분포와 이득을 모두 성공적으로 학습합니다.
  • 제거 연구는 잘못된 중심화 상수 ($g=0$ 대신 $\bar{r}^\pi$) 를 사용하는 것이 퇴화한 해로 수렴하게 함을 보여주어, 고정 그리드 표현에서 올바른 중심화의 필요성을 검증합니다.
• 연속 상태 Pendulum-v1: 신경 함수 근사를 사용한 개념 증명.
  • 제안된 이득 중심 몫 - 범주적 비평가 (critic) 는 투영 연산자 잔차 측면에서 단순한 원시 보상 비평가보다 현저히 우수합니다.
  • 결합된 온라인 이득 재귀는 이론적 경계와 일치하게 오차를 범주형 및 이득 구성 요소로 성공적으로 분해합니다.

5. 중요성과 주장

본 논문은 평균 보상 분산 편향 추정을 견고한 기초 위에 놓는다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 몫 - 범주적 공식을 도입하여 스칼라 편향의 가산성 모호성을 해결합니다.
• 평균 보상 설정에서 동적 프로그래밍 및 TD 학습 논증에 적합한 편향의 첫 번째 벨만 호환 분산 아날로그를 제공합니다.
• 분산 RL 의 맥락에서 비확장 맵에 대한 수렴 보장을 확립하여, 비확장 연산자에 대한 이론적 고정점 방법과 실제 TD 알고리즘 사이의 격차를 해소합니다.

저자들은 그들의 목표가 평균 보상 기준 자체를 정교화하는 이전 작업과 보완적이라고 언급합니다. 대신, 그들은 학습의 객체로서 편향을 정교화합니다. 이 이론은 현재 유한 상태, 고정 정책 평가 및 고정 범주형 지지체에 초점을 맞추고 있으며, 더 풍부한 함수 근사와 제어 설정이 자연스러운 다음 단계로 식별됩니다.