Multivariate Distributional Reinforcement Learning Using Sliced Divergences

기술 요약: 슬라이스 발산(Sliced Divergences)을 이용한 다변량 분포적 강화학습

문제 정의

분포적 강화학습(Distributional Reinforcement Learning, DRL)은 단순히 기대값만을 모델링하는 고전적인 기대값 기반 RL과 달리, 전체 리턴 분포를 모델링함으로써 이론적 및 경험적 이점을 제공한다. 그러나 DRL을 다변량 설정(보상이 $d$-차원 벡터인 경우, $d > 1$)으로 확장하는 것은 여전히 중요한 과제로 남아 있다.

기존 접근 방식은 세 가지 주요 한계점에 직면해 있다:

1. 계산적 난해함: Wasserstein 거리와 같은 일반적인 메트릭은 고차원에서 높은 계산 비용($O(n^3 \log n)$의 최적 운송 솔버)과 주변 차원에 의존하는 열악한 통계적 수렴 속도를 갖는다.
2. 수축 보장의 부재: 스칼라 DRL은 벨만 연산자 하에서 확립된 수축 결과를 갖지만, 일반적인 행렬 할인(할인 계수가 상태-행동 의존적 행렬 $\Gamma(s, a) \in \mathbb{R}^{d \times d}$인 경우)을 사용하는 다변량 설정에서는 엄격한 수축 보장이 부족하다. 기존 방법들은 비등방성(anisotropic, 비균일) 할인을 따를 때 수축에 실패하는 경우가 많다.
3. 확률적 훈련에서의 그래디언트 편향: 많은 발산(divergence)들, 특히 Wasserstein은 벨만 타겟이 단일 샘플 성공자(successor)로부터 인스턴스화되는 경우(표준 TD 학습) **무편향 샘플 그래디언트 성질(U)**을 충족하지 못한다. 이는 편향된 그래디언트와 하위 최적의 분포 매칭을 초래한다.

방법론: 슬라이스 분포적 강화학습 (SDRL)

저자들은 **슬라이스 분포적 강화학습 (Sided Distributional Reinforcement Learning, SDRL)**을 제안한다. 이는 무작위 투영(slicing)을 통해 다변량 리턴 분포로 다루기 쉬운 1차원 발산을 끌어올리는 프레임워크이다.

핵심 메커니즘

고차원 발산을 직접 계산하는 대신, SDRL은 다변량 분포를 무작위 방향 $\theta \in S^{d-1}$로 투영하여 1차원 베이스 발산 $\Delta$를 계산하고 이를 집계한다.

• 균등 슬라이싱 (Uniform Slicing): $L$개의 무작위 방향에 대해 베이스 발산을 평균한다:
  $$S\Delta_p^p(\mu, \nu) = \int_{S^{d-1}} \Delta^p((P_\theta)_\#\mu, (P_\theta)_\#\nu) d\sigma(\theta)$$
• 맥스-슬라이싱 (Max-Slicing, MSDRL): 가장 판별력이 높은 방향을 최적화하여 일반적인 행렬 할인 하에서도 강력한 수축 보장을 얻는다:
  $$MS\Delta(\mu, \nu) = \sup_{\theta \in S^{d-1}} \Delta((P_\theta)_\#\mu, (P_\theta)_\#\nu)$$

이 프레임워크는 Wasserstein ($W_p$), Cramér 거리 ($C_2$), **최대 평균 차이 (MMD)**를 포함한 광범위한 베이스 발산 클래스를 지원한다.

이론적 기여

본 논문은 SDRL에 대한 엄격한 이론적 토대를 구축한다:

1. 메트릭 속성: 베이스 발산이 메트릭이라면 두 방식 모두 메트릭 공리를 보존함을 증명한다.
2. 수축 보장:
   • 균등 슬라이싱: 공유 스칼라 할인 ($\Gamma = \gamma I$) 하에서, 이동 비확장성(translation non-expansion), 스케일 수축성(scale contraction), 혼합 $p$-볼록성(mixture $p$-convexity)을 만족하는 모든 베이스 발산에 대해 벨만 수축을 증명한다.
   • 맥스-슬라이싱: 일반적인 조밀 행렬 할인(비등방성 업데이트)을 위한 새로운 수축 결과를 도입한다. 맥스-슬라이싱이 균등 슬라이싱이나 표준 MMD가 수축에 실패하는 설정에서도 할인 행렬의 연산자 노름(operator norm) 하에서 수축을 유도함을 증명한다.
3. 샘플 복잡도: 균등 슬라이싱이 베이스 1D 발산으로부터 차원 독립적인 수렴 속도를 상속받아 차원의 저주를 피함을 입증한다. 맥스-슬라이싱의 속도는 차원에 대해 다항식적으로 스케일링된다 ($O(d \log n / n)$), 이는 정확한 고차원 OT보다 훨씬 우수하다.
4. 그래디언트 편향 분석:
   • 균민 슬라이싱: 베이스 발산이 성질 (U)를 만족하면 이를 보존한다. 이는 슬라이스 Cramér와 슬라이스 MMD가 표준 1-샘플 TD 부트스트래핑과 호환됨을 의미한다.
   • 맥스-슬라이싱: 최대화 단계에서 발생하는 선택 편향(selection bias)으로 인해 성질 (U)를 충족하지 못한다. 선택된 방향이 특정 샘플 배치에 의존하므로 표준 TD 환경에서 편향된 그래디언트를 생성한다.

실험 결과

저자들은 세 가지 벤치마크(테이블형 체인 MDP, 픽셀 기반 미로 환경, Atari 게임의 일부)에서 SDRL을 평가한다.

1. 체인 환경 (정책 평가):

   • 1-샘플 TD(표준 부트스트래핑)와 근사 정확 TD(명시적 혼합 구성)를 비교한다.
   • 결과: 성질 (U)를 만족하는 목적 함수(예: Sliced Cramér, Sliced MMD)는 1-샘플 환경에서 정확한 분포 매칭을 달성한다. (U)를 위반하는 목적 함수(예: Sliced Wasserstein, Max-Sliced 변형)는 전체 혼합 타겟을 사용하지 않으면 성능이 크게 저하된다.
   • 맥스-슬라이싱: 퇴화된 1차원 케이스(선택 편향이 사라지는 경우)에서는 잘 작동하지만, 일반적인 다변량 설정의 1-샘플 TD 하에서는 실패한다.

2. 픽셀 기반 미로 (정책 평가):

   • 몬테카를로 리턴과 크리틱의 예측 사이의 경험적 Wasserstein-2 거리를 사용하여 분포적 정확도를 평가한다.
   • 결과: Sliced Cramér와 Sliced MMD는 비-슬라이스 버전과 대등한 성능을 보이며, 1-샘플 TD 환경에서 Sliced Wasserstein보다 현저히 우수한 성능을 보여 성질 (U)의 중요성을 확인시켜 준다.

3. Atari 게임 (제어):

   • 분해된 다차원 보상에 대한 제어 성능을 평가한다.
   • 결과: (U)를 만족하는 목적 함수들이 정확한 분포 추정을 제공하는 반면, Sliced Wasserstein-2는 놀랍게도 강력한 제어 성능을 달성한다. 이는 분포적 매칭과 편향된 그래디언트에도 불구하고, 제어 작업에서는 전체 분포의 충실도보다 리턴의 기대값을 정확하게 추정하는 것이 더 중요할 수 있음을 시사한다.

의의 및 주장

본 논문은 계산적 효율성과 이론적 보장을 유지하면서 다변량 설정으로 DRL을 확장하기 위한 **원칙적인 프레임

• 실무적 권장 사항: 저자들은 Sliced Cramér를 다변량 분포 학습을 위한 강력한 기본 모델로 제안한다. 이는 계산 효율적이며($O(n \log n)$), 성질 (U)를 만족하여 표준 TD 훈련을 가능하게 하며, 표준 등방성 설정에서 수축 보장을 제공한다.
• 이론적 통찰: 본 연구는 서로 다른 발산 선택 간의 트레이드오프를 명확히 한다. 맥스-슬라이싱이 일반적인 행렬 할인에 대한 수축 문제를 해결하지만, 표준 1-샘플 TD에 부적합한 그래디언트 편향을 유발한다는 점을 강조한다.
• 공백 식별: 논문은 일반적인 비등방성 할인 하에서 (노름 의미에서) 증명 가능한 수축성을 가지면서, 동시에 성질 (U)를 만족하고, 계산 가능한 추정이 가능한 발량을 찾는 것이 여전히 미해결 과제로 남아 있다고 결론짓는다.

요약하자면, SDRL은 다변량 DRL을 위한 확장 가능하고 이론적으로 근거 있는 접근 방식을 제공하며, 표준 강화학습 파이프라인에서 Sliced Cramér가 가장 견고한 실무적 선택임을 보여준다.