기술 요약: 비마코프 강화학습을 위한 정책 경사 방법

문제 정의

강화학습 (RL) 은 전통적으로 동역학과 보상이 오직 현재 상태와 행동에만 의존한다고 가정하는 마코프 의사결정 과정 (MDP) 프레임워크에 의존합니다. 그러나 부분 관측 시스템, 대화 에이전트, 추천 시스템, 금융 시장과 같은 많은 실제 환경은 본질적으로 **비마코프 의사결정 과정 (NMDP)**입니다. 이러한 설정에서 관측치와 보상은 전체 상호작용 이력에 의존합니다.

전체 이력에 직접적으로 정책을 조건화하는 것은 이력 공간이 기하급수적으로 증가함에 따라 계산적으로 처리 불가능합니다. 기존 접근법들은 이력을 압축하려고 시도하지만, 종종 다음과 같은 한계에 직면합니다:

• 고정 동역학: 일부 방법은 에이전트의 내부 상태 동역학이 고정되어 있다고 가정하고 제어 정책만 최적화합니다 (예: Dong et al., 2022).
• 예측 목적: 다른 방법들은 부가적인 예측 목적 (예: 미래 관측치 예측) 을 최적화하여 상태 표현을 학습하는데, 이는 고차원 표현을 필요로 할 수 있으며 누적 보상 극대화라는 궁극적인 목표와 직접적으로 정렬되지 않을 수 있습니다 (예: Subramanian et al., 2022).

본 논문은 고정된 동역학이나 중간 예측 목적에 의존하지 않고 NMDP 에서 컴팩트한 상태 표현과 제어 정책을 함께 학습하는 과제를 다룹니다.

방법론

에이전트 상태 - 마코프 (ASM) 정책

저자들은 에이전트 상태 - 마코프 (ASM) 정책이라는 클래스를 도입합니다. 이 프레임워크에서 에이전트는 이전 상태, 이전 행동, 현재 관측치에 기반하여 재귀적으로 업데이트되는 내부 상태 $S_t$를 유지합니다:
$$S_t \sim \nu_t(\cdot \mid S_{t-1}, A_{t-1}, O_t)$$
제어 정책 $\phi$는 현재 에이전트 상태를 행동으로 매핑합니다:
$$A_t \sim \phi_t(\cdot \mid S_t)$$
쌍 $(\nu, \phi)$는 ASM 정책을 구성합니다. 중요한 점은 저자들이 $\nu$를 고정하거나 예측을 통해 학습하는 대신, 상태 동역학 $\nu$와 제어 정책 $\phi$의 매개변수를 함께 최적화하여 기대 누적 보상을 극대화하는 것을 제안한다는 것입니다.

이론적 기여

본 논문은 에피소드적 및 무한 시간 할인 NMDP 모두에 대해 고전적 결과를 확장한 ASM 정책에 대한 정책 경사 정리를 수립합니다.

1. 경사 표현: 매개변수화된 ASM 정책 $\pi_\theta$에 대해, 기대 반환 $J(\theta)$의 경사는 다음과 같이 유도됩니다:
   $$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \sum_{t} R_{t:\infty} \nabla_\theta \log \pi_\theta(S_t, A_t \mid S_{t-1}, A_{t-1}, O_t) \right]$$
   여기서 $R_{t:\infty}$는 미래 반환 (예상 누적 보상) 을 나타냅니다.
2. 분해: ASM 정책의 구조로 인해 로그 확률 항은 상태 동역학과 제어 정책으로 분해됩니다:
   $$\nabla_\theta \log \pi_\theta = \nabla_\theta \log \nu_\theta + \nabla_\theta \log \phi_\theta$$
   이를 통해 상태 표현과 정책을 별도로 동시에 업데이트할 수 있습니다.
3. 수렴 보장: 표준 매끄러움과 유계 가정 하에 저자들은 다음을 증명합니다:
   • 유한 시간 수렴: 에피소드적 작업에서 시간 평균 제곱 경사 노름은 $\tilde{O}(H^{3.5}/\sqrt{K})$ 속도로 수렴합니다 (여기서 $H$는 시간 범위이고 $K$는 반복 횟수입니다).
   • 거의 확실한 수렴: 감소하는 단계 크기를 사용하면 경사 노름이 거의 확실하게 0 으로 수렴합니다.
   • 할인 인자 $\gamma$에 의해 결정되는 유효 시간 범위를 갖는 무한 시간 할인 설정에 대해서도 유사한 보장이 수립됩니다.

알고리즘: ASMPG

경사 정리에 기반하여 저자들은 에이전트 상태 - 마코프 정책 경사 (ASMPG) 알고리즘을 제안합니다. 이는 다음과 같은 온라인 REINFORCE 스타일 알고리즘입니다:

• 현재 ASM 정책을 사용하여 궤적을 샘플링합니다.
• 에이전트 상태의 재귀적 구조를 사용하여 경사 추정을 계산합니다.
• 확률적 경사 상승을 사용하여 상태 동역학 네트워크와 정책 네트워크의 매개변수를 모두 업데이트합니다.

실험 결과

저자들은 다섯 가지 비마코프 환경에서 ASMPG 를 평가했습니다:

1. CheeseMaze: 중복된 관측치를 가진 부분 관측 내비게이션 작업.
2. HallwayNavigation: 국소 벽 구성이 모호한 결정론적 미로 작업.
3. HealthcareTreatment: 숨겨진 독성 및 저항 변수를 가진 치료 계획 작업.
4. MachineRepair: 기계 열화에 영향을 미치는 숨겨진 마모 수준을 가진 유지보수 작업.
5. VelocityOnlyCartPole: 위치가 아닌 속도만 관측되는 제어 작업.

비교: ASMPG 는 예측 목적을 통해 상태 표현을 학습하는 AIS-KL 및 AIS-MMD (Subramanian et al., 2022, 근사 정보 상태) 와 비교되었습니다.

결과:

• 다섯 가지 환경 전반에 걸쳐 ASMPG 는 예측 기반 베이스라인보다 단계당 또는 에피소드당 더 높은 평균 보상을 달성했습니다.
• 성능 차이는 CheeseMaze, MachineRepair, VelocityOnlyCartPole과 같은 장기 기억이 필요한 작업에서 특히 두드러졌습니다.
• 이러한 결과는 예측 충분성을 최적화하는 것보다 보상 목적을 위해 상태 동역학을 직접 최적화하는 것이 더 효과적임을 시사합니다.

중요성 및 주장

본 논문은 비마코프 강화학습을 위한 보상 중심 공식화가 주요 기여라고 주장합니다. 에이전트 상태 동역학을 제어 정책과 함께 최적화되는 학습 가능한 구성 요소로 취급함으로써, 이 방법은 부가적인 예측 목적이나 고정된 상태 표현의 필요성을 우회합니다.

주요 주장에는 다음이 포함됩니다:

• 이론적 타당성: 일반 NMDP 에 대한 정책 경사 정리의 유도는 고전적 MDP 결과를 확장하여 공동 최적화를 위한 엄밀한 기초를 제공합니다.
• 실용적 효능: 실증적 결과는 표현 크기가 유사할지라도 예측 상태 표현에 의존하는 방법보다 보상 중심 공동 최적화가 더 우수함을 보여줍니다.
• 최적성 조건: 논문은 "이상적인" 에이전트 상태 동역학 (보상과 미래 관측치에 대한 충분 통계량인 것) 이 존재한다면, ASM 정책으로 탐색을 제한해도 최적성 손실이 없다고 지적합니다.

저자들은 제안된 방법이 고분산을 겪을 수 있는 REINFORCE 유형 추정기에 의존한다고 인정합니다. 그들은 분산을 줄이면서 보상 중심 목적을 유지하기 위한 ASM 정책에 대한 액터 - 크리틱 변형 개발을 향후 연구의 자연스러운 방향으로 제시합니다.