기술 요약: 정책 헤시안 분해를 통한 할인 마르코프 결정 과정 (MDP) 에 대한 2 차 순서 액터-크리틱 방법

문제 제기

대규모 환경에서의 강화 학습 (RL) 은 두 가지 주요 과제에 직면해 있습니다: 차원의 저주로 인한 표본 기반 방법의 비실용성, 그리고 1 차 정책 탐색 방법의 한계입니다. 액터-크리틱 접근법은 가치 근사 분산을 완화하지만, 목적 함수의 곡률을 무시하는 1 차 업데이트에 의존합니다. 이로 인해 수렴 속도가 느리고 정책 매개변수화에 민감해집니다. 반면, 2 차 최적화는 곡률을 인지한 업데이트를 제공하여 수렴을 가속화하지만, 헤시안 추정의 prohibitive 한 계산 복잡도 ($O(d^3)$) 와 정책 헤시안 분해에서 발생하는 고분산 상호작용 항으로 인한 불안정성 때문에 RL 에서는 거의 적용되지 않습니다.

기존 문헌은 일반적으로 가치 추정과 곡률 통합을 독립적으로 다룹니다. 본 논문은 다음과 같은 간극을 지적합니다: 2 차 근사는 고분산 곡률 성분으로 인해 종종 불안정하며, 할인 마르코프 결정 과정 (MDP) 에서 계산 효율성을 유지하면서 이러한 근사를 안정화하는 통합 프레임워크가 부족합니다.

방법론

저자들은 구조화된 정책 헤시안 근사를 통해 목적 함수의 전체 곡률 정보를 활용하는 2 차 2 시간 척도 액터-크리틱 (SOTTAC) 프레임워크를 제안합니다.

1. 정책 헤시안 분해

목적 함수 $J(\theta)$는 2 차 도함수를 통해 분석됩니다. 헤시안 $H(\theta)$는 네 가지 성분으로 분해됩니다 (정리 1):

• $H_1$ (외적 항): 정책 기울기의 외적을 포함하는 피셔와 유사한 항.
• $H_2$ (고유 곡률): 정책 분포의 고유 기하학을 포착하는 로그 정책의 헤시안.
• $H_{12}$ 및 $H_{12}^\top$ (상호작용 항): 정책 매개변수에 대한 상태 - 행동 가치 함수 $Q$의 기울기 ($\nabla_\theta Q$) 와 관련된 항.

저자들은 $H_{12}$가 상당한 분산과 계산적 결합을 유발하여 직접적인 2 차 업데이트를 불안정하게 만든다고 규명합니다.

2. 2 시간 척도 통찰 및 근사

헤시안을 안정화하기 위해, 이 방법은 2 시간 척도 액터-크리틱 프레임워크를 사용합니다:

• 크리틱 ($Q$ 추정) 은 액터 (정책 $\pi_\theta$) 보다 빠른 시간 척도에서 진화합니다.
• 이 프레임워크 하에서, 액터 업데이트 동안 크리틱은 **준정적 (quasi-stationary)**으로 간주됩니다. 결과적으로 액터 매개변수에 대한 크리틱의 기울기는 0 으로 근사됩니다 ($\nabla_\theta Q_c \approx 0$).
• 이 근사는 고분산 상호작용 항 $H_{12}$를 효과적으로 제거하여 헤시안을 $\tilde{H} \approx H_1 + H_2$로 단순화합니다.

3. 헤시안 - 벡터 곱 (HVP) 을 통한 효율적 구현

명시적인 헤시안 구성 ($O(d^3)$) 을 피하기 위해, 이 방법은 헤시안 - 벡터 곱 (HVP) 을 활용합니다. 업데이트 방향은 근사 헤시안을 사용하여 국소 2 차 모델을 최대화함으로써 유도됩니다. 두 가지 구체적인 근사가 수립됩니다:

• ACGN1 (우위 기반 가우스 - 뉴턴): 곡률 항에서 상태 - 행동 가치 $Q$를 우위 함수 $A$로 대체합니다 ($H_1 + H_2 \approx A_1 + A_2$). 이는 분산을 줄이고 고유 곡률을 유지하면서 외적 항을 활용합니다.
• ACGN2 (고유 곡률): 외적 항 $H_1$을 완전히 제거하고 고유 곡률 $H_2$만 유지합니다. 이는 로그 볼록 정책 (예: softmax) 에 대해 이론적으로 정당화되며, 여기서 $H_2$는 음의 준정부호이므로 $H_1$이 도입하는 볼록 편향 없이 안정적인 최대화 방향을 보장합니다.

업데이트 규칙은 HVP 를 사용하여 변위 $\Delta$를 해결하는 내부 루프 최적화를 포함하며, 그 다음 정책 업데이트 $\theta \leftarrow \theta + \Delta$가 수행됩니다.

주요 기여

1. 이론적 통합: 본 논문은 2 시간 척도 액터-크리틱 안정성과 2 차 최적화 간의 연결을 확립합니다. 2 시간 척도 프레임워크에서 크리틱의 준정적 가정이 $\nabla_\theta Q \approx 0$ 근사를 정당화하여 불안정한 상호작용 항 $H_{12}$를 제거함을 보여줍니다.
2. 안정적인 2 차 업데이트: $H_{12}$를 제거함으로써, 저자들은 전체 헤시안 추정의 계산 부담 없이 전체 곡률 정보를 포함하는 안정적인 2 차 업데이트를 수립합니다.
3. 구조화된 근사: ACGN1 과 ACGN2 의 도입은 곡률 처리에 대한 두 가지 다른 전략을 제공합니다: ACGN1 은 분산 감소를 위해 외적 항과 고유 항을 균형 있게 조정하는 반면, ACGN2 는 고유 곡률에만 의존하여 구조적 안정성을 우선시합니다.
4. 수렴 분석: 본 논문은 감쇠된 2 차 액터 업데이트에 대한 수렴 증명을 제공하며, 근사 오차 (크리틱 추적, 곡률, 감쇠) 까지 정류점에 수렴함을 보여줍니다.

실험 결과

이 방법들은 MuJoCo 의 이산 제어 작업 (CartPole, LunarLander) 과 연속 제어 영역 (Reacher, Humanoid) 에서 평가되었습니다.

• 이산 행동 공간: ACGN2는 1 차 (REINFORCE) 및 자연 기울기 (NGA) 기준에 비해 일관되게 더 빠른 수렴과 향상된 샘플 효율성을 보여주었습니다. 이는 ACGN2 가 로그 볼록 정책 매개변수화와 잘 부합하는 음의 준정부호 고유 곡률에 의존하기 때문입니다. ACGN1 또한 기준을 능가했지만, 외적 항이 도입하는 볼록 편향으로 인해 수렴 속도가 약간 느렸습니다.
• 연속 행동 공간: 고차원 환경 (Humanoid) 에서 ACGN1과 NGA 는 더 안정적인 수렴을 보인 반면, ACGN2 는 노이즈가 많은 곡률 추정에 대한 민감성으로 인해 약간 더 높은 분산을 보이며 동등한 성능을 나타냈습니다. 그러나 모든 2 차 방법은 REINFORCE 를 능가하여, 비로그 볼록 가우스 정책에서도 곡률 정보의 이점을 확인했습니다.
• 계산적 트레이드오프: 2 차 방법은 HVP 계산으로 인해 반복당 실제 시간이 더 많이 소요되지만, 훈련 에피소드 측면에서는 더 빠른 수렴을 달성합니다. ACGN2 는 계산 비용과 곡률 품질 사이의 유리한 균형을 제공하는 반면, ACGN1 은 두 곡률 성분을 모두 포함하므로 계산 비용이 가장 많이 듭니다.

중요성 및 주장

본 논문은 2 시간 척도 액터-크리틱 프레임워크를 활용하여 고분산 상호작용 항을 무시함으로써 2 차 RL 방법의 불안정성을 해결하는 것이 주요 기여라고 주장합니다. 이를 통해 계산 효율성 (HVP 를 통해) 과 안정성을 모두 갖춘 곡률 인지 업데이트의 실용적 적용이 가능해집니다.

저자들은 그들의 접근 방식이 다양한 제어 작업에서 1 차 및 자연 기울기 기준 대비 수렴과 샘플 효율성을 개선한다고 주장합니다. 그들은 이 방법이 모든 경우 (특히 ACGN1 의 경우) 에 곡률 행렬의 양정부호성을 보장하지는 않지만, 감쇠의 사용과 근사의 특정 구조적 특성 (특히 ACGN2) 이 국소 최적점 근처에서 잘 제어된 업데이트를 산출한다고 강조합니다. 이 연구는 특히 이산 행동 공간에서 효율적인 정책 최적화를 위해 고유 곡률의 정확한 포착이 중요함을 시사합니다.

저자가 지적한 바와 같이, 향후 연구는 이러한 곡률 근사를 신뢰 영역 방법 (TRPO) 과 근접 정책 최적화 (PPO) 로 확장하고, 대규모 문제에 대한 확장 가능한 근사를 개발하는 데 초점을 맞출 것입니다.