기술 요약: 오프라인 강화학습을 위한 보수적 가치 추정을 위한 Peng 의 Q(λ)

1. 문제 제기

오프라인 강화학습 (RL) 은 추가적인 환경 상호작용 없이 알려지지 않은 행동 정책 (behavior policy) 에 의해 수집된 정적 데이터셋으로부터 정책을 학습하는 것을 목표로 합니다. 이러한 설정에서의 주요 과제는 **분포 이동 (distributional shift)**으로, 학습된 정책의 상태 - 행동 분포가 행동 정책과 달라지는 현상을 의미합니다. 이는 벨만 업데이트가 분포 밖 (OOD) 상태 - 행동 쌍을 질의할 때 **외삽 오차 (extrapolation errors)**를 초래하며, 종종 낮은 정책 성능으로 이어집니다.

기존의 모델 프리 오프라인 RL 방법들, 예를 들어 Conservative Q-Learning(CQL) 은 OOD 행동을 패널티화하여 보수성을 유도함으로써 이러한 문제를 해결합니다. 그러나 이러한 접근법들은 종종 **과도한 비관주의 (over-pessimism)**로 고통받는데, 이는 가치 추정이 지나치게 낮아져 정책 탐색을 방해합니다. 또한, 많은 최첨단 방법들은 알려지지 않은 행동 정책의 추정이나 보조 네트워크 (예: 양분수 또는 상태 가치용) 도입에 의존하는데, 이는 복잡성을 증가시키고 추정된 정책과 데이터셋 간의 불일치를 초래할 수 있습니다. 더 나아가, 대부분의 기존 모델 프리 오프라인 방법은 단일 단계 시간차 (TD) 학습만 활용하여 오프라인 궤적에 포함된 전체 정보를 활용하지 못합니다.

2. 방법론: 보수적 Peng 의 Q(λ) (CPQL)

저자들은 **보수적 Peng 의 Q(λ) (CPQL)**를 제안합니다. 이는 모델 프리 오프라인 멀티 스텝 RL 알고리즘입니다. CPQL 은 표준 벨만 연산자를 대체하여 보수적 가치 추정을 위해 Peng 의 Q(λ) (PQL) 연산자를 적용합니다.

핵심 메커니즘

• Peng 의 Q(λ) 연산자: 궤적을 잘라내는 다른 멀티 스텝 연산자와 달리, PQL 연산자는 전체 궤적을 완전히 활용합니다. 이는 행동 정책 ($\pi_\beta$) 과 목표 정책 ($\pi$) 사이를 보간하는 재귀 방식을 사용하여 Q-함수를 업데이트합니다.
• 암시적 행동 정규화: 고정된 행동 정책을 가진 오프라인 설정에서, PQL 연산자의 고정점은 혼합 정책 $\lambda \pi_\beta + (1-\lambda)\pi$의 Q-함수로 수렴합니다. 이 고정점은 최적 정책의 가치 함수보다 행동 정책의 가치 함수에 더 가깝기 때문에, 자연스럽게 암시적 행동 정규화를 유도합니다. 이는 고정점을 행동 정책에 더 가깝게 이동시켜 명시적인 행동 정책 추정 없이도 분포 이동의 영향을 완화합니다.
• 보수적 통합: CPQL 은 PQL 연산자를 CQL 손실 함수에 통합합니다. 목적 함수는 Q-함수와 PQL 타겟 사이의 제곱 오차를 최소화하는 동시에, 학습된 정책 하에서의 기대 Q-값을 경험적 행동 정책 하에서의 기대 Q-값에 비해 패널티화하는 보수적 패널티 항을 추가합니다.
  $$\min_Q \left\{ \frac{1}{2}\mathbb{E}_{D}[(Q(s,a) - T^{\hat{\pi}_\beta, \pi}_{\lambda} Q(s,a))^2] + \alpha (\mathbb{E}_{a \sim \pi}[Q(s,a)] - \mathbb{E}_{(s,a) \sim D}[Q(s,a)]) \right\}$$
• 알고리즘 구현: 이 알고리즘은 길이 $n$의 부분 궤적을 활용하여 추적 파라미터 $\lambda$를 사용하여 타겟 Q-값을 재귀적으로 계산합니다. 이는 SAC 에서 영감을 받은 듀얼 크리틱 아키텍처를 사용하며, 엔트로피 항으로 정규화된 크리틱들의 최소 Q-값을 최대화하도록 액터를 업데이트합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 최초의 멀티 스텝 오프라인 알고리즘: CPQL 은 최초의 모델 프리 오프라인 멀티 스텝 Q-러닝 알고리즘입니다. 이는 추가 모델을 추정하지 않고 오프라인 궤적을 완전히 활용함으로써 보수적 멀티 스텝 가치 추정의 효과를 이론적 및 경험적으로 입증한 첫 번째 작업입니다.
2. 이론적 보장:
   • 하한: 충분히 큰 보수성 파라미터 ($\alpha$) 에 대해, 학습된 Q-함수는 혼합 정책의 실제 상태 가치 함수에 대한 하한을 제공합니다.
   • 성능 보장: CPQL 이 학습한 혼합 정책은 행동 정책의 성능 이상을 달성할 것이 보장됩니다.
   • 비최적성 갭: CPQL 은 CQL($\lambda=0$) 에 비해 비최적성 갭을 줄입니다. 이론적 분석은 파라미터 $\lambda$가 행동 정책과 목표 정책 사이의 균형을 이루어 과도한 비관주의를 효과적으로 완화함을 보여줍니다.
3. 하이퍼파라미터에 대한 강건성: 보수성 파라미터 $\alpha$ 선택에 매우 민감한 CQL 과 달리, CPQL 은 광범위한 $\alpha$ 값에 걸쳐 높은 성능을 유지합니다.
4. 오프라인 - 온라인 유틸리티: CPQL 은 오프라인 - 온라인 학습 프레임워크를 용이하게 합니다. CPQL 로 사전 훈련하면 온라인 PQL 에이전트가 미세 조정 시작 시 관찰되는 전형적인 성능 저하를 피할 수 있어 견고한 성능 개선을 가능하게 합니다.

4. 실험 결과

저자들은 MuJoCo 이동, Adroit 조작, AntMaze 탐색 작업을 포함하는 D4RL 벤치마크에서 CPQL 을 평가했습니다.

• 오프라인 성능: CPQL 은 29 개 작업 중 22 개에서 기존 단일 스텝 베이스라인 (TD3+BC, CQL, IQL, MCQ, MISA, CSVE, EPQ 포함) 보다 일관되게 그리고 크게 우월한 성능을 보였습니다. 특히 중간 및 전문가 데이터셋에서 많은 환경에서 거의 최적의 성능을 달성했습니다.
• 민감도 분석: 실험은 CPQL 이 보수성 파라미터 $\alpha$에 강건한 반면, CQL 성능은 $\alpha$의 작은 변화에 따라 크게 변동함을 보여주었습니다.
• 멀티 스텝 비교: 다른 멀티 스텝 연산자 (Uncorrected N-step, Retrace, Tree-backup) 를 보수적 추정과 결합했을 때, CPQL 은 더 안정적이고 경쟁력 있는 성능을 달성했습니다. 다른 연산자들은 부정확한 행동 정책 추정 (Retrace) 이나 연속 공간에서의 불안정한 업데이트 (Tree-backup) 로 인해 성능 저하를 겪었습니다.
• 오프라인 - 온라인: 오프라인 - 온라인 설정에서 CPQL 로 사전 훈련된 Q-함수로 온라인 PQL 을 초기화하면 CQL-to-SAC 나 Cal-QL 과 같은 다른 방법에서 관찰되는 초기 성능 저하를 피하면서 더 빠른 적응을 이루었습니다.
• 계산 효율성: CPQL 은 단일 스텝 CQL 에 비해 실행 시간이 약간만 증가했습니다 (약 4.4% 증가) 오토인코더나 추가 패널티 적응이 필요한 방법 (MCQ, EPQ) 보다 효율적이었습니다.

5. 중요성 및 주장

이 논문은 보수적 방법 내재적인 과도한 비관적 가치 추정 문제를 해결함으로써 CPQL 을 오프라인 RL 의 이정표로 위치시킵니다. PQL 연산자를 활용함으로써 CPQL 은 가치 함수의 고정점이 자연스럽게 행동 정책 쪽으로 정규화되는 균형을 달성하여, 공격적인 보수성이나 복잡한 보조 네트워크의 필요성을 줄입니다.

저자들은 CPQL 이 이전의 보수적 접근법들이 달성하지 못했던 거의 최적의 성능 보장을 제공한다고 주장하며, 이는 특히 행동 정책에 대한 비최적성 갭을 줄임으로써 이루어집니다. furthermore, 온라인 미세 조정을 위한 견고한 사전 훈련 단계로서 방법의 능력은 오프라인과 온라인 RL 간의 간극을 해소하는 데의 유용성을 강조하며, 온라인 에이전트의 "콜드 스타트" 문제에 대한 해결책을 제시합니다.

논문은 CPQL 이 멀티 스텝 백업으로 인해 약간의 계산 비용을 수반하지만, 이 오버헤드는 행동 정책 추정이나 복잡한 네트워크 아키텍처의 필요성을 제거하고 얻는 상당한 성능 향상에 비해 무시할 수 있다고 결론지었습니다.