기술 요약: 부분 데이터 커버리지 하의 오프라인 제약 강화 학습

문제 정의

본 논문은 할인된 제약 마르코프 의사결정 과정 (CMDP) 프레임워크 내에서 **오프라인 제약 강화 학습 (Offline Constrained RL)**을 다룹니다. 목표는 고정된 오프라인 데이터셋으로부터 학습된 정책을 통해 주요 보상 신호를 최대화하면서 여러 보조 안전 또는 자원 제약을 만족시키는 것입니다.

이 설정의 핵심적인 도전 과제는 부분 데이터 커버리지입니다. 신뢰할 수 있는 최적화는 일반적으로 평가 중인 정책의 상태 - 행동 점유율 (occupancy) 을 데이터셋이 커버해야 가능합니다. 제약이 없는 오프라인 RL 에서는 비관적 (pessimistic) 액터 - 크리틱 방법이 불충분한 커버리지 하에서도 성공을 거두었습니다. 그러나 제약이 있는 설정에서는 primal-dual 방법이 특정 장애물에 직면합니다: 이중 승수 (dual multipliers) 를 업데이트하려면 중간 정책들에 대한 제약 위반을 추정해야 합니다. 부분 커버리지 하에서는 이러한 중간 정책들이 데이터셋에 의해 지원되지 않을 수 있어, 이중 업데이트가 신뢰할 수 없게 되며 결과적으로 강력한 커버리지 요구사항이 다시 부활하게 됩니다.

또한, 기존 방법들은 종종 미지의 데이터 생성 분포 ($\mu_D$) 나 기준 정책에 대한 지식을 필요로 하는 정책 추출 (policy extraction) 단계에 의존하는데, 이는 실제 시나리오에서는 비현실적입니다.

방법론: PDOCRL

저자들은 PDOCRL(Primal-Dual Oracle-Efficient Constrained Reinforcement Learning) 을 제안합니다. 이는 오라클 효율성, 부분 커버리지 하의 샘플 효율성, 그리고 데이터 생성 분포에 대한 독립성을 동시에 갖춘 알고리즘입니다.

1. 분해된 선형 계획법 (Linear Programming) 공식화

CMDP 에 대한 표준 LP 공식화는 점유율 측정 ($\mu$) 을 최적화합니다. $\mu$로부터 정책을 복원하는 것은 일반적으로 알려지지 않은 데이터 분포 $\mu_D$로 정규화하는 것을 필요로 합니다. 이를 우회하기 위해 저자들은 **라그랑주 분해 (Lagrangian decomposition)**를 사용합니다:

• 점유율 측정 $\mu$에 대한 복사 변수 $\nu$를 도입합니다.
• 역할을 분리합니다: $\mu$는 데이터 분포로의 측정 변경 (change of measure) 을 통한 라그랑주 추정에 사용되고, $\nu$는 정책 추출에 사용됩니다.
• 결정적으로, $\nu$를 점유율 측정 $\mu$와 정책 $\pi$의 관점에서 직접 재매개변수화합니다: $\nu_{\mu, \pi}(s, a) = \pi(a|s)((1-\gamma)d_0(s) + \gamma[P^\top \mu](s))$.
• 이로써 정책 $\pi$가 명시적인 최적화 변수가 되어, $\mu_D$에 의존하는 별도의 정책 추출 단계가 불필요해집니다.

2. 가짜 안장점 (Spurious Saddle Points) 처리

저자들은 일반 함수 근사를 사용하는 제한된 안장점 공식화가 가짜 안장점을 허용할 수 있음을 확인했습니다. 함수 클래스가 최적 정책, 그 점유율 측정, 그리고 최적 행동 가치 함수를 포함하더라도, 제한된 라그랑주의 안장점이 최적 정책에 대응하지 않을 수 있습니다.

이를 해결하기 위해 두 가지 핵심 조건을 부과합니다:

• 슬레이터 조건 (가정 B): 제약을 양의 마진 $\phi$로 만족하는 실행 가능한 정책의 존재를 보장합니다. 이는 최적 이중 변수를 제한합니다.
• 모든 정책 가치 함수 실현 가능성 (가정 C): 클래스 내의 모든 정책 $\pi$에 대해, 가치 함수 $Q^\pi_0$와 $Q^\pi_0 + (1 + 1/\phi)Q^\pi_i$가 함수 클래스 $\mathcal{Q}$ 내에 포함되어야 한다는 강력한 실현 가능성 조건입니다. 이는 단일 정책 실현 가능성보다 강력하지만, 분해된 공식화에서 가짜 안장점을 배제하기 위해 필요합니다.

3. 오라클 효율적 Primal-Dual 알고리즘

PDOCRL은 처리 불가능한 min-max 최적화를 피하고 표준 오라클을 사용하여 경험적 안장점 문제를 해결합니다:

• Primal 플레이어:
  • 밀도 비율 ($w$): 함수 클래스 $\mathcal{W}$에 대한 노 - 레그렛 온라인 선형 최적화 오라클 ($\mathcal{O}_{LOW}$) 을 사용합니다.
  • 정책 ($\pi$): 정책 클래스 $\Pi$에 대한 노 - 레그렛 정책 최적화 오라클 ($\mathcal{P}_{O\Pi,\mathcal{Q}}$) 을 사용합니다.
• Dual 플레이어:
  • Q-함수 ($Q$): $\mathcal{Q}$에 대한 선형 최소화 오라클 ($\mathcal{LMO}_{\mathcal{Q}}$) 을 사용합니다.
  • 라그랑주 승수 ($\lambda$): 이중 경계에 대한 선형 최소화 오라클 ($\mathcal{LMO}_{B\Delta_I}$) 을 사용합니다.

알고리즘은 $T$번 반복하며, 이러한 변수들을 업데이트하고 시퀀스 $\pi_1, \dots, \pi_T$에서 균일하게 샘플링된 정책을 반환합니다.

주요 기여

1. 알고리즘 설계: PDOCRL 은 일반 함수 근사를 갖춘 오프라인 제약 RL 에서 부분 커버리지 보장, 오라클 효율성, 그리고 데이터 생성 분포 ($\mu_D$) 에 대한 독립성을 동시에 달성한 최초의 방법입니다.
2. 안장점에 대한 이론적 통찰: 본 논문은 단순한 제한된 안장점 공식화가 가짜 안장점으로 인해 실패할 수 있음을 보여주며, 모든 제한된 안장점이 최적임을 보장하는 더 강력한 모든 정책 실현 가능성 조건을 규명합니다.
3. 분해 기법: 점유율 측정을 재매개변수화하여 정책을 명시적 변수로 만듦으로써, $\mu_D$가 알려지지 않았을 때 밀도 비율로부터 정책을 추출하는 것의 통계적 취약성을 피합니다.
4. 샘플 복잡도: 명시된 가정 하에서 PDOCRL 은 $\tilde{O}(\epsilon^{-2})$의 샘플 복잡도로 근사 최적 및 근사 실행 가능한 정책을 반환합니다.

실험 결과

저자들은 DSRL 패키지의 데이터셋을 사용하여 BulletGym 벤치마크에서 PDOCRL 을 평가했습니다.

• 베이스라인: BC-All, BC-Safe, CDT, BCQ-Lag, BEAR-Lag, CPQ, COptiDICE 와 비교했습니다.
• 성능: PDOCRL 은 경쟁력 있는 보상 성능을 유지하면서 모든 작업에서 안전 제약 (정규화된 비용 $\le 1$) 을 일관되게 만족시킨 유일한 알고리즘이었습니다.
• 절대 연구 (Ablation Study): $\mu_D$에 대한 지식을 필요로 하는 표준 정책 추출 단계로 돌아가는 PDOCRL 변형은 성능이 현저히 저하되어, 제안된 재매개변수화가 오프라인 설정에서 성능에 결정적임을 확인했습니다.

중요성 및 주장

본 논문은 PDOCRL 이 오프라인 제약 RL 의 근본적인 격차인 커버리지 요구사항, 계산 효율성, 데이터 분포 지식 필요성 간의 트레이드오프를 해결한다고 주장합니다.

• 완전한 커버리지나 처리 불가능한 최적화를 요구하는 이전 액터 - 크리틱 방법 (예: PDCA, WSAC) 과 달리, PDOCRL 은 부분 커버리지 하에서 오라클 효율성으로 작동합니다.
• 정책 추출을 위해 $\mu_D$에 의존하는 밀도 비율 방법 (예: COptiDICE, POCC) 과 달리, PDOCRL 은 정책을 직접 최적화합니다.
• 이 연구는 가짜 안장점 존재 하에서 최적성을 보장하기 위해 강력한 실현 가능성 가정 (모든 정책) 이 필요하지만, 이는 일반 함수 근사 설정에서 오라클 효율성을 달성하고 분포 가정을 피하기 위한 필수적인 이론적 대가임을 강조합니다.

저자들은 PDOCRL 이 안전한 오프라인 학습을 위한 증명 가능한 효율적인 프레임워크를 제공한다고 결론지으며, 모든 정책 실현 가능성 조건을 단일 정책 실현 가능성으로 완화하는 것이 향후 연구 방향임을 지적합니다.