Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning

기술 요약: 오프라인 강화학습에서 행동 클로닝 액터-크리틱을 위한 근접 행동 대체

1. 문제 제기

오프라인 강화학습 (RL) 은 추가적인 환경 상호작용 없이 정적이며 이전에 수집된 데이터셋으로부터 최적의 정책을 학습하는 것을 목표로 합니다. 오프라인 RL 에서 안정성을 보장하는 주된 접근법은 행동 클로닝 (BC) 정규화로, 이는 학습된 정책이 데이터셋에 존재하는 행동 정책과 가깝게 유지되도록 제약합니다. 이는 분포 이동 (distribution shift) 문제를 완화하고 에이전트가 분포 외 (OOD) 행동을 악용하는 것을 방지합니다.

그러나 저자들은 근본적인 한계를 지적합니다: BC 정규화는 성능 상한을 부과합니다. 오프라인 데이터셋에 비최적 행동이 포함되어 있을 경우, 무분별한 모방은 액터가 더 나은 행동을 식별하는 크리틱 (가치 함수) 이 존재함에도 불구하고 비최적 영역으로 수렴하도록 강제합니다. 저자들은 이것이 구조적인 트레이드오프를 만들어, 특히 훈련 후기 단계에서 주요 병목 현상이 '현실성'에서 '최적성'으로 이동할 때 정책이 가치 함수의 개선 제안을 완전히 활용할 수 없게 만든다고 주장합니다.

2. 방법론: 근접 행동 대체 (PAR)

이러한 성능 상한을 깨면서도 훈련 안정성을 유지하기 위해, 저자들은 **근접 행동 대체 (Proximal Action Replacement, PAR)**를 제안합니다. 이는 플러그 앤 플레이 방식의 훈련 샘플 대체기입니다. PAR 는 액터의 행동 클로닝 손실에 대한 감독 목표를 동적으로 수정합니다. 로그된 데이터셋 행동을 맹목적으로 모방하는 대신, PAR 는 두 가지 주요 제약 조건 하에 안정적인 타겟 정책이 생성한 더 나은 행동으로 선택적으로 대체합니다.

A. 기울기 방향 인식 행동 대체 (GDAAR)
이 구성 요소는 언제 행동을 대체할지 결정합니다.

• 메커니즘: 주어진 상태 $s$에 대해, 이 방법은 로그된 행동 $a$와 타겟 액터 $\pi'$가 생성한 후보 행동 $\hat{a}$를 크리틱의 행동 가치 함수 $Q(s, a)$의 국부 상승 방향과 비교합니다.
• 지표: 치환 벡터 ($v = a - \pi_\theta(s)$ 및 $v' = \hat{a} - \pi_\theta(s)$) 와 크리틱의 기울기 $g = \nabla_a Q(s, a)|_{a=\pi_\theta(s)}$ 사이의 코사인 유사도를 계산합니다.
• 결정 규칙: 로그된 행동 $a$보다 타겟 행동 $\hat{a}$가 크리틱의 국부 상승 방향과 더 잘 정렬되어 있는 경우 (즉, $\cos(g, v') > \cos(g, v)$), BC 감독 목표를 $\hat{a}$로 대체합니다. 그렇지 않으면 원래 행동 $a$를 유지합니다.
• 이론적 보장: 저자들은 매끄러움 가정 하에 이 선택 규칙이 2 차 오차 범위 내에서 1 단계 가치 개선이 기존 BC 보다 나쁘지 않음을 증명합니다.

B. 가우시안 모양 분포 외 행동 가중치 (GSOAW)
이 구성 요소는 얼마나 대체를 신뢰할지 결정하여 분포 이동에 대한 안정성을 보장합니다.

• 동기: 행동을 대체하면 정책이 행동 정책으로부터 크게 이탈하여 외삽 오차로 인해 크리틱 붕괴 (불안정성) 를 초래할 수 있습니다.
• 메커니즘: PAR 는 보조 상태 가치 함수 $V(s)$를 도입하고 $Q(s, a)$의 행동에 대한 불확실성을 모델링하기 위해 표준 편차 $\sigma(s)$를 학습합니다.
• 가중치: 대체 행동에 대한 가중치 $w$는 기대값 $V(s)$로부터의 Q 값 편차를 불확실성 $\sigma(s)$로 정규화하여 할당됩니다:
  $$w = \exp\left(-\frac{|Q(s, \hat{a}) - V(s)|}{\tau \sigma(s) + \epsilon}\right)$$
• 효과: 생성된 행동이 데이터셋에서 본 가치 분포와 멀 경우 (높은 불확실성 또는 큰 편차), $w$는 0 에 가까워져 대체를 효과적으로 억제하고 보수적인 행동 앵커로 복귀시킵니다. 이는 경성 제약 없이 정책 발산을 적응적으로 제한합니다.

3. 주요 기여

1. 비최적성의 이론적 특성화: 저자들은 BC 정규화 목적 함수 (MSE, KL, MLE 형태 포함) 에 대해 데이터셋에 비최적 행동이 포함되어 있다면, 최적화 정지점이 진정한 최적 정책과 일치할 수 없음을 공식적으로 증명합니다 (정리 3.1). 정책은 모방과 최적성 사이에서 구조적으로 타협하도록 강제됩니다.
2. 근접 행동 대체 (PAR): 기존 BC 정규화 액터-크리틱 알고리즘과 통합되는 새로운 플러그 앤 플레이 모듈입니다. 이는 GDAAR 를 통해 정책을 더 높은 가치 영역으로 개선하도록 안내하고, GSOAW 를 통해 위험한 OOD 행동을 패널티화하여 안정성을 유지합니다.
3. 광범위한 경험적 검증: 이 방법은 다양한 오프라인 RL 벤치마크 (MuJoCo, AntMaze, FrankaKitchen) 에서 테스트되었으며, 여러 베이스라인 알고리즘 (BCQ, TD3+BC, IQL, EDP, SSAR) 과 통합되었습니다.

4. 실험 결과

• 성능 향상: PAR 는 테스트된 모든 알고리즘과 도메인에서 일관되게 성능을 향상시킵니다.
  • MuJoCo 작업에서 PAR 를 TD3+BC 와 결합하면 평균 정규화 점수가 75.3 에서 87.7 로 증가했습니다 (+12.4).
  • AntMaze에서 PAR 는 IQL 이 57.1 에서 70.8 로 개선되도록 했으며 (+13.7), TD3+BC 를 거의 0 에 가까운 성능 (0.2 에서 2.0) 에서 구출했습니다.
  • FrankaKitchen에서 PAR 는 TD3+BC 를 0.0 에서 20.0 으로, IQL 을 48.7 에서 61.5 로 향상시켰습니다.
• 최첨단 비교: SSAR + PAR의 조합은 MuJoCo 작업에서 가장 높은 평균 점수 (90.9) 를 달성하여 QIPO(87.4) 및 기타 궤적 계획 접근법과 같은 복잡한 최첨단 방법들을 능가했습니다.
• 절대 실험 (Ablation Studies):
  • 행동 대체를 제거하고 필터링만 수행한 경우 더 작은 향상을 보였으며, 이는 더 나은 행동을 도입하는 것이 중요함을 확인시켜 주었습니다.
  • GSOAW 를 제거한 경우 ("No GSOAW"), OOD 불안정성으로 인해 중간 - 전문가 데이터셋에서 심각한 성능 저하가 발생하여 불확실성 인식 가중치의 필요성을 강조했습니다.
• 효율성: PAR 는 기존 기울기 계산을 재사용하고 경량 벡터 연산만 추가하므로 계산 오버헤드가 최소화됩니다 (훈련 시간 약 3-8% 증가).

5. 중요성 및 주장

이 논문은 PAR 가 오프라인 RL 의 구조적 한계를 극복하기 위한 새로운 데이터 중심 관점을 제공한다고 주장합니다. 순수한 모방에서 안내된 정책 개선으로 패러다임을 전환함으로써, PAR 는 에이전트가 표준 행동 클로닝이 부과하는 성능 상한을 초월할 수 있게 합니다.

저자들은 PAR 가 범위에서 소박함을 강조합니다:

• 현재는 국부 상승 기울기를 계산할 수 있는 연속 행동 공간을 위해 설계되었습니다.
• 단일 단계 전이 수준에서 작동하며 본질적으로 장기 의존성을 포착하지는 않습니다 (이는 향후 과제로 명시됨).
• 전체 오프라인 RL 프레임워크를 대체하는 것이 아니라 기존 알고리즘을 강화하는 플러그 앤 플레이 모듈로 제시됩니다.

궁극적으로 이 작업은 감독 신호 자체를 동적으로 최적화함으로써—비최적 데이터 포인트를 더 나은 불확실성 제한 대안으로 대체함으로써—행동 클로닝이 제공하는 안정성을 희생하지 않고도 오프라인 RL 알고리즘이 훨씬 더 높은 성능을 달성할 수 있음을 보여줍니다.