Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning

다음은 ICLR 2026 에서 컨퍼런스 논문으로 발표된 "Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning"(ASPC) 에 대한 상세한 기술 요약입니다.

1. 문제 제기

오프라인 강화학습 (RL) 은 추가적인 환경 상호작용 없이 고정된 사전 수집 데이터셋으로부터 최적 정책을 학습하는 것을 목표로 합니다. 이러한 설정에서의 주요 과제는 **분포 이동 (distribution shift)**입니다. 학습된 정책이 데이터셋에 존재하지 않는 상태 - 행동 쌍을 방문할 경우, Q-값의 과대평가와 정책 붕괴가 발생할 수 있습니다.

이를 완화하기 위해 기존 방법들은 학습된 정책이 행동 정책 (Behavior Cloning, BC) 에 가깝도록 유지하기 위해 **정책 제약 (policy constraints)**을 부과합니다 (예: TD3+BC). 그러나 이러한 방법들은 RL 목적 함수와 BC 목적 함수 간의 균형을 맞추는 **제약 스케일 인자 (constraint scale factor, $\alpha$로 표기)**에 의존합니다.

• 핵심 문제: $\alpha$의 최적 값은 다양한 작업과 데이터셋 품질 (예: 무작위 데이터 대 전문가 데이터) 에 따라 크게 달라집니다.
• 현재의 한계:
  • 정적 튜닝: 최첨단 방법들은 종종 데이터셋별 세밀한 하이퍼파라미터 튜닝을 요구하며, 이는 시간이 많이 소요되고 실제 세계 배포에는 비실용적입니다.
  • 고정 적응형 방법: 기존 적응형 접근법들은 종종 로컬적으로만 행동을 재가중하거나 전역적 균형을 포착하지 못하는 고정된 구성을 사용하여, 세밀하게 튜닝된 베이스라인에 비해 하위 최적의 성능을 보입니다.

본 논문은 단일 하이퍼파라미터 구성을 사용하여 다양한 데이터셋에서 견고하고 최첨단 성능을 달성하는 방법에 대한 시급한 필요성을 해결합니다.

2. 방법론: 정책 제약의 적응형 스케일링 (ASPC)

ASPC 는 제약 스케일 인자 $\alpha$를 학습 가능한 매개변수로 간주하고, 이계 미분 가능 (second-order differentiable) 한 최적화 과정을 통해 훈련 중 동적으로 조정하는 이계 미분 가능 프레임워크입니다.

A. 핵심 프레임워크

이 방법은 총 손실 $L$이 다음과 같은 TD3+BC 목적 함수를 기반으로 합니다:
$$L = \alpha L_{RL} + L_{BC}$$
$\alpha$를 정적으로 유지하는 대신, ASPC 는 메타러닝 (meta-learning) 원리를 사용하여 이를 최적화합니다:

1. 내부 업데이트 (정책 최적화):
   정책 매개변수 $\theta$는 고정된 $\alpha$에 대해 내부 목적 함수 $L_{inner}$를 최소화하기 위해 경사 하강법을 통해 업데이트됩니다.
   $$L_{inner}(\theta; \alpha) = \mathbb{E}[-\lambda(\alpha) Q(s, \pi_\theta(s)) + \|\pi_\theta(s) - a\|^2]$$
   여기서 $\lambda(\alpha)$는 BC 손실의 규모에 기반하여 RL 항을 정규화합니다.

2. 외부 업데이트 (스케일 인자 최적화):
   스케일 인자 $\alpha$는 안정적인 훈련과 성능 향상을 보장하는 외부 손실 $L_{outer}$를 최소화하도록 업데이트됩니다. 외부 손실은 세 가지 조정된 구성 요소로 이루어져 있습니다:

   • $L_1$ (균형 항): 표준 TD3+BC 목적 함수를 반영하여, Q-값 최대화와 BC 손실 최소화 간의 균형을 향해 $\alpha$를 유도합니다.
   • $L_2$ (Q-값 안정성): 과도한 낙관적 업데이트를 방지하기 위해 예상 Q-값의 급격한 증가 ($\Delta Q^2$) 를 패널티로 부과합니다.
   • $L_3$ (BC 변동 제약): BC 손실의 변동 ($\Delta L_{BC}$) 을 제한합니다. 이 항은 Q-값 변동이 높을 때 정책이 행동 정책으로부터 너무 멀어지는 것을 방지하는 데 중요합니다.

   $\alpha$의 업데이트는 **이계 도함수 (내부 업데이트 매개변수에 대한 $\alpha$의 기울기)**를 활용합니다:
   $$\alpha \leftarrow \alpha - \eta_\alpha \frac{\partial L_{outer}(\tilde{\theta}(\alpha))}{\partial \tilde{\theta}} \frac{\partial \tilde{\theta}(\alpha)}{\partial \alpha}$$

B. 이론적 보장

저자들은 다음과 같은 이론적 분석을 제공합니다:

• 상호 제약: BC 손실의 변화 ($\Delta L_{BC}$) 와 Q-값의 제곱 변화 ($(\Delta Q)^2$) 는 서로를 상호적으로 제약합니다.
• 성능 하한: 특정 가정 (리프시츠 연속성) 하에서, ASPC 업데이트는 Q-값 이득이 BC 손실 변동을 보상할 경우 비감소 정책 성능 ($J(\pi_{t+1}) \geq J(\pi_t)$) 을 보장합니다.
• 수렴: 이 방법은 점진적으로 하위 최적성 갭을 줄이며, 잔여 갭은 행동 정책과 최적 정책 간의 불일치에 의해 제어됩니다.

C. 구현 세부 사항

• 백본: TD3+BC 위에 구현되었습니다.
• 아키텍처: Q-값 과대평가를 완화하기 위해 세 개의 은닉 레이어와 LayerNorm 을 사용하는 "Robust Critic"을 사용합니다.
• 효율성: 이계 기울기는 계산 비용이 많이 들지만, ASPC 는 $\alpha$를 액터 업데이트 ($k_\pi$) 보다 훨씬 낮은 빈도 ($k_\alpha$) 로 업데이트하여 런타임 오버헤드를 최소화합니다.

3. 주요 기여

1. 새로운 프레임워크: 데이터셋별 하이퍼파라미터 튜닝의 필요성을 제거하고 이계 미분 가능 최적화를 사용하여 정책 제약 스케일을 동적으로 조정하는 최초의 방법인 ASPC 의 도입.
2. 이론적 분석: Q-값 안정성과 정책 편차 간의 상호 제약 관계에 대한 성능 향상 보장 및 엄밀한 증명.
3. 일반성: ASPC 가 TD3+BC 에 국한되지 않고 IQL, CQL, Diffusion-QL, FQL 등 다른 오프라인 RL 알고리즘에 통합되어 성능을 향상시킬 수 있음을 입증.
4. 최첨단 결과: 단일 하이퍼파라미터 설정을 사용하여 네 가지 D4RL 도메인 (MuJoCo, Maze2d, AntMaze, Adroit) 의 39 개 데이터셋과 OGBench 벤치마크에서 우수한 성능 달성.

4. 실험 결과

• 벤치마크 성능: D4RL 벤치마크에서 ASPC 는 평균 정규화 점수 77.9를 기록하여 모든 베이스라인을 능가했습니다.
  • 데이터셋별 튜닝이 필요한 방법들 (예: IQL, ReBRAC) 과 기타 적응형 방법들 (wPC, A2PR) 을 능가했습니다.
  • 베이스라인 (고정 $\alpha$를 사용한 TD3+BC) 대비 35% 평균 향상을 보였습니다.
• 적응성:
  • 데이터셋 품질: ASPC 는 고품질 전문가 데이터셋의 경우 $\alpha$를 낮추고 (BC 우대), 저품질 무작위 데이터셋의 경우 $\alpha$를 높입니다 (RL 탐색 우대).
  • 작업 역학: AntMaze 의 희소 보상과 MuJoCo 의 밀집 보상과 같은 작업 특성에 따라 $\alpha$를 적응합니다.
• 애블레이션 연구:
  • 동적 조정을 제거하고 $\alpha$를 최종 수렴 값으로 고정하면 성능이 크게 저하되어, 단순히 좋은 고정 값을 찾는 것이 아니라 동적 조정이 필수적임을 입증했습니다.
  • 세 가지 손실 구성 요소 ($L_1, L_2, L_3$) 모두 다양한 도메인에서 최적 성능을 위해 필요했습니다.
• 효율성: ASPC 는 표준 TD3+BC 대비 계산 오버헤드가 미미하며, $\alpha$ 업데이트 간격을 30 스텝으로 설정했을 때 베이스라인과 비교 가능한 런타임을 보였습니다.

5. 의의

본 논문은 하이퍼파라미터 민감성 문제를 해결함으로써 오프라인 RL 분야에 중요한 기여를 합니다.

• 실용성: 광범위한 하이퍼파라미터 튜닝의 장벽을 제거하여, 데이터셋 품질이 다양하고 튜닝 자원이 제한된 실제 세계 응용 분야 (예: 의료, 로봇공학) 에서 오프라인 RL 을 더 실행 가능하게 만듭니다.
• 견고성: 실시간 훈련 신호에 기반하여 탐색 (RL) 과 활용 (BC) 을 동적으로 균형 있게 조절함으로써, ASPC 는 정적 방법보다 더 안정적이고 신뢰할 수 있는 학습 경로를 제공합니다.
• 일반화 가능성: 가치 기반부터 확산 기반까지 다양한 알고리즘을 향상시키는 프레임워크의 능력은 오프라인 정책 제어를 안정화하는 보편적 메커니즘을 시사합니다.

결론적으로, ASPC 는 "정적 제약 튜닝"에서 "적응형 제약 학습"으로의 전환을 나타내며, 다양하고 까다로운 환경에서 오프라인 강화학습을 위한 견고하고 고성능의 솔루션을 제공합니다.