UNIQ: Conformal Calibration for Adaptive Conservatism in Offline Reinforcement Learning

기술 요약: UNIQ – 오프라인 강화학습을 위한 적응형 보수성을 위한 컨포멀 캘리브레이션 (Conformal Calibration)

1. 문제 정의

오프라인 강화학습(Offline Reinforcement Learning, RL)은 **분포 변화(distribution shift)**라는 결정적인 과제에 직면해 있습니다: 학습된 정책이 고정된 오프라인 데이터셋에 드물거나 존재하지 않는 상태-행동 쌍을 쿼리할 수 있다는 점입니다. 표준 시간차(temporal-difference, TD) 방식은 이러한 분포 외(out-of-distribution, OOD) 영역에서 과도하게 추정(extrapolate)하여, 파멸적인 과대평가와 정책 붕괴를 초래합니다.

기존 솔루션들은 일반적으로 행동 복제(behavioral cloning) 제약, 보수적 가치 학습(예: CQL, IQL), 그리고 앙상블 기반 불확실성이라는 세 가지 범주로 나뉩니다. **IQL(Implicit Q-Learning)**은 고정된 expectile 파라미터 $\tau$를 사용하여 OOD 과대평가를 억제함으로써 계산적으로 가볍고 안정적인 베이스라인을 제공하지만, 구조적 한계를 가집니다: 즉, 단일한 고정된 보수성 수준을 모든 상태에 균일하게 적용한다는 점입니다.

• 밀집된(densely covered) 영역에서는 이 고정된 보수성이 불필요하게 제한적이며, 잠재적인 성능 향상의 기회를 놓치게 만듭니다.
• 희소한(sparsely covered) 영역에서는 고정된 $\tau$가 여전히 과대평가를 방지하기에 불충분할 수 있습니다.

본 논문은 데이터 커버리지가 낮은 곳에서는 보수성을 강화하고, 커버리지가 풍부한 곳에서는 이를 완화하는, EDAC와 같은 대규모 앙상블 방식의 막대한 계산 비용을 들이지 않고도 **상태별(per-state)**로 보수성을 적응시킬 수 있는 메커니즘이 필요하다고 주장합니다.

2. 방법론: UNIQ

**UNIQ (Uncertainty-Informed Quantile)**는 컨포멀 캘리브레이션(conformal calibration)에 의해 구동되는 상태 적응형 $\tau(s)$를 사용하여 고정된 expectile $\tau$를 대체함으로써 IQL 백본을 확장합니다. 이 방법은 세 가지 핵심 구성 요소로 이루어집니다.

A. 다중 Expectile 가치 앙상블 (Multi-Expectile Value Ensemble)
단일 가치 네트워크를 훈련하는 대신, UNIQ는 세 가지 고정된 expectile 레벨 $\bar{\tau} \in \{0.5, 0.7, 0.9\}$에서 피팅된 $N_v$개의 가치 네트워크 앙상블을 훈련합니다. 이는 $3N_v$개의 가치 헤드를 생성합니다. 이러한 다중 해상도 피팅은 두 가지 상보적인 불확실성 신호를 추출합니다:

1. 인식론적 불확실성 ($\sigma_{ens}$): 비판가(critic)들 사이의 불일치를 포착하는 $\tau=0.7$ 레벨에서의 앙상블 예측 표준 편차.
2. 알레아토리 불확실성 확산 ($\Delta_\tau$): 수익(returns)의 내재적 확률성을 포착하는 $\tau=0.9$와 $\tau=0.5$에서의 평균 예측 차이.

B. 분할 컨포멀 캘리브레이션 (Split Conformal Calibration)
가공되지 않은 앙상블 불일치 $\sigma_{ens}(s)$는 태스크 의존적이며 스케일에 민감합니다. UNIQ는 이를 분포 불변(distribution-free) 불확실성 점수로 정규화하기 위해 **분할 컨포멀 예측(split conformal prediction)**을 사용합니다:

• 훈련 데이터에서 캘리브레이션 분할 $D_{cal}$을 홀드아웃(hold-out)합니다.
• 각 캘리브레이션 전이(transition)에 대해 앙상블의 $\tau=0.7$ 가치 함수의 벨만 잔차(Bellman residual)를 측정하는 비정상성 점수(nonconformity score) $\alpha_i$를 계산합니다.
• 이 점수들의 $(1-\delta)$-분위수 $\hat{q}$를 계산하여, 유한 샘플 커버리지 보장을 제공하는 데이터 기반 임계값을 제공합니다.
• 정규화된 불확실성 $u(s)$는 다음과 같이 계산됩니다:
  $$u(s) = \frac{\sigma_{ens}(s)}{\hat{q} + \epsilon}$$
  여기서 $u(s) > 1$은 불일치가 캘리브레이션된 임계값을 초과하여 해당 상태의 커버리지가 낮음을 나타내며, $u(s) < 1$은 커버리지가 좋음을 나타냅니다.

C. 상태 적응형 보수성 (State-Adaptive Conservatism)
정규화된 불확실성 $u(s)$는 시그모이드 스케줄을 통해 적응형 expectile $\tau(s)$로 매핑됩니다:
$$\tau(s) = \tau_{min} + (\tau_{max} - \tau_{min}) \cdot \sigma_{sig}(-\beta_\tau(u(s) - 1))$$

• 높은 불확실성 ($u(s) \gg 1$): $\tau(s) \to \tau_{min}$이 되어, 더 보수적인(낮은) 가치 추정을 강제합니다.
• 낮은 불확실성 ($u(s) \ll 1$): $\tau(s) \to \tau_{max}$가 되어, 더 낙관적인 가치 추정을 허용합니다.

또한, UNIQ는 Q-함수 업데이트를 위해 글로벌 비관적 가치 타겟 $V_{pess}(s) = \bar{V}(0.7)(s) - \kappa \sigma_{ens}(s)$를 사용하며, 여기서 $\kappa$는 태스크별로 조정됩니다.

3. 주요 기여

• 메커니즘 혁신: UNIQ는 컨포멀 캘리브레이션을 사용하여 불확실성 추정치를 스케일링함으로써, IQL의 expectile 파라미터를 상태 의존적으로 만드는 최초의 모델 프리(model-free) 방식을 도입했습니다.
• 효율성: 비판가 수에 따라 선형적으로 증가하고 막대한 VRAM을 요구하는 EDAC, SAC-N와 같은 헤비 앙상블 방식과 달리, UNIQ는 거의 IQL 수준의 메모리 비용으로 작동합니다. 이는 공유된 저차원(low-rank) 가치 헤드와 경량화된 컨포멀 캘리브레이션 단계를 사용함으로써 달성됩니다.
• 투명성: 저자들은 성능이 낮은 사례를 명시적으로 보고하며, 본 연구를 모든 방법론에 대한 절대적인 SOTA(최고 성능) 달성 주장이 아닌, 성능-효율성 프런티어 상의 실용적인 메커니즘 기여로 포지셔닝합니다.

4. 실험 결과

실험은 D4RL MuJoCo 벤치마크(HalfCheetah, Hopper, Walker2d의 9개 태스크)에서 수행되었습니다.

• IQL 대비 성능: UNIQ는 9개 태스크 모두에서 IQL을 능가하며, IQL의 81.6점에 비해 85.2의 정규화된 평균 점수를 달성했습니다.
  • 이득: 개선 효과는 Hopper와 Walker2d 태스크에서 가장 두드러졌으며, 특히 medium-replay 데이터셋에서 효과적이었습니다 (예: Walker2d-medium-replay에서 +7.2, Hopper-medium-replay에서 +4.2).
  • HalfCheetah: 이득은 미미했으며(+0.1 ~ +1.5), 이는 매끄럽고 잘 커버된 역학(dynamics)이 적응형 보수성의 혜택을 덜 받는다는 가설과 일치합니다.
• 헤비 앙상블 대비 성능:
  • UNIQ(평균 85.2)는 종합 점수에서 EDAC(92.9) 및 ReBRAC(89.7)에 뒤처집니다.
  • 그러나 UNIQ는 훨씬 낮은 계산 비용으로 이 성과를 달성했습니다.
• 효율성:
  • VRAM: UNIQ는 피크 시 ~250 MB를 사용하는 반면, IQL은 ~530 MB, EDAC는 ~2500 MB, ReBRAC은 ~1200 MB를 사용합니다.
  • 연산량: UNIQ는 EDAC(N=50)보다 단계당 약 4.6배 빠르며, IQL보다는 약 1.1배 느릴 뿐입니다.

5. 의의 및 주장

본 논문은 UNIQ를 모든 헤비 앙상블 방법을 대체하는 보편적인 SOTA 솔루션이 아니라, IQL 방식의 고정된 글로벌 보수성이라는 구조적 병목 현상을 해결하는 실용적인 메커니즘으로 정의합니다.

• 타겟팅된 개선: 이 방법은 이질적인 커버리지(예: 행동 모드가 급격히 변하는 리플레이가 많은 데이터셋)를 가진 환경에서 특히 효과적입니다. 이러한 시나리오에서 잘 커버된 영역에서는 보수성을 완화하고 희소한 영역에서는 유지하는 UNIQ의 능력은 상당한 이득을 가져다줍니다.
• 자원 접근성: IQL에 근접한 메모리 비용으로 작동함으로써, UNIQ는 과도한 오버헤드 없이 IQL보다 높은 성능을 얻고자 하는 제한된 컴퓨팅 자원(예: 단일 GPU 또는 MIG 인스턴스)을 가진 실무자들에게 실행 가능한 경로를 제공합니다.
• 향 향후 연구 방향: 저자들은 자동화된 상태 의존적 비관 계수 $\kappa(s)$ 선택과 컨포멀 캘리브레이션의 조기 웜 스타트(warm-starting)를 핵심적인 다음 단계로 식별했습니다.

요약하자면, UNIQ는 분포 불변 불확실성 캘리브레이션에 의해 가이드되는 적응형 보수성이 대규모 계산 스케일링 없이도 복잡하고 이질적인 데이터 체제에서 오프라인 RL을 더욱 견고하게 만들며, 성능과 효율성 사이의 높은 가치를 지닌 트레이드오프를 제공함을 입증합니다.