기술 요약: RS-Diffuser

문제 정의

오프라인 강화 학습(Offline Reinforcement Learning, RL)은 고정된 데이터셋으로부터 의사결정 정책을 학습하는 것을 목표로 하며, 이는 의료나 로보틱스와 같이 온라인 탐색이 비용이 많이 들거나 위험한 안전 민감 분야에서 매우 중요한 능력입니다. 그러나 기존의 오프라인 RL 방식들은 두 가지 주요 과제에 직면해 있습니다:

1. 분포 변화(Distributional Shift): 정책이 행동 데이터의 지지 집합(support) 밖에서 동작하여 신뢰할 수 없는 가치 추정을 초래합니다.
2. 위험 중립성(Risk Neutrality): 현재 대부분의 확산 기반 플래너(diffusion-based planners)와 오프라인 RL 방식은 기대 수익(expected return)을 최적화합니다. 이들은 수익의 꼬리 분포(tail behavior)를 명시적으로 모델링하지 못하며, 이로 인해 드물지만 치명적인 결과에 취약합니다. 안전이 중요한 설정에서, 두 행동이 유사한 기대 수익을 갖더라도 하방 위험(downside risk)은 극명하게 다를 수 있는데, 표준 방식들은 이러한 차이를 간과합니다.

분포 강화 학습(Distributional RL)은 전체 수익 분포를 모델링하는 원칙적인 방법(Value-at-Risk 및 Conditional Value-at-Risk과 같은 지표를 가능케 함)을 제공하지만, 기존의 위험 민감형 오프라인 방식들은 주로 액터-크리틱(actor-critic) 구조에 기반하고 있습니다. 확산 기반 플래너에 명시적이고 제어 가능한 위험 민감도를 부여하는 방법에 대한 연구는 부족한 실정입니다.

방법론: RS-Diffuser

저자들은 확산 기반 궤적 생성과 분포적 가치 학습을 통합한 위험 민감형 오프라인 확산 계획 프레임워크인 RS-Diffuser를 제안합니다. 이 프레임워크는 오프라인 데이터셋을 통해 학습되는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 상태 궤적 확산 플래너 (State Trajectory Diffusion Planner):
   상태-행동 쌍을 직접 생성하는 대신, 이 플래너는 미래 상태 시퀀스 $x_0 = (s_{t+1}, \dots, s_{t+H})$에 대한 조건부 분포 $p_\theta(x_0 | s_t)$를 모델링합니다. 이는 장기 계획(long-horizon planning)과 저수준 행동 생성을 분리합니다. 이 모델은 노이즈가 섞인 상태 시퀀스의 역과정을 학습하기 위해 표준 디노이징 목적 함수(DDPM)를 사용하여 학습됩니다.

2. 역역학 행동 디코더 (Inverse Dynamics Action Decoder):
   계획된 상태 전이를 실행 가능한 행동으로 매핑하는 별도의 결정론적 디코더 $f_\psi$가 지도 학습 회귀를 통해 학습됩니다 ($a_t = f_\psi(s_t, \hat{s}_{t+1})$). 이를 통해 확산 모델은 실행 가능한 상태 진화에 집중할 수 있고, 디코더는 행동 복구를 담당합니다.

3. 몬테카를로 분포적 가치 크리틱 (Monte Carlo Distributional Value Critic):
   이는 위험 민감도를 위한 핵심 혁신입니다. 단일 기대 수익을 예측하는 표준 크리틱과 달리, 이 크리틱은 후보 계획들의 전체 수익 분포를 모델링합니다.

• 학습: 이 크리틱은 벨만 부트스트래핑(Bellman bootstrapping) 대신 몬테카를로 감독(Monte Carlo supervision)을 사용하는 **분위수 회귀(Quantile Regression)**를 사용하여, 주어진 노이즈가 섞인 계획 $x_k$, 현재 상태 $s_t$, 그리고 확산 단계 $k$에 대한 수익 분포 $Z(x)$의 $N$개 분위수를 예측합니다.
• 손실 함수: 크리틱은 수익 분포를 정확하게 근사하기 위해 분위수 허버 손실(Quantile Huber loss)을 사용하여 최적화됩니다.

위험 유도 추론 (Risk-Guided Inference):
RS-Diffuser의 핵심 운영 기능은 재학습 없이 추론 시점에 위험 선호도를 제어할 수 있는 능력입니다.

• 위험 민감 목적 함수 $\rho_\alpha$ (예: 위험 회피를 위한 CVaR 또는 위험 추구를 위한 상단 꼬리 평균)가 예측된 분포적 크리틱으로부터 계산됩니다.
• 확산 디노이징 과정 중에 **가이던스 신호(guidance signal)**가 주입됩니다. 노이즈가 섞인 궤적에 대한 위험 목적 함수의 기울기 ($g_k = \nabla_{x_k} \rho_\alpha$)가 원하는 위험 프로필을 만족하는 궤적을 생성하도록 유도하는 데 사용됩니다.
• 위험 파라미터 $\alpha$ 또는 선택된 함수(CVaR vs. VaR)를 조정함으로써, 단일 학습 모델은 위험 회피형, 위험 중립형, 위험 추구형 행동 사이를 매끄럽게 전환할 수 있습니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 프레임워크 통합: 꼬리 인지적 의사결정(tail-aware decision making)을 가능하게 하기 위해 분포적 가치 모델링을 명시적으로 포함하는 오프라인 RL용 확산 계획 프레임워크를 도입했습니다.
2. 유연한 가이던스: 분포적 크리틱이 가이드된 확산 샘플링(guided diffusion sampling)에 어떻게 통합되어, 모델 재학습 없이도 추론 시점에 유연한 위험 선호도 제어를 제공하는지 입증했습니다.
3. 경험적 우월성: RS-Diffuser가 기존의 최첨단 모델들을 능가하여 더 높은 전체 수익과 최악의 경우에 대한 강건성(worst-case robustness)을 달성함을 실험적으로 보여주었습니다.

실험 결과

저자들은 두 가지 벤치마크, Risk-Sensitive D4RL (확률적 페널티가 포함된 MuJoCo 태스크) 및 Risky Robot Navigation (위험 구역이 있는 PointMass 및 Ant 환경)에서 RS-Diffuser를 평가했습니다.

• Risk-Sensitive D4RL: RS-Diffuser는 Half-Cheetah, Walker2D, Hopper의 Medium, Expert, Mixed 데이터셋 전반에서 최고의 전체 성능을 달 achievement 했습니다. 이는 위험 중립형 베이스라인(CQL, Diffusion-QL)과 위험 민감형 베이스라인(OWCPG, ORAAC, CODAC, UDAC) 모두를 능가했습니다. 특히, 평균 수익과 조건부 가치-at-위험(CVaR$_{0.1}$) 모두를 개선하여 평균적인 상황과 최악의 상황 모두에서 우수한 성능을 보였습니다.
• Risky Robot Navigation: Risky Ant 및 Risky PointMass 태스크에서 RS-Diffuser는 안전 위반을 제로 또는 거의 제로에 가깝게 유지하면서 가장 높은 수익을 달성했습니다. 이 방법은 위험한 지름길을 택하거나(위험 중립형) 수익 최적화에 실패하는 다른 방법들과 달리, 안전과 성능 사이의 균형을 성공적으로 맞추었습니다.
• 절제 연구 (Ablation Studies): 위험 파라미터 $\alpha$와 위험 척도(VaR vs. CVaR)를 변화시키는 실험을 통해, 이 방법이 평균 수익과 강건성 사이의 매끄러운 트레이드오프를 허용함을 확인했습니다. 기본 설정에 대해서는 CVaR 기반 가이던스가 최적의 트레이드오프를 제공하는 것으로 나타났습니다.

의의 및 주장

본 논문은 RS-Diffuser가 생성적 확산 패러다임 내에서 제어 가능한 위험 민감도를 가능하게 함으로써 오프라인 RL의 중요한 공백을 메운다고 주장합니다. 서로 다른 위험 프로필을 위해 별도의 모델을 훈련하거나 고정된 위험 목적 함수에 의존해야 하는 이전 방식들과 달리, RS-Diffuser는 단일 모델이 추론 시점에 다양한 안전 요구 사항에 적응할 수 있게 합니다.

저자들은 이 연구를 유연하고 신뢰할 수 있는 의사결정을 위한 단계로 규정합니다. 확산 모델의 표현력(복잡하고 다중 모달인 궤적 모델링을 위한)과 분포적 가치 가이던스(꼬리 인지적 평가를 위한)를 결합함으로써, 평균 보상을 극대화하는 것만큼이나 파멸적인 결과를 피하는 것이 중요한 실제 배포 환경에서 강력한 프레임워크를 구축한다고 주장합니다. 향-후 연구로는 이 접근 방식을 고차원 로보틱스 태스크 및 다중 목적 안전 제약 조건으로 확장하는 것이 제안되었습니다.