기술 요약: SPAR (지원 보존 행동 정정)

문제 정의

오프라인 강화 학습 (Offline RL) 은 추가적인 환경 상호작용 없이 고정된 데이터셋으로부터 최적 정책을 학습하는 것을 목표로 합니다. 이 분야의 근본적인 과제는 데이터셋의 유한한 커버리지로, 상태 - 행동 공간의 넓은 영역이 제약되지 않은 채 남게 된다는 점입니다. 기존 정책 개선 방법들은 가치 극대화와 데이터 분포 적합화 사이에 내재된 충돌에 직면하며, 이는 제한된 커버리지 하에서 두 가지 주요 실패 모드를 초래합니다:

1. 인샘플 (In-Support) 학습: AWAC 및 IQL 과 같은 방법들은 데이터셋 행동에 대한 가중 회귀로 개선을 처리합니다. Out-of-Distribution (OOD) 쿼리에 강건하지만, 최대 가능도 편향이 고밀도 영역을 강조하여 분포 꼬리에 있는 희귀하지만 고가치인 행동을 체계적으로 억제합니다. 기하학적으로 이는 연속적인 행동 다양체를 분쇄하여 정책을 하위 최적 영역에 가두는 결과를 낳습니다.
2. 가치 유도 최적화: 학습된 크리틱의 경사를 따라 상승하는 방법들 (예: CQL, Diff-QL) 은 종종 적합 - 최적화 경사 충돌로 고통받습니다. 오프라인 체제에서 크리틱은 데이터 이웃을 넘어 외삽해야 하므로, 인위적인 고가치 피크가 생성됩니다. 가치 경사는 종종 행동을 데이터 다양체에서 벗어나 비현실적인 적대적 영역으로 밀어내는 큰 법선 성분을 포함하여, 치명적인 망각이나 OOD 붕괴를 유발합니다.

방법론: SPAR 프레임워크

저자들은 **지원 보존 행동 정정 (Support-Preserving Action Rectification, SPAR)**을 제안합니다. 이는 전역 정책 개선을 고정된 순수 행동 복제 (BC) 정책에 기반한 국소 잔여 정정으로 재해석하는 프레임워크입니다. 이 접근법은 적합화와 개선이라는 두 목표를 별도의 단계로 분해합니다.

1. 3 단계 파이프라인

• 1 단계: 보수적 앵커. 베이스 정책 ($\pi_{base}$) 은 데이터셋 $D$에 대해 순수 행동 복제로 훈련되며, 전역 다양체 위상을 포착하도록 보장하기 위해 이점 가중 목표를 피합니다. 동시에, 보수적 크리틱 앙상블 ($Q_{rob}$) 은 엄격한 인샘플 기대값 회귀와 하한 신뢰 구간 (LCB) 을 사용하여 불확실성을 패널티로 부과함으로써 과대 추정 편향을 방지하도록 훈련됩니다. 이 단계가 끝난 후 $\pi_{base}$와 $Q_{rob}$는 고정됩니다.
• 2 단계: 지원 보존 잔여 학습. 최종 정책은 $\pi(s) = \pi_{base}(s) + \Delta_\theta(s, \pi_{base}(s))$로 매개변수화되며, 여기서 $\Delta_\theta$는 잔여 정책입니다. 이는 최적화를 전체 행동 공간에서 앵커 주변의 국소 이웃으로 분해하여 가설 공간의 부피를 축소합니다.
  • 잔여 모델링: 단봉 잔여의 경우 결정론적 회귀기 (SPAR-MLP) 를 사용합니다. 다봉 잔여의 경우 조건부 변이 오토인코더 (SPAR-CVAE) 가 분포를 모델링합니다.
  • 잠재 자기 모방 (LSI): 적합 - 개선 경사 충돌을 해결하기 위해 SPAR 은 도함수 없는 메커니즘을 도입합니다. 크리틱에 대한 경사 상승 대신, 잔여 정책에서 잠재 후보를 샘플링하여 행동을 디코딩하고 보수적 가치 추정으로 가중치를 부여한 후, 이 가중치 경험 분포를 향해 정책을 회귀시킵니다. 이는 업데이트가 잔여 다양체 내에 머무르도록 보장하여 다양체 외 부동 (drift) 을 방지합니다.
• 3 단계: 배포 시 정정. 추론 시, 예측된 개선이 베이스라인을 특정 절대 및 상대 임계값을 초과하는 경우에만 잔여 행동이 적용되어 보수적인 안전 필터 역할을 합니다.

2. 이론적 통찰

본 논문은 다음을 증명하는 이론적 증명을 제공합니다:

• 검색 공간 축소: 잔여 크기의 $(1-\rho)$-분위수로 정의된 국소 이웃으로 정제를 제한함으로써, 검색 공간의 커버링 수가 다항식 - 로그적으로 감소하여 샘플 효율성이 향상됩니다.
• 경사 충돌 제거: 이론적 분석 (명제 3.3) 은 잠재 자기 모방이 업데이트를 잔여 다양체 내의 현 (chords) 으로 제한함을 보여줍니다. 이는 표준 경사 상승에 의해 발생하는 선형 부동에 비해 2 차 부동 억제를 달성하여, 표준 가치 경사의 다양체 - 법선 부동을 효과적으로 제거합니다.

주요 기여

1. 이론적 정량화: 저자들은 잔여 학습을 통해 달성된 정책 검색 공간의 감소를 정량화하고, 크리틱 가이드와 적합화 목표 간의 경사 충돌을 공식적으로 특징짓습니다.
2. SPAR 프레임워크: 적합화와 개선을 분리하는 새로운 프레임워크입니다. 구조적 안정성을 위해 고정된 BC 앵커를 활용하고, 잠재 자기 모방을 사용하여 잠재 공간에서 가중 회귀를 통해 국소 정책 개선을 수행함으로써 탐색과 다양체 제약을 균형 있게 조절합니다.
3. 실증적 검증: D4RL 벤치마크에 대한 광범위한 평가는 SPAR 이 하위 최적 베이스라인으로부터 상당한 이득을 추출하여, 다양한 도메인 (locomotion, manipulation, sparse-reward navigation) 에서 최첨단 성능을 달성함을 보여줍니다.

실험 결과

본 논문은 MuJoCo Locomotion, AntMaze Navigation, Adroit Manipulation 세 가지 도메인에 걸쳐 D4RL 벤치마크에서 SPAR 을 평가합니다.

• 성능: SPAR 변형 (단봉을 위한 SPAR-MLP, 다봉을 위한 SPAR-PROJ) 은 경사 기반 방법 (TD3+BC, CQL, Diff-QL) 과 인샘플 방법 (IQL, AWAC) 을 포함한 강력한 베이스라인보다 일관되게 우수한 성과를 냅니다.
  • MuJoCo Medium-Replay에서 SPAR-MLP 는 인샘플 방법을 크게 능가하며, 복잡한 생성 모델과 맞먹거나 초과하는 성능을 더 낮은 계산 오버헤드로 달성합니다.
  • MuJoCo Medium-Expert 및 Adroit 작업에서 SPAR-PROJ 는 다봉 복잡성으로 인해 결정론적 방법이 실패하는 상황에서 최적 성능을 성공적으로 회복합니다.
  • AntMaze(희소 보상) 에서 SPAR-PROJ 는 정책 경사 가이드 및 인샘플 방법을 능가하는 강력한 회복 능력을 보여줍니다.
• 메커니즘 분석:
  • 경사 충돌: 지표는 SPAR-PROJ 가 경사 기반 베이스라인에 비해 적합화 경사에 대한 업데이트 벡터의 방향성 투영 ($D_D$) 과 실제 적합화 성능 저하 ($V_{SD}$) 를 여러 자릿수만큼 감소시킴을 보여줍니다.
  • 지원 보존: 시각화는 SPAR-PROJ 행동이 경험적 데이터 지원에 가깝게 유지됨 (q95 kNN 지원 - 거리 비율 0.98) 을 확인하는 반면, 경사 기반 방법들은 크게 벗어남 (비율 6.32) 을 보여줍니다.
  • 애블레이션 연구: 잠재 자기 모방 또는 3 단계 정정을 제거하면 성능이 저하되어 전체 파이프라인의 필요성을 확인합니다. 이 방법은 특히 희소 보상 환경에서 가이드 가중치 변화에 대해 강건함을 보입니다.

중요성 및 주장

본 논문은 SPAR 이 적합화와 개선이라는 상충되는 목표를 분해함으로써 기존 오프라인 RL 패러다임의 핵심 기하학적 실패 모드를 해결한다고 주장합니다. 고정된 행동 복제 정책에 최적화를 고정하고 축소된 잔여 공간에서 잠재 자기 모방을 통해 개선을 수행함으로써 SPAR 은 다음과 같은 효과를 가집니다:

1. 치명적인 망각과 OOD 붕괴를 방지합니다.
2. 가치 경사가 정책을 데이터 다양체에서 밀어내는 "법선 - 부동" 병리를 제거합니다.
3. 모든 작업에 대해 복잡한 생성 백본을 필요로 하지 않으면서 단봉 및 다봉 잔여 기하학 모두에 적응하는 통합 접근법을 제공합니다.

저자들은 SPAR 의 효과가 고정된 앵커와 보수적 가치 추정의 품질에 의존하지만, 다양한 작업 복잡성에서 최첨단 결과를 달성하는 오프라인 정책 개선을 위한 강건하고 이론적으로 근거 있는 메커니즘을 제공한다고 결론짓습니다.