기술 요약: 오프라인 강화학습을 위한 타겟 정렬 생성을 통한 도메인 간극 극복

문제 정의

크로스-도메인 오프라인 강화학습 (RL) 은 온라인 상호작용 없이 사전에 수집된 데이터셋만을 사용하여 소스 도메인의 정책을 타겟 도메인으로 전이하는 것을 목표로 합니다. 이 설정은 온라인 데이터 수집이 비용이 너무 많이 들거나 안전하지 않은 이질적인 로봇 제어 및 시뮬레이션 - 현실 전이와 같은 응용 분야에서 중요합니다.

이 영역에서의 주요 과제는 소스 도메인과 타겟 도메인 간의 분포 불일치이며, 특히 타겟 데이터셋이 극도로 제한적일 때 ($|D_{tar}| \ll |D_{src}|$) 더욱 심화됩니다. 기존 방법들은 종종 소스 데이터를 필터링하여 타겟 분포에 "가까운" 전이 (transitions) 를 찾아 이 간극을 메우려 시도합니다. 그러나 저자들은 동역학 간극이 클 때, 심지어 "최근접 이웃 (nearest-neighbor)" 소스 전이조차 직접 통합하면 상당한 분포 불일치를 유발하여 타겟 데이터만으로 학습하는 것보다 성능이 저하될 수 있음을 입증했습니다. 반대로, 제한된 타겟 데이터에만 의존하면 효과적인 정책 학습을 위한 충분한 상태 커버리지를 제공하지 못하는 경우가 많습니다.

방법론: 타겟 정렬 커버리지 확장 (TCE)

소스 데이터 활용과 분포 불일치 회피 사이의 균형을 맞추기 위해, 저자들은 **타겟 정렬 커버리지 확장 (Target-Aligned Coverage Expansion, TCE)**을 제안합니다. TCE 는 소스 데이터를 어떻게 활용해야 하는지에 대한 이론적 지침을 제공하는 프레임워크로, 타겟에 가까운 전이를 직접 통합하거나 타겟 정렬 생성을 통해 상태 커버리지를 확장하는 방식으로 소스 데이터를 활용합니다.

이론적 기반

이 방법은 타겟 마르코프 결정 과정 (MDP) 과 혼합 MDP(소스 및 타겟 동역학을 결합) 간의 성능 간극에 대한 이론적 분석에 기반합니다. 저자들은 성능 간극이 두 가지 구성 요소에 의해 지배된다는 바운드 (Theorem 4.1) 를 유도했습니다:

1. 동역학 간극 (Dynamics Gap): 소스 전이 동역학 ($P_{src}$) 과 타겟 동역학 ($P_{tar}$) 간의 총변동 거리 (total variation distance).
2. 생성 오차 (Generation Error): 생성된 근사 타겟 전이 ($\hat{P}_{tar}$) 와 실제 타겟 동역학 간의 거리.

TCE 는 두 가지 계수를 조정하여 이러한 두 가지 오차 원인을 제어합니다:

• $\lambda_{mix}$: 직접 통합되는 소스 데이터의 비율을 제어합니다 (생성 오차는 최소화하지만 동역학 간극은 증가시킬 수 있음).
• $\lambda_{cov}$: 생성을 통한 상태 커버리지 확장의 정도를 제어합니다 (동역학 간극은 최소화하지만 생성 오차는 증가시킬 수 있음).

알고리즘 프레임워크

TCE 는 확률 미분 방정식 (SDE) 기반의 **이중 스코어 생성 모델 (dual score-based generative model)**을 사용하여 타겟 동역학과 일관되지만 확장된 상태 공간을 커버하는 전이를 합성합니다.

1. 이중 스코어 네트워크:

   • 혼합 상태 스코어 네트워크 ($q^{mix}_\theta$): 타겟 상태와 타겟에 "가까운" 소스 상태 (최근접 이웃 기준을 통해 선택됨) 의 조절 가능한 혼합으로 훈련됩니다. 이 네트워크는 확장된 상태 분포를 모델링합니다.
   • 타겟 전이 스코어 네트워크 ($q^{tran}_\theta$): 오직 타겟 전이만으로 훈련됩니다. 현재 상태를 조건으로 다음 상태를 생성하여 전이 동역학이 타겟 도메인과 정렬되도록 보장합니다.

2. 2 단계 샘플링 절차:

   • 1 단계 (상태 샘플링): $q^{mix}_\theta$가 안내하는 역방향 SDE 를 사용하여 혼합 상태 분포에서 상태 $\hat{s}_t$를 샘플링합니다.
   • 2 단계 (전이 샘플링): $q^{tran}_\theta$가 안내하는 역방향 SDE 를 사용하여 $\hat{s}_t$를 조건으로 다음 상태 $\hat{s}_{t+1}$를 생성합니다.
   • 보조 모델: 타겟 데이터로 훈련된 역동역학 모델과 두 도메인 모두로 훈련된 보상 모델이 사용되어 행동 $\hat{a}_t$와 보상 $\hat{r}_t$를 복원하여 전이 튜플을 완성합니다.

3. 정책 학습:
   최종 학습 데이터셋 ($D_{train}$) 은 타겟 데이터셋 ($D_{tar}$), 생성된 타겟 정렬 전이 ($D^{gen}_{\lambda_{cov}}$), 그리고 선택적으로 필터링된 소스 전이 부분집합 ($D^{src}_{\lambda_{mix}}$) 을 결합하여 구성됩니다. 오프라인 RL 알고리즘 (Implicit Q-Learning, IQL) 은 타겟 행동 정책에서의 편차를 패널티로 부과하는 KL-정규화 항과 함께 이 확장된 데이터셋으로 훈련됩니다.

주요 기여

• 타겟 정렬 커버리지 확장 (TCE): 단순한 소스 데이터 필터링을 넘어선 새로운 프레임워크입니다. 도메인 간극의 크기에 따라 소스 데이터를 직접 사용할지, 아니면 타겟 일관성 전이 생성에 활용할지 명시적으로 결정합니다.
• 이론적 분석: 크로스-도메인 성능 간극을 동역학 불일치와 생성 오차로 공식적으로 분해하여 데이터 혼합과 생성 사이의 균형을 위한 이론적 기반을 제공합니다.
• 이중 스코어 기반 아키텍처: 상태 커버리지 확장과 전이 모델링을 분리하는 2 단계 생성 접근법입니다. 이 설계는 저데이터 영역에서 상태 - 행동 - 다음 상태 매핑을 직접 학습할 때 발생하는 일반적인 실패 모드인 제한된 타겟 데이터에 대한 과적합을 방지합니다.
• 실증적 검증: 다양한 크로스-도메인 설정에서 TCE 가 최첨단 베이스라인을 일관되게 능가함을 보여주는 광범위한 실험.

실험 결과

저자들은 MuJoCo 연속 제어 작업 (HalfCheetah, Hopper, Walker2d, Ant) 과 Adroit 정교한 조작 작업을 포함한 TCE 를 평가했으며, 형태학적, 운동학적, 중력 변화를 모두 포함했습니다.

• 성능: TCE 는 MuJoCo 의 36 개 형태학적 변화 작업 중 33 개에서 가장 높은 평균 성능을 달성했으며, Adroit 작업에서는 모든 베이스라인을 능가했습니다.
• 큰 간극에 대한 강건성: 큰 동역학 간극이 있는 시나리오 (예: 상당한 형태학적 변화 또는 극단적인 중력 변화) 에서, 생성된 전이만 사용하는 변형 TCE(OG)($\lambda_{mix}=0$) 는 소스 데이터를 직접 혼합한 방법보다 훨씬 우수한 성능을 보였습니다. 이는 큰 간극 하에서 단순한 소스 통합이 해로울 수 있음을 확인시켜 줍니다.
• 작은 간극: 더 온화한 설정 (예: 중력 변화) 에서 소스 데이터를 통합하는 변형 TCE(SM)($\lambda_{mix} > 0$) 은 우수한 성능을 보여주어 프레임워크의 적응성을 입증했습니다.
• 애블레이션 연구:
  • 커버리지 계수 ($\lambda_{cov}$): 성능은 트레이드오프 곡선을 따릅니다. 커버리지를 너무 공격적으로 확장하면 생성 오차가 증가하여 성능이 저하됩니다. 중간 값 (예: 0.2) 이 최적임이 발견되었습니다.
  • 2 단계 설계: 분리된 2 단계 설계가 결정적인 것으로 나타났습니다. 상태 - 행동 쌍에서 다음 상태를 직접 추정하는 "1 단계" 베이스라인은 제한된 타겟 데이터에 대한 과적합으로 인해 훨씬 더 높은 오차와 낮은 성능을 겪었습니다.

중요성 및 주장

이 논문은 TCE 가 온라인 상호작용이 불가능한 안전-중요 또는 비용-민감 도메인을 포함한 크로스-도메인 오프라인 RL 을 위한 간단하고 실용적인 해결책을 제공한다고 주장합니다. 데이터를 혼합하거나 생성할지 결정하는 것을 이론적으로 근거함으로써 TCE 는 기존 방법들을 괴롭히는 분포 불일치를 완화합니다.

저자들은 그들의 접근 방식이 만능이 아니라고 강조합니다. 이는 공유된 상태 및 행동 공간을 가정하며, 생성을 안내하기 위해 타겟 데이터셋 (비록 작더라도) 에 의존합니다. 소스와 타겟이 거의 공통 지지를 공유하지 않는 극단적인 불일치 시나리오에서는 한계가 있음을 인정합니다. 그럼에도 불구하고, 결과는 도메인 간극이 상당할 때 타겟 정렬 생성이 직접적인 데이터 혼합보다 더 견고한 전략이며, 제한된 타겟 데이터로도 효과적인 정책 학습을 가능하게 함을 시사합니다.