기술 요약: AIDA (Adaptive Imagination for Domain Adaptation)

문제 정의

심층 강화 학습(RL)은 시뮬레이션에서 상당한 성공을 거두었으나, 이러한 정책을 실제 세계에 배포하는 것은 "sim-to-real" 격차로 인해 여전히 어려움을 겪고 있습니다. 이 격차는 주로 **역학 불일치(dynamics mismatch)**와 **상태 분포 변화(state-distribution shift)**에 의해 발생합니다. 시각 기반 RL의 경우, 픽셀 관측치는 고차원이며 외관 및 센싱 조건의 변화에 민감하기 때문에 상태 분포 변화가 특히 심각하게 나타납니다.

도메인 적응(DA)은 타겟 도메인 데이터를 활용하여 유망한 해결책을 제공하지만, 기존 방법들은 실제 배포 시 두 가지 결정적인 한계에 직면합니다:

1. 데이터 희소성: 대부분의 기존 DA 접근 방식은 풍부한 타겟 데이터에 접근할 수 있다고 가정합니다. 타겟 데이터 예산이 줄어들면 성능이 크게 저하되는데, 이는 실제 세계에서 데이터 수집 비용이 많이 드는 일반적인 시나리오입니다.
2. 훈련 오버헤드: 많은 기존 방법은 이미지 대 이미지(image-to-image) 설정을 채택하여, RL 에이전트가 이미지 기반 시뮬레이션에서 직접 훈련하도록 요구합니다. 이 과정은 계산 비용이 매우 높으며(RL 속도를 최대 20배까지 느리게 함) 종종 불안정한 훈련을 초래합니다.

본 논문은 추가적인 타겟 환경과의 상호작용 없이, 희소한 타겟 데이터 환경에서의 시각적 강화 학습 문제를 다룹니다. 목표는 저차원 시뮬레이터 상태로 훈련된 정책을, 최소한의 사전 수집된 데이터만을 사용하여 고차원 이미지 관측치를 제공하는 타겟 환경으로 적응시키는 것입니다.

방법론: AIDA

저자들은 두 단계로 작동하는 AIDA (Adaptive Imagination for Domain Adaptation) 프레임워크를 제안합니다.

1단계: 소스 도메인 학습 (Source-Domain Learning)

전체 환경 접근 권한(저차원 상태)을 사용하여 소스 도메인에서 상태 기반 정책 $\pi$와 역학 모델 $f_\omega$를 훈련합니다. 역학 모델은 전이 역학 $p(s'|s, a)$를 근사하며, 정책은 표준 RL(예: Soft Actor-Critic)을 통해 최적화됩니다.

2단계: 타겟 도메인 적응 (Target-Domain Adaptation)

희소한 타겟 이미지 궤적 데이터셋 $\mathcal{D}_{tgt}$가 주어졌을 때, AIDA는 추가적인 타겟 상호작용 없이 소스에서 훈련된 정책을 적응시킵니다. 핵심 혁신은 제한된 타겟 데이터를 신뢰할 수 있는 합성 전이(synthetic transitions)로 증강하는 **적응형 상상(Adaptive Imagination)**에 있습니다.

1. 판별기 게이트형 상상 (Discriminator-Gated Imagination)

데이터 희소성을 극복하기 위해, AIDA는 고정된 역학 모델을 사용하여 타겟 추론 상태로부터 합성 롤아웃(rollout)을 생성합니다. 그러나 긴 롤아웃은 예측 오차를 축적하고 타겟 매니폴드에서 벗어나게 됩니다.

• 3-way 판별기: AIDA는 전이를 (i) 타겟 추론, (ii) 소스, (iii) 상상된 상태의 세 가지 클래스로 분류하도록 훈련된 판별기 $D_\psi$를 사용합니다. 이는 표준 이진 판별기와 구별됩니다. 명시적인 "상상된(imagined)" 클래스는 모델이 모호한 중간 확률을 할당하는 대신, 지원 범위를 벗어난 롤아웃을 신뢰할 수 없는 것으로 인식할 수 있게 합니다.
• 적응형 절단 (Adaptive Truncation): 판별기의 "타겟 추론" 클래스에 대한 신뢰도 점수는 온라인 신뢰도 신호 역할을 합니다. 롤아웃은 점수가 임계값 $\delta$ 미만으로 떨어지는 첫 번째 단계에서 적응형으로 절단됩니다. 이를 통해 신뢰할 수 있는 타겟 정렬 전이만이 훈련에 기여하도록 보장하며, 드리프트된 상상의 노이즈를 방지합니다.

2. 자기 일관성 손실 (Self-Consistency Loss)

결과적으로 얻은 신뢰할 수 있는 전이들에 대해, AIDA는 의미론적으로 유의미한 상태 표현을 학습하기 위해 자기 일관성 손실을 도입합니다.

• 사이클: 프레임워크는 $State \rightarrow Image \rightarrow State$의 사이클을 강제합니다. 상상된 상태 $\tilde{s}$는 관측 모델 $p_\theta$를 통해 상상된 관측치 $\tilde{o}$로 디코딩된 후, 매핑 함수 $q_\phi$를 통해 다시 상태 $\bar{s}$로 추론됩니다.
• 목적 함수: 손실 함수는 원래의 상상된 상태와 재추론된 상태 사이의 불일치($\|\bar{s} - \tilde{s}\|^2$)를 처벌합니다. 이 제약 조건은 인코더가 시각적으로 근거가 있고 일관된 물리적 구성을 포착하도록 장려하여, 실제 타겟 데이터가 없는 영역에서도 조밀한 감독 신호를 제공합니다.

전체 훈련 목적 함수는 궤적 정렬 손실(재구성 + 적대적 정렬)과 자기 일관성 손실을 결합합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. AIDA 프레임워크: 희소한 타겟 데이터를 신뢰할 수 있는 합성 전이로 증강하고, 자기 일관성을 활용하여 의미론적으로 유의미한 표현을 학습하는 새로운 패러다임입니다.
2. 판별기 게이트형 상상: 3-way 판별기의 신호를 사용하여 상상 롤아웃을 동적으로 절단함으로써, 고신뢰도 전이만을 사용하도록 보장하는 메커니즘입니다.
3. 증강 데이터를 통한 자기 일관성: 다단계 정책 조건부 롤아웃에 대해 state-to-image-to-state 사이클을 강제하여, 에이전트가 방문할 가능성이 높은 상태로부터 추가적인 훈련 신호를 추출하는 방식입니다.
4. 실험적 평가: 적응형 절단이 고정된 호라이즌(fixed-horizon) 대안보다 더 높은 수익을 제공하며, AIDA가 저데이터 환경에서 일관되게 베이스라인을 능가함을 입 demonstrating하는 종합적인 실험을 수행했습니다.

실험 결과

저자들은 5개의 MuJoCo 작업(HalfCheetah, Hopper, Swimmer, Walker2d, Inverted-Pendulum)과 2개의 Gymnasium-Robotics 작업(Shadow Dexterous Hand Reach, Fetch Reach)에서 AIDA를 평가했습니다. 타겟 데이터 예산은 50개의 궤적(이전 연구에서 사용된 데이터의 약 1/6)으로 엄격히 제한되었습니다.

주요 결과:

• 성능: AIDA는 모든 7개 작업에서 **가장 낮은 평균 제곱 오차(RMSE)**를 기록했으며, 7개 중 6개 작업에서 베이스라인(CODAS, GAN_STACK, PAD, Behavior Cloning 포함) 대비 가장 높은 Return Ratio를 달s했습니다.
• 온라인 방법과의 비교: 주목할 점은, AIDA가 타겟 환경에 지속적으로 접근할 수 있는 PAD(자기 지도 온라인 적응 방법)보다 모든 작업에서 우수한 성능을 보였다는 것입니다. 이는 AIDA의 전략이 큰 state-to-image 도메인 격차에 더 견고함을 시사합니다.
• 오라클 능가: Swimmer 및 Fetch 작업에서 AIDA는 "Oracle (Image)" 베이스라인(무제한 상호작용을 가진 이미지 직접 훈련 SAC)보다 높은 성능을 보였으며, 이는 안정적인 저차원 상태로 훈련된 정책을 활용하는 것의 이점을 강조합니다.
• 절제 연구 (Ablation Studies):
  • 판별기 신뢰도: 시각화를 통해 3-way 판별기가 드리프트를 안정적으로 감지함을 확인했습니다. 절단 전의 디코딩된 이미지는 물리적으로 타당했으나, 절단 후의 이미지는 왜곡되었습니다.
  • 적응형 vs 고정 호라이즌: 적응형 절단이 고정 호라이즌 상상보다 성능이 훨씬 뛰어났습니다. 고정 호리즌(짧은 경우라도)은 종종 신뢰할 수 없는 전이를 포함하여 성능을 저해했습니다.
  • 자기 일관성: 질적 분석 결과, 자기 일관성 손실을 사용하는 AIDA의 상태 표현이 이 손실이 없는 방법들에 비해 물리적 구성(예: 진자 각도)을 더 충실하게 포착함을 보여주었습니다.

의의 및 한계

본 논문은 희소한 타겟 데이터 환경에서의 도메인 적응이라는 실질적으로 중요하면서도 아직 충분히 탐구되지 않은 영역을 다룹니다. 적응형 상상과 자기 일관성을 결 조합함으로써, 이 방법은 에이전트가 비용이 많이 드는 실제 상호작용 없이도 의미 있는 표현을 학습할 수 있도록 조밀한 감독 신호를 제공합니다.

저자들은 두 가지 한계를 솔직하게 인정합니다:

1. 성능 격차: AIDA가 베이스라인보다 우수하지만, 적응된 정책은 특히 균형이 중요한 작업(예: Walker2d)에서 전체 소스 전문가의 성능에는 미치지 못합니다. 이 격차를 줄이기 위해 온라인 적응 알고리즘이 도움이 될 수 있음을 시사합니다.
2. 역학 가정: 이 방법은 도메인 간에 공유되는 전이 역학을 가정합니다. 상당한 역학 불일치를 처리하는 것은 향후 연구 과제로 남겨둡니다.