Reinforcement Learning from Cross-domain Videos with Video Prediction Model

기술 요약: XIPER – 비디오 예측 모델을 이용한 교차 도메인 비디오 기반 강화 학습

1. 문제 정의

본 논문은 에이전트와 전문가가 시각적으로 구별되는 도메인에 존재하는 경우, 전문가의 시각적 시연으로부터 강화 학습(RL) 에이전트를 학습시키는 과제를 다룹니다. 이러한 "교차 도메인(cross-domain)" 설정은 에이전트의 외형이 전문가와 근본적으로 다른 경우, 즉 에이전트의 색상, 형태(예: 체형), 또는 심투리얼(sim-to-real) 격차와 같은 상당한 도메인 차이가 특징입니다.

결정적으로, 에이전트는 다음 사항에 접근할 수 없습니다:

• 그라운드 트루스(ground-truth) 보상 신호.
• 저차원 상태 정보.
• 전문가의 액션 라벨(action labels).
• 에이전트와 전문가 도메인 간의 쌍을 이룬 데이터(paired data).

에이전트는 오직 자신의 도메인에서 얻은 가공되지 않은 시각적 관측값과 서로 다른 도메인의 라벨이 없는 전문가 비디오 세트만을 받습니다. 핵심적인 어려움은 불안정한 적대적 학습(adversarial training)이나 확장이 어려운 도메인 불변 표현(domain-invariant representations)에 의존하지 않고, 시각적 및 역학적 차이에도 불구하고 전문가와 유사한 행동을 재현하도록 유도하는 의미 있는 보상 신호를 도출하는 것입니다.

2. 방법론: XIPER

저자들은 XIPER(Cross-domain Video Prediction Reward)를 제안합니다. 이는 교차 도메인 비디오 예측 가능성(cross-domain video prediction likelihood)을 보상 신호로 사용하여 적대적 학습을 우회하는 프레임워크입니다. 이 시스템은 만약 에이전트의 행동이 전문가의 시연과 일치한다면, 에이전트의 관측값(전문가의 시각적 스타일로 변환되었을 때)이 전문가 비디오로 학습된 모델에 의해 매우 예측 가능할 것이라는 전제하에 작동합니다.

이 방법론은 모두 오프라인에서 사전 학습되고 RL 단계에서는 고정(frozen)되는 두 가지 주요 구성 요소로 이루어집니다:

1. 도메인 변환 모델 ($T_\phi$):

   • 이 구성 요소는 에이전트의 관측값(에이전트 도메인 $A$)을 전문가 도메인($E$)으로 매핑합니다.
   • 쌍을 이룬 데이터가 없으므로, 신경 최적 운송(Neural Optimal Transport, NOT) 목적 함수를 사용하는 비쌍(unpaired) 이미지 간 변환 문제로 학습됩니다. 이는 변환된 에이전트 이미지의 분포와 전문가 이미지의 분포 사이의 거리를 최소화하면서 콘텐츠를 보존합니다.
   • 이는 양쪽 도메인에서 수집된 무작위 관측값을 사용하여 학습됩니다.

2. 전문가 도메인 비디오 예측 모델 ($p_\theta$):

   • VideoGPT를 기반으로 하며, 이 생성 모델은 과거 전문가 프레임 시퀀스가 주어졌을 때 다음 전문가 프레임을 예측함으로써 전문가 행동의 분포를 학습합니다.
   • $k=16$ 프레임의 컨텍스트 윈도우에 대한 최대 가능도(maximum likelihood) 목적 함수를 사용하여 전문가 궤적(trajectories)을 통해 학습됩니다.

보상 신호:
RL 학습 중에 에이전트의 최근 관측 시퀀스는 먼저 $T_\phi$를 사용하여 전문가 도메인으로 변환됩니다. 그 후 비디오 예측 모델은 변환된 컨텍스트가 주어졌을 때 현재 변환된 관측값의 로그 가능도(log-likelihood)를 계산합니다. 이 가능도가 보상($r_t^{xiper}$)이 됩니다:
$$r_t^{xiper} = \ln p_\theta(T_\phi(o_t) | T_\phi(o_{t-k:t-1}))$$
높은 가능도는 에이전트의 행동이 전문가 분포와 일치함을 나타냅니다. 탐사를 장려하기 위해 불확실성 기반 탐사 보너스가 추가됩니다.

RL 에이전트(백본으로 DreamerV3 사용)는 이 보상 신호를 최적화하여 누적 수익을 극대화하며, 결과적으로 자신의 변환된 관측값이 전문가 비디오 모델에 의해 예측 가능하게 만드는 방식으로 행동하는 법을 학습합니다.

3. 주요 기여

• 새로운 보상 정식화: XIPER라는 교차 도메인 보상 모델을 도입하여, 그라운드 트루스 보상, 상태 정보, 또는 적대적 학습 없이도 픽셀 관측값만을 사용하여 서로 다른 시각적 도메인 간의 라벨 없는 전문가 비디오로부터 RL 에이전트를 학습할 수 있게 합니다.
• 경험적 우월성: DMC Color Suite(색상 차이가 있는 8개 태스크)와 DMC Body Suite(형태적 차이가 있는 3개 태스크) 전반에서 경쟁력 있는 베이스라인(동일 도메인 비디오 예측, 적대적 모방 학습, 도메인 혼란 방법 포함)보다 일관되게 우수한 성능을 입증했습니다.
• 심투리얼(Sim-to-Real) 적용 가능성: 시뮬레이션 전문가 비디오만을 사용하여 실제 로봇 관측값에 대한 의미 있는 보상 신호를 생성할 수 있음을 보여줌으로써, 수동적인 주석 작업 없이 보상 생성의 심투리얼 격차를 성공적으로 메울 수 있음을 분석했습니다.
• 절제 연구(Ablation Studies): 설계 선택 사항에 대한 체계적인 분석을 통해, 정밀한 태스크에는 고품질 변환(낮은 FID)이 결정적이며 특정 탐사 계수($\beta=1$)가 가장 견고한 성능을 낸다는 것을 확인했습니다.

4. 실험 결과

저자들은 11개의 DeepMind Control (DMC) 태스크와 Sim-to-Real 데이터셋(Lynx Robot)에서 XIPER를 평가했습니다.

• 성능: XIPER는 12개 중 9개의 DMC 태스크에서 모든 베이스라인보다 높은 수익을 달了.
  • Color Suite에서 XIPER는 베이스라인보다 뛰어난 성능을 보였으며, 동일 도메인 베이스라인(VIPER)은 어느 정도 일반화 능력을 보였으나 덜 견고했습니다.
  • Body Suite(형태적 변화)에서 XIPER는 모든 베이스라인을 크게 앞질렀습니다. 특히, 적대적 베이스라인(XAIL, TPIL-Dv3)은 불안정한 학습 곡선과 낮은 성능을 보였는데, 이는 강력한 RL 백본을 사용하더라도 적대적 방법이 갖는 불안정성을 부각시킵니다.
• 보상 품질: 가능도 기반 보상은 무작위 및 전문가 궤적 모두에서 그라운드 트루스 태스크 보상과 강한 상관관계를 보였습니다.
• 변환 일반화: 무작위 데이터로만 학습된 도메인 변환 모델은 분포 외(out-of-distribution) 전문가 궤적에도 성공적으로 일반화되어, 에이전트의 색상과 형태를 전문가 도메인에 맞게 정확하게 변환했습니다.
• 심투리얼(Sim-to-Real): Lynx Robot 실험에서 변환 모델은 실제 세계의 시각적 노이즈(케이블, 하드웨어 등)를 성공적으로 필터링하여 시뮬레이션 스타일의 이미지를 생성했습니다. 그 결과로 얻은 실제 로봇 에피소드의 XIPER 보상은 그라운드 트루스 태스크 보상과 잘 일치하였으며, 이는 보상 생성을 위한 심투리얼 전이 가능성을 검증합니다.

5. 의의 및 주장

본 논문은 XIPER가 교차 도메인 시각적 RL을 위한 확장 가능하고 안정적인 대안을 제공한다고 주장합니다. 생성적 비디오 예측과 비쌍(unpaired) 변환을 활용함으로써, 도메인 불변 표현의 필요성과 GAN 기반 학습과 관련된 불안정성을 제거합니다.

저자들은 이 접근 방식이 온라인 비디오를 풍부한 전문가 시연의 원천으로 활용할 수 있게 하여, 노동 집약적인 보상 엔지니어링과 비용이 많이 드는 도메인 특화 데이터 수집의 필요성을 없애준다고 강조합니다. 현재의 연구는 보상 신호의 품질과 시뮬레이션에서의 학습 능력을 검증했지만, 저자들은 물리적 로봇에서의 온라인 RL 학습을 통한 루프를 닫는 것이 향-후 필수적인 단계임을 겸허히 언급했습니다. 또한, 정밀한 장기(long-horizon) 행동이 필요한 태스크의 경우 변환 모델을 오직 무작위 데이터로만 학습하는 것이 병목 현상이 될 수 있음을 인정하며, 향후 연구에서 고급 탐사 전략이나 공동 최적화를 탐구할 수 있음을 시사했습니다.