Bridging Dynamics Gaps via Diffusion Schrödinger Bridge for Cross-Domain Reinforcement Learning

이 논문은 소스 도메인 내에서 타겟 도메인의 오프라인 데모를 기반으로 확산 슈뢰딩거 브릿지를 활용하여 역동성 차이를 정렬하고 보상 변조 메커니즘을 도입함으로써, 타겟 환경 접근 없이도 교차 도메인 강화학습 성능을 극대화하는 BDGxRL 프레임워크를 제안합니다.

핵심

🎬 핵심 비유: "비행기 조종사 훈련"

상상해 보세요. 한 비행기 조종사가 시뮬레이션 게임에서 조종법을 배웠다고 칩시다. 게임 속 비행기는 중력이 약하고 바람도 다릅니다. 그런데 이제 이 조종사가 실제 비행기를 타야 한다면 어떨까요?

• 문제: 게임에서 배운 조작법 (정책) 을 그대로 쓰면, 실제 비행기는 중력이 다르고 바람이 불어와서 추락할 수 있습니다. (이걸 논문에서는 **'동역학 간극 (Dynamics Gap)'**이라고 합니다.)
• 어려움: 실제 비행기를 타고 연습할 수는 없습니다. (실제 환경과 상호작용할 수 없음). 게다가 실제 비행기 조종사에게 "이때 점수가 몇 점인가?"라고 물어볼 수도 없습니다. (실제 환경의 보상 신호 부재).
• 해결책: 우리는 실제 비행기에서 조종사들이 찍은 **짧은 영상 (오프라인 데이터)**만 가지고 있습니다. 이 영상을 보고 게임 속 조종사가 실제 비행기를 조종하는 것처럼 변신하게 만드는 것이 이 연구의 목표입니다.

---

🚀 이 연구가 제안한 해결책: "BDGxRL" (다이나믹스 간극을 잇는 다리)

이 연구팀은 BDGxRL이라는 새로운 시스템을 만들었습니다. 이 시스템은 크게 세 가지 단계로 이루어져 있습니다.

1. "마법 같은 변신 도구" (Diffusion Schrödinger Bridge)

• 비유: 게임 속 비행기의 움직임과 실제 비행기의 움직임은 완전히 다릅니다. 하지만 우리는 실제 비행기 조종사들의 짧은 영상만 가지고 있습니다.
• 작동 원리: 연구팀은 **'확산 슈뢰딩거 브리지 (DSB)'**라는 수학적 도구를 사용했습니다. 이는 마치 사진 편집기처럼, 게임 속 비행기의 움직임을 실제 비행기의 움직임처럼 자연스럽게 '변환'해 줍니다.
  • 게임에서 "왼쪽으로 10 도 꺾으면 왼쪽으로 10 도 간다"라고 배웠다면, 이 도구를 통해 "아, 실제 세상에서는 중력이 달라서 10 도 꺾으면 12 도 가야겠구나"라고 자동으로 보정해 주는 것입니다.
  • 중요한 점은, 실제 비행기를 직접 타보지 않고도 이 변환을 할 수 있다는 것입니다.

2. "점수판의 오해 풀기" (Reward Modulation)

• 비유: 게임에서는 "왼쪽으로 10 도 꺾으면 점수 +10"이라고 배웠습니다. 하지만 실제 세상에서는 중력이 달라서 10 도 꺾으면 점수가 +5 일 수도 있고, -5 일 수도 있습니다.
• 문제: 게임에서 배운 점수 기준 (보상 함수) 을 그대로 실제에 적용하면 큰 실수를 합니다.
• 해결책: 연구팀은 "동작의 결과"에 따라 점수를 매기는 새로운 점수판을 만들었습니다.
  • "어떤 행동을 했을 때, 실제 세상처럼 변형된 결과가 나왔다면 그 결과에 맞는 점수를 주자"는 것입니다.
  • 이렇게 하면 게임 속 조종사가 실제 세상의 법칙을 따르는 것처럼 행동할 때만 높은 점수를 받게 되어, 자연스럽게 실제 환경에 맞는 행동을 배우게 됩니다.

3. "완벽한 훈련" (Target-Oriented Policy Learning)

• 최종 단계: 이제 게임 속 조종사는 두 가지 도움을 받습니다.
  1. 자신의 움직임을 실제 세상처럼 변형해 주는 도구 (DSB).
  2. 실제 세상에 맞는 점수판 (Reward Modulation).
• 결과: 조종사는 게임 속 환경에서만 훈련을 하지만, 마치 실제 비행기를 조종하는 것처럼 학습하게 됩니다. 결국 게임에서 배운 조종사는 실제 비행기에 탑승했을 때도 즉시 잘 조종할 수 있게 됩니다.

---

📊 실험 결과: "왜 이 방법이 최고일까?"

이 연구팀은 로봇이 걷는 시뮬레이션 (MuJoCo) 에서 실험을 했습니다.

• 상황: 로봇의 다리 크기, 중력, 마찰력을 바꿔서 '가상 세상'과 '실제 세상'의 차이를 극단적으로 만들었습니다.
• 결과: 기존에 있던 다른 방법들보다 BDGxRL이 훨씬 더 잘 적응했습니다.
  • 마치 다른 언어를 배우는 것처럼, 게임 언어 (시뮬레이션) 를 실제 언어 (현실) 로 자연스럽게 번역해서 배우는 방식이라서, 데이터가 적어도 잘 작동했습니다.
  • 특히, 실제 세상의 데이터가 매우 적거나 점수 정보가 없을 때도 잘 견디는 '튼튼함'을 보여주었습니다.

---

💡 한 줄 요약

"시뮬레이션에서 배운 로봇이, 실제 세상의 물리 법칙을 모른 채로 실전에 나가는 대신, '마법 같은 변환 도구'와 '맞춤형 점수판'을 통해 게임 속에서 이미 실제 세상의 조종사가 되도록 훈련시키는 혁신적인 방법!"

이 기술은 로봇이 실제 세상에서 실패 없이 작동할 수 있도록 도와주어, 자율주행차나 산업용 로봇의 개발 속도를 획기적으로 높일 수 있을 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

**크로스 도메인 강화학습 (Cross-Domain RL)**은 소스 도메인 (예: 시뮬레이션) 에서 학습된 정책을 타겟 도메인 (예: 실제 환경) 에 적용하는 것을 목표로 합니다. 그러나 두 도메인 간의 **동역학 불일치 (Dynamics Gap)**로 인해 정책 성능이 급격히 저하되는 문제가 발생합니다.

• 주요 도전 과제:
  • 타겟 도메인 상호작용 부재: 실제 환경 (타겟 도메인) 과의 직접적인 상호작용이 제한되거나 불가능한 경우가 많습니다.
  • 보상 신호 (Reward) 부재: 타겟 도메인의 오프라인 데이터 (전문가 시연 데이터) 에는 상태 전이 정보만 포함되어 있을 뿐, 보상 (Reward) 이 레이블링되어 있지 않습니다.
  • 보상 불일치: 소스 도메인에서 학습된 보상 함수를 그대로 타겟 도메인에 적용하면, 동역학의 차이로 인해 보상과 실제 상태 전이 간의 불일치가 발생하여 학습이 불안정해집니다.

기존 방법들은 주로 도메인 적응 (Domain Adaptation) 을 통해 관측치나 표현을 맞추거나, 보상 함수를 수정하려 시도했으나, 동역학 자체를 정렬하고 타겟 도메인의 보상 부재 문제를 해결하는 데는 한계가 있었습니다.

2. 제안 방법론: BDGxRL (Methodology)

저자들은 **BDGxRL (Bridging Dynamics Gaps for Cross-Domain Reinforcement Learning)**이라는 새로운 프레임워크를 제안했습니다. 이 프레임워크는 타겟 환경에 접근하지 않고 소스 도메인 내에서만 타겟 지향적 정책을 학습할 수 있도록 설계되었습니다. 핵심 구성 요소는 다음과 같습니다.

A. 확산 슈뢰딩거 브릿지 기반 동역학 정렬 (DSB-based Dynamics Alignment)

• 핵심 아이디어: 소스 도메인의 상태 전이 분포 ($\Pi_0$) 와 타겟 도메인의 오프라인 전문가 시연 데이터로 구성된 전이 분포 ($\Pi_1$) 를 정렬하기 위해 **확산 슈뢰딩거 브릿지 (Diffusion Schrödinger Bridge, DSB)**를 도입했습니다.
• 작동 원리:
  • DSB 는 두 확률 분포 간의 최적 수송 (Optimal Transport) 문제를 확률적 과정 (Stochastic Process) 으로 모델링합니다.
  • Iterative Markov Fitting (IMF) 알고리즘을 사용하여, 소스 도메인의 전이 $(s_t, a_t, s_{t+1})$를 타겟 도메인의 전이 분포에 맞추도록 변환하는 **변환기 (Bridge)**를 학습합니다.
  • 이를 통해 소스 도메인에서 샘플링된 전이를 타겟 도메인의 동역학을 반영한 "타겟 스타일"의 전이 ($\tilde{s}_{t+1}$) 로 변환할 수 있습니다.

B. 전이 인식 보상 조절 (Transition-Aware Reward Modulation)

• 문제 인식: 동역학이 달라지면 동일한 행동이 다른 결과를 초래하므로, 소스 도메인의 보상 함수를 직접 적용하는 것은 오류를 유발합니다.
• 해결책: 행동 ($a_t$) 에 의존하지 않고, 현재 상태 ($s_t$) 와 다음 상태 ($s_{t+1}$) 의 전이 결과에 기반하여 보상을 추정하는 **전이 인식 보상 모델 (Transition-Aware Reward Model)**을 학습합니다.
• 보상 조절: DSB 를 통해 변환된 타겟 스타일의 다음 상태 $\tilde{s}_{t+1}$를 이 보상 모델에 입력하여, 타겟 동역학에 일관된 조절된 보상 $\tilde{r}_t = R(s_t, \tilde{s}_{t+1})$을 생성합니다.

C. 타겟 지향적 정책 학습 (Target-Oriented Policy Learning)

• 학습 프로세스:
  1. 오프라인 사전 학습: 소스 데이터와 타겟 시연 데이터를 이용해 DSB 모델과 보상 모델을 학습합니다.
  2. 온라인 정책 학습: 소스 환경에서 에이전트가 행동하면, DSB 를 통해 전이를 변환하고 조절된 보상을 계산합니다. 이렇게 생성된 데이터로 소스 환경 내에서만 정책을 최적화합니다.
  3. 모방 학습 (Imitation Learning): 타겟 도메인의 전문가 시연 데이터를 활용하여 초기 정책을 모방 학습 (Behavior Cloning) 으로 초기화하고, 이를 정규화 항으로 추가하여 학습 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. BDGxRL 프레임워크 제안: 타겟 도메인의 상호작용이나 보상 없이, 소스 도메인 내에서만 타겟 지향적 정책을 학습할 수 있는 새로운 프레임워크를 제안했습니다.
2. DSB 의 RL 적용: 최초로 **Diffusion Schrödinger Bridge (DSB)**를 크로스 도메인 RL 에 도입하여, 소스 도메인의 전이 동역학을 타겟 도메인의 분포에 정렬 (Alignment) 하는 방식을 구현했습니다.
3. 보상 불일치 해결: 동역학 변화로 인한 보상 불일치 문제를 해결하기 위해, 상태 전이 기반의 보상 조절 메커니즘을 고안하여 타겟 도메인의 보상 부재를 보완했습니다.
4. 이론적 분석: 학습된 정책의 가치 (Value) 가 타겟 도메인의 최적 정책에 얼마나 근접하는지에 대한 이론적 상한 (Theoretical Bound) 을 증명했습니다.

4. 실험 결과 (Results)

• 실험 환경: MuJoCo 시뮬레이션 (HalfCheetah, Walker2d) 기반의 D4RL 벤치마크를 사용했습니다.
• 도메인 간격 (Domain Gaps): 중력 (Gravity), 마찰력 (Friction), 로봇의 허벅지 크기 (Thigh Size) 변경 등 3 가지 유형의 동역학 변화를 테스트했습니다.
• 비교 대상: xTED, DARA, DARC, DARAIL 등 최신 크로스 도메인 RL 방법론 및 모방 학습 (GAIL) 기반 방법들과 비교했습니다.
• 성과:
  • BDGxRL 은 모든 작업, 도메인 간격, 전문가 수준 (Medium, Medium-Replay, Medium-Expert) 에서 가장 높은 성능을 기록했습니다.
  • 특히, 데이터 품질이 낮거나 동역학 차이가 큰 상황 (예: Medium-Replay, Gravity Gap) 에서 기존 방법론들보다 월등히 우수한 안정성과 적응력을 보여주었습니다.
  • Ablation Study: 동역학 정렬 (Alignment) 을 제거할 경우 성능이 가장 크게 저하되었으며, 모방 학습 (IL) 과 보상 조절 (RM) 또한 성능 향상에 필수적인 요소임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 시뮬레이션에서 실제 세계 (Sim2Real) 로의 정책 이전이나 제한된 오프라인 데이터만 있는 환경에서의 강화학습에 중요한 통찰을 제공합니다.

• 데이터 효율성: 타겟 환경과의 상호작용 없이도 소스 데이터와 제한된 오프라인 시연 데이터만으로 효과적인 학습이 가능함을 증명했습니다.
• 동역학 불일치 해결: 단순한 표현 학습을 넘어, 확률적 생성 모델 (DSB) 을 활용하여 전이 동역학 자체를 변환함으로써 근본적인 도메인 차이를 해결했습니다.
• 실용성: 보상 신호가 없거나 불확실한 실제 환경에서도 적용 가능한 강력한 RL 프레임워크를 제시하여, 로봇 제어 및 자율 주행 등 실제 응용 분야에서의 RL 활용도를 높이는 데 기여합니다.

결론적으로, BDGxRL 은 동역학 격차와 보상 부재라는 두 가지 주요 장벽을 동시에 극복하여, 크로스 도메인 강화학습의 새로운 State-of-the-Art 를 제시한 연구입니다.