Latent Wasserstein Adversarial Imitation Learning

이 논문은 소량의 상태만 포함된 전문가 시연 데이터로도 전문가 수준의 성능을 달성할 수 있도록, 역동성을 고려한 잠재 공간에서 Wasserstein 거리를 계산하는 새로운 적대적 모방 학습 프레임워크인 LWAIL 을 제안합니다.

핵심

🤖 "보이지 않는 지도"로 배우는 로봇: LWAIL 설명

이 논문은 로봇이 전문가의 행동을 어떻게 더 똑똑하고 빠르게 배울 수 있는지에 대한 새로운 방법을 소개합니다. 제목은 LWAIL(Latent Wasserstein Adversarial Imitation Learning)인데, 어렵게 들리지만 핵심은 아주 간단합니다.

"로봇이 전문가의 **동작 **(손을 움직이는 법)을 보지 않고, 오직 **위치 **(어디에 있었는지)만 보고도 전문가처럼 움직일 수 있게 해주는 기술"입니다.

이걸 이해하기 위해 세 가지 비유를 들어보겠습니다.

---

1. 문제 상황: "지도 없이 미로 찾기" 🗺️🚫

기존의 로봇 학습 방법들은 두 가지 큰 문제가 있었습니다.

1. 전문가의 '손동작'을 알아야 함: 로봇이 어떻게 팔을 움직여야 하는지 (Action) 알려줘야 합니다. 하지만 현실에서는 전문가가 "손을 이렇게 움직여"라고 알려주기 어렵거나, 아예 없는 경우가 많습니다. (예: 유튜브로만 보는 요리법)
2. 데이터가 너무 많이 필요함: 로봇이 실수하지 않으려면 수천 번의 시도가 필요합니다.
3. 가장 큰 문제: "거리"를 잘못 재는 것: 로봇이 "A 지점에서 B 지점으로 가는 것"과 "A 지점에서 C 지점으로 가는 것"의 거리를 잴 때, 기존 방법은 **직선 거리 **(유클리드 거리)만 썼습니다.
   • 비유: 미로에서 '출구'까지의 거리를 잴 때, 벽을 뚫고 날아갈 수 있는 직선 거리만 재는 것과 같습니다. 하지만 로봇은 벽을 돌아서 가야 하죠. 그래서 "직선으로 가까워 보여도, 실제로는 벽 때문에 못 가는 곳"을 로봇이 잘 이해하지 못해 엉뚱한 방향으로 헤매게 됩니다.

2. 해결책: "로봇의 마음속 지도" 만들기 (LWAIL)

이 논문은 **"로봇이 미로를 어떻게 헤매는지 **(동역학)를 먼저 학습하게 한 뒤, 그 지도를 이용해 전문가를 따라 하게 합니다.

1 단계: "무작위 헤매기"로 지도 그리기 (Pre-training)

• 상황: 로봇에게 전문가의 정답은 없지만, 아주 엉뚱하게 여기저기 돌아다니는 무작위 데이터가 조금 있습니다. (예: 미로에서 막무가내로 돌아다니는 기록)
• 작동: 로봇은 이 엉뚱한 데이터만 보고 **"어떤 상태 **(위치)를 학습합니다.
• 비유: 미로에 갇힌 사람이 아무렇게나 돌아다니다가, "아! 저기 벽이 있는 곳은 출구로 가는 길이 아니구나", "이 길은 막다른 길이구나"를 스스로 깨닫는 과정입니다. 이걸 ICVF(의도 기반 가치 함수)라고 부릅니다.
• 결과: 이제 로봇은 "직선 거리"가 아니라, **"미로 안에서 실제로 이동 가능한 거리 **(동역학)를 아는 **새로운 지도 **(잠재 공간)를 갖게 됩니다.

2 단계: 전문가의 발자국만 보고 따라 하기 (Imitation)

• 상황: 이제 전문가가 미로를 통과한 **위치 기록 **(발자국)만 주어집니다. (손동작은 없음)
• 작동: 로봇은 이제 자신이 만든 새로운 지도 위에서 전문가의 발자국을 따라갑니다.
• 비유:
  • 기존 방법: "출구가 저기 직선 방향이니까 저기로 가!" (벽에 부딪힘)
  • LWAIL 방법: "아, 이 지도에 따르면 저기 벽을 돌아서 가야 출구로 가는 길이구나. 전문가도 그 길을 갔었어!" (벽을 피해 성공)

3. 왜 이것이 획기적인가요? 🌟

1. 데이터가 거의 없어도 됩니다: 전문가의 발자국이 단 1 개만 있어도 전문가 수준의 실력을 냅니다. (기존에는 수백 개가 필요했음)
2. 손동작이 필요 없습니다: "어떻게 움직여야 해?"라고 말해줄 필요 없이, "어디에 있었어?"만 알려주면 됩니다.
3. 실수해도 잘 극복합니다: 로봇이 처음에 엉뚱한 곳에 있더라도, 자신이 만든 '동역학 지도'를 통해 "아, 여기서 시작하면 출구로 가는 길이 이쪽이구나"라고 다시 길을 찾아냅니다.

📝 한 줄 요약

"로봇에게 전문가의 손동작을 가르치지 않고, 미로 같은 환경의 '규칙'을 먼저 익혀서, 전문가가 어디에 있었는지 (위치)만 보고도 그 길을 찾아내게 하는 똑똑한 학습법입니다.

이 기술은 로봇이 복잡한 환경에서도 적은 데이터로 빠르게 적응할 수 있게 해주어, 실제 공장이나 가정에서 로봇을 활용하는 데 큰 도움을 줄 것으로 기대됩니다.

기술 요약

Latent Wasserstein Adversarial Imitation Learning (LWAIL) 기술 요약

이 논문은 관측 기반 모방 학습 (Imitation Learning from Observations, LfO) 의 한계를 극복하기 위해 제안된 잠재 Wasserstein 적대적 모방 학습 (Latent Wasserstein Adversarial Imitation Learning, LWAIL) 에 대한 연구입니다. ICLR 2026 에 발표된 이 논문은 전문가의 행동 (Action) 정보가 없이 상태 (State) 시퀀스만으로 학습할 수 있으며, 소량의 데이터로도 높은 성능을 달성하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

기존의 모방 학습 (IL) 및 관측 기반 모방 학습 (LfO) 방법론은 다음과 같은 주요 문제점을 가지고 있습니다:

• 데이터 요구량: 고品質의 전문가 행동 데이터가 필요하거나, 상태 데이터만 있는 경우에도 대량의 시연 데이터가 필요합니다.
• 거리 측정의 한계: 많은 적대적 모방 학습 (AIL) 방법들이 상태 분포를 일치시키기 위해 $f$-divergence(KL, $\chi^2$ 등) 를 사용하거나, Wasserstein 거리를 사용할 때 유클리드 거리 (Euclidean distance) 를 기본 거리 척도 (ground metric) 로 사용합니다.
• 동역학 무시: 유클리드 거리는 상태 공간의 기하학적 구조는 반영할 수 있지만, 환경의 동역학 (Dynamics, 즉 상태 간 전이 가능성) 을 반영하지 못합니다. 예를 들어, 유클리드 거리상으로는 가깝지만 물리적으로 도달할 수 없는 상태와, 거리가 멀지만 도달 가능한 상태를 구별하지 못해 학습을 방해할 수 있습니다.
• 지원 집합 (Support) 제약: $f$-divergence 기반 방법들은 학습자 분포가 전문가 분포를 완전히 덮어야 하는 등 이론적 제약이 있어, 품질이 낮은 비전문가 데이터가 포함된 경우 성능이 저하될 수 있습니다.

2. 방법론 (Methodology)

LWAIL 은 동역학 인식 (Dynamics-aware) 잠재 공간에서 Wasserstein 거리를 계산하여 위 문제들을 해결합니다. 알고리즘은 크게 두 단계로 구성됩니다.

2.1. 사전 학습 단계 (Pre-training Stage)

• 데이터: 소량의 무작위 상태 데이터 (Random state-only data, 전문가 데이터의 약 1% 수준) 만을 사용합니다.
• ICVF 학습: 의도 조건부 가치 함수 (Intention Conditioned Value Function, ICVF) 를 학습합니다. ICVF 는 상태 $s$ 에서 목표 상태 $z$ (의도) 를 달성하기 위해 미래 상태 $s^+$ 에 도달할 확률을 학습합니다.
  • 가치 함수 구조: $V(s, s^+, z) = \phi_\theta(s)^T T_\theta(z) \psi_\theta(s^+)$
  • 여기서 $\phi_\theta(s)$ 는 상태의 잠재 표현 (Embedding) 입니다.
• 목적: 이 과정을 통해 환경의 전이 동역학을 반영한 잠재 공간 $\phi(s)$ 를 추출합니다. 이 공간에서의 유클리드 거리는 실제 환경에서의 도달 가능성 (Reachability) 을 잘 반영하게 됩니다.

2.2. 모방 학습 단계 (Imitation Stage)

• 고정된 임베딩: 사전 학습된 ICVF 임베딩 $\phi$ 를 고정 (Freeze) 합니다.
• 적대적 학습: 학습자 정책 $\pi$ 와 전문가 정책 $E$ 의 상태 쌍 (State-pair) 분포 $d_{ss}$ 간의 거리를 최소화합니다.
  • 목적 함수: $\min_\pi \max_{\|f\|_L \le 1} \left( \mathbb{E}_{(s,s') \sim d^\pi_{ss}} [f(\phi(s), \phi(s'))] - \mathbb{E}_{(s,s') \sim d^E_{ss}} [f(\phi(s), \phi(s'))] \right)$
  • 기존 방법들이 원시 상태 공간 (Raw state space) 의 유클리드 거리를 사용한 것과 달리, LWAIL 은 잠재 공간 $\phi(s)$ 에서의 유클리드 거리를 Wasserstein 거리의 비용 함수 (Cost function) 로 사용합니다.
• 보상 생성: 판별자 (Discriminator) $f$ 의 출력을 시그모이드 함수로 변환하여 강화 학습 에이전트 (TD3) 에게 보상 신호로 제공합니다.

3. 주요 기여 (Key Contributions)

1. 동역학 인식 거리 척도 제안: 소량의 저품질 상태 데이터만으로도 ICVF 를 통해 환경의 동역학을 반영한 잠재 공간을 학습하여, 기존 Wasserstein 기반 IL 방법론의 기하학적 한계 (유클리드 거리 의존성) 를 해결했습니다.
2. 소량 데이터 효율성: 전문가의 행동 정보 없이 단 하나의 상태 시퀀스 (Single trajectory) 만으로도 전문가 수준의 성능을 달성할 수 있음을 증명했습니다.
3. 실험적 검증: MuJoCo 환경 (Hopper, HalfCheetah, Walker2D, Ant) 및 Maze2D 환경에서 기존 SOTA 방법들 (GAIL, WDAIL, IQ-learn, OPOLO 등) 보다 우수한 성능을 보였습니다. 특히 초기 상태에 노이즈가 추가되거나 동역학이 불일치하는 상황에서도 강건함을 입증했습니다.

4. 실험 결과 (Results)

• MuJoCo 환경: D4RL 벤치마크의 4 가지 locomotion 환경에서 LWAIL 은 단일 상태 시연 데이터로 99.07 의 평균 정규화 보상을 기록하여, 행동 데이터가 필요한 방법들 (GAIL, AIRL 등) 과 비교해도 월등히 높은 성능을 보였습니다.
• 내성 (Robustness):
  • 초기 상태 노이즈: Maze2D 환경에서 초기 상태에 가우시안 노이즈를 추가했을 때, ICVF 임베딩이 없는 LWAIL 은 성능이 급격히 떨어졌으나, 제안된 방법은 높은 성능을 유지했습니다.
  • 동역학 불일치: 전문가 시연과 실제 환경의 동역학이 다른 HalfCheetah 환경에서도 SMODICE 등 다른 오프라인 방법들보다 우수한 성능을 보였습니다.
• 임베딩 효과: t-SNE 시각화를 통해 ICVF 임베딩 공간이 원시 상태 공간보다 상태 간의 동역학적 관계를 훨씬 잘 포착함을 확인했습니다.

5. 의의 및 결론 (Significance)

LWAIL 은 모방 학습 분야에서 상태 정보만으로도 동역학을 이해하고 학습할 수 있는 새로운 패러다임을 제시합니다.

• 데이터 효율성: 고비용인 전문가 행동 데이터 수집 없이, 소량의 무작위 데이터와 극소수의 상태 시연만으로 복잡한 제어 작업을 학습할 수 있어 로봇 제어 및 실제 응용 분야에서의 적용 가능성을 높였습니다.
• 이론적/실용적 개선: Wasserstein 거리 기반 학습에서 필수적이지만 종종 간과되는 '거리 척도 (Metric)'의 중요성을 재조명하고, 이를 ICVF 를 통해 효과적으로 해결한 점은 향후 모방 학습 및 강화 학습 연구에 중요한 시사점을 제공합니다.

요약하자면, LWAIL 은 동역학 인식 잠재 공간을 구축하여 Wasserstein 거리를 최적화함으로써, 최소량의 상태 데이터로 고성능 모방 학습을 가능하게 한 획기적인 방법론입니다.