🤖 machine learning

On the Sample Efficiency of Inverse Dynamics Models for Semi-Supervised Imitation Learning

이 논문은 역역학 모델(IDM)이 전문가 정책보다 복잡도가 낮고 덜 확률적인 가설 클래스 내에서 작동함으로써 준지도 모방 학습에서 우수한 샘플 효율성을 달성함을 입증하며, 이를 통해 여러 벤치마크에서 검증된 개선된 잠재 행동 정책 학습 알고리즘을 제안한다.

원저자: Sacha Morin, Moonsub Byeon, Alexia Jolicoeur-Martineau, Sébastien Lachapelle

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sacha Morin, Moonsub Byeon, Alexia Jolicoeur-Martineau, Sébastien Lachapelle

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 비디오 게임을 하는 법이나 로봇 팔을 움직이는 법을 가르치려 한다고 상상해 보십시오. 당신에게는 두 종류의 데이터를 사용할 수 있습니다:

"골드 스탠다드(Gold Standard)" 데이터: 로봇이 A 지점에서 B 지점으로 가기 위해 정확히 무엇을 했는지(동작)를 볼 수 있는 소량의 비디오 더미입니다. 이는 전문가가 모든 움직임을 기록해야 하므로 얻기가 매우 어렵고 비용이 많이 듭니다.
"와일드(Wild)" 데이터: 로봇이 A에서 B로 이동하는 모습은 보여주지만, 어떤 버튼이 눌렸는지 혹은 팔이 어떻게 움직였는지에 대한 라벨(정답)이 없는 거대한 산과 같은 영상들입니다. 이는 단순히 화면을 녹화하기만 하면 되므로 구하기 쉽지만, 로봇이 어떻게 그렇게 움직였는지는 알 수 없습니다.

이 논문은 **준지도 모방 학습(Semi-Supervised Imitation Learning)**이라는 문제를 다룹니다. 목표는 이 작은 "골드 스탠다드" 데이터 더미와 거대한 "와일드" 데이터 산을 결합하여, 작은 데이터만 사용했을 때보다 로봇을 더 잘 가르치는 것입니다.

기존 방식 vs 새로운 방식

기존 방식 (행동 복제 - Behavior Cloning):
이것은 마치 학생이 교과서를 암기하는 것과 같습니다. 로봇은 상태(예: "벽이 보인다")를 보고 동작(예: "왼쪽으로 꺾기")을 암기하려고 노력합니다. 로봇은 전문가를 직접적으로 그대로 복사하며 배웁니다.

문제점: 만약 교과서의 페이지 수가 적다면(데이터가 적다면), 학생은 제대로 암기하지 못하고 약간만 다른 벽을 보더라도 실패하게 됩니다.

새로운 방식 (역역학 모델 - Inverse Dynamics Models, IDM):
로봇은 "지금 무엇을 해야 하는가?"라고 묻는 대신, 다음과 같은 다른 질문을 던집니다: "내가 여기 있었는데 지금 저기에 있다면, 여기까지 오기 위해 나는 반드시 무엇을 했어야만 했을까?"
이것을 **역역학 모델(IDM)**이라고 합니다. 이것은 마치 탐정이 범죄 현장(이전 상태와 이후 상태)을 보고, 범인(동작)이 무엇을 했는지 알아내는 것과 같습니다.

논문은 이 탐정을 사용하는 두 가지 주요 방법을 보여줍니다:

탐정과 영화 제작자 (VM-IDM): 로봇이 다음에 어디로 갈지 예측하는 "영화 제작자(비디오 모델)"를 훈련시킵니다. 그런 다음, 탐정을 사용하여 그 움직임을 일으킨 동작이 무엇인지 알아냅니다.
라벨러로서의 탐정 (IDM Labeling): 탐정을 사용하여 거대한 "와일드" 데이터에 대한 동작을 추측합니다. 일단 산더미 같은 데이터에 라벨이 붙으면, 이 새로운 거대 데이터셋을 통해 로봇을 훈련시킵니다.

큰 발견: 그들은 같은 팀이다

저자들은 수학적으로 놀라운 사실을 증명했습니다: 만약 무한한 양의 "와일드" 데이터와 완벽한 모델이 있다면, 위의 두 방법 모두 결국 로봇에게 똑같은 것을 가르치게 된다는 것입니다. 그들은 이를 **IDM 기반 정책(IDM-based policy)**이라고 부릅니다.

왜 탐정이 학생보다 더 나은가?

논문은 다음과 같은 질문을 던집습니다: 왜 탐정 방식(IDM)이 직접 복사하는 방식(행동 복제)보다 더 빠르고 더 잘 배우는가? 비록 탐정이 (하나의 상태가 아닌 두 개의 상태로부터 동작을 예측해야 하므로) 더 어려운 수학 문제를 풀어야 함에도 불구하고 말입니다.

저자들은 훌륭한 비유를 들어 두 가지 이유를 설명합니다:

1. "더 단순한 퍼즐" 이론 (복잡도)

전문가 (목표): 전문가의 전략(정책)은 믿을 수 없을 정도로 복잡할 수 있습니다. 미로 속에서 전문가는 출구까지 가는 길고 구불구불한 경로를 기억해야 합니다.
탐정 (IDM): 탐정은 오직 즉각적인 단계만을 파악하면 됩니다. 만약 당신이 (x, y)에 있다가 (x+1, y)로 이동했다면, 동작은 단순히 "오른쪽"이었습니다.
비유: 소설 한 권 전체를 통째로 암기하는 것(전문가의 경로)과 "오른쪽으로 움직이면 오른쪽으로 간다"라는 규칙 하나를 암기하는 것(탐정의 규칙)의 차이입니다. 규칙은 훨씬 단순합니다. "탐정의 규칙"이 더 단순하기 때문에, 로봇은 훨씬 적은 사례만으로도 이를 정확하게 배울 수 있습니다.

2. "덜 추측하는" 이론 (확률성)

전문가: 전문가는 가끔 무작위적일 수 있습니다. 예를 들어, 왼쪽과 오른쪽이 둘 다 가능하기 때문에 왼쪽으로 50%, 오른쪽으로 50% 번갈아 갈 수도 있습니다. 이러한 무작위성은 로봇이 "정답"을 배우는 것을 어렵게 만듭니다.
탐정: 전문가가 무작위적일지라도, 그 결과는 종종 명확합니다. 만약 로봇이 "왼쪽" 방에 도착했다면, 동작은 반드시 "왼쪽으로 돌기"였어야 합니다. 탐정은 전문가의 기분을 추측할 필요가 없습니다. 그저 움직임의 물리 법칙을 볼 뿐입니다.
비유: 언어를 배울 때, 항상 "사과"라는 단어를 똑같이 말하는 화자(낮은 무작위성)로부터 배우는 것이, 때로는 "사과", 때로는 "빨간 과일", 때로는 "아삭한 것"이라고 말하는 사람(높은 무작위성)으로부터 배우는 것보다 훨씬 쉽습니다. IDM은 전문가의 무작위성을 걸러내어 학습 신호를 더 깨끗하게 만듭니다.

그들은 이를 증명하기 위해 무엇을 했나?

저자들은 말로만 설명하지 않고 실험을 수행했습니다:

미로 게임: 복잡한 미로에서 "탐정" 방식이 아주 적은 데이터만으로도 미로를 완벽하게 푸는 법을 배웠지만, "학생" 방식은 어려움을 겪는다는 것을 보여주었습니다.
비디오 게임 (Procogen): 이들을 16가지 서로 다른 아타리 스타일의 게임에 테스트했습니다. "탐정" 방식(IDM Labeling과 개선된 버전인 LAPO+)은 특히 데이터가 부족할 때 표준 "학생" 방식보다 일관되게 우수한 성적을 거두었습니다.
로보틱스 (Push-T & LIBERO): 이를 실제 세계의 로봇 작업(T자형 블록 밀기 및 물체 이동)에 적용했습니다. 역시, IDM 기반 방식들이 제한된 시연으로부터 학습하는 데 더 효율적이었습니다.

핵심 요점

이 논문은 역역학 모델(Inverse Dynamics Models)이 비디오로부터 학습하는 데 있어 매우 효율적인 도구라는 결론을 내립니다.

"무엇을 해야 하는가?"에서 "이 두 순간 사이에 무슨 일이 일었는가?"로 초점을 옮김으로써, 로봇은 세상의 근본적인 규칙을 훨씬 더 빠르게 배울 수 있습니다. 이것은 아이에게 운전을 가르치는 것과 같습니다. 특정 도로의 모든 회전 구간을 외우게 하는 것(행동 복제)보다, 조향과 제동의 물리 법칙을 가르치는 것이 훨씬 낫습니다. 그래-야 어떤 도로에서도 훨씬 적은 연습만으로 운전할 수 있기 때문입니다.

저자들은 또한 기존 알고리즘을 개선한 **LAPO+**를 제안하며, 이 방식이 숨겨진 동작을 해독하는 "탐정" 논리를 사용하여 적은 데이터로도 더 나은 로봇 학습을 이끌어내는 열쇠임을 보여줍니다.

기술 요약: 준지도 모방 학습을 위한 역역학 모델의 샘플 효율성에 관하여

문제 정의

본 논문은 에이전트가 소량의 액션 레이블이 포함된 전문가 궤적 데이터셋( $D_L$ )과 훨씬 더 큰 규모의 액션 레이블이 없는(상태 전이만 있는) 궤적 데이터셋( $D_U$ )으로부터 제어 정책을 학습해야 하는 준지도 모방 학습(Semi-Supervised Imitation Learning, SSIL) 문제를 다룹니다. 행동 복제(Behavior Cloning, BC)는 표준적인 지도 학습 방식이지만, 데이터 집약적이며 레이블된 데이터가 부족할 때 어려움을 겪습니다. 최근의 SSIL 방법들은 상태 전이 $(s, s')$ 로부터 액션을 예측하는 **역역학 모델(Inverse Dynamics Model, IDM)**을 활용합니다. 이러한 방법들은 일반적으로 두 가지 패러다임을 따릅니다:

VM-IDM: $D_U$ 로 학습된 비디오 모델(Video Model, VM)과 IDM을 결합하여 정책을 형성합니다.
IDM 레이블링: 학습된 IDM을 사용하여 $D_U$ 에 합성 레이블을 생성한 후, 확장된 데이터셋에 대해 표준 BC를 수행합니다.

이러한 방식들의 경험적 성공에도 불구하고, IDM 기반 방법이 BC보다 샘플 효율성이 뛰어난 이론적 이유는 (예: IDM이 "비인과적"이거나 더 단순하다는 등) 부분적으로만 가설로 존재해 왔습니다. 본 연구는 이러한 방법들을 통합하고, 그 성능에 대한 엄밀한 통계적 학습 이론적 설명을 제공하고자 합니다.

방법론 및 이론적 프레임워크

VM-IDM과 IDM 레이블링의 통합

저자들은 먼저 VM-IDM과 IDM 레이블링 사이의 이론적 동등성을 확립합니다. 이들은 무한한 양의 미레이블 데이터( $D_U$ )와 충분한 모델 용량이 있을 때, 두 방법 모두 동일한 정책인 IDM 기반 정책( $\hat{\pi}_{v^*, \hat{h}}$ )으로 수렴함을 증명합니다.

VM-IDM: 비디오 모델 $\hat{v}(s' | s)$ 로부터 다음 상태 $\hat{s}'$ 를 샘플링한 후, IDM $\hat{h}(a | s, \hat{s}')$ 로부터 액션 $\hat{a}$ 를 샘플링합니다.
IDM 레이블링: $D_U$ 내의 전이로부터 샘플링된 액션의 분포를 일치시키도록 정책 $\hat{\pi}$ 를 학습시킵니다.
동등성: 두 방법 모두 $\hat{\pi}(a|s) = \int \hat{h}(a|s, s') v^*(s'|s) ds'$ 로 수렴하며, 여기서 $v^*$ 는 실제 비디오 모델입니다.

샘플 효율성의 이론적 분석

본 논문은 IDM 학습이 BC보다 샘플 효율성이 높은 이유가 **실제 역역학 모델( $h^*$ )**과 실제 전문가 정책( $\pi^*$ ) 사이의 두 가지 주요 요인에서 기인한다고 주장합니다.

복잡도 감소: $h^*$ 를 표현하는 데 필요한 가설 클래스가 $h^*$ 보다 낮은 복잡도를 갖는 경우가 많습니다.
- 증거: 결정론적인 미로 환경에서, 전문가 정책 $\pi^*$ 는 복잡한 경로 계획 로직(높은 복잡도)을 필요로 할 수 있지만, IDM $h^*$ 는 종종 상태 차이 $s' - s$ 에 기반한 단순한 선형 분류기로 표현될 수 있습니다.
- 함의: 더 단순한 함수( $h^*$ )를 학습하는 것은 더 나은 편향-분산 트레이드오프를 가능하게 하여, 적은 양의 레이블된 샘플로도 높은 성능을 낼 수 있게 합니다.
확률성 감소: 실제 역역학 모델은 실제 전문가 정책보다 확률성이 낮은 경우가 많습니다.
- 증거: 전문가 정책 $\pi^*$ 가 확률적이라 하더라도(예: 두 개의 최적 경로 중 하나를 동일한 확률로 선택), 전이 $(s, s')$ 는 대개 수행된 액션을 유일하게 결정합니다. 따라서 $\pi^*(a | s)$ 는 확률적일 수 있지만, $h^*(a | s, s')$ 는 결정론적일 수 있습니다.
- 함의: 타겟 분포의 낮은 확률성은 추정기의 분산을 줄여, 제한된 데이터로도 빠른 수렴을 이끌어냅니다.

제안된 알고리즘: LAPO+

IDM 학습이 BC보다 샘플 효율적이라는 발견에 착안하여, 저자들은 개선된 잠재 액션 정책 학습(Latent Action Policy Learning, LAPO) 알고리즘인 **LAPO+**를 제안합니다.

기존 LAPO: (1) 잠재 IDM(LIDM) 및 잠재 순방향 역학 모델(LFDM) 학습; (2) LIDM 출력을 예측하도록 잠재 정책 $\tilde{\pi}$ 학습; (3) 헤드 $\phi$ 를 사용하여 $\tilde{\pi}$ 를 액션으로 디코딩.
LAPO+ 수정 사항: 마지막 두 단계의 순서를 뒤바꿉니다. 잠재 정책을 디코딩하는 대신, LAPO+는 LIDM( $\tilde{h}$ ) 위에 직접 디코딩 헤드 $\phi$ 를 학습합니다. 이는 LIDM을 IDM 학습을 위한 사전 학습된 백본으로 취급한 뒤, 마지막 BC 단계를 통해 잠재 액션을 실제 액션으로 매핑하는 방식입니다.

실험 결과

저자들은 세 가지 벤치마크인 Procogen(16개의 아타리 유사 환경), Push-T(로봇 조작), LIBERO-10(장기 로봇 작업)을 통해 자신들의 주장과 제안된 방법을 평가합니다.

1. 이론적 검증 (미로/그리드 월드)

복잡도: 미로 환경에서, 낮은 용량의 VM-IDM 모델은 제한된 데이터로도 완벽한 테스트 정확도를 달-성한 반면, 낮은 용량의 BC는 실패했습니다. 이는 $h^*$ 가 $\pi^*$ 보다 단순함을 확인시켜 줍니다.
확률성: 확률적인 전문가가 존재하는 환경에서, BC 성능은 전문가의 확률성이 증가함에 따라 크게 저하되었습니다. 반면, IDM 기반 정책은 유도된 IDM이 결정론적이기 때문에 견고함을 유지했습니다.

2. Procgen 벤치마크

IDM vs. BC: IDM 레이블링은 16개 환경 중 9개에서 BC보다 수십 배 더 우수한 성능을 보였으며, 특히 "단순한" 역학을 가진 환경(예: bigfish, maze)에서 두드러졌습니다.
LAPO+ 성능: LAPO+는 저데이터 환경에서 표준 BC와 기존 LAPO 모두보다 일관되게 우수한 성능을 보였습니다. 이는 (LIDM 백본을 통한) IDM 학습의 샘플 효율성을 활용하는 것이 잠재 액션 정책을 개선한다는 가설을 입증합니다.

3. 조작 작업 (Push-T & LIBERO-10)

UVA를 이용한 VM-IDM: 저자들은 통합 비디오-액션(Unified Video-Action, UVA) 아키텍처를 활용했습니다. 이들은 VM-IDM 구성(UVA를 VM과 IDM 모두로 사용)을 통해 샘플링된 액션이 매우 적은 레이블된 시연 데이터(예: Push-T의 경우 10개, LIBERO의 경우 작업당 2개)에서도 표준 정책 샘플링보다 우수하거나 대등한 성능을 보임을 입증했습니다.
상관관계: IDM 기반 방법과 BC 사이의 성능 격차는 이론적 분석에서 식별된 복잡도 및 확률성 요인과 상관관계가 있었습니다.

의의 및 주장

본 논문은 왜 IDM 기반 SSIL 방법들이 행동 복제(BC)보다 자주 더 우수한 성능을 보이는지에 대한 통합된 이론적 프레임-워크를 제공한다고 주장합니다. 핵심 기여는 다음과 같습니다:

통합: 무한한 미레이블 데이터 하에서 VM-IDM과 IDM 레이블링이 동일한 최적 정책으로 수렴함을 증명했습니다.
효율성 설명: IDM 학습의 샘플 효율성을 실제 전문가 정책에 비해 낮은 복잡도와 낮은 확률성을 갖는다는 점에 기인한다고 설명했습니다. 이는 IDM 기반 방법이 언제 성공할지를 예측할 수 있는 틀을 제공합니다.
알고리즘 개선: IDM 샘플 효율성을 활용하기 위해 잠재 액션 학습 파이프라인을 재구성한 **LAPO+**를 제안하여, 저데이터 환경에서 우수한 성능을 입증했습니다.
경험적 검증: 이산적(Procogen) 및 연속적(Push-T, LIBERO) 제어 작업에 대한 광범위한 실험을 통해 IDM의 특성이 성능 향상과 상관관계가 있음을 확인했습니다.

저자들은 IDM 기반 정책이 강력하지만, 그 성공은 보편적인 것이 아니라 환경의 특정 통계적 특성(역학 및 전문가의 확률성)에 달려 있다고 결론짓습니다. 또한 $D_U$ 에 정제된 전문가 데이터가 포함되어 있다는 가정과 VM-IDM 샘플링의 계산 비용과 같은 한계점을 인정하며, 이를 향후 연구 과제로 제시합니다.