🤖 AI

CLAM: Continuous Latent Action Models for Robot Learning from Unlabeled Demonstrations

이 논문은 로봇이 레이블이 없는 관측 시퀀스로부터 자기 지도적 역학 예측을 통해 연속적인 잠재 행동을 추론하고 이를 작업 불가지론적 놀이 데이터(task-agnostic play data)로 접지함으로써, 비용이 많이 드는 액션 레이블이 지정된 시연 없이도 전문가 레이블이 있는 행동 복제와 유사한 성능을 달성할 수 있게 하는 프레임워크인 CLAM을 소개한다.

원저자: Anthony Liang, Pavel Czempin, Matthew M. Hong, Yutai Zhou, Jingzhen Wang, Erdem Biyik, Stephen Tu

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anthony Liang, Pavel Czempin, Matthew M. Hong, Yutai Zhou, Jingzhen Wang, Erdem Biyik, Stephen Tu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 블록을 쌓거나 음료를 따르는 것과 같은 어떤 일을 가르치려고 한다고 상상해 보세요. 보통 로봇을 가르치는 가장 좋은 방법은 당신이 로봇의 손을 잡고 모든 미세한 모터 움직임을 기록하면서, 무엇을 해야 하는지 단계별로 정확하게 보여주는 것입니다. 이것은 마치 학생에게 정답이 적혀 있는 교과서를 주는 것과 같습니다. 하지만 여기 함정이 있습니다. 이러한 모터 움직임을 기록하는 것은 믿을 수 없을 정도로 어렵고, 비용이 많이 들며, 지루한 일입니다. 인간 전문가가 로봇을 물리적으로 제어하며 몇 시간 동안 시간을 보내야 하기 때문에 매우 느리고 비용이 많이 듭니다.

이제 다른 종류의 선생님을 상상해 보세요. 이 선생님은 로봇을 가지고 있지 않습니다. 그저 비디오 카메라 한 대만 있을 뿐입니다. 그들은 자신이 과업을 수행하는 모습을 촬영하거나, 인터넷에서 사람들이 그 일을 하는 영상을 찾아냅니다. 로봇은 무엇이 일어나는지는 볼 수 있습니다—블록이 움직이고, 컵이 채워지는 것을 보는 것이죠—하지만 인간이 그것을 만들기 위해 손을 어떻게 움직였는지는 알지 못합니다. "모터 신호"가 빠져 있는 것입니다. 이것이 바로 로봇 공학 분야의 과학자들이 풀고자 하는 퍼즐입니다: '어떻게'에 대한 지침이 숨겨져 있는 영상을 보고도 로봇이 스스로 움직이는 법을 어떻게 배울 수 있을까? 이 논문은 바로 이 문제를 다루며, 값비싼 핸드헬드(hand-held) 훈련 세션 없이도 저렴하고 쉽게 수집할 수 있는 영상으로부터 로봇이 학습할 수 있도록 하는 것을 목표로 합니다.

이 논문의 연구진인 앤서니 리앙(Anthony Liang)과 그의 팀은 CLAM(Continuous Latent Action Models, 연속 잠재 행동 모델)이라고 불리는 새로운 방법을 소개합니다. CLAM을 아주 똑똑한 탐정이라고 생각해보세요. 이 탐정은 비디오의 연속된 두 프레임을 보고 그 변화를 일으킨 "보이지 않는 힘"을 추측할 수 있습니다. 만약 영상 속에서 컵이 테이블 왼쪽에서 오른쪽으로 이동하는 것을 본다면, CLAM은 그 사이에 일어난 구체적인 연속적 움직임을 알아내기 위해 노력합니다. 비록 그 컵을 움직인 손은 결코 보지 못했음에도 말이죠.

이 마법이 일어나는 방식은 다음과 같습니다. 먼저, 로봇은 방대한 양의 레이블이 없는 영상(그저 관찰 데이터일 뿐, 지침은 없음)을 시청합니다. 로봇은 현재 프레임과 숨겨진 행동에 대한 "추측"을 바탕으로 다음 프레임이 어떻게 보일지를 예측하려고 시도합니다. 만약 추측이 틀리면 예측은 실패하게 되고, 로봇은 자신의 추측을 조정하는 법을 배웁니다. 시간이 흐르면서, 로봇은 세상의 이치를 이해할 수 있는 이러한 "숨겨진 행동"들의 라이브러리를 구축하게 됩니다. 하지만 문제가 하나 있습니다. 이 숨겨진 행동들은 로봇의 뇌 속에 있는 숫자일 뿐, 아직 실제 모터 명령은 아니라는 점입니다.

이를 해결하기 위해, 팀은 두 번째의 더 작은 데이터 뭉치인 "플레이(play)" 데이터를 사용합니다. 이것은 로봇이 주변을 돌아다니며 물건에 부딪히거나 팔을 무작위로 움직이는 데이터인데, 이번에는 컴퓨터가 모터 명령을 실제로 기록합니다. 이것은 마치 로봇이 목표 없이 찰흙을 가지고 놀고 있지만, 자신의 손가락이 어떻게 움직였는지에 대한 일기를 쓰고 있는 것과 같습니다. CLAM은 이 일기를 사용하여 자신의 "숨겨진 행동" 추측을 실제 물리적 움직임으로 번역하는 법을 스스로 배웁니다. 여기서 핵심적인 혁신은 "추측"하는 부분과 "번역"하는 부분을 함께 훈련시킨다는 점입니다. 이를 통해 추측이 단순히 복잡한 숫자의 나열이 아니라, 로봇이 실제로 실행할 수 있는 단순하고 유용한 형태를 유지하도록 보장합니다.

결과는 상당히 인상적입니다. 팀은 컴퓨터 시뮬레이션(비디오 게임 세계와 같은 환경)과 WidowX라는 실제 물리적 로봇 팔을 사용하여 두 가지 방식으로 CLAM을 테스트했습니다. 그들은 CLAM이 부품을 조립하거나 물체를 집는 것과 같은 복잡한 과업을 해결하는 데 있어, 동일한 작업을 수행하려 했던 이전 방식들보다 2~3배 더 높은 성공률을 보였다는 것을 발견했습니다. 많은 경우에서, 로봇은 완벽한 "모터 명령" 데이터로 훈련받았을 때와 거의 대등한 성능을 보여주었습니다. 심지어 그 데이터를 직접 본 적이 없음에도 불구하고 말입니다.

결정적으로, 이 논문은 이러한 접근 방식이 "숨겨진 행동"이 (잘게 쪼개진 불연속적인 단계가 아니라) 연속적(부드럽고 유동적)일 때, 그리고 로봇이 그 적은 양의 "플레이" 데이터를 사용하여 행동을 번역할 때 가장 효과적이라는 것을 보여줍니다. 만약 행동을 경직되고 단계적인 형식으로 강제하거나, 번역 부분을 별도로 훈련시키려 했다면 로봇은 어려움을 겪었을 것입니다. 이 논문은 이 자가 지도 학습 방식의 탐정 작업과 약간의 무질서한 레이블 없는 플레이 데이터를 결합함으로써, 우리가 매 동작을 수동으로 기록할 필요 없이 로봇에게 새로운 기술을 가르칠 수 있음을 입증합니다. 이는 로봇이 우리가 모든 움직임을 일일이 기록해야 하는 방식이 아니라, 이미 인터넷에 존재하는 방대한 영상 콘텐츠로부터 학습할 수 있게 만드는 큰 진전입니다.

기술 요약: CLAM - 레이블이 없는 데모로부터의 로봇 학습을 위한 연속적 잠재 행동 모델 (Continuous Latent Action Models for Robot Learning from Unlabeled Demonstrations)

문제 정의

데모로부터 로봇 제어 정책을 학습하는 것은 일반적으로 전문가 데이터(예: 텔레오퍼레이션/원격 조종을 통해 명시적으로 레이블링된 액션)에 의존합니다. 이러한 데이터를 수집하는 것은 비용과 시간이 많이 들며, 특히 다양한 실제 환경에 맞춰 모델을 미세 조정(fine-tuning)할 때 확장하기가 매우 어렵습니다. 인간의 비디오 데모는 풍부하고 수집하기 쉽지만, 표준 모방 학습(Imitation Learning, IL)에 필요한 그라운드 트루스(ground-truth) 로봇 제어 신호가 결여되어 있습니다. 또한, 인간의 비디오를 로봇 호환 관측값(observation)으로 변환하더라도 누락된 액션 레이블이 자동으로 생성되지는 않습니다.

본 논문은 다음과 같은 실질적인 상황을 다룹니다:

레이블이 없는 전문가 데이터: 액션 레이블이 없는 대규모 로봇 비디오 데모 코퍼스가 존재함 (인간 비디오에서 변환되었거나 기존 로그 형태).
태스크 불가지론적 놀이 데이터 (Task-Agnostic Play Data): 액션 레이블이 포함된 소량의 로봇 전이(transition) 데이터셋이 존재하지만, 이는 특정 태스크를 목표로 하지 않는 "놀이(play)" 데이터(비전문가적, 비지향적)임.
목표: 새로운 액션 레이벨이 있는 전문가 데모를 전혀 수집하지 않고도, 레이블이 없는 전문가 비디오와 소량의 태스크 불가지론적 놀이 데이터를 사용하여 특정 태스크를 위한 고성능 정책을 학습하는 것.

방법론: 연속적 잠재 행동 모델 (CLAM)

CLAM은 관측 시퀀스로부터 연속적인 잠재 액션을 추론하고 이를 실행 가능한 모터 명령으로 접지(grounding)하도록 설계된 2단계 프레임워크입니다.

1. 잠재 행동 모델 (LAM) 학습 (1단계)

CLAM의 핵심은 그라운드 트루스 레이블 없이 관측값 사이의 액션을 추론하는 자기 지도 학습 기반의 잠재 행동 모델입니다.

구성 요소:
- 잠재 역역학 모델 (Latent Inverse Dynamics Model, IDM): $f_\phi(z_t | o_{t-H}, \dots, o_t, o_{t+1})$ 는 연속적인 잠재 액션 $z_t$ 를 연속된 관측값들 사이에서 추론합니다.
- 잠재 순방향 역학 모델 (Latent Forward Dynamics Model, FDM): $g_\psi(o_{t+1} | o_{t-H}, \dots, o_t, z_t)$ 는 현재의 히스토리와 추론된 잠재 액션을 조건으로 다음 관측값을 예측합니다.
자기 지도 학습 목적 함수: 모델은 미래 관측값의 재구성 오차(reconstruction error)를 최소화하도록 학습됩니다 ( $L_{recon} = MSE(\hat{o}_{t+1}, o_{t+1})$ ). 이 루프를 통해 잠al 액션 $z_t$ 는 필요한 상태 의존적 전이 정보를 인코딩하도록 강제됩니다.
연속적 잠재 공간 (Continuous Latent Space): 액션을 이산화하기 위해 벡터 양자화(Vector Quantization, VQ)를 사용하는 이전 연구들과 달리, CLAM은 연속적 잠재 액션 공간을 활용합니다. 이는 이산적 근사가 실패하기 쉬운 고차원 연속 제어 태스크에서 매우 중요합니다.
액션 디코더와의 공동 학습 (Joint Training with Action Decoder): 잠재 액션이 실행 가능하도록 보장하기 위해, CLAM은 소량의 태스크 불가지론적 놀이 데이터셋( $D_{labeled}$ $D_{l ab e l e d}$ )을 사용하여 잠재 액션 디코더 $p_\omega(a_t | z_t)$ $p_{ω} (a_{t} ∣ z_{t})$ 를 공동으로 학습합니다.
- 디코더는 잠재 액션 $z_t$ 를 실제 모터 명령 $a_t$ 로 매핑합니다.
- 학습 목적 함수는 재구성 손실과 액션 디코더 손실을 결합합니다: $L_{CLAM} = L_{recon} + \beta L_{action-decoder}$ .
- 핵심 통찰: 공동 학습은 잠재 공간을 정규화하여 디코딩이 가능하도록 유지합니다. 디코더는 관측값에 조건화되지 않으므로, 잠재 액션이 저수준(low-level) 액션 코드로서 기능하게 합니다.

2. 잠재 액션 정책 학습 (2단계)

LAM이 사전 학습되면:

리레이블링 (Relabeling): 학습된 IDM은 레이블이 없는 전문가 데모( $D_{unlabeled-expert}$ )에 의사 잠재 액션(pseudo-latent actions)을 부여하여 $(o_t, z_t)$ 쌍의 데이터셋을 생성합니다.
정책 학습: 이 리레이블된 데이터셋을 통해 표준 모방 학습(행동 복제, Behavior Cloning) 방식으로 잠재 액션 정책 $\pi_\theta(z_t | o_t)$ 를 학습합니다.
추론 (Inference): 실행 중에는 정책이 관측값으로부터 잠재 액션 $z_t$ 를 예측하고, 사전 학습된 액션 디코더 $p_\omega$ 가 $z_t$ 를 물리적인 모터 명령으로 변환합니다.

주요 기여

연속적 잠재 리레이블링: 저자들은 연속적 잠재 공간과 공동 접지(joint grounding) (디코더를 LAM과 동시에 학습)를 결합했을 때에만 잠재 액션 리레이블링이 연속 로봇 제어에서 실용적으로 작동함을 입증했습니다.
효율적인 데이터 활용: 태스크 불가지론적 놀이 데이터가 잠재 액션을 접지하는 데 충분하다는 것을 보여주었습니다. 이는 액션 레이블링 단계에서 값비싼 태스크 특화 전문가 텔레오퍼레이션의 필요성을 제거함으로써 데이터 수집 비용을 획기적으로 줄입니다.
실제 환경 배포: CLAM은 네 가지 조작 태스크에 대해 물리적인 WidowX 로봇 팔에 성공적으로 배포되었으며, 학습 과정에서 이러한 레이블을 전혀 보지 못했음에도 불구하고 특화된 전문가 액션 레이블로 학습된 정책과 경쟁할 만한 성능을 달rag했습니다.

실험 결과

논문은 DMControl (로코모션), MetaWorld (조작), 그리고 실제 WidowX 로봇에서 CLAM을 평가합니다.

성능 향상:
- DMControl (상태 기반)에서 CLAM은 최상의 베이스라인(VPT) 대비 평균 정규화 리턴(normalized returns)을 2배 이상 개선했습니다.
- MetaWorld (이미지 기반)에서 CLAM은 LAPO, LAPA, DynaMo와 같은 베이스라인보다 2~3배 더 높은 태스크 성공률을 달성했습니다.
- CLAM은 특권 레이블(privileged labels)에 접근할 수 있는 BC-Expert(그라운드 트루스 전문가 액션으로 학습된 행동 복제)의 성능에 근접하거나 심지어 능가하기도 합니다.
절제 연구 (Ablation Studies):
- 연속 vs 이산 (Continuous vs. Discrete): 이산적 잠재 액션(VQ 사용)은 연속 제어 태스크에서 성능이 저조합니다. 연속적 잠재 액션만 사용해도 약 1.5배의 성능 향상을 제공합니다.
- 공동 학습 (Joint Training): 액션 디코더를 LAM과 함께 공동 학습하는 것이 필수적입니다. 이는 연속적 잠재 공간과 결합했을 때 성능을 약 3배 높여줍니다.
- 데이터 스케일링: 성능은 레이블 없는 전문가 데이터( $|D_{unlabeled}|$ )의 양에 따라 확장됩니다. 또한 CLAM은 접지에 사용되는 놀이 데이터( $|D_{labeled}|$ )의 양에 따라서도 확장되며, 비전문가 데이터와 함께 사용할 때 빠르게 정체되는 표준 BC보다 뛰어난 성능을 보입니다.
실제 로봇 결과: WidowX에서 CLAM은 조작 태스크(예: 조립, 빈 피킹)를 해결하며, 베이스라인보다 현저히 높은 성공률을 보였고, 종종 특권 레이블을 가진 BC-Expert 베이스라인의 성능과 일치하는 결과를 보였습니다.

의의 및 주장

본 논문은 CLAM이 액션이 없는 데이터로부터 로봇 정책을 학습하기 위한 확장 가능한 솔루션임을 주장합니다. 주요 의의는 다음과 같습니다:

전문가 레이블링의 병목 현상 제거: 효과적인 로봇 정책이 값비싼 태스크 특화 액션 레이블이 있는 전문가 데모를 수집하지 않고도 학습될 수 있음을 입증했습니다.
저렴한 데이터 활용: 풍부한 레이블 없는 로봇 비디오와 저렴한 태스크 불가지론적 놀이 데이터를 활용함으로써, CLAM은 로봇 학습의 진입 장벽을 낮춥니다.
구조적 필연성: 본 연구는 고차원 연속 제어를 위해 연속적 잠재 공간과 액션 디코더의 공동 학습의 결합이 단순히 유익한 수준을 넘어 성공을 위한 필수 요소임을 확립하였으며, 이는 이산 도메인을 위해 설계된 이전의 잠재 액션 모델들과 차별화되는 지점입니다.

저자들은 CLCLAM이 단일 로봇, 단일 태스크 설정에서는 효과적이지만, "인터넷 상의(in-the-wild)" 비디오(아티팩트 처리, 체형 격차 등)로 일반화하고 교차 체형(cross-embodiment) 학습으로 확장하는 데에는 향후 과제가 남아 있다고 언급했습니다.