기술 요약: 접지된 잠재 행동 월드 모델을 이용한 이질적 데모로부터의 모방 (Imitation from Heterogeneous Demonstrations using Grounded Latent-Action World Models)

문제 정의

모방 학습은 시각-운동 조작(visuomotor manipulation) 분야에서 상당한 성공을 거두었으나, 타겟 로봇에 대한 고품질의 액션 라벨이 포함된 데모를 확보하는 비용과 희소성으로 인해 확장성에 제약을 받고 있다. 시뮬레이션, 휴대용 핸드헬드 장치, 인간 비디오와 같이 풍부한 이질적 데이터 소스가 존재함에도 불구하고, 이들은 세 가지 핵심적인 과제를 제시한다:

1. 액션 공간 불일치 (Action Space Mismatch): 서로 다른 데이터 소스는 종종 호환되지 않는 액션 공간을 갖거나 액션 라벨이 아예 존재하지 않는다.
2. 시각 및 형태적 변이 (Visual and Embodiment Variation): 데이터 소스들은 카메라 시점, 로봇의 형태, 장면 맥락 등 근본적인 작업 물리 법칙을 반영하지 않는 상당한 차이를 보인다.
3. 기존 솔루션의 한계: 이질적 데이터로 공동 학습(co-train)하는 기존 방식들은 원칙적인 표현 학습보다는 휴리스틱하고 수동으로 설계된 정렬 기술(예: 최적 운송 손실, 경험적으로 튜닝된 혼합 비율, 또는 특정 토크나이저)에 의존한다.

본 논문은 더 원칙적인 접근 방식이 필요하다고 주장한다. 즉, 액션은 출처가 아니라 환경에 미치는 물리적 효과를 기반으로 표현되어야 한다. 물체를 동일한 궤적으로 이동시키는 두 액션은, 그것이 실제 로봇, 시뮬레이션, 또는 핸드헬드 장치 중 어디에서 기원했는지와 관계없이 동일한 표현을 공유해야 한다.

방법론: 접지된 잠재 행동 월드 모델 (GLAM)

저자들은 두 개의 결합된 생성 모델을 통해 이질적 데이터를 공유된 소스 불변(source-invariant) 잠재 액션 공간으로 통합하는 프레임워크인 GLAM을 제안한다. 파이프라인은 두 단계로 작동한다.

1단계: GLAM 사전 학습 (월드 모델)

핵심 혁신은 환경 역학에 접지된 공유 잠재 액션 공간($z_t$)을 학습하는 것이다. 이는 공동으로 학습되는 두 가지 생성 모델을 통해 달성된다:

1. 이질적 모델 ($p(X, O, Z)$): 타겟 데이터($D_{tar}$)와 보조 데이터($D_{aux}$)의 혼합물로 학습된다. $D_{aux}$에는 액션 라벨이 없으므로, 이 모델은 액션을 상태 전이로부터만 추론되는 잠재 변수로 취급한다.

   • 이 모델은 관찰된 전이로부터 직접 잠재 액션을 추론하기 위해 역 역학 모델 (Inverse Dynamics Model, IDM) $q_\phi(z_t | x_t, x_{t+1})$을 활용한다 (여기서 $x_t$는 관찰로부터 인코딩된 잠재 상태이다).
   • 미래의 관찰을 예측하기 위해 공유된 순방향 역학 모델 $p_\theta(x_{t+1} | x_t, z_t)$를 사용한다.
   • 원리: 모든 데이터 소스에 대해 IDM과 순방향 역학을 공유함으로써, 모델은 잠재 액션이 환경에 어떤 영향을 미치는지에 의해 정의되도록 강제하며, 이를 통해 소스 불변성을 보장한다.

2. 타겟 모델 ($p(S, A, Z)$): 라벨이 있는 타겟 데이터($D_{tar}$)로만 학습된다.

   • 실행 가능한 로봇 액션과 고유 수용 감각 상태로부터 잠재 액션을 추론하는 액션 인코더 $q_\eta(z_t | s_t, a_t)$를 포함한다.
   • 액션 재구성 항 $\log p_\theta(a_t | z_t)$를 포함하여, 잠재 공간이 타겟 로봇의 특정 제어 의미론(control semantics)에 계속 접지되도록 보장한다.

정렬 메커니즘:
이 두 모델을 결합하기 위해, 저자들은 비대칭 KL 발산 제약 조건($C_{KL}$)을 도입한다. 이 제약 조건은 타겟 데이터셋에 대해 IDM 사후 확률(posterior)을 액션 인코더 사후 확률과 정렬시킨다.

• 비대칭성(타겟 인코더에 stop-gradient 적용)은 보조 데이터의 모호한 신호에 의해 왜곡되지 않으면서, IDM이 타겟 데이터로부터 "특권적인" 제어 의미론을 흡수하도록 보장한다.
• 결합된 목적 함수는 두 모델의 음의 ELBO(Evidence Lower Bound)와 정렬 제약 조건을 최소화하여, 모든 전이가 공유된 제어 인식 잠재 액션으로 재라벨링될 수 있는 통합된 잠치 공간을 생성한다.

참고: 저자들은 또한 물리적 변화를 더욱 명확히 하기 위해 생 RGB 프레임 대신 객체 세그멘테이션 마스크를 관찰값으로 사용하는 변형 모델을 조사한다.

2단계: 월드 모델 정렬 행동 복제 (BC)

GLAM 모델이 사전 학습되어 고정(frozen)되면, 이는 잠재 액션 앵커 역할을 한다:

1. 재라벨링: $D_{tar}$와 $D_{aux}$의 모든 전이는 IDM 사후 확률 평균을 사용하여 잠재 액션 $z_t$로 재라벨링된다.
2. 정책 학습: 하위 행동 복제(Behavioural Cloning) 정책(특히 경량 회귀 정책인 MIP)은 이러한 잠재 액션 청크(chunks)로 관찰을 매핑하도록 학습된다.
3. 실행: 정책의 출력(잠재 액션)은 타겟 모델의 액션 디코더를 사용하여 실행 가능한 로봇 액션으로 다시 디코딩된다.

이 접근 방식은 라벨이 없는 보조 데이터가 타겟 로봇의 데모를 직접적으로 대체할 수 있게 하여, 값비싼 타겟 로봇 텔레오퍼레이션을 효과적으로 대신할 수 있게 한다.

주요 기여

1. 원칙적인 표현 학습: 본 논문은 휴리스틱한 정렬에서 물리적 예측에 접지된 액션 표현을 학습하는 것으로 패러다임을 전환한다. 액션은 출처와 관계없이 동일한 환경 전이를 생성할 때 정렬된다.
2. GLAM 아키텍처: 비대칭 KL 정렬과 공유 순방향 역학에 의해 연결된 이중 모델 생성 프레임워크(이질적 모델 + 타겟 모델)를 도입한다. 이는 소스 불변적(혼합 데이터로부터 학습됨)이면서 동시에 제어 인식적(타겟 로봇 액션에 접지됨)인 잠재 공간을 생성한다.
3. 데이터 효율성: 이질적이고 라벨이 없는 데이터가 타겟 로봇의 데모를 효과적으로 대체할 수 있음을 입증하여, 신뢰할 수 있는 배포를 위한 데이터 요구량을 크게 줄인다.
4. 객체 중심 접지: 조작되는 객체의 물리 법칙에 집중함으로써 전이성을 향상시키기 위해 객체 마스크를 입력으로 사용하는 탐색을 수행한다.

실험 결과

저자들은 다섯 가지 조작 작업(실제 환경의 lifting, pick-and-place, knock-down 및 시뮬레이션의 2-cube, 3-cube stacking)에 대해 GLAM을 평가했다.

• 성능 향상: GLAM 정렬 정책은 행동 복제 베이스라인(MIP) 및 기존 잠재 액션 방법(CLAM, LAPA)보다 성능이 우수했다.
  • 동일한 데이터 부족 설정에서 작업 성공률이 평균 +48% 향상되었다.
  • 수백 개의 데모가 필요한 복잡한 양손 "stack-three" 작업에서, GLAM은 72.7%의 성공률을 달고한 반면, 모든 베이스라인은 실패했다(≤4%).
• 교차 소스 전이: 질적 실험을 통해 라벨이 없는 소스(예: UMI 핸드헬드 시뮬레이션)에서 추론된 잠재 액션이 액션 라벨 없이도 타겟 로봇(Kinova)에서 성공적으로 디코딩되고 실행될 수 있음을 확인하여, 잠재 공간의 정렬을 검증했다.
• 데이터 효율성: 스케일링 실험에서 GLAM-O(객체 마스크 사용)는 500개의 타겟 궤적만으로 학습된 표준 BC 정책의 성능을, 100개의 타겟 궤적에 400개의 보조 궤적을 추가하여 학습한 결과와 일치시켰다. 이는 보조 데이터가 성능 향상 측면에서 타겟 데이터를 거의 1:1 비율로 대체할 수 있음을 시사한다.
• 객체 마스크: 객체 마스크를 관찰값으로 사용하는 것이 특히 "knock-down"(+25%) 및 "stack-three"(+16%)와 같은 복잡한 작업에서 성능을 일관되게 개선하였으며, 이는 객체 중심의 접지가 전이성을 높인다는 가설을 뒷받침한다.

의의 및 주장

본 논문은 GLAM이 모방 학습의 데이터 병목 현상을 극 정도로 극복하는 이질적 데이터로부터의 학습을 위한 패러다임을 제공한다고 주장한다. 액션을 환경 전이에 접지된 잠재 변수로 취급함으로써, 이 방법은 수동으로 제작된 정렬 레시피의 필요성을 제거한다.

저자들은 GLAM이 다음을 수행함을 강조한다:

• 라벨이 있는 데이터와 없는 데이터를 단일한 소스 불변 잠재 공간으로 통합한다.
• 저렴하고 풍부한 보조 데이터(시뮬레이션이나 핸드헬드 장치 데이터 등)를 타겟 로봇을 위한 직접적인 감독(supervision)으로 사용할 수 있게 한다.
• 대규모 사전 학습이나 방대한 온라인 상호작용 없이도 데이터가 부족한 설정에서 최첨단 성능을 달enc한다.

이 연구는 물리적으로 접지된 표현 학습 프레임워크를 통해 다양하고 불완전한 데이터 소스를 활용함으로써, 유능한 정책을 "롱테일(long tail)"의 실제 세계 작업으로 확장하기 위한 단계로 제시된다.