기술 요약: 무엇을 할지 배우기 전에 어떻게 움직일지 배우기 (VLA를 위한 태스크 불가지론적 사전 학습)

1. 문제 정의

Vision-Language-Action (VLA) 모델은 현재 근본적인 병목 현상에 직면해 있다: 고품질의 전문가 텔레오퍼레이션 데모(관측, 언어 지시, 행동의 세 쌍)의 부족이다. 전통적인 학습 패러다임은 방대한 양의 인간 가이드 궤적 데이터에 의존하는데, 이는 비용이 매우 많이 들고, 노동 집약적이며, 확장성이 떨어진다. 또한, 이러한 접근 방식은 두 가지 별개의 학습 목표, 즉 물리적 역량(어떻게 움직이는가)과 의미론적 정렬(무엇을 하는가)을 혼재시킨다. 본 논문은 현재의 방법들이 기본적 운동 역학을 배우기 위해 언어적 감독을 비효율적으로 요구하고 있으며, 이는 특정 태스크 목표와는 독립적인 것임을 주장한다.

2. 방법론: 태스크 불가지론적 사전 학습 (TAP)

저자들은 **분해 가설(Decomposition Hypothesis)**에 기반한 2단계 프레임워크인 **태스크 불가지론적 사전 학습(Task-Agnostic Pretraining, TAP)**을 제안한다. 물리적 어포던스("어떻게 움직이는가")는 저렴하고 라벨이 없는 상호작용 데이터로부터 완전히 학습될 수 있는 반면, 의미론적 의도("무엇을 하는가")는 최소한의 전문가 데모만을 필요로 한다는 것이다.

1단계: 태스크 불가지론적 사전 학습 (학습 내용: "어떻게 움직이는가")

• 데이터 소스: 모델은 명시적인 언어 지시가 없는 태스크 불가지론적 데이터를 통해 사전 학습된다. 데이터 소스는 다음과 같다:
  • 기존 데이터셋의 재활용: 타겟 배포와 무관한 태스크(예: "서랍 열기" 데이터를 "당근 집기" 태스크에 사용)를 위해 수집된 대규모 데이터셋(예: BridgeData, Open X-Embodiment)의 궤적.
  • 자율적 무작위 플레이(Autonomous Random Play): 인간의 감독 없이 무작위 엔드 이펙터 명령(밀기, 쓸기, 잡기 등)을 통해 로봇이 환경을 탐색하며 생성한 데이터. 절차적 파이프라인을 통해 안전성과 접촉이 풍부한 상호작용을 보장한다.
• 목표: 자기 지도 방식의 역 역학(Inverse Dynamics, ID) 목표를 사용한다. 한 쌍의 관측값 $(o_t, o_{t+1})$이 주어지면, 모델은 해당 전이를 일으킨 행동 $a_t$를 예측한다.
  • 메커리즘: 이를 통해 시각 인코더가 정적인 배경 노이즈를 무시하고 동적인 요소(엔드 이펙터의 움직임, 물체의 변위)에 집중하도록 강제한다. 모델은 언어 라벨 없이도 공간 추론, 어포던스 탐지, 운동 조정과 같은 견고한 물리적 사전 지식을 학습한다.
• 아키텍처: 시각 입력을 행동 출력으로 매핑하도록 훈련된 VLM 백본(예: Qwen2.5-VL)을 사용하며, 미래의 관측값을 암시적인 시각적 목표로 취급한다.

2단계: 태스크 특화 정렬 (학습 내용: "무엇을 하는가")

• 데이터 소스: 언어 지시($l$)가 포함된 최소한의 전문가 데모 세트($\mathcal{D}_{expert}$).
• 목표: 표준 행동 복제(Behavior Cloning, BC). 사전 학습된 모델을 언어 지시와 시각적 관측을 행동으로 매핑하도록 미세 조정한다.
• 메커니즘: 모델은 1단계의 백본과 액션 헤드를 재사용한다. 모델은 의미 공간(언어)에서 이미 구축된 역학 공간(운동 제어)으로의 경량화된 프로젝션을 학습한다. 이 단계는 처음부터 학습할 때보다 훨씬 적은 수의 라벨링된 샘플을 필요로 한다.

3. 주요 기여

1. 분해 가설: 본 논문은 물리적 역량과 의미론적 정렬이 분리 가능한 학습 목표이며, 전자는 라벨이 없는 데이터로부터 학습될 수 있다고 상정한다.
2. TAP 프레임워크: 역 역학 사전 학습을 통해 풍부한 물리적 사전 지식을 구축하기 위해, 저렴한 태스크 불가지론적 데이터(비태스크 궤적 및 자율 플레이)를 활용하는 새로운 2단계 파이프라인을 제시한다.
3. 데이터 효율성: TAP가 라벨링된 데이터를 수십 배 적게 사용하면서도, 수백만 개의 전문가 궤적으로 학습된 모델의 성능과 일치하거나 이를 능가함을 입증한다.
4. 강건성: 다양한 자율 탐사 데이터에 대한 사전 학습이 인터넷 규모의 베이스라인 모델들에 비해 실세계 분포 변화(시각적 섭동, 복잡한 환경, 시점 변화)에 대해 훨씬 더 높은 회복력을 보여줌을 입증한다.

4. 실험 결과

프레임워크는 SIMPLER 벤치마크(시뮬레이션)와 실제 WidowX 250 로봇에서 평가되었다.

• 시뮬레이션 (SIMPLER):

  • 2만 개의 태스크 불가지론적 에피소드와 5천 개의 전문가 궤적으로 학습된 TAP는 **33.32%**의 평균 성공률을 달성했다.
  • 이는 Standard BC 베이스라인(23.15%)보다 10% 절대적 이득을 높인 결과이다.
  • TAP는 100만 개 이상의 전문가 궤적으로 사전 학습된 기초 모델들(OpenVLA, RT-1-X, Octo, $\pi_0$)과 대등하거나 이를 능가하는 성능을 보였음에도 불구하고, 라벨링된 데이터는 극히 적게 사용했다.
  • 부분 성공 분석: TAP는 높은 부분 성공률(45.82%)을 기록했는데, 이는 대규모 모델들과 유사한 수준으로, 사전 학습이 언어 의미와 독립적으로 낮은 수준의 물리적 역량(잡기, 정렬 등)을 성공적으로 주입했음을 나타낸다.

• 실제 환경 (WidowX):

  • 태스크당 단 200개의 전문가 궤적과 30시간의 자율 무작위 플레이를 통해 학습되었다.
  • 강건성: 심각한 시각적 섭동(예: 배경 질감 변화, 시점 변화) 상황에서 인터넷 규모의 베이스라인인 NORA와 Standard BC는 성공률이 **0%**로 급락했다. 반면 TAP는 **15~25%**의 성공률을 유지했다.
  • 시각적 방해 요소가 많은 복잡한 환경에서, TAP는 밀기 태스크에 대해 **65%**의 성공률을 유지했으나, Standard BC는 5%로 떨어졌고 NORA는 60%를 기록했다.

• Ablation 연구:

  • 수렴: 사전 학습은 초기 학습률을 가속화하지는 않았지만, 성능의 상한선을 높여 Standard BC에서 나타나는 조기 포화를 방지했다.
  • 스케일링: 다운스트림 성능은 1단계 사전 학습의 규모에 의해 엄격하게 제한되었다. 태스크 불가지론적 노출이 불충분하면 미세 조정 기간이 길어져도 수익 체감 현상이 나타났다.
  • 주의 집중(Attention): Grad-CAM 분석 결과, 1단계 모델은 언어 없이도 조작 가능한 개체(그리퍼, 물체)에 주의를 기울이는 법을 배웠으며, 2단계에서 지시에 따라 특정 에이전트에 대한 주의를 정교화했다.

5. 의의 및 주장

본 논문은 태스크 불가지론적 사전 학습이 전문가 데이터의 스케일링만이 유능한 에이전트를 만드는 유일한 경로라는 가설에 도전함으로써, Embodied AI를 위한 확장 가능한 경로를 제공한다고 주장한다.

• 패러다임 전환: 이는 "수동적 데이터 수집"(텔레오퍼레이션)에서 "능동적 태스크 불가지론적 상호작용"(자기 탐색)으로 초점을 전환하며, 이는 영유아가 특정 과업을 배우기 전에 운동 역량을 먼저 습득하는 생물학적 과정과 유사하다.
• 확장성: 물리적 학습과 의미론적 학습을 분리함으로써, TAP는 값비싼 인간 주석에 대한 의존도를 낮추고 방대하고 저렴한 라벨 없는 상호작용 데이터의 가치를 실현한다.
• 강건성: 다양한 물리적 경험을 통한 사전 학습이 분포 변화가 불가피한 실제 배포 환경에서 필수적인 도메인 불변 표현을 생성한다는 것을 결과가 보여준다.

저자들은 현재의 VLA 모델들이 전문가 데모라는 "데이터 벽"에 가로막혀 있지만, 태스크 불가지론적 사전 학습을 통해 "무엇을 할지 배우기 전에 어떻게 움직일지 배우는" 전략이 이 한계를 효과적으로 우회하여 견고하고 전이 가능한 물리적 표현을 만들어낼 수 있다고 결론짓는다.