기술 요약: 인간-비디오 역학 모델을 통한 로봇 자기 개선

문제 정의

로봇 학습의 핵심 과제는 인간이 활용하는 것과 동일한 유형의 데이터, 즉 수동적 관찰, 체화된 연습(embodied practice), 그리고 실패의 경험으로부터 기술을 습득하는 것입니다. 인간 비디오는 로봇 정책을 초기화하는 데 유용한 풍부한 수동적 관찰 데이터를 제공할 수 있지만, 이러한 사전 지식(prior)이 이후의 단계인 체화된 연습과 실패 교정을 지원할 수 있는지 여부는 여전히 불분명합니다. 기존 방식들은 대개 초기 배포(모방)를 위해 인간 비디오를 사용하지만, 지속적인 인간의 감독 없이 로봇 자신의 실제 세계에서의 실패를 평가하고 교정하며 학습하는 능력은 부족하여 자기 개선을 확장하는 데 어려움을 겪습니다. 현재의 접근 방식들은 종종 반복적인 작업 특화형 인간 시연이나, 실패를 식별하고 교정 동작을 제공하기 위한 비용이 많이 드는 온라인 인간 참여형(human-in-the-loop) 개입을 요구합니다.

방법론

저자들은 자율적인 로봇 자기 개선을 가능하게 하기 위해 인간 비디오로부터 **체화 불가지론적 표현(embodiment-agnostic representations)**을 학습하는 프레임워크를 제안합니다. 이 접근 방식은 세 가지 주요 단계로 구성됩니다.

1. 인간 비디오로부터 전이 가능한 표현 학습

본 프레임워크는 대규모 인간 비디오 데이터셋(HOI4D, Arti4D, EgoDex)으로부터 세 가지 재사용 가능한 구조를 추출합니다:

• 체화 불가지론적 행동 표현: 동작은 6-DoF 손목 움직임($\xi_t \in SE(3)$)과 스칼라 형태의 손 쥐기 변수($c_t$)로 표현되어, 핵심적인 움직임 단서는 유지하면서 특정 로봇의 관절 구조로부터 추상화됩니다.
• 예측적 세계 상태 표현: 상태(state)는 의미론적 시각 토큰(DINO-v3 기반)과 단기 3D 포인트 플로우(TAPIP3D 기반)를 결합합니다. 이는 광범위한 장면 맥락과 미세한 기하학적 구조 및 접촉 역학을 모두 포착합니다.
• 작업 진행도 가치 표현: 가치 모델은 희소한 종단 보상(성공/실패)을 바탕으로 할인된 리턴(discounted return)을 예측합니다.

이러한 표현들은 플로우 매칭(Flow Matching)을 사용하여 정책 모델(Policy Model), 역학 모델(Dynamics Model) (행동이 주어졌을 때 미래 상태를 예측), 그리고 **가치 모델(Value Model)**을 공동 사전 학습하는 데 사용됩니다.

2. 자율적 로봇 적응

자기 개선에 앞서, 사전 학습된 모델들은 대상 로봇의 체화(embodiment)에 맞춰 접지(grounding)됩니다. 값비싼 원격 조종에 의존하는 대신, 시스템은 시각-언어 모델(VLM)을 사용하여 원자적 상호작용 지침을 제안하고, 동결된(frozen) 인간 사전 학습 정책이 이를 로봇에서 실행하도록 합니다. 이 자율적 탐색은 다양한 롤아웃(rollout)을 수집하며, 여기에는 자연스러운 실패 상황도 포함됩니다. 이를 통해 로봇의 특정 상태 전이 및 물리적 제약 조건에 맞게 역학 및 가치 모델을 미세 조정합니다.

3. 역학 유도 행동 교정 (DGAC)

핵심 혁신은 실패한 로봇 롤아웃을 교정적 감독(corrective supervision)으로 전환하는 무학습(training-free) 방식인 DGAC입니다. 실패가 발생하면:

1. 검색(Retrieval): 시스템은 작업 진행도(가치 유사성)와 장면 구성(상태 유사성) 측면에서 유사한 성공적인 상태를 데이터베이스에서 검색합니다.
2. 생성(Generation): 플로우 매칭 정책을 사용하여, 현재의 실패한 상태 맥락과 검색된 성공적인 참조 모델로부터 속도장(velocity fields)을 합성합니다. 이를 통해 현재 관측값에 근거하면서도 성공적인 행동으로 유도되는 후보 행동 청크(action chunks)를 생성합니다.
3. 선택(Selection): 학습된 역학 및 가치 모델이 이 후보들의 미래 상태와 가치를 예측하여 평가합니다. 가장 높은 예측 가치를 가진 후보가 "교정된" 행동으로 선택됩니다.
4. 업데이트(Update): 실패한 전이는 이 교정된 행동으로 재라벨링되어 "수리된" 전이 데이터셋을 생성합니다. 그 후, 교정된 행동을 감독 신호로 취급하는 어드밴티지 조건부 목적 함수(advantage-conditioned objective)를 사용하여 정책을 업데이트합니다.

주요 기여

1. 재사용 가능한 인간 비디오 사전 지식: 인간 비디오로부터 학습된 행동, 역학 및 가치 표현이 서로 다른 로봇 체화 간에 전이될 수 있음을 입증하였으며, 이는 자율적 개선을 위한 예측적 토대를 제공합니다.
2. 실패-to-감독 학습: DGAC 모듈은 온라인 인간 개입 없이 실패한 롤아웃 상태를 교정적 감독으로 성공적으로 전환하여, 로봇이 자신의 실수를 통해 학습할 수 있게 합니다.
3. 정책 불가지론적 개선: 이 접근 방식은 대규모 로봇 데이터로 사전 학습된 정책을 포함하여, 다양한 정책 백본에 적용 가능한 플러그 앤 플레이 방식의 사후 학습 모듈로서 성능을 향상시킵로 합니다.

실험 결과

본 프레 framework는 두 가지 로봇 플랫폼(이동형 매니퓰레이터 Hello Robot Stretch 3 및 정적 암 Franka Panda)에서 7가지 실제 조작 작업에 대해 평가되었습니다.

• 성능 향상: Stretch 로봇의 5개 작업에 대해, 본 방법은 평균 성공률을 40.0%(Expert BC 베이스라인)에서 **81.0%**로 향상시켰습니다.
• SOTA와의 비교: 본 접근 방식은 비디오 생성 모델을 사용하는 강력한 베이스라인인 RISE보다 9.3%포인트 높은 성능(85.3% vs 76.0%)을 보였습니다.
• 정책 불가지론성: 대규모 로봇 데이터로 사전 학습된 강력한 정책 백본인 $\pi_{0.5}$에 적용했을 때, DGAC는 성능을 지도 미세 조정 후의 62.7%에서 **88.0%**로 끌어올렸습니다. 반면, 표준 가치 필터링 방식(RECAP)은 68.0%에 그쳤습니다.
• 교차 체화 전이: Franka Panda 로봇에서도 성공률이 36.7%에서 70.0%로 향상되어, 학습된 사전 지식이 서로 다른 로봇 형태에도 일반화됨을 입증했습니다.
• 절제 연구(Ablation Studies): DGAC를 제거하면 성능이 62.7%로 감소하여, 명시적인 실패 교정이 매우 중요함을 확인했습니다. 또한, 로봇 적응(접지) 단계를 제거하면 성능이 크게 저하되어, 인간의 사전 지식을 특정 로봇 역학에 적응시키는 과정의 필요성을 강조했습니다.

의의 및 주장

본 논문은 인간의 사전 지식과 로봇의 실패를 결합하여 확장 가능한 자율적 정책 개선을 가능하게 한다고 주장합니다. 저자들은 대규모 시연이 초기 기술 습득에는 필수적이지만, 로봇 학습의 미래는 실제 세계의 실패를 자율적으로 해석하고 학습하는 능력에 달려 있다고 주장합니다.

인간 비디오를 단순한 모방을 넘어 예측 모델(역학 및 가치)의 원천으로 활용함으로써, 로봇은 행동의 결과를 추론하고 실패를 확장 가능한 감독 소스로 전환할 수 있습니다. 이는 순수 모방 학습에 대한 보완적 패러다임을 제시하며, 인터넷 규모의 인간 관찰과 체화된 로봇 경험을 결합함으로써 시스템이 지속적인 인간의 개입 없이도 배포 후에도 계속해서 발전할 수 있음을 시사합니다. 본 연구는 이러한 접근 방식이 대규모의 로봇 특화 데이터를 수집하거나 비용이 많이 드는 인간 참여형 교정에 의존하는 병목 현상을 피할 수 있기 때문에 특히 효과적임을 강조합니다.