기술 요약: 로봇에게는 VLA와 월드 모델 그 이상의 것이 필요하다

문제 정의

본 논문은 일반화된 로봇 지능을 향한 현재의 프레임링이 단순히 더 많은 로봇 시연 데이터를 수집하고 더 큰 시각-언어-행동(Vision-Language-Action, VLA) 모델을 학습시키는 "정책 스케일링 문제(policy-scaling problem)"로 정의하는 것은 불완전하다고 주장한다. 대규모 VLA 모델과 교차 체형(cross-embodiment) 데이터셋이 유망한 성과를 보여주었지만, 이들은 근본적인 스케일링 병목 현상에 직면해 있다. 즉, 세상의 풍부한 비구조적 행동 데이터를 접지된(grounded) 로봇 감독 신호로 변환할 메커니즘의 부재가 문제다.

물리적 상호작작용 데이터(인간의 움직임, 인터넷 비디오, 공장 워크플로우, 시뮬레이션 롤아웃)에는 작업, 목표, 접촉, 실패에 관한 풍부한 정보가 담겨 있다. 그러나 이 데이터에는 로봇 학습에 필요한 구체적인 구조, 즉 체형 특화적 행동 라벨, 힘 신호, 작업 의미론, 보상 구조가 결여되어 있다. 텍스트나 이미지와 달리, 물리적 경험은 자연스럽게 디지털화되거나 밀도 높게 감독되지 않으며, 로봇 정책에 의해 직접 실행될 수 없는 "무질서한(messy)" 상태이다. 핵심 과제는 단순히 정책을 어떻게 확장하느냐가 아니라, 광범위하고 약하게 라벨링된 물리적 경험을 로봇이 사용할 수 있는 감독 신호(행동, 접촉, 객체 상태, 목표 및 보상)로 어떻게 변환하느냐이다.

방법론 및 제안된 프레임워크

본 논문은 단일한 새로운 알고리즘이나 데이터셋을 제안하기보다는, 로봇 학습의 현황을 조사하여 간극을 식별하고 그 다음 단계로서 **접지 중심의 파이프라인(grounding-centric pipeline)**을 제안한다. 저자들은 분야를 모델 아키텍처가 아닌, 각 접근 방식이 노출하는 '감독의 병목 현상'을 기준으로 분류한다. 그들은 미래의 로보틱스 스택이 가공되지 않은 물리적 경험과 배포 가능한 지능 사이의 간극을 메우기 위해 네 가지 누락된 구성 요소를 필요로 한다고 주장한다.

1. 물리적 데이터 엔진 및 체화된 자동 라벨링 (Physical Data Engines and Embodied Autolabelling)

현재의 로봇 학습은 관측값이 이미 행동과 쌍을 이루고 있는 "로봇 네이티브(robot-native)" 감독에 의존한다. 본 논문은 이질적이고 비동기적인 스트림(비디오, 웨어러블 센싱, 촉각 데이터, 로봇 로그, 언어)을 수용하여 구조화된 로봇 관련 라벨을 자동으로 추론하는 물리적 데이터 엔진을 제안한다.

• 메커니즘: 이 엔진은 원시 데이터($x$)로부터 잠재적인 물리적 이벤트($\zeta$)를 추론하는 **체화된 자동 라벨링(embodied autolabelling)**을 수행한다. 이는 비동기 모달리티를 공통 타임라인에 정렬하고, 객체 중심 상태($s$), 접촉 이벤트($c$), 작업 단계($\phi$), 잠재적 물리적 행동($u$), 보상/진행 신호($r$)와 같은 변수들을 복구한다.
• 목표: 인간이 센싱 슈트를 착용한 영상과 같은 가공되지 않은 비구조적 에피소드를, 재타겟팅(retargeting)하거나 시뮬레이션하거나 정책 학습에 사용할 수 있는 일련의 물리적 이벤트로 변환하는 것이다. 이를 통해 "실패"와 "교정"을 구조화된 감독 신호로 바꿀 수 있다.

2. 작업 보존형 재타겟팅 (Task-Preserving Retargeting)

물리적 이벤트가 추론되면, 이를 특정 로봇 체형에 실행 가능한 행동으로 번역해야 한다. 본 논문은 인간과 로봇 사이의 운동학적 및 역학적 차이를 고려하지 못하는 단순 포즈 매칭 접근 방식을 비판한다.

• 메커니즘: 저자들은 잠재적 물리 행동이나 인간의 시연을 실행 가능한 로봇 행동($a^{(embodied)}$)으로 매핑하되, 작업 관련 물리적 효과($\Delta g$)를 보존하는 작업 보존형 재타겟팅을 제안한다.
• 목표: 인간의 관절 궤적을 단순히 복사하는 대신, 사용된 형태(morphology)와 상관없이 로봇이 동일한 물리적 결과(예: 서랍의 변위, 물체의 정렬, 접촉 형성)를 달성하도록 보장하는 것이다.

3. 물리 기반 월드 모델 (Physics-Grounded World Models)

현재의 월드 모델은 주로 시각적 그럴싸함(현실적인 미래 프레임 생성)에 집중한다. 본 논문은 로봇의 월드 모델이 실행 가능한 결과를 예측할 수 있도록 **물리적으로 접지(physics-grounded)**되어야 한다고 주장한다.

• 메커니션: 이러한 모델은 단순히 픽셀을 생성하는 것이 아니라 구조화된 물리 변수(기하학, 접촉, 힘, 제약 조건, 재료 특성)를 예측해야 한다. 또한 객체의 상태, 안정성, 작업 진행 상황에 대해 "만약 ~한다면 어떻게 될 것인가"라는 질문에 답할 수 있어야 한다.
• 목표: **역사실적 경험(counterfactual experience)**을 제공하는 것이다. 로봇은 특정 행동이 미끄러짐, 끼임 또는 성공적인 삽입을 유발할지 여부를 추론할 수 있어야 한다. 모델은 불확실성을 추정하고 성공과 실패를 결정짓는 물리적 변수를 보존하도록 보정되어야 한다.

4. 자기 개선형 배포 루프 (Self-Improving Deployment Loops)

마지막 구성 요소는 실제 세계의 배포가 지속적인 개선을 위한 새로운 데이터를 생성하는 폐쇄 루프 시스템이다.

• 메커니즘: 여기에는 **작업 조건부 보상 접지(task-conditioned reward grounding)**가 포함된다. 배포 결과를 단순한 통과/실패 기록으로 취급하는 대신, 시스템은 특정 목표와 관련하여 결과를 해석해야 한다(예: 접촉 및 객체 상태를 바탕으로 실패한 잡기와 성공한 잡기를 구분).
• 목표: 실패, 인간의 교정, 성공적인 롤아웃이 물리적 데이터 엔진으로 다시 입력되어 정책, 보상 모델, 월드 모델 및 재타겟팅 메커니즘을 업데이트하는 컴파운딩 시스템(compounding system)을 만드는 것이다. 이는 고립된 엔지니어링 노력을 물리적 세계로부터 직접 배우는 시스템으로 전환시킨다.

주요 기여

1. 병목 현상의 재정의: 본 논문은 범용 로보틱스의 핵심 병목이 정책 용량이나 데이터 양의 부족이 아니라, 비구조적 물리적 경험을 로봇이 사용할 수 있는 감독 신호로 변환하는 접지 메커니즘의 부재임을 식별하였다.
2. 감독의 분류 체계: 현재의 접근 방식들(로봇 네이티브 데이터셋, 약하게 접지된 비디오 학습, 시뮬레이션, 월드 모델)을 구조적으로 분석하여, 각각이 부분적인 해결책을 제공하지만 접지 문제를 완전히 해결하지 못함을 강조하였다.
3. 4대 핵심 아키텍처: 다음의 네 가지 기둥으로 구성된 구체적인 아키텍처 스택을 제안하였다:
   • 물리적 데이터 엔진 (자동 라벨링용)
   • 작업 보존형 재타겟팅 (체형 전이용)
   • 물리 기반 월드 모델 (결과 예측용)
   • 자기 개선형 배포 루프 (보상 접지 및 지속적 학습용)
4. 피드포워드에서 폐쇄 루프로의 전환: 차세대 로보틱스는 피드포워드 파이프라인(데이터 수집 $\to$ 정책 학습)에서 벗어나, 배포 궤적이 기초 모델을 지속적으로 정교화하는 폐쇄 루프 시스템으로 나아가야 한다고 주장한다.

결과 및 근거

본 논문은 포지션 페이퍼(position paper)로서 새로운 실험적 결과나 단일 통합 시스템을 제시하지 않는다. 대신, 그 "결과"는 최근 문헌에 대한 포괄적인 조사로부터 도출된다.

• 로봇 네이티브 스케일링: Open X-Embodiment, DROID, RH20T와 같은 데이터셋과 RT-2, Octo, $\pi^0$와 같은 모델의 진전을 인용하며, 이들이 스케일링 이점을 보여주지만 여전히 사전 접지된 로봇 네이티브 데이터에 의존하고 있음을 지적한다.
• 약한 감독 (Weak Supervision): 비디오로부터 학습하는 연구(R3M, VIP, LAPA, UniVLA)와 보상 추론(PROGRESSOR, ReWiND)에 관한 연구를 검토하며, 이 방법들이 표현(representation)이나 잠재적 행동을 추출할 수는 있지만, 여전히 대응 문제(correspondence problem)로 어려움을 겪으며 직접적인 로봇 행동 라벨이 부족함을 입증한다.
• 시뮬레이션 및 월드 모델: 시뮬레이션 환경(RLBench, ManiSkill)과 학습된 월드 모델(Dreamer, Genie, 3D-Gaussian Splatting 접근법)을 조사하며, 이들이 경험을 생성할 수는 있으나 신뢰할 수 있는 제어에 필요한 물리적 충실도(접촉, 힘, 안정성)가 부족함을 논한다.
• 종합: 논문은 이러한 발견들을 종합하여, 기존의 단일 접근 방식으로는 전체 접지 파이프라인을 해결할 수 없음을 보여줌으로써 제안된 4대 구성 요소 아키텍처의 필요성을 정당화한다.

의의 및 주장

본 논문은 분야가 "파운데이션 모델의 순간"에 진입하고 있지만, 로보틱스를 위한 "인터넷"에 해당하는 것, 즉 세상의 방대한 비구조적 물리 데이터를 활용할 수 있는 능력이 결여되어 있다고 주장한다.

• VLA를 넘어: 저자들은 VLA가 필요조건이지만 충분조건은 아니라고 단언한다. VLA는 상위 단계의 접지(데이터, 체형, 역학)와 하위 단계의 피드백(보상, 배포)에 의존하는 더 큰 물리 지능 스택의 한 계층으로 간야되어야 한다.
• 접지의 의제 (The Grounding Agenda): 이 논문의 의의는 연구의 초점을 "어떤 모델 아키텍처를 학습시킬 것인가"에서 "세상의 물리적 경험을 학습 가능하게 만들기 위해 어떤 메커니즘이 필요한가"로 전환하는 데 있다.
• 미래 방향: 본 논문은 차세대 로보틱스 파운데이션 모델이 단일한 거대 VLA가 아니라, 자동 라벨링, 재타겟팅, 물리 기반 예측, 배포 피드백이 통합된 **컴파운딩 시스템(compounding system)**이 될 것이라고 상정한다. 이 접근 방식은 로보틱스가 정제된 로봇 네이티브 데이터셋에 의존하는 것을 넘어, 더 넓고 무질서한 물리적 세계로부터 직접 배우는 것을 목표로 한다.