💻 computer science

Riemann-1.0: An Embodied World Action Model for Physical AI

Riemann-1.0은 다각적 관측, 로봇 상태, 그리고 행동을 단일 프레임워크로 통합하는 통합 인과적 자기회귀 세계 행동 모델(unified causal autoregressive World Action Model)로서, 20만 시간 이상의 다양한 임바디드(embodied) 데이터를 활용한 점진적 사전 학습 전략을 통해 시뮬레이션과 실제 환경의 장기 지평 조작 작업 모두에서 최첨단 성능을 달성합니다.

원저자: Haofeng Sun, Jiangbo Pei, Fei Kang, Zexiang Liu, Yaokun Li, Boyi Jiang, Hua Xue, Cindy Zhou, Wei Li, Yichen Wei, Mengyin An, Fanliang Zhao, Biao Jiang, Zile Wang, Yang Liu, Yangguang Li

게시일 2026-08-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haofeng Sun, Jiangbo Pei, Fei Kang, Zexiang Liu, Yaokun Li, Boyi Jiang, Hua Xue, Cindy Zhou, Wei Li, Yichen Wei, Mengyin An, Fanliang Zhao, Biao Jiang, Zile Wang, Yang Liu, Yangguang Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능은 오랫동안 디지털 영역의 대가로서 컴퓨터 화면이라는 틀 안에서 텍스트를 읽고, 이미지를 인식하며, 퍼즐을 풀어왔습니다. 하지만 기계가 진정으로 우리와 함께 물리적 세계에 참여하려면, 단순히 무엇을 보는지 이해하는 것을 넘어 그 안에서 움직이는 법을 배워야 합니다. 이것이 바로 '체화된 지능(embodied intelligence)'의 과제입니다. 즉, 로봇이 주변 환경을 인지하고, 원인과 결과에 대해 추론하며, 인간이 컵을 집거나 옷을 접을 때 사용하는 것과 같은 유연함으로 물리적 움직임을 실행하도록 가르치는 것입니다. 기계가 성공하기 위해서는 물체가 어떻게 보이는지뿐만 아니라, 만졌을 때 어떻게 움직이고 변하는지를 이해하는 세계 모델이 필요합니다. 블록을 밀면 미끄러진다는 것과, 뚜껑을 들어 올리면 그 안의 내용물이 드러난다는 것을 배워야 합니다. 지금까지 이러한 물리적 행동을 계획하는 것과 그 행동의 시각적 결과를 예측하는 것을 하나의 시스템으로 만드는 것은 어려운 난관이었으며, 종종 사고(thinking)를 위한 시스템과 움직임(moving)을 위한 시스템을 별도로 구축해야 했습니다.

한 연구팀은 로봇의 행동과 그로 인해 발생하는 세상의 변화를 하나의 연속적인 이야기로 취급함으로써 이 간극을 메우기 위해 설계된 '리만-1.0(Riemann-1.0)'이라는 새로운 시스템을 선보였습니다. 이 모델은 무엇을 할지 결정하는 도구와 다음에 무슨 일이 일어날지 상상하는 도구를 따로 만드는 대신, 두 가지를 동시에 수행하는 법을 학습합니다. 이 모델은 단순하지만 강력한 원리에 기반하여 작동합니다. 즉, 현실 세계에서는 항상 행동이 먼저 일어나고 그 결과가 관찰된다는 점입니다. 로봇이 숟가락을 향해 손을 뻗는다면, 움직임이 먼저 발생하고 그에 따른 시각적 변화인 '숟가락의 이동'이 뒤따릅니다. 리만-1.0은 이 순서를 존중하도록 설계되었으며, 방대한 양의 비디오와 움직임 데이터를 통해 로봇이 다음에 무엇을 해야 하는지, 그리고 그 행동을 한 후에 세상이 어떻게 보일지를 정확히 예측하도록 학습합니다.

이 시스템을 가르치기 위해 연구진은 총 20만 시간 이상의 상호작용이 담긴 방대한 경험 라이브러리를 수집했습니다. 이 컬렉션은 단순히 로봇 영상의 더미가 아니라, 세 가지 다른 유형의 학습 자료를 정교하게 큐레이션한 혼합물입니다. 첫째, 요리나 청소와 같은 일상적인 과업을 수행하는 사람의 시점에서 촬영된 수천 시간의 영상을 포함했습니다. 이 영상들은 비록 로봇의 구체적인 기계적 데이터는 부족할지라도, 사물이 어떻게 상호작용하고 과업이 시간이 흐름에 따라 어떻게 전개되는지에 대한 폭넓은 이해를 제공했습니다. 둘째, 인간의 손 움직임이 어떻게 기계적인 제어로 변환되는지를 보여주는 가교 역할을 하는 핸드헬드 로봇 그리퍼와 웨어러블 장치의 시연 데이터를 추가했습니다. 마지막으로, 실제 로봇의 움직임을 정밀하게 기록한 데이터를 포함하여, 기계가 자신의 팔다리를 어떻게 움직여야 하는지 가르치는 데 필요한 정확하고 실행 가능한 지침을 제공했습니다. 이러한 소스들을 결합함으로써, 연구진은 모델이 인간 경험의 폭넓은 지혜로부터 배울 수 있는 동시에 그 지식을 로봇 제어의 정밀한 역학 관계에 접목할 수 있는 통합된 데이터셋을 구축했습니다.

리만-1.0의 학습 과정은 일반적인 관찰에서 구체적인 실행으로 나아가는 학교 커리큘럼처럼 구조화되었습니다. 첫 번째 단계에서 모델은 방대한 양의 인간 영상을 학습했습니다. 이 영상들에는 로봇의 움직임 데이터가 없었기 때문에, 시스템은 화면에 보이는 시각적 변화를 일으켰을 것이 분명한 보이지 않는 '행동'을 추정하는 보조 도구를 사용했습니다. 이를 통해 모델은 완벽한 로봇 데이터 없이도 세상이 어떻게 움직이는지에 대한 기본적인 역학을 학습할 수 있었습니다. 두 번째 단계에서 모델은 인간의 손과 로봇 그리퍼가 섞인 데이터를 접하며, 자신의 움직임에 대한 이해를 실제 물리적 제어와 일치시키는 법을 배웠습니다. 마지막으로 세 번째 단계에서 모델은 로봇이 과업을 수행하는 고품질의 기록에 집중했습니다. 이 최종 단계는 모델이 생성하는 명령이 단순히 시각적으로 그럴듯할 뿐만 아니라, 실제 기계가 수행 가능한 물리적인 명령이 되도록 정밀하고 실행 가능한 명령을 생성하는 능력을 날카롭게 다듬었습니다.

이러한 접근 방식의 결과는 놀라웠습니다. 컴퓨터 시뮬레이션과 실제 로봇 모두에서 다양한 과업을 테스트했을 때, 리만-1.0은 기존의 방법들을 상당한 차이로 앞질렀습니다. 여러 단계를 포함하는 길고 복잡한 과업을 테스트하기 위해 설계된 시뮬레이션에서, 이 모델은 62.6%의 성공률을 기록하며 기존의 최고 시스템들보다 눈에 띄는 개선을 보여주었습니다. 두 팔을 가진 로봇에 초점을 맞춘 또 다른 시뮬레이션에서는 94.3%의 성공률을 달enced했습니다. 가장 인상적인 점은, 색깔이 있는 블록 쌓기, 옷 접기, 어지러운 책상 정리, 주방 용품 배치 등의 과업을 수행하기 위해 실제 로봇에 배치되었을 때, 시스템이 85%의 확률로 과업을 성공적으로 완료했다는 것입니다. 또한, 루빅스 큐브를 상자에 넣거나 수건을 대야에 넣는 것과 같이 이전에 본 적 없는 새로운 상황에도 적응하는 탁월한 능력을 보이며 85%의 성공률을 기록했습니다.

단순히 로봇 컨트롤러 역할을 하는 것을 넘어, 리만-1.0은 시뮬레이터로서도 기능할 수 있습니다. 이 모델은 행동과 그 시각적 결과 사이의 인과 관계를 이해하기 때문에, 연구자들은 로봇이 특정 움직임을 수행했을 때 어떤 일이 일어날지 모델에게 물어볼 수 있습니다. 모델은 제공된 행동을 바탕으로 물체가 어떻게 움직이고 어디에 놓이게 될지, 즉 미래의 모습을 담은 비디오를 생성할 수 있습니다. 이러한 이중적 능력은 이 시스템이 로봇이 실제로 움직이기 전에 계획이 제대로 작동할지 확인할 수 있는 '결정하는 뇌'이자 '상상하는 마음'의 역할을 모두 수행할 수 있음을 의미합니다. 행동이 어떻게 변화를 일으키는지에 대한 실재적 근거를 바탕으로 물리적 세계의 미래를 예측하는 이 능력은, 인공지능이 물리적 세계에서 신뢰할 수 있는 파트너가 되는 데 있어 중요한 진전을 나타냅니다. 이 연구는 행동하는 법을 배우는 것과 세상이 어떻게 반응하는지를 배우는 것을 통합함으로써, 기계가 우리가 매일 수행하는 과업들에 대해 더욱 견고하고 일반화된 이해를 발달시킬 수 있음을 시사합니다.

기술 요약: Riemann-1.0

문제 정의

물리적 AI(Physical AI)의 개발에는 환경 인지, 세계 역학 모델링, 실행 가능한 액션 생성, 그리고 장기적 추론(long-horizon reasoning)을 통합할 수 있는 "체화된 뇌 모델(Embodied Brain Models)"이 필요합니다. 세계 행동 모델(World Action Models, WAMs)은 로봇의 행동과 세계 역학을 공동으로 모델링하는 유망한 패러다임으로 등장했으나, 기존 방식들은 체화된 경험을 확장하는 데 있어 두 가지 근본적인 한계에 직면해 있습니다:

데이터 이질성(Data Heterogeneity): 체화된 경험은 본질적으로 멀티모달이며 체화 형태(embodiment)에 의존적입니다. 기존의 사전 학습 전략은 특정 로봇 궤적에 밀접하게 결합되어 있는 경우가 많아, 대규모의 약지도 학습 기반 인간 데이터(예: 1인칭 시점 비디오)를 효과적으로 활용하거나 인간의 시연과 로봇 제어 공간 사이의 간극을 메우는 데 실패합니다.
모델링 패러다임의 한계: 공동 생성(joint generation), 비디오 우선 예측(video-first prediction), 또는 분리된 액션-비디오 모델링(decoupled action-video modeling)과 같은 현재의 WAM 공식은 관측, 로봇 상태, 액션을 단일한 인과적 과정 내에서 통합적으로 모델링하지 못합니다. 결과적으로, 이들은 단일 모델 내에서 효율적인 로봇 정책 학습과 인과적으로 일관된 액션 조건부 세계 시뮬레이션을 동시에 지원할 수 없습니다.

방법론

1. 통합 체화 데이터 인프라

데이터 이질성을 해결하기 위해, 저자들은 세 가지 상호 보완적인 소스에 걸친 200,000시간 이상의 체화된 경험 코퍼스를 구축했습니다:

1인칭 시점 인간 비디오 (20만 시간 이상): 확장 가능한 상호작용 지식과 장기적 과업 구조를 제공합니다.
핸드헬드 그리퍼/외골격 시연 (1.2만 시간 이상): 인간의 상호작용을 로봇 호환 제어 공간으로 연결합니다.
이질적 로봇 궤적 (2만 시간 이상): 정밀하고 체화 형태별로 특화된 실행 가능한 제어 감독 정보를 제공합니다.

**통합 체화 데이터 엔진(Unified Embodied Data Engine)**은 이러한 소스들을 표준화된 액션 레벨 궤적 표현으로 처리합니다. 주요 처리 단계는 다음과 같습니다:

시각 전처리: 어안 렌즈 보정 및 방향 정규화.
의미론적 주석(Semantic Annotation): 비디오를 과업 및 액션 레벨 클립으로 분해하는 계층적 VLM 기반 분해.
3D 손 재구성: 비디오 전용 데이터로부터 연속적인 3D 손 궤적을 도출하기 위해 MANO 기반 재구성과 카메라 포즈 추정(VGGT-Ω)을 사용하여 의사 액션(pseudo-action) 감독 정보를 생성.
의미론적 인식 균형(Semantic-Aware Balancing): 단순히 원시 데이터 양을 맞추는 것이 아니라, 의미론적 차원(장면, 기술, 객체)에 따라 샘플링하여 롱테일 분포를 처리.

2. Riemann-1.0: 완전 인과적 자기회귀 세계 행동 모델

Riemann-1.0은 로봇 상호작용을 다중 뷰 시각 관측( $z_t$ ), 로봇 상태( $s_t$ ), 그리고 체화 형태별 액션( $a_t$ )에 대한 통합된 완전 인과적 자기회귀 시퀀스로 공식화합니다.

아키텍처: 모델은 Flow Matching 목적 함수를 가진 Transformer 백본을 사용합니다. 시각적 잠재 표현을 위해 Wan VAE와 3D 패치 임베딩을 채택합니다.
인과적 인자 분해(Causal Factorization): 결합 확률은 다음과 같이 분해됩니다:
$p(a_{1:T}, z_{1:T} | z_0, s_0, c) = \prod_{t=1}^T p(a_t | z_{<t}, s_{<t}, a_{<t}, c) \cdot p(z_t | z_{<t}, s_{<t}, a_{\leq t}, c)$
결정적으로, 액션은 그에 대응하는 시각적 잠재값이 생성되기 전에 예측됩니다. 이 순서는 액션이 시각적 결과를 초래한다는 실제 세계의 인과 관계를 반영합니다.
이중 기능성:
- 정책으로서의 기능: 모델은 온라인으로 액션을 예측합니다. 이때 예측된 시각적 잠재값은 다음 단계를 위한 실제 환경 관측값으로 대체됩니다.
- 시뮬레이터로서의 기능: 모델은 후보 액션 궤적을 입력받아, 해당 액션들에 조건화된 미래의 시각적 잠재값(및 디코딩된 비디오)을 재귀적으로 생성함으로써 액션 조건부 세계 시뮬레이션을 가능하게 합니다.
체화 형태 처리: 모델은 통합된 백본을 공유하지만, 다양한 액션/상태 차원과 좌표계를 처리하기 위해 체화 형태별 선형 투영(linear projection) 및 예측 헤드를 사용합니다.

3. 점진적 체화 사전 학습

학습은 약지도 학습에서 실행 가능한 제어로 지식을 점진적으로 전이하는 3단계 커리큘럼을 따릅니다:

1단계: LAM-액션 부트스트랩(LAM-Action Bootstrap): 고정된 잠재 액션 모델(Latent Action Model, LAM)에 의해 생성된 **의사 액션(pseudo-actions)**을 사용하여 라벨이 없는 인간 비디오로 모델을 학습시킵니다. LAM은 프레임 사이의 시각적 전이를 나타내는 잠재 코드를 추론합니다. 액션 손실 가중치( $\lambda$ )는 0.1로 낮게 설정하여 광범위한 시각적 역학을 학습하는 데 집중합니다.
2단계: 궤적 기반 정렬(Trajectory-Grounded Alignment): UMI 시연, 로봇 궤적, 3D 손 주석이 포함된 인간 비디오가 혼합된 코퍼스로 모델을 미세 조정합니다. 이 단계는 이질적인 체화 형태 간의 잠재 액션 공간을 실제 실행 가능한 액션과 정렬합니다. 액션 가중치는 $\lambda=0.5$ 로 증가합니다.
3단계: 로봇 정책 강화(Robot-Policy Enhancement): 고품질 로봇 궤적만을 사용하여 모델을 학습시킵니다. 액션 가중치는 $\lambda=0.9$ 로 설정되어, 모델의 실행 가능한 액션 분포를 날카롭게 하고 실제 세계의 액추에이터 관례 및 접촉이 풍부한 실행에 맞춰 교정합니다.

주요 기여

완전 인과적 자기회귀 세계 행동 모델: 다중 뷰 관측, 상태, 액션을 단일 인과 시퀀스 내에서 공동으로 모델링하여, 단일 모델이 실행 가능한 로봇 정책과 액션 조건부 시각 세계 시뮬레이터로서 모두 기능할 수 있게 하는 새로운 공식을 제시했습니다.
점진적 체화 사전 학습 프레임로크: 이질적인 체화 경험(인간 비디오, 핸드헬드 데모, 로봇 궤적)을 공유된 목적 함수 아래 효과적으로 통합하여, 약지도 학습에서 정밀한 제어로 학습을 확장하는 3단계 학습 전략을 제시했습니다.
통합 체화 데이터 인프라: 20만 시간 이상의 이질적 데이터를 표준화된 액션 레벨 궤적 표현으로 변환하는 포괄적인 파이프라인을 구축하였으며, 여기에는 비디오 전용 데이터를 위한 3D 손 재구성이 포함됩니다.

실험 결과

Riemann-1.0은 시뮬레이션 벤치마크와 장기적 실세계 조작 과업 모두에서 평가되었으며, 최첨단(SOTA) 성능을 달럽했습니다:

시뮬레이션 벤치마크:
- RoboTwin 2.0: 성공률(SR) 94.3%를 기록하여 기존 최고 성능(94.1%)을 0.2%p 앞질렀습니다.
- LIBERO: 성공률 99.0%를 기록하여 기존 최고 성능(98.9%)을 0.1%p 앞질렀습니다.
- RoboCasa-365: 장기적 구성 벤치마크에서 62.6%의 성공률을 기록하며, 기존 최고 성능(54.2%)보다 8.4 퍼센트 포인트 높은 성과를 보였습니다.
실세계 조작:
- 네 가지 과업(순서대로 큐브 쌓기, 옷 접기, 책상 정리, 주방 정리)에 대해 평가되었습니다.
- 평균 **85.0%의 성공률(SR)**과 **94.4%의 진행 성공률(PSR)**을 달성했습니다.
- 가장 강력한 오픈 소스 베이스라인인 G0.5보다 성공률(SR) 측면에서 15 퍼센트 포인트 앞섰습니다.
- 강력한 구성적 일반화(본 적 있는 객체를 사용하되 보지 못한 과업 지시 수행 시 65.0% SR)와 분포 외(OOD) 성능(보지 못한 객체 및 장면에 대해 85.0% SR)을 입증했습니다.
시각 시뮬레이션: 모델은 다양한 로봇 기하 구조와 뷰포인트에 걸쳐 장면 구조를 유지하면서도 액션에 일관된 움직임을 보이는, 다중 체화 형태 및 액션 조건부 시각 롤아웃(rollout)을 성공적으로 생성했습니다.

의의 및 주장

본 논문은 **통합된 세계 행동 모델링(Unified World Action Modeling)과 점진적 체화 사전 학습(Progressive Embodied Pretraining)**의 결로 Riemann-1.0이 대규모 체화 경험을 일반화 가능한 로봇 조작 능력으로 효과적으로 전환할 수 있음을 보여준다고 주장합니다.

저자들은 시각적 역학과 실행 가능한 제어의 학습을 단일 인과적 프레임워크 내에서 통합하고, 점진적 커리큘럼을 통해 다양한 데이터 소스를 활용함으로써, 시각과 액션을 분리하거나 로봇 전용 데이터에만 의존했던 기존 방식의 한계를 극복했다고 설명합니다. 실험 결과는 모델이 라벨링된 로봇 궤적의 희소성에 제약을 받기보다, 체화된 경험을 확장함으로써 지속적으로 진화할 수 있는 물리적 AI를 향한 확장 가능한 경로를 제시합니다.