🤖 AI

Towards Predictive, Aligned, and Scalable Robot Learning

이 논문은 잠재 공간을 구조화하고 행동, 시각, 언어 간의 교차 모달 일관성을 보장하기 위해 다단계 사전 정렬 전략을 채택함으로써 복잡한 실제 작업에서 우수한 예측 추론 및 제어 성능을 달성하는 경량 잠재 세계-행동 모델인 Lumo-2를 소개한다.

원저자: Peijun Tang, Shangjin Xie, Baifu Huang, Binyan Sun, Haotian Yang, Kuncheng Luo, Weiqi Jin, Shilin Fang, Jianan Wang

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peijun Tang, Shangjin Xie, Baifu Huang, Binyan Sun, Haotian Yang, Kuncheng Luo, Weiqi Jin, Shilin Fang, Jianan Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 커피 만드는 법을 가르친다고 상상해 보세요. 예전 방식은 로봇에게 모든 단계를 암기하게 하는 거대하고 경직된 레시피 북을 주는 것과 같았습니다: "컵을 집어라, 왼쪽으로 5cm 이동하라, 따라라." 만약 컵이 조금이라도 다르거나 빛의 밝기가 변하면, 로봇은 혼란에 빠져 모든 것을 쏟아버렸습니다. 그것은 마치 의미를 이해하지 못한 채 소리만 흉내 내는 앵무새와 같았습니다.

Astribot 팀(Lumo-2의 창시자들)은 더 나은 방법을 제시합니다: 로봇이 단순히 단계를 암기하는 대신, 미래를 상상하는 법을 배워야 한다는 것입니다.

"시간 여행을 하는" 로봇

Lumo-2를 단순히 '지금 보이는 것'에 반응하는 로봇이 아니라, 뇌 속에 "타임머신"을 가진 로봇이라고 생각해보세요. 이 로봇은 커피 컵을 볼 때 단순히 컵을 보는 것이 아닙니다. 즉각적으로 몇 초 뒤의 미래를 시뮬레이션합니다. 로봇은 스스로에게 묻습니다. "내가 이 컵을 잡으면 다음에 어떤 일이 벌어질까? 컵이 쓰러질까? 커피가 튈까?"

이것이 논문의 핵심 발견입니다: 로봇이 숨겨진 압축된 "잠재 공간"(latent space라고 불리는) 안에서 세상이 어떻게 변하는지(예: 물이 쏟아지거나 공이 구르는 것)를 예측하도록 훈련함으로써, 로봇은 까다로운 실제 세계의 과업들을 훨씬 더 똑똑하게 처리할 수 있게 됩니다. 이는 로봇이 머릿속에서 시나리오를 "미리 실행해 보는" 능력이 이전에 본 적 없는 문제들을 추론하는 데 도움이 된다는 점을 시사합니다.

기존 방식의 결함

이 논문은 로봇이 단순히 보이는 것을 완벽하게 복제하기만 하면 된다는 생각에 명시적으로 반대합니다. 이전의 방법들은 로봇이 동작을 완벽하게 "재구성"하도록 만들려고 노력했습니다. 예를 들어, 손이 움직이는 모습을 선 하나하나까지 완벽하게 일치하도록 그리는 것과 같습니다. 저자들은 이러한 접근 방식이 함정이라는 것을 발견했습니다. 이 방식은 로봇이 실제로 그 동작이 무엇을 하는가라는 큰 그림보다는, (빛의 미세한 색조와 같은) 사소하고 중요하지 않은 세부 사항에 집중하게 만듭니다.

또한, 로봇이 똑똑해지기 위해 미래의 고화질 영상을 생성해야 한다는 생각도 배제했습니다. 미래의 전체 영화를 생성하는 것은 너무 느리고 무겁습니다. 대신, Lumo-2는 미래에 대한 아주 작고 추상적인 "스케치"만으로도 로봇의 손을 안내하기에 충분하다고 제안합니다.

3단계 훈련 캠프

로봇을 이 정도 수준의 지능으로 만들기 위해, 팀은 단순히 데이터만 쏟아붓지 않았습니다. 그들은 비디오 게임에서 레벨을 올리는 것처럼 영리한 3단계 훈련 캠프를 사용했습니다:

1단계: "물리 법칙 체육관"
먼저, 로봇에게 세상이 어떻게 움직이는지 가르쳤습니다. 로봇에게 세상이 움직이는 영상(예: 공이 떨어지는 모습)을 보여주고, 그 현상을 일으키기 위해 로봇의 손이 어떻게 움직여야 하는지 추측하게 했습니다. 이를 통해 로봇의 뇌 속에 "세계 역학(world dynamics)" 지도를 만들었습니다. 즉, 모든 픽셀을 다 보지 않고도 인과관계를 이해하는 방법을 배운 것입니다.
2단계: "언어 및 시각 수업"
다음으로, 로봇에게 말하기와 보기 기능을 가르쳤습니다. 로봇의 "물리 지도"를 눈(시각) 및 언어 능력과 연결했습니다. 이제 "물을 따라라"라고 말하면, 로봇은 단순히 단어를 듣는 것이 아니라, 물을 따르는 물리적 느낌과 물이 흐르는 시각적 이미지를 즉각적으로 연결합니다. 이 단계는 로봇이 단순히 관절을 어떻게 움직이는지가 아니라, 자신이 무엇을 하고 있는지를 이해하도록 보장합니다.
3단계: "그랜드마스터 토너먼트"
마지막으로, 수백만 개의 영상, 로봇 데이터, 그리고 언어 지침을 모두 쏟아부었습니다. 로봇이 움직이기 전에 미래를 예측하도록 훈련했습니다. 여기서 로봇은 칵테일을 만들거나 여행 가방을 싸는 것과 같이, 다음에 무엇을 할지 알기 위해 세 단계 전의 행동을 기억해야 하는 복잡한 과업들을 수행하는 법을 배웠습니다.

결과: 더 똑똑하고, 빠르고, 유연하게

논문은 이를 정밀하게 측정했습니다. Lمو-2를 22가지의 실제 환경 과제(구르는 공 잡기, 달걀 뒤집기, 회전하는 선반 위에 큐브 쌓기 등)로 테스트했을 때, 거의 모든 카테고리에서 기존의 최고 성능을 가진 로봇들( $\pi0.5$ 및 Fast-WAM)을 앞질렀습니다.

속도: 새로운 사고 방식 덕분에 로봇은 더 빠르게 판단했습니다. 기존 방식처럼 동작을 결정하는 데 253.66 ms가 걸렸던 반면, Lumo-2는 단 93.53 ms밖에 걸리지 않았습니다. 이는 2.71배의 속도 향상을 의미하며, 로봇이 거의 3배 더 빠르게 반응할 수 있음을 뜻합니다.
일반화: 로봇은 "보지 못한" 물체와 명령을 처리할 수 있었습니다. 만약 "고칼로리 음료를 바구니에 넣어라"라고 명령하면, 로봇은 해당 특정 병을 본 적이 없더라도 어떤 것이 고칼로리 음료인지 스스로 파악해 냈습니다.
인간으로부터의 전이: 연구진은 로봇이 인간의 영상(예: 휴대폰 카메라로 찍은 커피 만드는 영상)으로부터 학습하여 그 지식을 자신의 로봇 몸체에 적용할 수 있다는 점도 보여주었습니다. 이는 로봇이 인간의 직접적인 도움 없이도 인터넷을 통해 학습할 수 있음을 시사합니다.

핵심 요약

저자들은 로봇을 진정으로 똑똑하게 만드는 비결은 단순히 더 많은 데이터나 더 좋은 카메라를 주는 것이 아니라고 주장합니다. 그것은 바로 "잠재 세계 모델(latent world model)"을 부여하는 것, 즉 내부적으로 미래를 시뮬레이션하고 그 예측에 맞춰 자신의 행동을 정렬하는 능력을 주는 것입니다. 비록 세상의 모든 로봇 문제를 해결한 것은 아니지만, 그들의 실험은 이러한 "예측적 추론(predictive reasoning)" 접근 방식이 예측 불가능하고 복잡한 실제 세계를 다룰 수 있는 로봇을 만드는 데 있어 근본적인 열쇠임을 강력하게 시사합니다.

기술 요약: 예측 가능하고, 정렬되었으며, 확장 가능한 로봇 학습을 향하여 (Lumo-2)

문제 정의

현재의 체화된 지능(Embodied Intelligence) 시스템, 특히 시각-언어-행동(VLA) 및 월드-액션 모델(WAM)은 일반화, 시간적 추론, 그리고 교차 모달 정렬 측면에서 상당한 과제에 직면해 있습니다.

명시적 추론의 한계: Lumo-1과 같은 이전 방식들은 명시적인 텍스트 추론(coarse-to-fine 계획)에 의존했는데, 이는 유연성이 부족하고 확장성이 낮으며 추론 지연 시간이 길다는 단점이 있습니다.
행동 모달리티의 불일치: 표준 VLA/WAM 모델에서 행동 모달리티는 종종 충분히 탐구되지 않습니다. 행동 토큰은 일반적으로 낮은 수준의 신호 충실도(재구성)를 위해 최적화되며, 시각 및 언어와의 의미론적 정렬을 목표로 하지 않습니다. 이는 재구성 품질과 다운스트림 제어 성능 사이의 불일치를 초래합니다.
단일 타임스텝 관측의 모호성: 순간적인 관측은 부분적 관측 가능성과 시간적 모호성(예: 물을 따르는 작업처럼 동일한 시각적 상태가 서로 다른 단계에 해당하는 경우)으로 인해 기저의 시스템 상태를 결정하기에 불충분한 경우가 많습니다.
확장성 및 데이터 효율성: 기존 모델들은 특수한 전이 학습 메커니즘 없이 다양한 데이터 소스(예: 인간 비디오, 교차 체화 로봇 데이터)를 효과적으로 활용하는 데 어려움을 겪으며, 본 적 없는 물체나 복잡한 장기 과제에 대한 일반화에 실패하곤 합니다.

방법론: Lumo-2

저자들은 명시적인 텍스트 추론을 **잠재 추론(latent reasoning)**으로 대체하는 일반론적인 잠재 월드-액션 모델인 Lumo-2를 소개합니다. 핵심 가설은 행동 생성의 품질이 잠재 공간의 기하학적 구조에 의해 결정되며, 이 구조는 점진적인 다중 모달 정렬을 통해 형성되어야 한다는 것입니다.

1. 핵심 아키텍처 및 잠재 추론

Lumo-2는 Qwen3.5-4B 파운데이션 모델을 기반으로 구축되었습니다. 모델은 관측으로부터 행동을 직접 예측하는 대신, 먼저 **잠재 월드 역학 표현( $\phi$ )**을 추론합니다.

잠재 월드 역학: 이 표현은 물리적으로 근거가 있는 시각적 전이와 행동에 의해 유도될 수 있는 미래의 가능성을 포착합니다. 이는 행동과 관련된 정보를 인코딩하면서 행동과 무관한 중복성(예: 조명 변화)을 필터링하는 암시적 추론 브릿지 역할을 합니다.
컨텍스트 차별화: 지각적 모호성을 해결하기 위해, 모델은 과거의 행동과 관측으로 구성된 시간적 컨텍스트 버퍼( $\omega_{t-H':t}$ )인 단기 기억 메커니즘을 포함하여 현재 실행 단계를 추론할 수 있게 합니다.
블록 단위 자기회귀(Block-wise Autoregression, BAR): 추론 지연 시간을 해결하기 위해 모델은 블록 단위 인과적 어텐션 마스크를 사용합니다. 토큰을 하나씩 생성하는 대신, 행동 토큰 블록을 병렬로 예측하여 표준 자기회귀 디코딩 대비 2.71배의 엔드 투 엔드 추론 속도 향상을 달면합니다.

2. 3단계 점진적 훈련 패러다임

훈련 과정은 잠재 공간을 구조화하기 위해 정렬 난이도가 높아지는 커리큘럼을 따릅니다.

1단계: 잠재 월드 역학과의 사전 정렬
- 목표: 물리적으로 근거가 있는 잠재 공간을 구축하고 컨텍스트 인식 행동 인코더를 확보합니다.
- 방법: 특징 융합(feature fusion)과 양방향 제약을 갖춘 공동 훈련 패러다임을 사용합니다. 시각 기반 역역학 모델(Inverse Dynamics Model, IDM)이 프레임 간 시각적 변화를 잠재 공간( $Z^V_t$ )으로 인코딩합니다. 이 잠재 공간은 행동 디코더에 주입되어 행동을 재구성하며, 동시에 행동 잠재 변수( $Z^A_t$ )가 시각적 표현을 규제합니다. 이를 통해 시각적 역학이 물리적 움직임을 예측하고, 행동이 글로벌 컨텍스트에 근거하도록 강제합니다.
- 데이터: 자체 수집된 Astribot S1 데이터, 교차 체화 로봇 데이터(AGIBot, Galaxea 등), 그리고 에고센트릭(egocentric) 인간 비디오(Ego4D, EPIC-KITCHENS)를 사용합니다.
2단계: 시각 및 언어와의 의미론적 정렬
- 목표: 행동 토큰을 의미론적으로 풍부한 표현으로 변환하고 V-L-A 모달리티를 통합합니다.
- 방법: 의미론적 모듈과 다중 작업 학습을 도입합니다. 행동 인코더는 의미론적으로 풍부한 토큰( $A_s$ )을 생성하도록 확장됩니다.
- 작업: 행동 재구성, 행동 이해(시각+행동으로부터 텍xt 생성), 시각-언어 가이드 행동 생성, 그리고 교차 모달 예측/판별을 포함합니다. 이 단계는 행동 토큰이 의미론적 해석 가능성을 갖게 하고 VLM의 임베딩 공간과 정렬되도록 보장합니다.
3단계: 대규모 공동 훈련
- 목표: 체계적인 이해, 투영 및 제어를 가능하게 합니다.
- 방법: 다음을 포함하는 방대한 코퍼스에 대해 공동 훈련을 수행합니다:
  - VLM 데이터: 위치 파악, 인지, 계획에 집중된 고품질 시각-언어 데이터(FineVision, EO-Data1.5M).
  - 비디오 데이터: 광범위한 월드 역학을 학습하기 위한 일반 인터넷 및 에고센트릭 비디오.
  - 로봇 데이터: 다양한 조작 작업.
- 전략: 모델은 사전 정렬된 의미 공간을 활용하여 잠재 월드 역학과 행동 청크를 동시에 예측하도록 훈련됩니다.

주요 기여

잠재 월드-액션 모델: 명시적인 추론 궤적을 암시적이고 예측적인 추론으로 대체하여, 월드 역학을 위한 압축된 잠재 공간을 사용하여 행동 생성을 가이드하는 새로운 정식화입니다.
다단계 모달리티 사전 정렬: 행동 모달리티를 월드 역학, 시각 및 언어와 정렬하는 체계적인 접근 방식입니다. 이는 교차 모달 일관성을 강제하고 추상화를 촉진함으로써 "재구성 대 제어"의 불일치 문제를 해결합니다.
확장 가능한 훈련 레시피: 이질적인 데이터 소스(로봇, 인간, 인터넷 비디오)를 성공적으로 통합하고 효과적으로 확장하는 3단계 훈련 패러다임을 제시하며, 구조화된 정렬이 일반화 능력을 향상시킨다는 것을 입증했습니다.
효율적인 추론: 블록 단위 자기회귀(BAR)의 도입은 월드 모델링의 이점을 희생하지 않으면서도 추론 지연 시간을 크게 줄여 실시간 제어를 가능하게 합니다.

실험 결과

저자들은 Astribot S1 양팔 이동 로봇을 사용하여 시간적 추론, 물리적 이해, 제어 복잡성으로 분류된 22가지 실제 환경 작업에서 Lumo-2를 평가했습니다.

벤치마크 성능: Lumo-2는 모든 카테고리에서 강력한 베이스라인( $\pi0.5$ $π 0.5$ 및 Fast-WAM)을 일관되게 능가했습니다.
- 시간적 추론: 동적 장면 반응(예: 공 잡기) 및 메모리 집약적 작업(예: 물 따르기, 화이트보드 지우기)에서 상당한 이득을 얻었으며, 모델은 시각적으로 유사한 상태를 성공적으로 구별해 냈습니다.
- 물리적 이해: 인과적 추론이 필요한 작업(예: 계란 뒤집기, 못 박기)에서 탁월한 성능을 보였으며, 베이스라인 모델들은 제한된 행동 공간이나 물리적 사전 지식 부족으로 인해 실패하는 경우가 많았습니다.
- 장기 및 정교한 조작: Lumo-2는 "커피 만들기"나 "여행 가방 싸기"와 같은 복잡한 시퀀스에서 단계 인식을 유지하고 중간 실패로부터 회복하며 완벽에 가까운 실행력을 보여주었습니다.
일반화: 모델은 본 적 없는 물체와 지침에 대해 강력한 퓨샷(few-shot) 적응 및 일반화 능력을 보여주었습니다.
인간-로봇 전이: 특수한 전이 학습 없이도 인간 시연 데이터(VisionPro 및 멀티뷰 에고센트릭 비디오)를 통한 공동 미세 조정(co-finetuning)이 본 적 없는 물체에 대한 성능을 크게 향상시켜, 다양한 데이터 소스를 활용하는 모델의 능력을 검증했습니다.
확장 및 정렬: 절제 연구(ablation studies)를 통해 2단계 사전 정렬 전략이 1단계 단독 토큰화에 비해 더 낮은 행동 재구성 오차와 더 나은 의미론적 판별성을 제공함을 확인했습니다.

의의

본 논문은 구조화된 다중 모달 정렬과 결합된 예측적 추론이 일반화 가능한 체화된 지능을 발전시키기 위한 근본적인 원칙이라고 주장합니다. 행동 모달리티를 "일급 시민(first-class citizen)"으로 취급하고, 이를 물리적으로 근거가 있는 잠재 월드 역학 공간과 점진적으로 정렬함으로써, Lumo-2는 인지, 추론, 제어 사이의 간극을 메우는 통합된 프레임워크를 달성합니다. 이 연구는 단순한 재구성 목적 함수를 넘어 의미론적으로 구조화된 잠재 공간으로 나아가는 것이 로봇이 미래의 가능성을 추론하고 더 강력하고 확장 가능한 방식으로 복잡한 장기 과제를 수행할 수 있게 함을 시사합니다.