🤖 machine learning

Motus2: A Self-Evolving General World Model for Dexterous Manipulation

Motus2는 정책, 시뮬레이션, 평가를 하나의 폐쇄형 의사결정 및 학습 루프로 통합하여, 스케일링된 모델 아키텍처와 점진적으로 확장되는 멀티모달 데이터셋을 활용함으로써 전문가의 시연과 스스로 생성한 상호작용 데이터를 통해 지속적인 개선을 가능하게 하는 정교한 조작을 위한 자기 진화형 일반 세계 모델이다.

원저자: Hongzhe Bi, Zihao Zhou, Yihang Tang, Jingrui Pang, Shuhe Huang, Haitian Liu, Runqing Wang, Shuai Huang, Yichen Wang, Yiming Cheng, Ruowen Zhao, Zhenghua Li, Hengkai Tan, Xiaolong Liu, Jinhui Wan, Jiab

게시일 2026-09-01

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hongzhe Bi, Zihao Zhou, Yihang Tang, Jingrui Pang, Shuhe Huang, Haitian Liu, Runqing Wang, Shuai Huang, Yichen Wang, Yiming Cheng, Ruowen Zhao, Zhenghua Li, Hengkai Tan, Xiaolong Liu, Jinhui Wan, Jiabao Liu, Min Zhao, Fan Bao, Jun Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인간의 복잡하고 예측 불가능한 과업들을 진정으로 처리할 수 있는 로봇을 만들기 위해, 과학자들은 오랫동안 단순히 지시 사항의 목록을 따르는 것 이상의 시스템을 추구해 왔습니다. 목표는 주변 환경을 인지하고, 다음에 어떤 일이 일어날지 상상하며, 행동을 취하고, 그 결과로부터 배워 다음번에는 더 잘할 수 있는 기계를 만드는 것입니다. '월드 모델(world model)'로 알려진 이 개념은 로봇을 위한 내부 시뮬레이터 역할을 합니다. 로봇은 단순히 현재 보이는 것에 반응하는 대신, 실제로 움직이기 전에 자신의 움직임이 가져올 결과를 추측하기 위해 정신적 시뮬레이션을 실행합니다. 이러한 시스템의 초기 버전들은 미래를 예측하거나 동작을 제안할 수는 있었지만, 대개 '보고, 추측하고, 행동하고, 멈추는' 직선적인 방식으로 작동했습니다. 그들은 자신의 예측을 되돌아보고, 그 예측이 좋은지 나쁜지 판단하며, 매번 인간이 올바른 방법을 보여주지 않아도 스스로의 의사결정 능력을 개선할 수 있는 방법을 갖추지 못했습니다.

연구진은 이제 도구를 사용하거나 인간과 유사한 손으로 물체를 다루는 것과 같이 섬세하고 복잡한 과업을 위해 특별히 설계된 자가 진화형 로봇 두뇌인 Motus2라고 불리는 시스템을 선보였습니다. 이 시스템은 사고와 학습 사이의 고리를 닫는다는 점에서 중요한 진전을 의미합니다. Motus2는 단순한 관찰자나 수동적인 추종자가 아니라, 스스로의 스승 역할을 합니다. 이 시스템은 일련의 가능한 움직임을 제안하고, 그 움직임이 미래에 어떤 모습일지 시뮬레이션한 다음, 그 상상된 결과가 성공으로 이어질지 여부를 평가합니다. 만약 시뮬레이션이 실패를 보여준다면 로봇은 그 실수로부터 배웁니다. 만약 성공을 보여준다면 그 경로를 강화합니다. 이 순환 과정을 통해 로봇은 매 단계마다 인간의 가이드가 없어도 자신의 아이디어를 끊임없이 테스트하고 정교화함으로써, 자신의 정책(policy), 즉 행동을 위한 일련의 규칙을 스스로 개선할 수 있습니다.

이 시스템의 토대는 인간의 손에서 수집된 방대한 양의 데이터에 기반합니다. 연구진은 카메라가 사람의 머리에 장착된 것처럼 1인칭 시점에서 녹화된 영상을 사용하여 로봇이 세상과 어떻게 상호작용하는지 가르치는 것으로 시작했습니다. 요리부터 정리 정돈까지 다양한 과업을 담은 단순한 단안 렌즈 영상으로 시작하여, 이후 인간의 양안 시야와 유사하게 깊이감을 제공하는 동기화된 스테레오 영상으로 넘어갔습니다. 이를 통해 로봇은 손이 물체를 움켜쥐고, 들어 올리고, 조작하는 미묘한 물리 법칙을 학습할 수 있었습니다. 그러나 단순히 인간을 관찰하는 것만으로는 서로 다른 신체를 가진 로봇에게 충분하지 않습니다. 이에 연구진은 시스템이 인간의 움직임을 자신의 로보틱 팔과 손의 특정 메커니즘으로 변환하는 법을 배우는 중간 단계의 훈련을 유도했습니다. 이 과정에는 수천 시간의 인간 데이터와 더불어, 인간과 로봇이 어떻게 협력할 수 있는지에 대한 구체적인 사례를 보여주는 과정이 포함되었으며, 이는 인간의 직관과 로봇의 실행 사이의 간극을 효과적으로 메워주었습니다.

Motus2가 독특한 점은 이 지식을 사용하는 방식에 있습니다. 이 시스템은 동시에 세 가지 역할을 수행하는 하나의 통합된 모델을 중심으로 구축되었습니다. 첫째, 다음 행동을 제 제안하는 정책(policy) 역할을 합니다. 둘째, 해당 행동을 취한 후 세상이 어떻게 보일지 예측하는 시뮬레이터(simulator) 역할을 합니다. 셋째, 예측된 미래가 좋은지 나쁜지 판단하는 평가자(evaluator) 역할을 합니다. 전통적인 시스템에서는 이러한 기능들이 종종 분리되어 있거나 단절되어 있지만, 여기서는 긴밀하게 엮여 있습니다. 로봇이 어떤 움직임을 고려할 때, 즉각적으로 정신적 시뮬레이션을 실행하여 그 결과를 확인합니다. 그런 다음 그 결과가 바람직한지 스스로에게 묻습니다. 만약 답이 '아니오'라면, 그 경로를 버리고 다른 경로를 시도합니다. 만약 답이 '예'라면, 그 행동을 실행에 옮깁니다. 이러한 내부 대화는 매우 빠르게 일어나기 때문에, 로봇은 근육 하나 움직이기 전에 최선의 경로를 선택하며 몇 단계 앞을 계획할 수 있습니다.

연구진은 두 개의 팔, 두 개의 정교한 손, 그리고 인간의 손가락 끝과 유사한 촉감을 느낄 수 있는 센서를 갖춘 완전한 로봇 플랫폼을 통해 이 시스템을 테스트했습니다. 그들은 로봇에게 공을 특정 위치에 놓거나, 전구를 소켓에 돌려 끼우거나, 지우개를 펜에 부착하는 것과 같은 어려운 과업들을 부여했습니다. 이 테스트에서 내부 평가자를 사용하여 최선의 옵션을 선택하도록 허용했을 때 로봇의 성공률은 크게 향상되었습니다. 더욱 인상적인 것은, 시스템이 자신의 예측을 사용하여 스스로의 학습 규칙을 업데이트하도록 허용했을 때 작업 능력이 더욱 향상되었다는 점입니다. 로봇은 단순히 운이 좋았던 것이 아니라, 시뮬레이션된 실수를 피하고 성공을 시뮬레이션한 행동을 반복하는 법을 진정으로 배웠습니다.

이 성공의 핵심 요소 중 하나는 과업 도중 정보가 일시적으로 가려지더라도 이전의 일을 기억하는 로봇의 능력이었습니다. 많은 복잡한 작업에서는 손이 물체를 가리거나, 최종 결과가 보이기 훨씬 전에 중요한 단계가 발생할 수 있습니다. 이를 처리하기 위해 연구진은 로봇에게 과거의 중요한 시각적 세부 사항을 보유할 수 있는 작업 기억(working memory) 형태를 부여했습니다. 그들은 최근의 사건들을 짧게 굴리는 창(window) 방식을 유지하는 것부터 더 길고 상세한 이력을 유지하는 것까지 다양한 방식의 메모리 관리법을 테스트했습니다. 결과에 따르면, 더 긴 이력에 접근할 수 있는 기능이 로봇으로 하여로 더 긴 기간 동안의 사건 순서를 기억해야 하는 과업을 해결할 수 있게 해주었으며, 이는 과거를 회상하는 능력이 미래를 예측하는 능력만큼 중요하다는 것을 입증했습니다.

또한 이 시스템은 촉각을 위한 특화된 모듈을 포함했습니다. 시각은 강력하지만, 손잡이가 미끄러지고 있는지 또는 표면이 너무 부드러운지는 항상 알려주지 못합니다. 로봇은 촉각 피드백을 처리하기 위해 전담하는 경량 전문가 시스템을 갖추고 있었습니다. 이를 통해 로봇은 실시간으로 움직임을 정교하게 조정하고, 미끄러짐이나 압력의 변화를 느끼는 즉시 움켜쥐는 힘을 조절할 수 있었습니다. 시각, 촉각, 사고, 그리고 학습의 결합은 현실 세계의 불확실성을 다룰 수 있는 견고한 시스템을 만들어냈습니다.

이러로 된 결과는 진정으로 유능한 로봇으로 가는 길이 단순히 더 많은 데이터를 수집하는 것이 아니라, 그 데이터를 사용하여 스스로를 의심하고 개선할 수 있는 시스템을 구축하는 데 있다는 것을 시사합니다. 대규모 인간 상호작용 데이터와 예측 및 평가의 자가 교정 루프를 결합함으로써, Motus2는 로봇이 이전에는 도달할 수 없었던 수준의 적응력을 가지고 물리적 세계를 조작할 수 있음을 보여주었습니다. 연구진은 훈련에 사용된 스테레오 영상의 양을 늘릴수록 인간의 행동을 예측하는 로봇의 능력이 일관되고 예측 가능한 방식으로 향상된다는 것을 발견했습니다. 이러한 확장은 더 많은 데이터가 있다면 이러한 시스템이 훨씬 더 능숙해질 수 있음을 시사합니다. 궁극적으로, 이 연구는 로봇이 모든 문제에 대한 모든 가능한 해결책을 프로그래밍받을 필요는 없다는 것을 보여줍니다. 대신, 미래를 시뮬레이션하고, 결과를 판단하며, 그 차이로부터 배울 수 있다면, 로봇은 복잡하고 정교한 세상을 마주하기 위해 스스로의 기술을 진화시킬 수 있습니다.

기술 요약: Motus2 – 숙련된 조작을 위한 자기 진화형 일반 세계 모델 (A Self-Evolving General World Model for Dexterous Manipulation)

문제 정의

일반적인 체화된 에이전트(embodable agents)는 인지, 예측, 행동, 평가 및 개선이 가능한 통합된 시스템을 필요로 한다. 세계 모델(world models)은 유망한 가능성을 보여주지만, 기존 방식들은 시뮬레이터에 액션 출력 헤드를 추가할 뿐 이를 폐쇄형 의사결정 및 학습 루프(closed decision-and-learning loop)로 결합하지는 못한다. 현재의 로봇 파운데이션 모델은 정교하게 큐레이션된 액션 지도 학습 데이터셋에 크게 의존하고 있으며, 이는 대규모로 수집하기에 비용이 많이 든다. 결정적으로, 모방 학습(imitation learning)만으로는 특정 행동이 좋은지 나쁜지를 평가하는 메커니즘이 부족하며, 에이전트 자신의 결과물을 바탕으로 정책을 개선할 수 있는 경로를 제공하지 못한다. 또한, 부분 관측성(자기 가림 현상), 모호한 접촉 이벤트(예: 손가락 끝의 미끄러짐), 그리고 짧은 관찰 창을 넘어서는 시간적 문맥의 필요성 때문에 인간의 상호작용 사전 지식(priors)을 숙련된 로봇으로 전이하는 것은 매우 어렵다.

방법론

Motus2는 정책(policy), 시뮬레이션(simulation), 평가(evaluation)를 하나의 공유된 파라미터 아키텍처 내에 통합하는 **자기 진화형 일반 세계 모델(GWM)**을 도입함으로써 이러한 과제들을 해결한다. 이 접근 방식은 두 가지 축의 스케일링을 기반으로 한다: 데이터 스케일링(계층적 에고센트릭 인간 데이터)과 모델 스형(폐쇄 루프 정책 개선).

1. 통합 아키텍처 및 제어 인터페이스

Motus2는 단일 비디오-액션 백본(파운데이션 비디오 확산 모델 기반)을 활용하며, 공유된 파라미터 세트를 통해 세 가지 뚜렷한 제어 인터페이스를 노출한다:

정책 (World–Action Model): 언어, 현재 고유 수용 감각(proprioception), 시각적 문맥을 조건으로 실행 가능한 액션 청크(action chunks)를 생성한다.
시뮬레이터 (Action-Conditioned World Model): 현재 상태와 제안된 액션이 주어졌을 때 미래의 시각적 관측치를 예측한다.
평가자 (Value Model): 예측된 미래의 결과를 평가하여 작업 진행도를 추정한다.

이러한 인터페이스들은 결합 밀도 $p_\theta(A_t, Z_t, Y_t | c_t)$ 의 특정한 인수분해를 통해 구현된다. 여기서 $A_t$ 는 액션 청크, $Z_t$ 는 잠재적 미래 관측치, $Y_t$ 는 이산화된 작업 진행도 값이다. 모델은 학습 및 추론 시 **액션 우선 마스크(action-first mask)**를 사용하여, 액션 토큰이 자신의 청크 내에 있는 미래의 비디오나 가치(value) 토큰에 접근할 수 없도록 함으로써 인과적 일관성을 보장한다.

2. 데이터 스케일링 및 커리큘럼

학습 커리큘럼은 계층적 데이터 피라미드를 통해 진행된다:

사전 학습 (Pre-training): 광범위한 상호작용 사전 지식을 학습하기 위해 저해상도에서 고해상도로 이어지는 대규모 단안(monocular) 에고센트릭 데이터로 시작한다. 그 후, 암시적인 깊이 힌트와 더 정확한 3D 손 포즈 추정을 제공하는 동기화된 스테레오(stereo) 에고센트릭 데이터로 전환한다.
중간 학습 (Robot Domain Adaptation): 로봇 궤적과 인간-로봇 정렬 데이터를 보완하여 로봇 도메인에 모델을 접지(grounding)시킨다.
감독 라우팅 (Supervision Routing): 핵심적인 혁신은 감독 대상의 분리이다. 큐레이션된 성공적인 궤적은 액션 학습(모방)을 감독한다. 반면, 실패하거나 차선의 상호작용은 시뮬레이터와 평가자 브랜치로 라우팅된다. 이를 통해 모델은 바람직하지 않은 행동을 재현하도록 배우지 않으면서도, 실패로부터 역학(dynamics)과 가치 함수를 학습할 수 있다.

3. 폐쇄 루프 학습을 통한 자기 진화

Motus2는 폐쇄형 의사결정 및 학습 루프를 구현한다:

가치 유도 감독 (Value-Guided Supervision): 평가자는 상대적 진행도 타겟을 가지고 학습된다. 성공적인 구간은 진행도에 비례하는 양의 보상을 받는 반면, 실패하거나 작업과 무관한 구간은 음의 보상을 받는다.
모델 기반 강화 학습 (MBRL): DiffusionNFT를 사용하여, 시스템은 평가자로부터 얻은 스칼라 가치 추정치를 정책 업데이트로 변환한다. 높은 가치를 가진 후보 액션은 정책 분포를 강화하고, 낮은 가치를 가진 액션은 이를 밀어낸다.
테스트 타임 플래닝 (Test-Time Planning): 시스템은 여러 액션 후보를 생성, 시뮬레이션 및 평가자가 점수를 매기는 Best-of-N 플래닝을 지원한다. 가장 높은 점수를 받은 브랜치가 실행되며, 이를 통해 정책 가중치를 수정하지 않고도 온라인 선택이 가능하다.

4. 장기 호라이즌 및 접촉을 위한 확장

작업 기억 (Working Memory): 부분 관측성과 장기 호라이즌 작업을 해결하기 위해, Motus2는 슬라이딩 윈도우 문맥을 구현하며 두 가지 확장 기능을 갖는다: 글로벌 자기회귀(Global Autoregression) (모든 이력을 유지) 및 하이브리드 작업 기억(Hybrid Working Memory) (앵커 프레임과 압축된 지속적 토큰을 유지).
촉각 전문가 (Tactile Expert): 가볍고 빠른 촉각 피드백을 사용하여 실행 직전에 액션 청크를 정교화하고, 미래의 힘(force) 신호를 예측함으로써 전체 백본을 다시 실행하지 않고도 접촉 인지 제어를 가능하게 한다.

주요 기여

숙련된 조작을 위한 일반 세계 모델: Motus2는 실행 가능한 액션, 액션 조건부 미래, 그리고 작업 진행도 값을 단일 공유 파라미터 모델 내에서 공동으로 모델링한다. 이 모델은 정책, 시뮬레이터, 평가자를 독특하게 통합하며, 접촉 민감한 실행을 위해 촉각 전문가에 의해 지원된다.
에고센트릭 데이터 스케일링 및 전이: 본 논문은 단안 데이터 학습 후 스테레오 데이터, 그리고 마지막으로 로봇 도메인 적응으로 이어지는 스케일링 트렌드를 입증한다. 이는 스테레오 인간 데이터가 숙련된 조작을 위해 효과적으로 스케일링됨을 보여준다.
가치 유도 폐쇄 루프 자기 진화: 이 프레임워크는 모방과 다른 상호작용 증거를 분리하여, 실패를 역학 및 가치 학습에 활용한다. 이는 모델 기반 플래닝(Best-of-N)과 정책 최적화(MBRL)를 단일 아키텍처 내에서 결적으로 결합하여, 지도 모방 이상의 성능을 끌어내는 데 성공했다.

실험 결과

실험은 스테레오 비전, 듀얼 암, 숙련된 핸드를 갖춘 완전한 생체 모방 플랫폼에서 수행되었으며, 물체 놓기, 전구 돌려 끼우기, 다지(multi-finger) 움켜쥐기 등의 작업을 포함했다.

성능 향상: 일반 비디오 모델(WAN-SFT)으로 초기화된 베이스라인 지도 미세 조정(SFT) 모델과 비교했을 때, Motus2(Midtrain-SFT)는 매크로 평균 성공률 **84%**를 달-성했다. 이는 사전 학습 전용 모델의 51%와 베이스라인의 0%에서 크게 향상된 수치이다.
스케일링 법칙: 스테레오 에고센트릭 데이터(2k ~ 20k 시간)에 대한 실험을 통해, 데이터 볼륨이 증가함에 따라 검증 오차가 단조 감소하는 로그 선형 스케일링 법칙을 확인하였으며, 이는 단안 관측에서 스테레오 관측으로 확장된 이전의 발견을 뒷받
정책 개선: Best-of-N 플래닝을 추가하면 성공률이 2.5 포인트 향상되었다. MBRL을 추가하면 7.5 포인트가 향상되었다. 두 가지를 모두 결 조합했을 때는 기본 Motus2 모델보다 10 포인트의 이득을 얻었으며, 이는 추론 시 선택과 정책 분포 업데이트 모두가 성능에 기여함을 입증한다.
문맥 및 촉각: 연구는 장기 호순 문맥 메커니즘(하이브리드 메모리)과 촉각 피드백이 가림 현상 및 접촉이 빈번한 조작 작업에 있어 매우 중요하다는 것을 확인했다.

의의

본 논문은 Motus2가 자기 진화형 숙련 조작을 향한 일반적인 경로를 제공한다고 주장한다. 예측, 행동, 평가를 단일 모델로 통합하고 실패를 포함한 이질적인 상호작용 데이터를 활용함으로써, 이 시스템은 정적인 모방 학습을 넘어선다. 이는 일반적인 세계 모델이 단순히 미래를 시뮬레이션할 뿐만 아니라, 그 시뮬레이션을 사용하여 자신의 정책을 반복적으로 개선할 수 있음을 보여주며, 스스로 개선하는 메커니즘이 결여된 현재의 로봇 파운데이션 모델의 핵심 한계를 해결한다. 이 연구는 데이터(단안에서 스테레오, 로봇 정렬으로)와 모델 능력(폐쇄 루프 학습을 통해)을 모두 스케일링하는 것이 유능한 일반 체화된 에이전트를 구축하기 위한 실행 가능한 전략임을 시사한다.