💻 computer science

World Action Planner: Generalizable Decision-Making with Action-Conditioned World Models

이 논문은 시각-언어 모델(Vision-Language Models)과 다중 작업 포즈-이미지 조건부 월드 모델(multi-task pose-image conditioned world model)을 결합하여 에이전트가 상상된 롤아웃(imagined rollouts)을 통해 행동 계획을 반복적으로 정교화할 수 있도록 함으로써, 최첨단 엔드 투 엔드 정책(end-to-end policies) 대비 새로운 장면과 작업에 대해 우수한 일반화 성능을 달성하는 로봇 계획 시스템인 World Action Planner를 소개한다.

원저자: Xiangcheng Zhang, Yilun Du

게시일 2026-07-31

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Xiangcheng Zhang, Yilun Du

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 요리하는 법을 가르치고 있다고 상상해 보세요. 옛날 방식이라면, 여러분은 로봇에게 양파를 써는 법을 정확히 보여주기 위해 자신의 손 동작을 수천 번 녹화해서 보여주려 했을 것입니다. 로봇은 그 특정 동작들을 완벽하게 암기할 것입니다. 하지만 만약 여러분이 양파를 왼쪽으로 2인치 옮기거나, 양파 대신 당근을 썰라고 요청한다면, 로봇은 아마 혼란에 빠질 것입니다. 양파가 있던 빈 공간을 향해 손을 뻗거나, 양파를 썰 때 했던 특이한 손목 비틀기 동작을 그대로 당근에 적용하려 들 것입니다. 이것이 바로 많은 현대 로봇들이 가진 문제입니다. 그들은 본 것을 복사하는 데는 뛰어나지만, 상황이 변했을 때 어떻게 행동해야 하는지 생각하는 데는 형편없습니다.

이를 해결하기 위해, 과학자들은 로봇이 행동하기 전에 "상상"할 수 있도록 만드는 방법을 연구하고 있습니다. 이것은 체스 선수가 단순히 수를 외우는 것이 아니라, 어떤 수가 함정으로 이어질지 확인하기 위해 몇 수 앞의 보드 상황을 시각화하는 것과 같습니다. 이 논문은 **월드 액션 플래너(World Action Planner)**라는 새로운 시스템을 소개합니다. 이 시스템은 두 가지 강력한 도구를 결합합니다. 하나는 언어와 논리를 이해하는 "두뇌"(똑똑한 비서와 같은 역할)이고, 다른 하나는 물리적 세계를 시뮬레이션할 수 있는 "꿈 기계"입니다. 단순히 인간의 움직임을 복사하는 대신, 이 로봇은 다양한 미래를 상상하고, 그것이 안전한지 확인하며, 가장 좋은 것을 선택함으로써 행동을 계획합니다. 이는 마치 로봇에게 팔을 너무 높이 들거나 물체를 잘못된 각도로 잡았을 때 정확히 어떤 일이 벌어질지를 보여주는 수정구슬을 쥐여주는 것과 같으며, 이를 통해 인간이 매번 새로운 기술을 보여줄 필요 없이 실시간으로 학습하고 적응할 수 있게 해줍니다.

꿈꾸는 로봇: 월드 액션 플래너의 작동 원리

**월드 액션 플래너(World Action Planner)**를 만나보세요. 이 로보틱스 계획 시스템은 까다로운 문제를 해결하기 위해 설계되었습니다. 즉, 로봇에게 새로운 방에서 새로운 작업을 수행하는 법을 처음부터 다시 학습시키지 않고 어떻게 가르칠 것인가 하는 문제입니다. 저자인 하버드 대학교의 장샹청(Xiangcheng Zhang)과 이룬 두(Yilun Du)는 단순히 암기하는 것이 아니라 추론하는 시스템을 제안합니다.

그 비결은 서로 다른 두 부분의 파트너십에 있습니다. 첫 번째는 **VLM 에이전트(Vision-Language Model, 시각-언어 모델)**입니다. 이것을 로봇의 "전략가"라고 생각하세요. 이 전략가는 작업 지시(예: "머그컵을 접시 위에 놓으세요")와 현재 장면을 보고 대략적인 계획을 제안합니다. 예를 들어, "좋아, 그리퍼를 머그컵으로 이동시키고, 잡고, 접시로 이동시켜야 해"라고 말할 수 있습니다.

하지만 여기에는 함정이 있습니다. 전략가는 언어에는 능숙하지만 물리학에는 서툽니다. 이론적으로는 완벽해 보이는 직선 경로를 제안할 수도 있지만, 실제 세계에서는 테이블 모서리에 부딪힐 수도 있습니다. 여기서 두 번째 부분이 등장합니다. 바로 액션 컨디셔드 월드 모델(Action-Conditioned World Model), 즉 로봇의 "꿈 기계"입니다. 이 모델은 전략가의 대략적인 계획을 받아들여 고속 시뮬레이션을 실행하며, 로봇이 실제로 그 동작을 시도했을 때 미래의 영상 프레임이 어떻게 보일지를 상상합니다.

3단계 댄스: 제안, 상상, 정교화

이 시스템은 어려운 퍼즐을 풀 때 인간이 생각하는 과정과 매우 유사한 영리한 루프를 통해 작동합니다.

제안(Propose): VLM 전략가가 작업을 살펴보고 일련의 기본 동작(예: "이동", "회전", "잡기")을 제안합니다.
상상(Imagine): 월드 모델이 이러한 제안을 받아들여 어떤 일이 일어날지에 대한 "꿈의 영상"을 생성합니다. 로봇이 움직이고, 물체가 들리고, 그리퍼가 닫히는 모습을 시뮬레이션합니다.
정교화(Refine): VLM이 이 꿈의 영상을 보고 말합니다. "잠깐만! 이 시뮬레이션에서 그리퍼가 바구니 테두리에 부딪혔어. 더 높이 들어보자." 또는 "머그컵이 약간 왼쪽에 있네, 각도를 조절하자."

시스템은 이 과정을 반복합니다. 시뮬레이션을 바탕으로 계획을 최적화하고, 작은 변화(예: 그리퍼를 아주 조금 왼쪽이나 오른쪽으로 움직이는 것)를 시도하며 더 나은 옵션을 탐색하고, 최종 승자를 선택합니다. 이 모든 과정은 로봇이 근육 하나 움직이기 전에 과업을 "생각"해낼 수 있을 만큼 빠르게 일어납니다.

왜 이 방식이 "흉내 내는" 로봇보다 뛰어난가

이 논문은 현재의 트렌드인 **엔드 투 엔드 모방 학습(End-to-End Imitation Learning)**에 대해 명시적으로 반박합니다. 이들은 인간이 과업을 수행하는 수천 개의 영상을 보고 배우는 "흉내 내는" 로봇들입니다. 저자들은 이러한 로봇들이 훈련받은 것과 똑같은 일을 할 때는 훌ack지만, 상황이 바뀌면 무너진다는 것을 발견했습니다.

실험에서 저자들은 이 로봇들을 조합적 과업(compositional tasks)(예: 책을 집어 들은 후에 특정 서랍에 넣는 것과 같이 두 가지 알려진 과업을 결합하는 것)에 대해 테스트했습니다. 흉내 내는 로봇들은 특정 조합을 본 적이 없기 때문에 첫 번째 부분 이후에 멈춰버리거나, 두 번째 부분으로 넘어가는 법을 찾지 못해 첫 번째 동작을 계속 반복하거나 멈춰버리는 경우가 많았습니다.

반면, 월드 액션 플러너는 로봇의 정책을 뇌 전체가 아닌 하나의 "도구"로 취급했습니다. VLM을 사용하여 높은 수준의 논리를 파악하고, 월드 모델을 사용하여 물리학을 점검했습니다. 이를 통해 다음과 같은 성과를 거두었습니다:

새로운 배치에 대한 일반화: 물체를 다른 위치로 옮겨도 플래너는 혼란에 빠지지 않습니다. 새로운 위치를 상상하고 경로를 조정합니다.
제로샷(Zero-shot) 과업 수행: 로봇은 해당 과업에 대한 구체적인 학습 데이터 없이도, 상상을 통해 물리학을 파악함으로써 이전에 본 적 없는 과업(예: 큐브 쌓기)을 해결할 수 있었습니다.
충돌 방지: 미래를 시뮬레이션함으로써 "내가 여기로 움직이면 컵에 부딪히겠다"와 같은 위험을 미리 감지하고 충돌이 발생하기 전에 경로를 수정할 수 있었습니다.

결과: 시뮬레이션의 성공 사례

저자들은 LIBERO 및 Robosuite와 같은 데이터셋을 사용하여 시뮬레이션 환경(실제 물리학을 모방한 디지털 세계)에서 시스템을 테스트했습니다. 그들은 자신들의 방식과 최첨단 "흉내 내는" 모델( $\pi_{0.5}$ 및 Cosmos Policy)을 비교했습니다.

결과는 놀라웠습니다. 물체가 새로운 위치로 이동한 과업에서 표준 모델들은 거의 100% 실패하며, 종종 물체가 원래 있던 빈 곳을 향해 손을 뻗었습니다. 그러나 월드 액션 플래너는 새로운 배치 시나리오에서 최대 **88%**의 성공률을 달이트었습니다. 두 가지 동작을 연결해야 하는 조합적 과업에서 플래너는 **72%**의 성공률을 보인 반면, 가장 우수한 경쟁 모델들은 18% 이하의 성공률을 기록했습니다.

더 인상적인 것은 제로샷(zero-shot) 성능이었습니다. 해당 과업에 대한 특정 학습 데이터 없이도, 플래너는 큐브를 쌓는 과업에서 **76%**의 성공률을 기록하며, 단 **22%**의 성공률을 보인 기본적인 시각-언어 플래너를 크게 앞질렀습니다.

한계점: 아직은 "꿈"일 뿐입니다

결과는 흥분되지만, 저자들은 한계점을 명확히 언급하고 있습니다. 이 모든 테스트는 시뮬레이션 내에서 이루어졌습니다. 로봇이 실제로 컵 탑을 쌓거나 실제 주방을 청소한 것은 아닙니다. "꿈꾸는" 과정은 강력하지만 시간이 걸립니다. 테스트 결과, 시스템이 전역 최적화를 계획하는 데 약 30초, 세부적인 지역 탐색을 하는 데 최대 2~3분이 소요되었습니다. 이는 떨어지는 물체에 즉각 반응해야 하는 로봇에게는 너무 느린 속도이지만, 저자들은 더 빠른 하드웨어와 더 나은 알고리즘을 통해 이를 가속화할 수 있다고 제안합니다.

이 논문은 로봇에게 단순히 움직임을 암기하는 것이 아니라 물리적 세계에 대해 상상하고 추론하는 능력을 부여함으로써, 우리가 진정으로 유연하고 예측 불가능한 실제 세계에 대비할 수 있는 기계를 만들 수 있다고 시사합니다. 이는 로봇이 단순히 명령을 따르는 것을 넘어, 자신이 무엇을 하고 있는지 실제로 이해하게 만드는 단계입니다.

기술 요약: 월드 액션 플래너 (World Action Planner)

문제 정의

이질적인 환경에서 다양한 과업을 숙달할 수 있는 일반화 가능한 로봇 에이전트를 개발하는 것은 AI 분야의 근본적인 과제로 남아 있습니다. 현재의 최첨단 방식들은 주로 사전 학습된 시각-언어 모델(VLM)이나 비디오 생성 모델을 백본으로 활용하는 엔드 투 엔드(E2E) 모방 학습 정책에 크게 의존합니다(예: 시각-언어-행동 모델 또는 월드-액션 모델). 이러한 방법들은 특정 훈련 환경에서는 성공적이지만, 다음과 같은 일반화 측면에서 상당한 한계를 보입니다:

분포적 과적합(Distributional Overfitting): 정책이 데모 데이터의 특정한 움직임 패턴에 과적합되는 경우가 많습니다. 예를 들어, 훈련 데이터가 특정 좌표에서 물체를 잡는 장면을 일관되게 보여준다면, 정책은 물체가 새로운 위치로 이동했을 때 적응하지 못할 수 있습니다.
체계적 추론의 부재: E2E 모델은 서브 태스크 간의 전환이나 훈련 중에 보지 못한 새로운 레이아웃을 탐색해야 하는 구성적(compositional)이고 장기적인(long-horizon) 과업을 수행하는 데 어려움을 겪습니다. 이들은 종로 종종 첫 번째 서브 태스크를 완료한 후 정체되거나, 수정된 장면에 대한 지시 사항을 물리적으로 구현하지 못합니다.
물리적 접지 격차(Physical Grounding Gap): 파운데이션 모델은 고수준의 계획을 생성할 수는 있지만, 물리적 인과관계와 역학에 대한 이해가 부족한 경우가 많아, 새로운 시나리오에서 실행 가능하고 안전한 행동을 직접 생성하는 데 어려움을 겪습니다.

방법론

저자들은 E2E 모방 학습 패러다임에서 벗어난 로봇 계획 시스템인 **월드 액션 플래너(World Action Planner, WAP)**를 제안합니다. 대신, 이 시스템은 VLM 에이전트와 액션 조건부 월드 모델을 조율하여 체계적인 모델 기반 계획을 가능하게 합니다. 이 프레임워크는 세 가지 주요 단계를 포함하는 점진적(coarse-to-fine) 최적화 과정을 통해 작동합니다.

1. 포즈-이미지 조건부 월드 모델 (Pose-Image Conditioned World Model)

핵심 구성 요소는 다양한 궤적(trajectory)으로 학습된 일반화 가능한 다중 뷰 월드 모델입니다. 저차원 액션 벡터에 조건을 부여하는 기존 연구들(예: AdaLN-Zero 또는 cross-attention 활용)과 달리, WAP는 **포즈-이미지 프레임(pose-image frames)**에 조건을 부여합니다.

메커니즘: 미래의 로봇 관절 위치는 액션의 순방향 역학(forward dynamics)을 통해 계산되며, 그에 대응하는 카메라 뷰로부터 포즈 스켈레톤 이미지로 렌더링됩니다. 이 포즈 이미지들은 인코딩되어 비디오 토큰과 함께 하나의 통합된 시퀀스로 결합됩니다.
장점: 이 표현 방식은 의미론적으로 풍부하고 신체 구조에 구애받지 않는(embodiment-agnostic) 인터페이스를 제공하여, 모델이 충돌 및 물체 상호작용을 포함한 물리적 결과의 실제적인 영향을 높은 충실도로 시뮬레이션할 수 있게 합니다. 모델은 flow-matching 목적 함수를 사용하는 diffusion-forcing 방식으로 학습됩니다.

2. 계획 파이프라인 (The Planning Pipeline)

WAP 시스템은 상상을 통해 액션 계획을 정교화하기 위해 월드 모델을 VLM 에이전트와 통합합니다.

에이전트 액션 제안 (Agent Action Proposal): VLM 에이전트는 광범한 세계 지식을 활용하여 일련의 원시 액션(예: MOVE, ROTATE, GRASP)을 제안합니다. 에이전트는 다중 뷰 이미지에서 목표 위치를 식별하며, 이는 3D 공간으로 삼각 측량됩니다.
전역 최적화 (에이전트 피드백): 제안된 액션들은 월드 모델을 통해 시뮬레이션("상상")됩니다. VLM 에이전트는 상상된 롤아웃 비디오를 평가하여 안전성과 과업 목표와의 일치 여부를 확인합니다. 위험(예: 충돌)이나 불일치가 감지되면, 에이전트는 액션 시퀀스를 정교화하기 위해 고수준의 의미론적 피드백(예: "충돌을 피하기 위해 그리퍼를 들어 올려라")을 제공합니다.
지역 탐색 (에이전트 랭킹): VLM이 정량화하기 어려워하는 미세한 위치 부정확성(예: 정밀한 파지 정렬)을 해결하기 위해, 시스템은 그리드 탐색(grid search)을 사용하여 후보 액션을 생성합니다. 월드 모델은 각 후보에 대한 롤아웃을 상상하고, VLM 에이전트는 시뮬레이션된 결과를 바탕으로 이들을 랭킹하여 최적의 궤적을 선택합니다.
도구로서의 정책 (Policies as Tools): 기존의 모방 학습 정책(예: Diffusion Policies)은 모듈형 도구로 취급됩니다. VLM과 월드 모델이 안전하고 올러한 고수준 상태를 확립한 후, 미세한 조작을 위해 이들을 사용함으로써, 시스템은 OOD(out-of-distribution) 시나리오에서는 모델 기반 계획을 사용하면서 인도어 분포(in-distribution) 과업에 대해서는 강력한 생성적 정책을 활용할 수 있습니다.

주요 기여

포즈-이미지 조건부 월드 모델: 저자들은 저차원 액션 벡터가 아닌 로봇 포즈 이미지에 조건을 부여하는 일반화 가능한 월드 모델을 도입했습니다. 이를 통해 새로운 액션, 장면, 그리고 다양한 로봇 신체 구조(cross-embodiment modeling)에 대한 우수한 일반화 성능을 입증했습니다.
이론적 분석: 논문은 모델 기반 계획이 모방 학습보다 우수한 멀티 태스크 일반화 성능을 제공한다는 이론적 근거를 제시합니다. 표 형식의 설정과 선형 함수 근사(linear function approximation)를 사용하여, 저자들은 모방 학습이 태스크 수에 따라 선형적으로 증가하는 하위 최적성 격차(suboptimality gaps)를 겪는 반면, 모델 기반 계획은 보편적인 역학을 학습하고 태스크 수와 무관한 샘플 복잡도로 최적에 가까운 정책을 달성할 수 있음을 증명합니다.
월드 액션 플래너 시스템: 체계적인 액션 제안, 최적화 및 탐색을 위해 VLM 에이전트와 월드 모델을 조율하는 새로운 계획 시스템입니다. 이는 상상된 롤아웃을 활용하여 액션을 검증하고 정교화함으로써 고수준 추론과 물리적 실행 사이의 간극을 메웁니다.

실험 결과

저자들은 LIBERO, Robocasa, MimicGen, DexMimicGen 등의 시뮬레이션 환경에서 세 가지 일반화 시나리오에 대해 WAP를 평가했습니다.

구성적 과업 일반화 (Compositional Task Generalization): 여러 물체를 배치하는 것과 같이 서브 태스크의 시퀀스가 필요한 과업에서, WAP는 $\pi0.5$ 및 Cosmos-Policy와 같은 E2E 베이스라인을 크게 능가합니다. 베이스라인들은 전이 추론의 부재로 인해 첫 번째 서브 태스크 이후 실패하는 경우가 많지만, WAP는 에이전트 가이드 계획을 통해 서브 태스크 간을 성공적으로 연결합니다.
새로운 레이아웃 일반화 (New Layout Generalization): 물체의 위치가 변경되었을 때(OOD 레이아웃), WAP는 새로운 목표 위치를 식별하고 궤적을 조정함으로써 높은 성공률을 달ей합니다. 반면, 베별라인들은 훈련 세트의 좌표를 기본값으로 사용하는 경향이 있어, 방해물을 잡거나 새로운 물체 위치로 이동하는 데 실패합니다.
제로샷 일반화 (Zero-Shot Generalization): 전문가 데모가 없는 시나리오(예: 큐브 쌓기)에서, WAP는 VLM의 추론과 월드 모델의 물리 시뮬레이션에만 의존하여 높은 성공률을 달성하며, 반복적 정교화 기능이 없는 시각-언어 플래너보다 뛰어난 성능을 보입니다.
월드 모델 성능: 포즈-이미지 조건부 월드 모델은 미래 프레임을 예측하고 크로스-엠보디먼트 과업을 처리하는 데 있어 기존의 최첨단 디퓨전 기반 월드 모델(WPE, IRA-Sim, Ctrl-World)보다 일관된 개선(인도어 분포에서 평균 11.4%, 일반화 설정에서 16.8%)을 보여주었습니다.

의의 및 주장

본 논문은 월드 액션 플래너가 순수 모방 학습에서 원칙적인 모델 기반 계획 패러다임으로 전환함으로써 일반화 가능한 로봇 의사결정의 중요한 진전을 이루었다고 주장합니다. 저자들의 주장은 다음과 같습니다:

상상을 통한 추론 (Reasoning over Imagination): 에이전트가 실행 전에 미래의 궤적을 "상상"하고 평가할 수 있게 함으로써, 시스템은 물리적 위험을 감지하고 새로운 과업을 위한 새로운 액션 시퀀스를 합성할 수 있습니다.
모듈성 (Modularity): 정책을 도구로 취급함으로써 다양한 모델의 통합을 가능하게 하여, 로봇 의사결정의 일반화 경계를 확장합니다.
이론적 우월성 (Theoretical Superiority): 이론적 분석은 모델 기반 계획이 훈련 데이터의 특정 궤적 분포에 의해 제한되는 모방 학습보다 멀티 태스크 일반화에 근본적으로 더 적합함을 시사합니다.

저자들은 현재 평가가 시뮬레이션에서 수행되고 있으며, 월드 모델 상상의 추론 시간이 계산 집약적이라는 점을 인정하면서도, 가속화 기술을 통해 실시간 효율성을 개선할 수 있다고 제언했습니다.