💻 computer science

World-in-World: World Models in a Closed-Loop World

이 논문은 폐쇄 루프 임보디드(embodied) 환경에서 생성형 월드 모델을 벤치마킹하기 위한 최초의 오픈 플랫폼인 "World-in-World"를 소개하며, 제어 가능성, 행동-관측 스케일링, 그리고 추론 시간 연산량이 시각적 품질 자체보다 작업 성공에 더 결정적이라는 점을 밝힙니다.

원저자: Jiahan Zhang, Muqing Jiang, Nanru Dai, Taiming Lu, Arda Uzunoglu, Shunchi Zhang, Yana Wei, Jiahao Wang, Vishal M. Patel, Paul Pu Liang, Daniel Khashabi, Cheng Peng, Rama Chellappa, Tianmin Shu, Alan Y

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiahan Zhang, Muqing Jiang, Nanru Dai, Taiming Lu, Arda Uzunoglu, Shunchi Zhang, Yana Wei, Jiahao Wang, Vishal M. Patel, Paul Pu Liang, Daniel Khashabi, Cheng Peng, Rama Chellappa, Tianmin Shu, Alan Yuille, Yilun Du, Jieneng Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보십시오. 한 로봇이 특정 물체를 찾기 위해 어지러운 방을 탐색하려고 합니다. 성공하기 위해서 로봇은 단순히 눈앞에 보이는 것에 반응하는 것만으로는 부족합니다. 한 걸음 앞으로 나아가거나, 왼쪽으로 돌거나, 손을 뻗으면 어떤 일이 일어날지 예측해야 합니다. 즉, 세계에 대한 정신적 모델, 즉 실제로 일어나기 전에 미래를 시뮬레이션할 수 있는 방법이 필요합니다. 수년 동안 과학자들은 움직이는 장면의 놀랍도록 사실적인 영상을 생성할 수 있는 인공지능 시스템을 구축해 왔습니다. 흔히 '월드 모델(world models)'이라 불리는 이 시스템들은 자동차가 길을 따라 운전하거나 컵이 탁자에서 떨어지는 모습을 실제 영상처럼 보이게 할 만큼 뛰어난 시각적 충실도로 이미지를 만들어낼 수 있습니다. 그러나 결정적인 질문 하나가 해결되지 않은 채 남아 있었습니다. 과연 이 시각적 아름다움이 로봇이 더 나은 결정을 내리는 데 실제로 도움이 되는가 하는 점입니다. 지금까지 이 분야는 생성된 영상이 얼마나 예쁘게 보이는지에 따라서만 모델을 판단하는 벤치마크에 의해 지배되어 왔으며, 그 영상이 실제 과업을 수행하려는 로봇에게 유용한지는 무시되었습니다.

한 연구팀은 시각적 완벽함에서 실용적 유용성으로 초점을 전환하는 '월드-인-월드(World-in-World)'라는 새로운 접근 방식을 도입했습니다. 그들은 "이 영상이 얼마나 좋아 보이는가?"라고 묻는 대신, "이 영상이 에이전트의 성공을 돕는가?"라고 묻습니다. 연구진은 인공 에이전트가 네 가지 뚜렷한 물리적 과업을 수행해야 하는 폐쇄 루프(closed-loop) 테스트 플랫폼을 구축했습니다. 이 과업들은 적극적으로 주변을 살펴 숨겨진 물체를 찾는 것, 단 하나의 참조 이미지를 바탕으로 특정 위치로 이동하는 것, 환경을 탐색한 후 3D 환경에 관한 질문에 답하는 것, 그리고 물체를 움직이기 위해 로봇 팔을 제어하는 것입니다. 이 설정에서 월드 모델은 시뮬레이터 역할을 합니다. 로봇이 물리적 행동을 실행하기 전에, 모델을 사용하여 여러 가지 가능한 미래를 상상합니다. 그런 다음 로봇은 이 상상된 시나리오들을 평가하여 성공으로 이어질 가능성이 가장 높은 경로를 선택함으로써, 실제로 행동하기 전에 효과적으로 앞을 내다보며 생각합니다.

이 새로운 평가 방식의 결과는 시각적 품질과 과업 수행 능력 사이의 놀라운 괴리를 드러냈습니다. 연구진은 믿기지 않을 정도로 고해상도이며 미학적으로 아름다운 클립을 생성하는 최첨단 비디오 생성기들을 포함하여 광범위한 모델들을 테스트했습니다. 그들은 높은 시각적 품질이 로봇의 과업 성공을 보장하지 않는다는 것을 발견했습니다. 모델이 방의 아름다운 영상을 생성할 수는 있지만, 만약 그 영상 속의 물리학이 약간 어긋나 있거나 로봇이 시뮬레이션 내에서 카메라 움직임을 정밀하게 제어할 수 없다면, 로봇은 잘못된 결정을 내리게 됩니다. 실제로 이 연구는 제어 가능성(controllability), 즉 특정하고 낮은 수준의 동작으로 시뮬레이션을 조종할 수 있는 능력이 순수한 이미지의 아름다움보다 훨씬 더 중요하다는 것을 보여주었습니다. "두 걸음 앞으로 이동하라"는 명령에 신뢰성 있게 반응하는 모델이, 멋지지만 제어할 수 없는 영상을 만드는 모델보다 더 가치 있습니다.

나아가, 연구팀은 단순히 더 강력한 사전 학습된 비디오 생성기를 사용하는 것이 로봇의 성능을 향상시키는 최선의 방법이 아니라는 것을 발견했습니다. 대신, 그들은 표준 비디오 생성기를 가져와 로봇의 환경과 동작에 특화된 비교적 적은 양의 데이터로 미세 조정(fine-tuning)하는 것이 훨씬 더 나은 결과를 낸다는 것을 발견했습니다. 포스트 트레이닝(post-training)이라고 알려진 이 과정은 모델의 예측을 로봇이 거주하는 물리적 세계의 특정 규칙에 맞춥니다. 데이터 또한 명확한 스케일링 법칙을 보여주었습니다. 즉, 미세 조정 과정에서 모델이 동작과 관찰의 사례를 더 많이 접할수록 로봇의 성공을 돕는 능력이 향려된다는 것입니다. 또한, 시스템에 더 많은 계산 시간을 부여하여(결정을 내리기 전 더 많은 잠재적 미래를 시뮬레이션하도록 허용하여) 성공률을 크게 높일 수 있다는 점도 밝혀졌습니다.

이 연구는 월드 모델이 로봇 공학 및 체화된 AI(embodied AI)에서 진정으로 유용해지려면, 결함 없는 시각물을 만드는 능력이 아니라 의사결정을 지원하는 능력을 기준으로 판단되어야 한다고 결론짓습니다. 현재의 모델들은 여약 물체 간의 정밀한 마찰이나 접촉과 같은 로봇 조작의 복잡한 물리학을 다루는 데 어려움을 겪고 있지만, 새로운 프레임워크는 명확한 발전 방향을 제시합니다. 시각적 아름다움보다 제어 가능성을 우선시하고 포스트 트레이닝을 통해 모델을 특정 과업에 적응시킴으로써, 연구자들은 단순히 실제 세계처럼 보이는 것이 아니라 실제 세계와 상호작용하는 방법을 이해하는 시스템을 구축할 수 있습니다. 판단의 대상을 '그림'에서 '계획'으로 옮긴 이 변화는, 물리적 세계를 신뢰성 있게 탐색하고 조작할 수 있는 지능형 에이전트를 만들기 위한 중요한 진전입니다.

기술 요약: World-in-World: 폐쇄 루프 환경에서의 월드 모델(World-in-World: World Models in a Closed-Loop World)

문제 정의

최근 시각적 생성 기술의 발전은 놀라운 시각적 사실성을 갖춘 환경을 시뮬레이션할 수 있는 월드 모델을 탄생시켰습니다. 그러나 커뮤니티에는 이러한 모델이 실제로 체화된 에이전트(embodied agent)의 성능을 향상시키는지 평가할 수 있는 통합된 프레임워크가 부족합니다. 기존 벤치마크(예: VBench, WorldModelBench)는 주로 고립된 시각적 품질 지표나 시각적 타당성에 초점을 맞추며, 의사 결정 능력을 테스트하지 않는 오픈 루프(open-loop) 프로토콜을 사용합니다. 결과적으로, 높은 수준의 고해상도 비디오 생성이 에이전트가 예측된 미래를 바탕으로 인지, 계획 및 행동해야 하는 폐쇄 루프(closed-loop) 상호작용에서의 성공적인 과업 완수로 이어지는지는 불분명합니다.

방법론

저자들은 실제 에이전트-환경 상호작용을 반영하는 폐쇄 루프 환경 내에서 월드 모델(WM)을 벤치마킹하기 위해 설계된 최초의 개방형 플랫폼인 World-in-World를 소개합니다. 이 방법론은 네 가지 핵심 구성 요소로 이루어집니다.

1. 통합 폐쇄 루프 온라인 계획 전략

이 프레임워크는 세 단계의 반복적인 과정을 거치는 정책 유도형 빔 서치(beam search) 전략을 채택합니다.

제안(Proposal): 에이전트 정책( $\pi_{proposal}$ )이 현재 관측값( $o_t$ )과 과업 목표( $g$ )를 기반으로 $M$ 개의 후보 행동 시퀀스( $\hat{A}_t$ )를 생성합니다.
시뮬레이션(Simulation): **통합 액션 API(Unified Action API)**가 이러한 후보 계획들을 다양한 월드 모델(예: 텍스트 프롬프트, 카메라 궤적 또는 저수준 행동 시퀀스)과 호환되는 제어 입력( $I_t$ )으로 변환합니다. 그 후 월드 모델( $g_\theta$ )은 각 계획에 대해 미래 상태( $\hat{O}_t$ )를 예측하는 역사실적 롤아웃(counterfactual rollouts)을 수행합니다.
수정(Revision): 수정 정책( $\pi_{revision}$ )이 시뮬레이션된 궤적의 점수를 매기고 실제 환경에서 실행할 최적의 결정( $D^*_t$ )을 선택합니다. 이 루프는 새로운 관측값과 함께 반복됩니다.

2. 통합 액션 API (Unified Action API)

이질적인 월드 모델들을 통합하기 위해, 저자들은 에이전트의 행동 시퀀스를 특정 모델 입력으로 매핑하는 API를 제안합니다.

텍스트 프롬프트: 이미지-투-비디오 모델의 경우, 행동은 묘사적인 텍스트로 변환됩니다.
카메라 궤적: 뷰포인트 조건부 모델의 경우, 행동은 카메라 움직임(이동/회전)으로 매핑됩니다.
저수준 행동: 이산적 또는 연속적 행동을 수용하는 모델의 경우, 모델의 행동 어휘로 직접 매핑됩니다.

3. 포괄적인 체화된 과업 (Comprehensive Embodied Tasks)

이 벤치마크는 인지, 내비게이션, 조작을 아우르는 네 가지 뚜렷한 과업에 걸쳐 월드 모델을 평가합니다.

능동적 인식 (Active Recognition, AR): 능동적 탐색(Habitat-Sim/Matterport3D)을 통해 가려진 대상을 식별합니다.
이미지 목표 내비게이션 (Image-Goal Navigation, ImageNav): 참조 이미지가 주어졌을 때 목표 뷰포인트에 도달합니다 (HM3D).
능동적 체화된 질의응답 (Active Embodied Question Answering, A-EQA): 능동적 탐색 후 개방형 질문에 답합니다 (OpenEQA/HM3D).
로봇 조작 (Robotic Manipulation): 로봇 팔을 제어하여 물체를 잡고 배치합니다 (RLBench/CoppeliaSim).

4. 사후 학습 프로토콜 (Post-Training Protocol)

사전 학습된 비디오 생성기를 체화된 과업에 적응시키기 위해, 저자들은 타겟 시뮬레이터(Habitat-Sim 및 RLBench)의 행동-관측 데이터를 사용하는 미세 조정 절차를 도입합니다. 이는 생성적 사전 지식(generative prior)을 특정 도메인 분포 및 행동 공간에 정렬시켜, 모델이 단순히 자연스러운 비디오 통계가 아닌 에이전트의 행동에 조건화된 결과를 예측하도록 보장합니다.

주요 기여

World-in-World 벤치마크: 시각적 충실도보다 과업 성공을 우선시하며, 네 가지 다양한 체화된 과업에 걸쳐 월드 모델을 평가하는 포괄적인 폐쇄 루프 평가 플랫폼입니다.
통합 프레임워크: 표준화된 계획 전략과 액션 API를 통해 이미지 기반부터 비디오 기반, 오픈 소스부터 독점 모델에 이르기까지 이질적인 월드 모델을 원활하게 통합하고 비교할 수 있습니다.
경험적 발견:
- 시각적 품질 $\neq$ 과업 성공: 높은 미적 점수가 높은 과업 성공률을 보장하지는 않습니다. 제어 가능성(의도한 행동과 예측된 역학 사이의 정렬)이 핵심 요소입니다.
- 데이터 스케일링 법칙: 사후 학습 시 행동-관측 데이터를 스케일링하는 것이 단순히 사전 학습된 비디오 생성기의 크기를 키우는 것보다 체화된 유용성 측면에서 더 효과적입니다.
- 추론 시간 스케일링: 계획 단계에 더 많은 컴퓨팅 자원을 할당하는 것(결정당 시뮬레이션 롤아웃 횟수 증가)이 폐쇄 루프 성능을 실질적으로 향상시킵니다.

결과 및 분석

저자들은 SVD, LTX-Video, Hunyuan, Wan2.1/2.2, Cosmos-P2 및 Runway Gen4와 같은 독점 모델을 포함한 광범위한 모델을 평가했습니다.

성능 향상: 월드 모델을 통합하면 기본 제안 정책(예: VLM 또는 휴리스틱)의 성능이 일관되게 향상되었습니다. 예를 들어, 능동적 인식에서 가장 우수한 사후 학습 모델(Runway Gen4)은 평균 궤적 4.06단계에서 64.79%의 정확도를 달성하여, VLM 베이스라인(정확도 50.27%, 6.24단계)을 크게 앞질렀습니다.
사후 학습의 효능: 사후 학습된 변체(†로 표시)는 제로샷(zero-shot) 모델보다 일관되게 우수한 성능을 보였습니다. 예를 들어, 사후 학습된 Wan2.1은 능동적 인식 정확도를 58.26%에서 62.61%로, ImageNav 성공률을 38.19%에서 45.14%로 개선했습니다.
조작 과업의 어려움: 로봇 조작 과업에서의 성능 향상은 상대적으로 덜 뚜렷했습니다. 사후 학습이 결과 개선에 도움을 주긴 했지만(예: SVD†는 46.5% 성공률 달성, 베이스라인 44.5%), 접촉이 빈번한 물리 법칙과 정밀한 운동학을 모델링하는 난제가 내비게이션 과업에 비해 여전히 병목 현상으로 남아 있습니다.
스케일링 트렌드:
- 데이터 스케일링: 사후 학습 데이터를 400개에서 80,000개로 늘릴수록 성공률이 일관되게 향상되어, 적응을 위한 명확한 스케일링 법칙을 보여주었습니다.
- 추론 스케일링: 에피소드당 월드 모델 추론 횟수를 늘림에 따라(3회에서 11회로) 성공률이 단조 증가하였으며, 이는 행동하기 전 "생각하는 것"(미래를 시뮬레이션하는 것)의 가치를 입증합니다.

의의

본 논문은 월드 모델 분야의 평가 패러다임이 생성 품질에서 체화된 유용성으로 전환되어야 한다고 주장합니다. 저자들은 "월드 모델은 결점 없는 시각적 영상이 아니라, 폐쇄 루프에서의 성공에 의해 생존한다"고 강조합니다. World-in-World를 구축함으로써, 이 연구는 체화된 AI의 진정한 발전을 추적할 수 있는 필수적인 프레임워크를 제공하며, 현재의 모델들이 정밀한 물리적 역학 모델링에는 어려움이 있을지라도 적절히 적응되고 폐쇄 루프 계획 시스템에 통합된다면 인지와 내비게이션을 크게 도울 수 있음을 보여줍니다. 이러한 결과는 향므로의 발전이 단순히 사전 학습 데이터의 규모를 키우는 것보다, 제어 가능성과 의사 결정 능력을 높이기 위한 행동 조건부 사후 학습과 추론 시간 계산에 달려 있음을 시사합니다.