기술 요약: GigaWorld-1: 로봇 정책 평가를 위한 월드 모델 구축 로드맵

1. 문제 정의

임바디드(Embodied) 로봇 파운데이션 모델의 평가는 여전히 핵심적인 병목 구간으로 남아 있다. 디지털 벤치마크를 통해 빠르게 평가할 수 있는 대규모 언어 모델(LLM)과 달리, 로봇 정책은 일반적으로 느리고 비용이 많이 들며 하드웨어에 제한된 실제 환경의 롤아웃(rollout)을 필요로 한다. 고전적인 시뮬레이션은 더 저렴한 대안을 제공하지만, "심투리얼(sim-to-real)" 격차와 디지털 트윈 구축에 따르는 과도한 오버헤드 문제를 안고 있다.

월드 모델—특히 행동(action)에 조건화된 비디오 생성 모델—은 미래 상태를 시뮬레이션하여 대리 정책 평가기(surrogate policy evaluator) 역할을 수행할 수 있는 잠재적인 절충안으로 부상했다. 그러나 현재 학계에는 어떤 설계 선택이 월드 모델을 신뢰할 수 있는 평가기로 만드는지에 대한 체계적인 이해가 부족하다. 기존 문헌들은 월드 모델이 평가에 사용될 수 있음을 보여주기는 하지만, 무엇이 실제 실행 대비 정책의 품질을 정확하게 예측하도록 보장하는 속성인지에 대해서는 답하지 못한다.

2. 방법론

2.1 WMBench: 정책 평가를 위한 벤치마크

표준화된 평가의 부재를 해결하기 위해, 저자들은 실제 로봇 텔레오퍼레이션 데이터와 매칭된 정책 롤아웃으로 구성된 벤치마크인 WMBench를 도입한다.

• 데이터 구성: 이 벤치마크는 8가지 태스크 패밀리(강체 및 변형 가능한 조작 포함)에 걸쳐 2,989개의 쌍을 이룬 궤적(trajectory)으로 구성되며, 텔레오퍼레이션 전문가 데이터와 정책 롤아웃 데이터(성공 및 실패)가 거의 1:1 비율로 포함되어 있다.
• 평가 프로토콜: 벤치마크는 4단계 폐쇄 루프(closed-loop) 프로토콜을 채택한다: (1) 실제 로봇 정책 데이터 수집, (2) 엄격한 훈련-테스트 분할을 통한 월드 모델 학습, (3) 학습된 월드 모델 내에서의 폐쇄 루프 정책 롤아웃 실행, (4) 메트릭 및 결과 평가.
• 메트릭: 저자들은 결과 평가(World Model as Evaluator Score, WMES)와 롤아웃 진단(rollout diagnostics)을 구분하는 계층적 메트릭 시스템을 정의한다. WMES는 생성된 롤아웃이 올바른 작업 결과(성공/실패)를 예측하고 시각적/물리적 충실도를 유지하는지 평가하는 0~3 단계의 서수 척도이다. 진단 메트릭에는 시각적 충실도, 기하학적 구조, 의미론적 일관성, 운동 역학이 포함된다.
• 규모: 본 연구는 7개의 비디오 월드 모델과 4개의 액션 표현 방식으로부터 추출된 324,000개 이상의 시뮬레이션 롤아웃을 분석하며, 이는 CVPR 2026 GigaBrain 챌린지의 커뮤니티 제출물로 확장되었다.

2.2 평가기 품질에 대한 경험적 분석

WMBench에 대한 광범한 절제 연구(ablation studies)를 통해, 저자들은 무엇이 좋은 평가 데이 되는지에 관한 다섯 가지 핵심 통찰을 도출한다:

1. 메트릭 상관관계: 시각적 및 기하학적 충실도(주체 일관성, 원근법, 지시 이행)는 평가기 품질(WMES)을 예측하는 가장 강력한 변수이다. 반대로, 외형 안정성 메트릭(예: 배경 일관성)은 오해의 소지가 있을 수 있는데, 정적인 비디오는 안정성 점수는 높지만 정책 평가에는 실패하기 때문이다.
2. 장기 호라이즌(Long-Horizon)의 필수성: 평가기 품질은 단기 호라이즌 비디오 생성만으로는 판단할 수 없다. 자기회귀(autoregressive) 롤아웃 과정에서 작은 상태 오류가 누적되면, 일반적인 모델에서는 "뷰포인트 드리프트(viewpoint drift)"와 "객체 정체성 붕괴(object-identity collapse)"가 발생한다.
3. VLM 지원 어노테이션: 평가 규모를 키우기 위해, 저자들은 토큰 유형 인식 손실 가중치(token-type-aware loss weighting)를 사용하여 WMES를 예측하도록 Qwen3-VL을 미세 조정하였다. 이 VLM은 인간의 평가와 거의 완벽한 일치도(87.8% 정확한 일치)를 달성하여 확장 가능한 평가를 가능하게 한다.
4. 사전 학습 프라이어 vs 규모: 평가기 품질은 모델의 순수 파라미터 규모보다 사전 학습된 물리적 프라이어(pretrained physical priors)가 로봇 조건부 롤아웃과 얼마나 호환되는지에 더 달려 있다. 로보틱스/자율 주행 데이터로 학습된 모델(예: Cosmos-Predict2.5)이 더 큰 범용 모델(예: LTX 2.3)보다 우수한 성능을 보인다.
5. 데이터 구성: 광범위한 물리 비디오(일반적인 물리 지식용)와 로봇 특화 데이터(구체화된 충실도용) 사이의 균형이 최상의 결과를 낳는다. 순수 로봇 데이터만 사용하면 모델이 과도하게 전문화될 수 있고, 광범한 물리 데이터는 태스크 관련성을 희생하지 않으면서 견고성을 향상시킨다.

2.3 GigaWorld-1 아키텍처 및 설계

이러한 통찰을 바탕으로, 저자들은 정책 평가에 최적화된 월드 모델인 GigaWorld-1을 제안한다.

• 백본(Backbone): Wan 비디오 확산(diffusion) 백본(1.3B 및 5B 변체)을 기반으로 구축되었다.
• 통합 제어 주입(Unified Control Injection): 표준 크로스 어텐션 대신, GigaWorld-1은 **채널 결합형 제어 맵(channel-concatenated control maps)**을 사용한다. 여기에는 정적 헤드 뷰를 위한 엔드 이펙터(EE) 포즈 맵과 동적 손목 뷰를 위한 레이(Ray) 맵이 포함되어, 로봇의 행동과 시각적 생성 사이의 공간적 정렬을 보장한다.
• 계층적 메모리: 장기 호라이즌에서의 성능 저하를 방지하기 위해, 모델은 영구적인 첫 프레임 앵커와 단기/중기/장기 범위의 시간적 메모리를 갖춘 계층적 히스토리 버퍼를 사용한다. 이를 통해 장면의 정체성과 객체의 일관성을 유지한다.
• 상대적 RoPE: 자기회귀 생성 중 시간적 위치 드리프트를 완화하기 위해 상대적 회전 위치 임베딩(Relative Rotary Position Embedding)을 사용한다.
• 프롬프트 보간(Prompt Interpolation): 태스크 단계 간의 매끄러운 의미론적 전이를 위해 구면 선형 보간(SLERP)을 사용한다.
• 훈련 파이프라인: 다음의 단계적 멀티 스테이지 파이프라인을 거친다:
  1. 로봇 월드 파운데이션 모델 사전 학습(flow-matching).
  2. 자기회귀 월드 모델링(AR).
  3. 선택적 장면 특화 LoRA 적응.
  4. 추론 가속을 위한 몇 단계 증류(DMD2).
• 데이터 큐레이션: 인터넷 물리 비디오, 오픈 소스 로봇 데이터, 에고센트릭(egocentric) 인간 데이터, 그리고 정교하게 수집된 Giga-collect 로봇 데몬스트레이션을 포함한 약 12,980시간의 이질적인 코퍼스로 학습되었다.

3. 주요 결과

• 성능: GigaWorld-1-Plus (5B)는 WMBench에서 0.6834의 정규화된 평균 점수를 기록하며, 가장 강력한 베이스라인인 Cosmos-Predict2.5 (0.6123)보다 11.6%, Wan 2.2 5B (0.5948)보다 14.9% 높은 성능을 보였다.
• 메트릭 세부 사항: GigaWorld-1은 평가에 결정적인 메트릭인 JEPA 유사도(0.9337), 의미론적 정렬(0.8926), 궤적 정확도(0.3561)에서 선두를 달린다.
• 장기 호라이즌 안정성: 40초의 자기회귀 롤아웃에서, GigaWorld-1은 일반적인 베이스라인 모델들에 비해 현저히 높은 PSNR과 낮은 FID/FVD를 유지하며, 객체 정체성 붕괴나 스펙트럼 집중과 같은 흔한 실패 모드를 피한다.
• 폐쇄 루프 일관성: GigaWorld-1은 실제 성공률과 우수한 정렬을 보여준다. 베이스라인 모델들이 성공을 과대평가하는 경향(낙관적 편향)이 있는 반면, GigaWorld-1의 예측은 실제 데이터의 대각선(diagonal)을 밀접하게 따라가며, 태스크 난이도와 실패 모드에 대한 더 나은 캘리브레이션을 나타낸다.

4. 의의 및 주장

본 논문은 이 분야를 "개념 증명(proof-of-concept)" 단계에서 월드 모델을 정책 평가기로 구축하기 위한 원칙적인 설계 규칙을 정립하는 단계로 전환한다고 주장한다. 주요 기여는 다음과 같다:

1. 문제 정식화: "정책 평가기로서의 월드 모델"을 일급 연구 문제로 설정하였으며, 핵심 과제가 단순히 화려한 프레임을 생성하는 것이 아니라 반복적인 롤아웃 하에서 정책 관련 인과관계(causality)를 보존하는 것임을 식별하였다.
2. 벤치마킹: WMBench의 도입은 모델 패밀리, 액션 인코딩, 그리고 정책 평가를 위한 메트릭을 비교할 수 있는 최초의 대규모 제어 환경을 제공한다.
3. 설계 로드맵: 단기적인 시각적 사실성보다 액션에 충실한 롤아웃 일관성과 장기 호라이즌 안정성이 더 중요하다는 실질적인 설계 지도를 도출하였다. 또한 공간적으로 정렬된 제어 인터페이스와 지속적인 메모리의 필요성을 강조한다.
4. 오픈 사이언스: 저자들은 임바디드 파운데이션 모델의 확장 가능한 평가 연구를 촉진하기 위해 GigaWorld-1(코드, 모델, 데이터셋 및 툴킷)을 완전히 공개한다.

저자들은 현재 태스크 패밀리의 범위(모바일 매니퓰레이션 및 안전 중심 자율 주행 제외)와 비디오 중심 접근 방식에 대한 의존성 등 한계를 인정하며 겸손한 어조를 유지한다. 그들은 GigaWorld-1을 최종적인 해결책이 아니라, 로봇 파운데이션 모델의 반복을 가속화할 수 있는 신뢰할 수 있고 재사용 가능한 평가 인프라를 향한 하나의 단계로 규정한다.