World Simulation with Video Foundation Models for Physical AI

이 논문은 물리 AI 를 위한 차세대 월드 파운데이션 모델인 Cosmos-Predict2.5 와 Cosmos-Transfer2.5 를 소개하며, 단일 모델에서 텍스트·이미지·비디오 기반 세계 생성과 제어를 통합하고 강화학습을 통해 비디오 품질과 지시 준수를 대폭 개선하여 로봇 및 자율 시스템용 합성 데이터 생성 및 시뮬레이션의 신뢰성을 높였음을 보여줍니다.

핵심

NVIDIA 의 '코스모스 2.5': 물리 AI 를 위한 현실 같은 '가상 우주' 만들기

이 논문은 NVIDIA 가 발표한 **'코스모스 2.5 (Cosmos-Predict2.5)'**라는 새로운 인공지능 모델에 대한 이야기입니다. 이 모델을 쉽게 이해하려면 **'현실 세계를 완벽하게 시뮬레이션할 수 있는 마법 같은 영화 제작 스튜디오'**라고 상상해 보세요.

기존의 AI 가 단순히 그림을 그리거나 짧은 영상을 만드는 데 그쳤다면, 코스모스 2.5 는 **로봇이나 자율주행차가 실제로 일할 수 있는 '가상 현실 훈련장'**을 만들어줍니다.

---

1. 왜 이 기술이 필요할까요? (실제 훈련의 위험성)

로봇이나 자율주행차를 실제 세상에 바로 데리고 나가서 훈련시키려면 큰 문제가 있습니다.

• 위험: 로봇이 넘어지거나 차가 사고를 나면 고장 나거나 다칠 수 있습니다.
• 비효율: 실수를 반복하며 배우는 데 시간이 너무 오래 걸립니다.

그래서 우리는 **가상 세계 (시뮬레이션)**가 필요합니다. 여기서 로봇은 수천 번 실패해도 괜찮고, 그 경험을 바탕으로 실제 세상에 나갈 때 완벽하게 작동하도록 훈련할 수 있습니다. 하지만 기존 시뮬레이션은 너무 '인공적'이고 딱딱해서, 로봇이 실제 세상의 복잡함을 이해하지 못했습니다.

2. 코스모스 2.5 의 핵심 기능: "무엇이든 가능한 마법 스튜디오"

코스모스 2.5 는 세 가지 강력한 능력을 하나로 합쳤습니다.

1. 텍스트 → 세계 (Text2World): "비 오는 날, 로봇이 커피를 마시는 모습"이라고 말만 하면, AI 가 그 장면을 영상으로 만들어줍니다.
2. 이미지 → 세계 (Image2World): 한 장의 사진을 주면, 그 사진이 어떻게 움직일지 예측하여 영상을 만들어줍니다.
3. 영상 → 세계 (Video2World): 짧은 영상을 주면, 그 흐름을 이어가며 앞으로 일어날 일을 예측합니다.

비유하자면:

예전에는 AI 가 '연필로 스케치'만 했다면, 코스모스 2.5 는 **'실제 촬영 가능한 영화 세트'**를 바로 만들어주는 감독과 촬영팀을 갖춘 것입니다.

3. 어떻게 이렇게 똑똑해졌을까요? (3 가지 업그레이드)

이 모델은 이전 버전보다 훨씬 더 똑똑해졌습니다. 그 비결은 다음과 같습니다.

• 더 깨끗한 학습 자료 (2 억 개의 영상):
  AI 는 2 억 개가 넘는 다양한 영상 (자동차 주행, 로봇 팔 움직임, 사람 동작 등) 을 공부했습니다. 하지만 단순히 모은 게 아니라, 질 나쁜 영상은 모두 걸러내고 물리 법칙 (예: 물이 떨어질 때, 공이 튀는 모습) 을 지키는 영상만 엄선했습니다. 마치 최고급 요리사가 최고의 재료만 선별하는 것과 같습니다.

• 더 똑똑한 '이해력' (Cosmos-Reason1):
  이전 모델은 텍스트를 단순히 읽는 수준이었다면, 새로운 모델은 **물리 AI 에 특화된 '이해력'**을 갖췄습니다. "로봇 팔이 컵을 잡을 때 미끄러지지 않게 조심해"라고 말하면, 단순히 컵을 잡는 게 아니라 '미끄러지지 않게'라는 물리적 제약을 이해하고 영상을 만듭니다.

• 강화 학습 (RL) 을 통한 '피드백':
  AI 가 영상을 만든 후, 인간 전문가나 다른 AI 가 "이건 너무 어색해, 물리 법칙에 맞지 않아"라고 피드백을 주면, AI 는 그걸로 다시 학습합니다. 마치 요리사가 맛보기를 하고 맛을 더듬어가는 과정과 같습니다.

4. 실제 활용 사례: 로봇과 자동차를 위한 '가상 훈련장'

이 기술은 단순히 영상을 만드는 것을 넘어, 실제 문제를 해결합니다.

• 로봇의 '가상 연습' (Sim2Real):
  로봇이 새로운 물건을 잡는 법을 배울 때, 실제 로봇을 쓰지 않고 코스모스 2.5 가 만든 가상 환경에서 수천 번 연습하게 합니다. 특히 가상의 조명, 배경, 물체 색상을 자유롭게 바꾸어 로봇이 어떤 상황에서도 적응하도록 훈련시킵니다.

  예: 로봇이 빨간 사과를 잡는 법을 배웠다면, 코스모스 2.5 는 가상의 보라색 망고나 검은색 접시 상황도 만들어내어 로봇이 당황하지 않게 합니다.

• 자율주행의 '예측 능력':
  자율주행차는 복잡한 도로 상황을 예측해야 합니다. 코스모스 2.5 는 지도와 차량 위치만 주면, 앞으로 7 개의 카메라 시점에서 어떤 차들이 지나갈지, 비가 오면 도로가 어떻게 변할지 예측하여 운전자에게 안전한 경로를 제시합니다.

• 다양한 시점 (Multi-view):
  로봇이 물건을 잡을 때, 로봇의 머리 카메라뿐만 아니라 손가락 끝 (그리퍼) 에서 보는 시점까지 동시에 만들어줍니다. 이는 로봇이 시야에 안 보이는 물체도 이해하는 데 도움을 줍니다.

5. 결론: 열린 세상의 시작

NVIDIA 는 이 기술의 소스 코드와 학습된 모델을 전 세계에 무료로 공개했습니다. 마치 레고 블록을 모두 공개한 것처럼, 연구자들과 개발자들이 이 '가상 우주'를 가져가서 자신만의 로봇이나 자율주행 시스템을 더 빠르게, 더 안전하게 만들 수 있게 된 것입니다.

한 줄 요약:

코스모스 2.5 는 로봇과 자율주행차가 실제 세상의 위험 없이, 현실과 구별할 수 없을 만큼 정교한 '가상 우주'에서 수천 번의 훈련을 통해 전문가가 될 수 있게 해주는 최고의 훈련 도구입니다.

기술 요약

논문 개요: 물리 AI 를 위한 비디오 기반 세계 시뮬레이션 (Cosmos-Predict2.5 및 Transfer2.5)

이 논문은 NVIDIA 에서 발표한 Cosmos-Predict2.5와 Cosmos-Transfer2.5를 소개하며, 물리 AI(Physical AI) 를 위한 차세대 세계 모델 (World Foundation Models) 을 제시합니다. 이 모델들은 로봇, 자율 주행 등 실제 물리 환경과 상호작용하는 에이전트를 훈련시키기 위해 고품질의 합성 비디오 데이터를 생성하고 시뮬레이션하는 데 중점을 둡니다.

1. 문제 정의 (Problem)

물리 AI 시스템 (센서와 구동기를 갖춘 embodied agents) 은 실제 환경에서 직접 훈련하기에는 비용이 많이 들고, 위험하며, 시간이 오래 걸립니다. 특히 초기 단계에서는 시스템의 결함으로 인해 에이전트나 환경에 손상을 줄 수 있는 불안전한 행동이 발생할 수 있습니다.

• 핵심 문제: 실제 세계의 물리 법칙을 따르는 고품질의 시각적 환경을 생성하여 에이전트가 "실리콘 (실리콘 칩) 에서" 안전하게 지각 및 제어 기술을 습득할 수 있는 신뢰할 수 있는 세계 시뮬레이터의 부재.
• 기존 한계: 이전 모델 (Cosmos-Predict1 등) 은 데이터 필터링, 아키텍처 통합, 텍스트 정렬 (text grounding) 및 제어 정밀도 측면에서 개선의 여지가 있었습니다.

2. 방법론 (Methodology)

가. 데이터 구축 (Data Curation)

• 대규모 데이터 처리: 2 억 개 이상의 큐레이션된 비디오 클립을 처리하기 위해 7 단계 파이프라인 (샷 분할, 트랜스코딩, 크롭, 필터링, 캡션 생성, 의미론적 중복 제거, 샤딩) 을 개선했습니다.
• 고급 필터링: 미적 점수, 모션 필터, OCR, 지각적 품질, 의미적 아티팩트 필터 등을 적용하여 초기 클립의 약 4% 만을 최종 학습 데이터로 선정했습니다.
• 도메인 특화 데이터: 로봇공학, 자율 주행, 스마트 공간, 인간 역학, 물리 현상 등 5 가지 주요 도메인에 맞춰 고해상도 데이터를 수집하고 전문적인 캡션을 생성했습니다.

나. 모델 아키텍처 및 학습 (Model Architecture & Training)

• Flow Matching 기반: 확산 (Diffusion) 모델 대신 **Flow Matching (FM)**을 사용하여 더 부드러운 최적화와 샘플 품질을 달성했습니다.
• 통합 아키텍처: Text2World, Image2World, Video2World 생성 능력을 단일 모델로 통합했습니다.
• 텍스트 인코더 교체: 이전 모델의 T5 인코더를 물리 AI 에 특화된 Cosmos-Reason1(decoder-only VLM) 으로 교체하여 텍스트 기반의 풍부한 의미 이해와 세밀한 제어를 가능하게 했습니다.
• 학습 전략:
  1. Pre-training: 해상도 (256p → 720p) 와 작업 다양성을 점진적으로 증가시키는 다단계 사전 학습.
  2. Post-training (SFT): 도메인별 (로봇, 주행 등) 고품질 데이터로 지도 미세 조정 (SFT) 후, Model Merging(Model Soup) 기법을 통해 단일 통합 모델로 병합.
  3. Reinforcement Learning (RL): VideoAlign 기반의 보상 모델을 사용하여 RL(Post-training) 을 적용, 인간 선호도와 텍스트 정렬을 극대화했습니다.
  4. Timestep Distillation: 추론 속도를 높이기 위해 4 스텝으로 생성 가능한 증류 모델을 제공.

다. Cosmos-Transfer2.5 (ControlNet 프레임워크)

• Sim2Real 및 Real2Real 변환: 에지 (edge), 블러, 세그멘테이션, 깊이 (depth) 맵 등 다양한 공간 제어 입력을 받아 현실적인 비디오를 생성하는 ControlNet 스타일의 모델입니다.
• 아키텍처 개선: 이전 모델보다 3.5 배 작은 크기 (2B 파라미터) 이면서도 더 높은 충실도와 긴 시간 범위 (long-horizon) 의 일관성을 보장하도록 제어 블록을 네트워크 전체에 분산 배치했습니다.

3. 주요 기여 (Key Contributions)

1. Cosmos-Predict2.5 시리즈 출시: 2B 와 14B 규모의 사전 학습 및 후학습 모델 공개. 물리 AI 도메인에서 SOTA 성능 달성.
2. Cosmos-Transfer2.5 프레임워크: 3.5 배 작은 모델 크기로 더 높은 품질의 제어 기반 비디오 생성 및 긴 시간 범위 시뮬레이션 지원.
3. 다양한 생성 모드 지원: 텍스트, 이미지, 비디오를 조건으로 하는 통합 생성 및 카메라 제어 (Multi-view generation), 행동 조건부 (Action-conditioned) 생성 기능 제공.
4. 오픈 소스 및 벤치마크: 소스 코드, 사전 학습 체크포인트, 커스텀 벤치마크를 NVIDIA 오픈 모델 라이선스 하에 공개하여 연구 장벽을 낮춤.

4. 결과 (Results)

• 벤치마크 성능 (PAI-Bench):
  • Cosmos-Predict2.5-2B는 5B 파라미터의 'Wan2.2' 모델보다 작지만, 텍스트 - 비디오 (T2W) 및 이미지 - 비디오 (I2W) 작업에서 더 높은 인간 선호도를 보였습니다.
  • Cosmos-Predict2.5-14B는 27B 파라미터 모델과 동급의 성능을 보이면서도 파라미터 수는 절반 수준입니다.
  • 도메인 점수 (Domain Score) 와 품질 점수 (Quality Score) 모두에서 기존 모델 및 경쟁 모델 (Wan2.1, Hunyuan 등) 을 상회했습니다.
• 로봇 정책 학습 (Robot Policy Learning):
  • Cosmos-Transfer2.5 를 이용한 시각적 데이터 증강 (Data Augmentation) 은 로봇이 훈련 데이터와 다른 환경 (색상 변경, 조명 변화, 방해물 추가 등) 에서도 작업을 성공적으로 수행하는 능력을 크게 향상시켰습니다 (성공률 24/30).
• 자율 주행 시뮬레이션:
  • 다중 뷰 (7 개 카메라) 생성 모델은 HD 맵과 동적 객체 정보를 기반으로 일관된 주행 시나리오를 생성하며, 기존 모델 대비 객체 및 차선 검출 정확도가 60% 이상 향상되었습니다.
• 장기 비디오 생성:
  • Cosmos-Transfer2.5 는 긴 비디오 생성 시 발생하는 에러 누적 (Error Accumulation) 과 환각 (Hallucination) 현상을 이전 모델 대비 현저히 줄였습니다.

5. 의의 및 중요성 (Significance)

• Physical AI 생태계 가속화: 이 모델들은 로봇 학습, 자율 주행 개발, VLA(Vision-Language-Action) 모델 훈련을 위한 고품질 합성 데이터 생성을 가능하게 하여, 실제 세계 훈련의 위험과 비용을 획기적으로 줄입니다.
• 시뮬레이션 중심 개발 (Simulation-First): "실리콘에서의 훈련"을 통해 에이전트가 실제 배포 전에 복잡한 물리 법칙과 다양한 시나리오를 학습할 수 있는 기반을 마련했습니다.
• 오픈 이노베이션: 모델과 도구를 오픈소스로 공개함으로써 전 세계 연구자와 개발자가 물리 AI 분야에서 혁신을 일으키고 재현 가능한 연구를 수행할 수 있는 토대를 제공했습니다.

결론적으로, 이 논문은 Cosmos-Predict2.5와 Transfer2.5를 통해 물리 AI 를 위한 고품질, 고제어, 대규모 세계 시뮬레이션의 새로운 표준을 제시하며, 차세대 embodied intelligence 의 발전에 중요한 이정표가 되었습니다.