💻 computer science

VDAWorld: World Modelling via VLM-Directed Abstraction and Simulation

VDAWorld는 시각-언어 모델(Vision-Language Model)을 활용하여 이미지-캡션 쌍을 추상적이고 접지된 장면 표현으로 자율적으로 증류하고 적절한 물리 시뮬레이터를 선택함으로써, 생성형 비디오 모델의 한계를 극복하여 상호작용 제어, 반사실적 생성 및 물리적 추론에서 최첨단 성능을 달성하는 새로운 프레임워크를 도입합니다.

원저자: Felix O'Mahony, Roberto Cipolla, Ayush Tewari

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Felix O'Mahony, Roberto Cipolla, Ayush Tewari

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 도미노가 쓰러지는 비디오를 보고 있다고 상상해 보세요. 일반적인 AI 비디오 생성기는 다음 프레임을 예측하기 위해 픽셀(색상의 아주 작은 점들)이 어떻게 보여야 할지 추측하려고 노력합니다. 이것은 마치 화가가 현재의 그림을 보고 다음 붓터치를 추측하며 미래를 그리려는 것과 같습니다. 때때로 이 방식은 매우 아름답게 작동하기도 하지만, 종종 화가는 혼란에 빠집니다. 도미노가 허공으로 사라지거나, 다른 도미노를 유령처럼 통과해 버리거나, 장면 전체의 물리 법칙이 갑자기 변해버리기도 합니다.

VDAWorld는 완전히 다른 접근 방식을 취합니다. VDAWorld는 미래를 그리는 대신, 스마트한 설계자이자 물리 교사가 결합된 형태로 행동합니다.

그 작동 원리를 간단한 단계별로 설명하면 다음과 같습니다.

1. "번역기" (VLM 에이전트)

VDAWorld에 사진 한 장과 설명(예: "탁자 위의 블록 한 줄")을 주면, VDAWorld는 단순히 픽셀을 응시하는 것이 아닙니다. VDAWorld는 강력한 AI "번역기"(Vision-Language Model이라고 불림)를 사용하여 장면을 관찰하고 다음과 같이 질문합니다: "이것은 어떤 종류의 세상인가?"

비유: 당신이 번역가에게 수영장 사진을 건네준다고 상상해 보세요. 일반적인 AI는 다음 몇 초 동안 물의 색깔이 어떻게 변할지 추측하려 할 것입니다. 하지만 VDAWorld의 번역기는 사진을 보고 이렇게 말합니다. "아, 이것은 물이다. 나는 유체 역학(Fluid Physics) 규칙집을 사용해야 한다."
만약 사진이 나무 블록 더미를 보여준다면, 번역기는 이렇게 말합니다. "이것은 고체 물질이다. 나는 강체(Rigid Body) 규칙집을 사용해야 한다."
만약 사진이 게임의 한 장면이라면, 번역기는 이렇게 말합니다. "이것은 논리다. 나는 게임 규칙 규칙집을 사용해야 한다."

2. "청사진" 구축 (추상화)

번역기가 규칙을 파악하면, VDAWorld는 지저분한 세부 사항(나무의 결이나 그림자 등)은 무시하고 깨끗하고 수학적인 청사진을 만듭니다.

비유: 이것은 목수가 나무 더미를 보고 탁자를 만들기로 결정하는 것과 같습니다. 그들은 톱밥이나 나무의 색깔에는 신경 쓰지 않습니다. 그들은 치수와 접합부에 집중합니다. VDAWorld는 이러한 "노이즈"를 제거하고 컴퓨터가 완벽하게 이해할 수 있는 단순화되고 구조화된 모델을 만듭니다.

3. "시뮬레이터" 고용 (엔진)

그다음, 번역기는 시뮬레이터 역할을 하는 컴퓨터 프로그램(코드)을 작성합니다. 이것은 비디오가 아니라, "만약 내가 이 블록을 밀면, 중력이 블록을 아래로 끌어당기고, 그것이 다음 블록을 친다"라고 말하는 일련의 지침입니다.

비유: VDAWorld는 단순히 다음에 무슨 일이 일어날지 추측하는 대신, 작은 가상 실험실을 구축합니다. 실험실 안에 블록들을 넣고 물리 법칙이 실행되도록 둡니다. 실제 물리 법칙 위에서 작동하기 때문에, 블록들은 서로를 통과할 수 없으며 사라질 수도 없습니다. 블록들은 반드시 논리적으로 행동해야 합니다.

4. "만약에?"라는 초능력 (상호작용성)

이 부분이 일반적인 비디오 AI와 차별화되는 VDAWorld의 강점입니다. VDAWorld는 청사진과 시뮬레이터를 구축했기 때문에, 규칙을 변경하고 그 결과를 즉시 확인할 수 있습니다.

비유: 당신이 일반적인 도미노 영상을 보고 있다면, 시간을 멈추거나 도미노를 더 추가할 수 없습니다. 하지만 VDAWorld를 사용하면 당신은 리모컨을 든 감독이 됩니다.
- 대본 수정하기: 당신이 AI에게 "사실, 도미노 두 개를 더 추가해줘"라고 말하면, AI는 청사진을 업데이트하고 시뮬레이션을 다시 실행합니다.
- 물리 법칙 바꾸기: "중력을 더 강하게 해줘" 또는 "물을 뜨게 만들어줘"라고 말하면, 시뮬레이터는 새로운 규칙에 따라 결과를 즉시 재계산합니다.
- 실수 바로잡기: 만약 AI가 이상해 보이는 다리를 만들었다면, 코드를 편집하여 다리를 수정할 수 있고, 그러면 시뮬레이션이 즉시 업데이트됩니다.

왜 이것이 더 나은가요?

논문은 일반적인 비디오 AI가 실감 나 보이긴 하지만 종종 대본(물리 법칙)을 잊어버리는 즉흥 연기 배우와 같다고 주장합니다. 반면 VDAWorld는 실험실을 갖춘 과학자와 같습니다. 처음에는 영화처럼 "예쁘거나" 사실적이지 않을 수 있지만, 물리 법칙이 정확하다는 것을 보장합니다.

마법 없음: 물체가 사라지거나 합쳐지지 않습니다.
추측 없음: 패턴이 아닌 규칙을 바탕으로 미래를 계산합니다.
제어 가능: "만약에?"라는 질문을 던지면 무작위 비디오 클립이 아닌 논리적인 답변을 얻을 수 있습니다.

요약하자면, VDAWorld는 단순히 미래를 예측하는 것이 아니라, 실제 세상이 작동하는 방식에 따라 미래가 계산되는 작고 상호작용 가능한 세계를 구축합니다.

기술 요약: VDAWorld

문제 정의

현재의 월드 모델링 접근 방식, 특히 대규모 생성 비디오 모델들은 시각적 사실성에도 불구하고 근본적인 한계에 직면해 있습니다. 이러한 모델들은 픽셀 공간 내에서 불투명한 "블랙박스"로 작동하며, 이로 인해 물리 법칙(예: 객체 영속성, 충돌, 인과관계)이나 논리적 규칙(예: 셀룰러 오토마타)을 준수하는 데 있어 체계적인 실패를 보입니다. 또한, 이들은 상호작력이 부족합니다. 생성된 장면은 구조화되지 않은 픽像素 시퀀스에 불과하여, 기저 상태를 검사하거나 객체의 속성을 쿼리하거나, 훈련 분포를 벗어난 새로운 물리적 개입을 적용하는 것이 불가능합니다. 반대로, 기존의 3D 재구성 방법들은 물리보다는 기하학적 구조와 외형에 집중하며, 고정된 파이프라인 시뮬레이션 방법(예: PhysGen)은 다양한 장면 유형과 역학에 적응하는 유연성이 부족합니다.

방법론

본 논문은 VLM 중심의 추상화 및 시뮬레이션으로 패러다임을 전환하는 VDAWorld 프레임워크를 소개합니다. VDAWorld는 단순히 프레임을 생성하는 대신, 이미지-캡션 쌍을 다루기 쉽고 구조화되며 실행 가능한 Python 월드 모델로 정제합니다.

핵심 아키텍처

시스템은 지능형 에이전트 역할을 하는 중앙 **시각-언어 모델(VLM)**에 의해 조율됩니다. VLM은 다음 세 가지 핵심 요소로 구성된 "월드 프로그램"을 합성합니다:

그라운디드 추상 표현 ( $P_s$ ): VLM은 일련의 컴퓨터 비전 도구(예: 세그멘테이션을 위한 SAM 3, 기하학을 위한 MoGe-2, 프리미티브 피팅을 위한 RANSAC) 중에서 선택하여 2D 또는 3D 장면 표현을 구축합니다. 결정적으로, VLM은 차원과 추상화 수준(예: 강체 역학을 위해 질감을 버리거나 2D 셀룰러 오토마타를 위해 평면 로직을 인식하는 것)을 자율적으로 결정합니다.
추론된 액션 다이내믹스 ( $a_{0:T}$ ): 역역학 엔진으로서 작동하는 VLM은 시각적 및 텍스트 단서를 통해 추론된 장면을 구동하는 데 필요한 초기 액션 시퀀스(예: 충격량, 속도, 카메라 변환)를 예측합니다.
전이 프로그램 ( $P_\tau$ ): VLM은 가장 호환 가능한 물리 시뮬레이터(예: 강체, 유체 역학, 논리 규칙)를 선택하고 구현하여 시간이 흐름에 따라 장면 상태를 진화시킵니다.

에이전트 워크플로우

견고함을 보장하기 위해, VDAWorld는 에이전트 루프를 채택합니다. VLM은 다음과 같은 방식으로 생성된 코드를 반복적으로 개선할 수 있습니다:

코드를 실행하고 에러 메시지를 읽음.
동적 활동을 시각화하여 불일치를 감지하는 **모션 히스토리 이미지(MHI)**를 분석함.
API 문서를 읽고 자신의 구현을 디버깅함.

이 과정은 실행 가능한 독립적인 Python 스크립트를 생성합니다. 월드 모델이 명시적인 코드이므로, 사용자는 캡션을 수정하거나, 액션 궤적을 편집하거나, 전이 규칙을 변경하거나, 초기 기하 구조를 변경하여 반사실적 상황을 탐색하는 등의 제로샷 사용자 개입을 할 수 있습니다.

주요 기여

월드 모델링의 새로운 패러다임: 본 논문은 픽셀 예측이 아닌, 구조화되고 시뮬레이션 가능한 표현을 통해 범용 월드 모델을 구축하는 것을 제안합니다.
역역학 엔진으로서의 VLM: VLM이 다양한 최첨단 컴퓨터 비전 도구를 활용하여 그라운디드된 장면 표현을 구축하고 적절한 시뮬레이터를 자율적으로 선택하는 프레임워크를 제시합니다.
입증된 장점: 본 논문은 이 접근 방식이 물리적으로 타당한 시뮬레이션을 생성하고, 일반적인 상호작용(반사실적 생성 포함)을 가능하게 하며, 장면 복잡성에 따라 자연스럽게 확장되는 시뮬레이션 시간을 제공한다는 증거를 제시합니다.
새로운 벤치마크: 저자들은 결정론적 물리 추론을 위한 HSPBench(High School Physics)와 셀룰러 오토마타의 논리적 추론을 위한 ConwayBench를 도입하였으며, 기존의 PhysicsIQ 및 MME-CoF-Pro 벤치마크에 대한 평가도 수행했습니다.

실험 결과

저자들은 VDAWorld를 선도적인 비디오 생성 모델(Wan2.2, Lumiere, VideoPoet, Veo3) 및 고정 파이프라인 시뮬레이터(PhysGen, PhysGen3D)와 비교 평가했습니다.

PhysicsIQ 벤치마크: VDAWorld는 "best-of-three" 설정에서 (Wan2.2의 46.2 대비 49.7 점) 최고 성능을 달-성했으며, 단일 시행(one-trial) 설정에서도 베이스라인을 크게 앞섭ut습니다. 이는 고정 파이프라인 방식이 경직성으로 인해 높은 실패율을 보이는 것과 달리, 다양한 역학(고체 역학, 유체, 열역학)을 처리하는 데 탁월한 능력을 보여줍니다.
HSPBench: 결정론적 물리 문제에서, VDAWorld는 비디오 모델이 통계적 픽셀 상관관계에 의존하는 것과 달리 역학을 물리 엔진에 고정함으로써 미래 상태에 대한 시각적 질의응답(VQA)에서 성능이 크게 향상되었습니다.
ConwayBench: VDAWorld는 비디오 모델이 기저의 논리 규칙을 포착하지 못하는 과제인 콘웨이의 생명 게임(Conway's Game of Life)의 진화를 예측하는 데 있어 완벽한 F1 점수를 달성했습니다.
효율성: 픽셀 생성에 고정된 비용이 발생하는 비디오 모델과 달리, VDAWorld의 실행 시간은 물리적 복잡성에 따라 스케일링됩니다. 단순한 시뮬레이션(예: 생명 게임)은 복잡한 시뮬레이션보다 훨씬 빠르게 실행됩니다.
상호작력: 본 논문은 생성된 코드를 편집함으로써 중력을 수정하거나, 객체를 추가하거나, 카메라 움직임을 변경하는 등의 성공적인 반사실적 생성을 보여줍니다.

의의 및 주장

본 논문은 VDAWorld가 그라운디드되고 상호작용 가능한 월드 모델을 만드는 데 있어 중요한 단계라고 주장합니다. 불투명한 표현을 학습하는 단일 엔드 투 엔드 모델에서 벗어나, VDAWorld는 세상을 추론하고 이를 모델링하는 코드를 작성하는 **구성적 에이전트(compositional agent)**로서 기능합니다.

저자들은 주요 초점이 시각적으로 매우 사실적인 비디오를 생성하는 것이 아니라 실행 가능하고 물리적으로 타당한 시뮬레이션을 생성하는 데 있음을 강조하며, 이러한 구조적 특성이 다음과 같은 기능을 가능하게 한다고 설명합니다:

물리적 및 논리적 타당성: 픽셀 기반 모델이 자주 위반하는 근본적인 물리 및 논리 원칙의 준수.
해석 가능성 및 제어 가능성: 블랙박스 비디오 생성기에서는 불가능한 방식으로 월드 상태를 검사, 쿼리 및 수정할 수 있는 능력.
확장성: 기저 역학의 복잡성과 일치하는 계산 효율성.

결론적으로, 이 프로그래밍 방식의 접근법은 현재의 생성 비디오 모델이 가진 결정적인 한계를 해결하며, 지능형 시스템의 계획, 의사 결정 및 인과적 추론을 위한 더 강력한 토대를 제공합니다.