💻 computer science

What-If World: A Causal Benchmark for General World Models in Embodied Scenarios

본 논문은 단일 변수 변화에 대한 물리적으로 일관되고 인과적으로 분기된 결과를 생성하는 비디오 생성 모델의 능력을 평가하는 319 개의 프롬프트 쌍으로 구성된 새로운 벤치마크인 "What-If World"를 소개하며, 이를 통해 최신 최첨단 모델이 계획 및 제어를 위한 구체적 시나리오를 신뢰할 수 있도록 시뮬레이션하는 데 크게 실패하고 있음을 밝힙니다.

원저자: Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian

게시일 2026-05-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 재능 있는 화가가 있어 incredibly 사실적인 장면을 그릴 수 있다고요. 만약 그에게 "부드럽게 제동하는 차"를 그려달라고 하면 훌륭하게 그립니다. "강하게 제동하는 차"를 그려달라고 해도 역시 훌륭하게 그립니다. 두 그림 모두 그 자체로 완벽해 보입니다.

하지만 함정이 있습니다. What-If World는 다른 질문을 던집니다. "지시사항을'부드럽게'에서'강하게'로 바꾸었을 때, 결과가 물리학이 말하듯 실제로 변하는가?"라고 묻는 것입니다.

실제 세상에서는 강한 제동이 부드러운 제동보다 차를 훨씬 더 빨리 멈춥니다. 하지만 현재의 AI 비디오 생성기들의 세계에서는 화가가 지시사항이 완전히 달랐음에도 불구하고 두 그림의 정지 거리가 거의 동일하게 그려질 수 있습니다. AI는 차의 모습을 그리는 데는 능숙하지만, 차가 움직이는 논리를 이해하는 데는 서툴러요.

문제:"닮은꼴"함정

현재의 AI 비디오 모델 평가는 학생의 숙제를 페이지별로 개별적으로 채점하는 것과 같습니다.

1 페이지: "부드럽게 제동하는 차를 그려라." (그림이 잘 그려졌다. 합격.)
2 페이지: "강하게 제동하는 차를 그려라." (그림이 잘 그려졌다. 합격.)

선생님은 두 페이지를 나란히 비교해 보지 않습니다. 그래서 두 그림 모두 차가 정확히 같은 곳에서 멈추는 것을 보여주고 지시사항의 차이를 완전히 무시하더라도 AI 는 A 를 받습니다. 이를 **대조적 병목 현상 (Contrastive Bottleneck)**이라고 합니다. AI 는 무언가를 보여지는 대로 사실적으로 만들 수는 있지만, 규칙을 바꿨을 때 무언가가 다른 방식으로 행동하도록 만들 수는 없습니다.

해결책: What-If World

연구자들은 What-If World라는 새로운 테스트를 개발했습니다. 비디오 하나씩을 채점하는 대신, AI 를 동일한 시작 장면에서 출발하되 지시사항에 미세한 변화가 있는 **쌍 (pairs)**의 비디오를 생성하도록 강요합니다.

"차이를 찾아라"게임처럼 생각하되, AI 는 물리학에 기반해 스스로 그 차이를 창조해야 합니다.

설정:

앵커 (The Anchor): 차나 로봇 팔이 움직이기 직전의 실제 사진을 가져옵니다. 이것이 두 비디오 모두에게 동일하게 적용되는"얼어붙은 순간"입니다.
반전 (The Twist): AI 에게 물리적 세부 사항 하나만 다른 두 가지 프롬프트를 줍니다.
- 프롬프트 A: "로봇 팔이 블록을 부드럽게 밀어라."
- 프롬프트 B: "로봇 팔이 블록을 강하게 밀어라."
테스트: AI 는 두 개의 비디오를 생성해야 합니다. 연구자들 (초지능 AI 심판 사용) 은 다음을 확인합니다.
- 로봇이 실제로 밀었는가? (준수성, Adherence)
- 블록이 물리적으로 가능한 방식으로 움직였는가? (물리성, Physics)
- 배경은 동일하게 유지되었는가? (환경, Environment)
- 중요하게: "강하게 밀기"비디오가"부드럽게 밀기"비디오보다 블록이 더 멀리 또는 더 빠르게 움직이는 것을 보였는가? (결과, Outcome)

게임의 여섯 가지 규칙

테스트를 공정하고 과학적으로 만들기 위해 연구자들은 변화를 물리학의 여섯 가지 구체적인"규칙"으로 조직화했습니다. 두 가지 범주로 나뉩니다:

1. 환경 (무대):

마찰력: 도로는 얼어있거나 건조한가? (차가 미끄러지는가?)
재질/매체: 물체는 스펀지인가 벽돌인가? (눌려 찌그러지는가 아니면 단단한가?)
장애물: 길에 원뿔이 있는가? (차가 부딪히거나 우회하는가?)

2. 행동 (배우):

힘/정도: 밀거나 제동하는 힘이 얼마나 강한가?
공간적 정렬: 로봇이 정확히 어디를 잡는가?
시간적 순서: 로봇은 움직이기 전에 잡았는가 후에 잡았는가?

결과: AI 는 여전히 초보입니다

연구자들은 세계에서 가장 똑똑한 비디오 AI 모델 9 개 (오픈소스와 고가의 폐쇄소스 모두 포함) 를 테스트했습니다. 결과는 냉담했습니다:

한계: 최고의 모델조차 테스트의 약 **52%**만 통과했습니다.这意味着 거의 절반은 실패한 것입니다.
격차: 오픈소스 모델은 더 나빠서 28% 부근에 몰려 있었습니다.
착시: 대부분의 모델은"단일 비디오"테스트에서는 높은 점수를 받았습니다 (비디오가 훌륭해 보임). 하지만"쌍"테스트에서는 실패했습니다 (비디오 간 차이가 충분하지 않음). 그들은 물리학을 위조하고 있었습니다.
시각적 편향: AI 는 눈에 띄는 변화 (예: 차가 빠르게 달리는 대 느리게 달리는 것) 가 있을 때는 더 잘했지만, 미묘하거나 보이지 않는 변화 (예: 도로의 미끄러움 정도) 가 있을 때는 처참하게 실패했습니다.

핵심 교훈

이 논문은 결론적으로, 이러한 AI 모델들이 렌더링(아름다운 그림 만들기) 에는 놀라울 정도로 뛰어나지만, 아직은 신뢰할 수 있는 시뮬레이터(세상이 작동하는 방식을 이해하는 것) 는 아니라고 말합니다.

로봇의 움직임을 계획하거나 자율주행차를 시뮬레이션하는 데 AI 를 사용하려면, AI 가"강한 제동"이"짧은 정지"를 의미한다는 것을 이해해야 합니다. 현재 AI 는 강한 제동이 어떻게 보이는지 추측할 뿐, 그것이 무엇을 하는지는 모릅니다. What-If World테스트를 통과할 수 있을 때까지는, 우리가 AI 를 현실 세계에서 결정을 내리게 완전히 신뢰할 수는 없습니다.

기술 요약: What-If World: 임베디드 시나리오를 위한 일반적 세계 모델의 인과적 벤치마크

문제 제기

비디오 생성 모델이 자율 주행 및 로봇 조작과 같은 임베디드 응용 분야를 위한 범용 세계 시뮬레이터로 점점 더 제안되고 있습니다. 그러나 기존 평가 패러다임은 이러한 설정에 필요한 핵심 능력인 **인과적 민감도 (causal sensitivity)**를 평가하지 못합니다. 현재 벤치마크 (예: VBench, EvalCrafter, VideoPhy) 는 단일 프롬프트에 대한 시각적 사실성이나 물리적 타당성을 기준으로 생성된 비디오를 고립적으로 평가합니다. 이러한 접근 방식은 서로 다른 물리적 개입 (예: "부드럽게 제동" 대 "강하게 제동") 을 설명하는 프롬프트를 받았음에도 불구하고 거의 동일한 두 개의 시각적으로 타당한 비디오를 생성하는 근본적인 실패 모드를 탐지하지 못합니다.

행동 조건부 시뮬레이터 및 모델 기반 계획자에게는 제어된 입력 변화를 추적하지 못하는 시스템은 사용할 수 없습니다. 개입에 따라 분기되지 않는 롤아웃은 대안적인 행동을 비교하는 데 사용할 수 없기 때문입니다. 기존 인과적 벤치마크 (예: CLEVRER, NExT-QA) 는 주어진 비디오에서 인과적 구조를 지각하는 능력을 테스트할 뿐, 입력 변이에 기반하여 물리적으로 정확한 인과적 역학을 처음부터 생성하는 능력을 테스트하지는 않습니다.

방법론

1. What-If World 벤치마크

저자들은 비디오 세계 모델의 대조적 개입을 위해 설계된 최초의 벤치마크인 What-If World를 소개합니다. 이 벤치마크는 3 단계 파이프라인을 통해 구축됩니다.

분류 체계 정의 (무엇을 테스트할지): 자율 주행 및 로봇 조작 분야의 두 명의 도메인 전문가가 nuScenes와 DROID의 1,000 개 실제 세계 비디오를 분석했습니다. 그들은 결과를 지배하는 물리적 변수를 식별하여 두 도메인에 걸친 통합된 6 가지 원시 분류 체계로 통합했습니다.
- 환경 도메인 ( $D_{env}$ ): 표면 마찰, 재료 및 매체, 장애물 구성.
- 상호작용 도메인 ( $D_{int}$ ): 공간 정렬, 힘/정도, 시간적 순서.
  이러한 원시 변수들은 물리적으로 근본적이고, 임베디드 간에 공유되며, 운영적으로 분리 가능하다는 기준으로 선정되었습니다.
데이터셋 구축 (어떻게 테스트할지): 벤치마크는 319 개의 쌍을 이루는 테스트 인스턴스로 구성됩니다. 각 인스턴스는 다음에 따라 구축됩니다.
1. 실제 비디오 클립을 선택하고 인과적 분기점(행동 시작 직전의 순간) 에서 프레임 $x_0$ 를 추출하여 초기 상태를 고정합니다.
2. 카메라 시점과 초기 장면 상태를 공유하지만 정확히 하나의 의미론적 변수(개입) 만이 다른 대조적 프롬프트 쌍 $(p^+, p^-)$ 을 구성합니다.
3. 프롬프트에서 물리적 결과를 숨겨 모델이 텍스트 사전 지식에서 검색하는 대신 결과를 시뮬레이션하도록 강제합니다.
  데이터셋은 자율 주행 및 로봇 팔 조작에 걸쳐 18 개의 하위 카테고리를 포괄합니다.
평가 프로토콜 (어떻게 평가할지): 저자들은 비디오 쌍을 네 가지 차원에서 점수화하는 APEO 프레임워크를 제안합니다.
- 준수 (Adherence, A): 비디오가 프롬프트된 행동을 수행하는가?
- 물리 (Physics, P): 운동이 물리적 제약을 존중하는가?
- 환경 (Environment, E): 배경 및 비대상 장면이 안정적인가?
- 결과 (Outcome, O): 두 비디오가 개입에 의해 예측된 방향으로 분기하는가?
특히, A, P, E 는 단일 비디오(독립적 타당성) 및 쌍을 이룬(대조적 일관성) 모드 모두에서 점수화됩니다. 결과 (O) 는 쌍을 이룬 경우에만 적용됩니다. 이 설계는 비디오별 타당성과 인과적 정확성을 분리합니다. 인간 주석과 비교하여 검증된 (82.3% 일치) VLM 판정관 (Gemini 3.1-Pro) 이 점수화를 수행합니다.

주요 결과

이 벤치마크는 9 개의 최첨단 비디오 생성 모델 (오픈소스 4 개, 폐쇄소스 5 개) 에 적용되었습니다. 결과는 현재 세계 모델의 상당한 한계를 드러냅니다.

낮은 인과적 민감도: 어떤 모델도 주요 쌍을 이룬 지표 (pAvg) 에서 **52%**를 초과하지 못합니다. 가장 성능이 좋은 모델인 Grok Imagine은 51.7% 를 달성하는 반면, 오픈소스 모델들은 28% 근처에 군집합니다.
대조적 병목 현상: 단일 비디오 점수와 쌍을 이룬 점수 사이에는 상당한 격차가 존재합니다. 예를 들어, HunyuanVideo-1.5 는 단일 비디오 물리 점수 ( $P_s$ ) 에서 64.4% 를 달성하지만, 쌍을 이룬 물리 점수 ( $P_p$ ) 에서는 **12.2%**로 떨어집니다. 이는 모델이 입력 변화에 따라 구별되지 않는 개별적으로 설득력 있는 비디오를 생성할 수 있음을 나타냅니다.
시각적 두드러짐 대 물리적 처리 가능성: 성능은 개입 결과의 시각적 두드러짐과 더 강하게 상관관계가 있으며, 근본적인 물리학과는 덜 상관관계가 있습니다.
- 힘/정도(극적인 운동 차이 생성) 는 **40.4%**로 가장 높게 점수화됩니다.
- 표면 마찰(잠재 변수에 미묘한 궤적 차이 생성) 은 **14.2%**로 가장 낮게 점수화됩니다.
- 시간적 순서는 모든 모델에서 압축된 성능 범위를 보여주며, 이는 스케일링으로 아직 해결되지 않은 근본적인 과제임을 시사합니다.
숨겨진 실패 모드: 모든 단일 비디오 점검이 통과된 사례의 13.1% 에서 쌍을 이룬 물리 점검은 실패했습니다. 이러한 "숨겨진 실패"는 시뮬레이션이 유효해 보이지만 인과적 구별을 제공하지 않기 때문에 반사실적 계획과 같은 하위 응용 분야에 높은 위험을 초래합니다.

중요성 및 주장

이 논문은 What-If World가 현재 생성형 비디오 시스템이 세계 모델로서 어려움을 겪는 부분을 진단하기 위한 최초의 통합적이고 재현 가능한 프레임워크를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다.

맹점 노출: 기존 비디오별 평가 지표는 제어된 입력 변화를 추적하지 못하는 "대조적 병목 현상"을 탐지하지 못하므로 임베디드 응용 분야에는 부적절함을 보여줍니다.
표준 정의: 자율 주행 및 로봇 조작 전반에 걸쳐 물리적 개입 변수를 통합하는 6 가지 원시 분류 체계를 수립하여 임시적 테스트 사례를 넘어섰습니다.
격차 정량화: 가장 진보된 폐쇄소스 시스템조차도 인과적 개입의 상당 부분에서 실패하므로, 현재 모델은 행동 조건부 시뮬레이션이나 모델 기반 계획에 아직 신뢰할 수 없음을 정량적 증거로 제시합니다.

저자들은 모델이 시각적으로 명백한 시나리오에서는 일부 능력을 보이지만, 특히 마찰이나 질량과 같은 잠재 변수 및 시간적 순서와 같은 관계적 추론에 대해서는 일반화 가능한 물리적 민감도가 부족하다고 결론지었습니다. 이 작업은 이러한 모델이 안전이 중요한 임베디드 시스템에 안전하게 배포되기 전에 해결해야 할 중요한 능력 격차를 강조합니다.