🤖 AI

Can Image Models Imagine Time? ImageTime: A Novel Benchmark for Probing Visual World Modeling Through Spatiotemporal Consistency

이 논문은 이미지 생성 모델이 시간적 과정을 묘사하는 네 개의 순차적인 키프레임을 생성하도록 요구함으로써, 현재 시스템들이 시간 경과에 따른 역동적인 변화를 표현하는 데 있어 갖는 한계를 드러내며, 이미지 생성 모델의 시공간적 일관성 및 일관된 시각적 세계 모델링 능력을 평가하는 새로운 벤치마크인 ImageTime을 소개한다.

원저자: Xinrui Wu, Lichen Huang

게시일 2026-06-10

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Xinrui Wu, Lichen Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 묘사하는 어떤 그림이든 그려낼 수 있는 마법의 화가가 있다고 상상해 보세요. 만약 당신이 "매트 위에 앉아 있는 고양이"를 요청한다면 그 화가는 놀라운 실력을 보여줄 것입니다. 하지만 만약 당신이 이야기를 요청한다면 어떻게 될까요? 예를 들어 "고양이를 그리고, 그다음 고양이가 점프하는 모습을 보여주고, 그다음 착지하는 모습을 보여준 뒤, 마지막으로 잠자는 모습을 그려줘"라고 말한다면 어떨까요?

이것이 바로 ImageTime이라는 논문이 다루는 문제입니다. 현재의 AI 이미지 생성기들은 단일하고 완벽한 그림을 만드는 데는 뛰어나지만, 우리는 그들이 시간이 흐름에 따라 '변화하는 것'을 정말로 이해하고 있는지 알지 못합니다. 그들은 고양이가 착지하기 전에 반드시 점프를 해야 한다는 것을 실제로 "알고" 있을까요? 아니면 그저 중간 단계는 무시한 채 최종 결과물만 짐작해서 그려내는 것일까요?

다음은 연구진이 수행한 작업을 일상적인 비유를 사용하여 쉽게 풀어낸 내용입니다.

1. 문제점: "스냅샷" 대 "영화"

현재의 AI 이미지 모델을 스냅샷만을 찍는 사진가라고 생각해보세요. 그들은 단 하나의 순간을 포착하는 데는 매우 뛰어납니다. 하지만 만약 그들에게 케이크를 굽거나 문을 여는 것과 같은 과정을 설명해달라고 요청한다면, 그들은 종종 물리 법칙을 틀리게 표현하곤 합니다. 그들은 첫 번째 단계에서 이미 프로스팅이 완료된 케이크를 보여주거나, 쿠키가 구워지기도 전에 손이 쿠키를 들고 있는 모습을 보여줄 수도 있습니다.

이 논문은 AI가 진정으로 "똑똑해지려면" **시각적 세계 모델링(Visual World Modeling)**을 이해해야 한다고 주장합니다. 이는 AI가 다음 사항들을 추적할 수 있어야 함을 의미합니다:

정체성(Identity): 저것이 여전히 같은 고양이인가?
공간(Space): 고양이가 왼쪽으로 움직인 것인가, 아니면 방 전체가 이동한 것인가?
원인과 결과(Cause and Effect): 누군가 문을 밀어서 열린 것인가, 아니면 그냥 마법처럼 열려 있었던 것인가?

2. 해결책: "만화 칸" 테스트 (ImageTime)

이를 테스트하기 위해 연구진은 ImageTime이라는 새로운 벤치마크를 만들었습니다. AI에게 그림 한 장을 만드는 대신, 2x2 형태의 만화 칸이 포함된 단일 이미지를 만들도록 요청하는 것입니다.

AI는 반드시 다음의 네 가지 프레임을 순서대로 그려야 합니다:

시작: 아무 일도 일어나기 전의 장면.
동작의 시작: 동작이 시작되는 순간.
중간: 동작이 진행 중인 상태.
끝: 최종 결과.

비유: 아이에게 "샌드위치 만들기"를 주제로 4칸 만화를 그려달라고 요청한다고 상상해 보세요.

훌륭한 AI는: 테이블 위의 빵 -> 빵 위에 고기를 올리는 손 -> 고기 위에 치즈를 올리는 손 -> 완성된 샌드위치를 그립니다.
나쁜 AI는: 완성된 샌드위치 -> 완성된 샌드위치 -> 완성된 샌드위치 -> 완성된 샌드위치를 그릴 수 있습니다. (중간 단계를 건너뛰었습니다.)
또 다른 나쁜 AI는: 테이블 위의 빵 -> 이미 먹어버린 샌드위치 -> 다시 테이블 위의 빵 -> 완성된 샌드위치를 그릴 수 있습니다. (시간 순서가 깨졌습니다.)

3. 채점 시스템: "논리의 사다리"

연구진은 단순히 "합격/불합격"으로 점수를 매기지 않았습니다. AI가 정확히 어느 지점에서 실패하는지 확인하기 위해 7단계의 사다리를 구축했습니다.

1단계 (기초): AI가 올바른 고양이와 올바른 매트를 그렸는가? (정적 접지 - Static Grounding)
2단계 (정체성): 두 번째 칸의 고양이가 첫 번째 칸의 고양이와 동일한 고양이인가? 배경이 무작위로 변하지는 않았는가? (정체성 및 앵커 - Identity & Anchors)
3단계 (움직임): 고양이가 실제로 움직였는가? 아니면 그림 전체가 그냥 미끄러진 것인가? (공간적 전이 - Spatial Transition)
4단계 (상태): 고양이가 점프했다면 이제 공중에 떠 있는가? 우유를 부었다면 컵이 더 차 있는가? (객체-상태 전이 - Object-State Transition)
5단계 (상호작용): 고양이의 발이 실제로 매트에 닿았는가? 손이 컵을 제대로 잡고 있는가? (상호작용 - Interaction)
6단계 (원인): 손이 문을 민 후에 문이 열렸는가? (인과 과정 - Causal Process)
7단계 (규칙): 만약 프롬프트에 "문을 열지 마시오"라고 했다면, AI가 문을 닫힌 상태로 유지했는가? (제약 조건 - Constraints)

4. 심판: "슈퍼 검사관"

이 만화들을 채점하기 위해 연구진은 슈퍼 검사관 역할을 하는 매우 발전된 AI(GPT-5.5)를 사용했습니다. 이 검사관은 단순히 그림을 보는 것이 아니라, 원래의 지침을 읽고 모든 패널을 규칙에 따라 하나하나 대조합니다.

검사관은 다음과 같은 특정 "실패" 사례를 찾아냅니다:

시간 여행(Time Travel): 동작이 시작되기 전에 최종 결과를 보여주는 경우.
마법(Magic): 물체가 갑자기 나타나거나 사라지는 경우.
표류(Drifting): 패널 사이에서 고양이의 색이 변하거나 방의 모양이 바뀌는 경우.
불가능한 물리 법칙(Impossible Physics): 손이 단단한 벽을 통과하여 뻗어 나오는 경우.

5. 연구 결과

연구진은 8개의 서로 다른 AI 이미지 생성기를 테스트했습니다. 결과의 핵심은 다음과 같습니다:

최상위 성능 모델: 가장 발전된 모델들(GPT Image 2 및 Nano Banana 2 등)이 가장 좋은 성적을 거두었습니다. 이들은 보통 이야기의 흐름을 유지하고, 캐릭터를 보존하며, 동작이 올바른 순서로 일어나는 것을 보여주었습니다. 하지만 최고 수준의 모델조차 병에 남은 액체의 양과 같은 아주 세밀한 디테일에서는 실수를 하기도 했습니다.
중위 성능 모델: 일부 모델은 그림을 그려내기는 했지만, 타임라인을 틀리는 경우가 많았습니다. 예를 들어 "끝"의 결과를 "시작" 패널에 보여주기도 했습니다.
부진한 모델: 일부 오래되거나 규모가 작은 모델들은 테스트에서 거의 즉시 실패했습니다. 이들은 4개의 뚜렷한 패널을 그리지 못하고, 그저 엉망인 콜라주를 만들거나 동일한 이미지를 네 번 반복해서 보여주었습니다.

핵심 결론:
이 논문은 예쁜 그림을 만드는 것은 쉽지만, 논리적인 이야기를 만드는 것은 어렵다고 결론짓습니다.

오늘날의 최첨단 AI 모델들도 마치 한 줄의 대사는 완벽하게 외우지만, 전체 장면을 즉흥적으로 연기하는 데는 어려움을 겪는 배우와 같습니다. 그들은 아름다운 "최종 프레임"을 렌더링할 수는 있지만, 과정이 말이 되게 만드는 "숨겨진 변수들"(예를 들어 물체가 어디서 왔는지, 혹은 무엇이 행동을 유발했는지 등)에 대해서는 자주 흐름을 놓칩니다.

요약

ImageTime은 AI에게 "그림으로 이야기를 할 수 있습니까, 아니면 그저 단일한 순간을 그리는 법만 알고 있습니까?"라고 묻는 새로운 테스트입니다. 결과에 따르면, AI가 그림을 그리는 능력은 향상되고 있지만, 시각적 세계에서의 시간의 흐름과 인과관계를 이해하는 법은 여전히 학습 단계에 있습니다.

기술 요약: ImageTime – 시공간적 일관성을 통한 시각적 세계 모델링 탐색을 위한 새로운 벤치마크

1. 문제 정의

현재의 이미지 생성 모델들은 정적 이미지 합성 분야에서 매우 뛰어난 숙련도를 달이며 고품질의 의미론적으로 정렬된 시각 자료를 생성해 내고 있습니다. 그러나 시각적 세계가 시간에 따라 어떻게 진화하는지를 표현하는 능력은 여전히 제대로 파악되지 않은 상태입니다. 스토리보딩, 단계별 삽화, 비디오 프리비주얼라이제이션(previsualization)과 같은 실무 워크플로우는 모델이 여러 시각적 상태에 걸쳐 엔티티의 정체성, 객체의 상태, 공간적 관계, 그리고 인과적 순서를 유지할 것을 요구합니다.

기존의 평가 프로토콜은 주로 단일 이미지의 정확성(예: 객체의 존재, 속성 결합, 공간 관계)이나 조밀한 비디오 품질(예: 움직임의 부드러움, 깜빡임)에 초점을 맞춥니다. 이러한 접근 방식은 모델이 논리적인 순서를 가진 과정을 일관되게 상상할 수 있는지 진단하는 데 실패합니다. 모델은 그럴듯한 최종 프레임을 생성할 수는 있지만, 필요한 중간 단계를 건너뛰거나, 객체를 중복 생성하거나, 장면의 정체성을 이탈하거나, 인과적 순서를 위반할 수 있습니다. 즉, 이미지 모델이 단순히 고립된 스냅샷을 렌더링하는 것을 넘어, 질서 있는 상태들에 걸쳐 일관된 시각적 세계를 유지할 수 있는지 평가하는 데 있어 중요한 공백이 존재합니다.

2. 방법론

2.1 ImageTime 벤치마크

ImageTime은 시공간적 일관성을 통해 시각적 세계 모델링을 조사하도록 설계된 진단용 벤치마크입니다. 연속적인 비디오를 생성하는 대신, 이 벤치마크는 조밀한 비디오 역학(예: 광학 흐름 보간)으로 인한 혼란을 피하면서도 단일 이미지 생성보다 높은 시간적 요구 사항을 부과하는 4-키프레임 프로토콜을 사용합니다.

태스크 정식화: 행동 지침(및 선택적으로 초기 상태에 대한 참조 이미지)이 주어지면, 모델은 $2 \times 2$ $2 \times 2$ 레이아웃 내에 시간 순서대로 배치된 네 개의 키 상태를 포함하는 하나의 정사각형 이미지를 생성해야 합니다.
1. $t_1$ 초기 상태: 시작 구성.
2. $t_2$ 행동 개시: 상호작용의 시작.
3. $t_3$ 전이 상태: 중간 상호작용 또는 상태 변화.
4. $t_4$ 최종 상태: 행동의 결론.
데이터셋 규모: 이 벤치마크는 22개 도메인(예: 가사, 주방, 실험실, 스포츠)과 375개 행동 개념에 걸친 750개 케이스로 구성됩니다.
설정: 주요 평가는 엄격한 프롬프트 전용 설정을 사용하며, 여기서 모델은 텍스트만으로 네 개의 패널을 모두 합성합니다. 참조 조건부 스캐폴드(reference-conditioned scaffold) 설정도 정의되어 있으나, 생성 능력을 고립시켜 측정하기 위해 주요 교차 모델 비교에서는 제외되었습니다.

2.2 점진적 능력 트리 (L0–L6)

평가를 구조화하기 위해, ImageTime은 7단계의 능력 계층 구조를 도입합니다. 태스크는 평면적이지 않으며, 높은 단계의 실행은 하위 단계의 성공적인 수행에 의존합니다.

L0 (정적 그라운딩): 피사체, 장면, 스타일 및 초기 상태의 구체화.
L1 (정체성 및 앵커): 패널 전반에 걸쳐 배우, 객체, 재료 및 배경 앵커의 보존.
L2 (공간적 전이): 위치, 포함 관계 및 방향의 객관적 변화 표현.
L3 (객체-상태 전이): 상태 변화(예: 채우기 수준, 개수) 및 소스-타겟 보존 추적.
L4 (상호작용 및 어포던스): 그럴듯한 접촉, 도구 사용 및 생체 역학 묘사.
L5 (인과적 과정): 상태 변화가 가시적인 트리거와 중간 단계를 따르도록 보장(조기 최종 상태 방지).
L L6 (제약/반사실): 부정문, 차단된 행동 및 조건부 결과 준수.

2.3 구조화된 VLM-as-Judge 평가

본 논문은 단순한 전체적 선호도 점수를 넘어, 생성된 이미지를 점수화하기 위해 구조화된 GPT-5.5를 판사로 채택합니다. 평가 프로토콜에는 다음이 포함됩니다.

레이아웃 검증: 출력이 유효하고 읽기 가능한 $2 \times 2$ 모션 시트인지 확인.
이중 점수 시스템:
- 능력 점수 (C0–C9): 레이아웃, 엔티티 일관성, 공간 뷰 안정성, 움직임 연속성, 시간적 순서, 인과적 과정, 상호작용, 제약 민감도 및 시각적 품질을 다루는 거친 입도의 점수.
- 진단 서브스코어 (D0–D14): 실패에 대한 시각적 근거를 제공하는 세밀한 입도의 점수(예: 패널 파싱 무결성, 객체 영속성, 궤적-포즈 결합, 상태 전이 가시성, 제약 실행).
집계: 트리 레벨 점수( $T_L$ )는 C 및 D 차원의 매핑된 평균값으로 계산되어, 높은 수준의 능력 주장이 구체적인 시각적 근거에 의해 뒷받침되도록 합니다.

3. 주요 기여

시각적 세계 모델링을 위한 행동 프로브: ImageTime은 질서 있는 키 상태 간의 시공간적 일관성을 관찰 가능한 프로브로 사용하는 진단적 벤치마크를 도입합니다. 이는 평가의 초점을 단일 상태의 정확성에서 순서 있는 다중 상태의 일관성으로 전환하며, 750개의 케이스를 통해 구체적인 표준을 제공합니다.
7단계 능력 트리 및 구조화된 평가: 저자들은 L0–L6 계층 구조와 구조화된 VLM-as-judge 프로토콜을 설계했습니다. 이를 통해 점진적인 능력 저하에 대한 트리 레벨 분석과 진단 서브스코어를 통한 미세한 실패 국지화가 가능합니다.
체계적인 멀티 모델 벤치마킹: 본 논문은 750개 케이스 벤치마크를 사용하여 8개의 다양한 이미지 생성 모델(GPT Image 2, Nano Banana 2, Seedream 5.0 Lite, FLUX.2 Pro, Qwen-Image-2512, Z-Image-Turbo, HunyuanImage-2.1, SDXL 포함)을 평가하며, 정체성 드리프트, 중간 단계 누락, 인과적 전제 조건 위반과 같은 반복되는 실패 모드를 밝혀냈습니다.

4. 실험 결과

성능 계층: GPT Image 2가 가장 높은 전체 평균 점수(7.86)를 기록했으며, Nano Banana 2(7.45)와 Seedream 5.0 Lite(7.16)가 그 뒤를 이었습니다. SDXL은 요구된 순서의 4패널 인터페이스 생성 실패 등으로 인해 가장 낮은 점수(1.57)를 받았습니다.
능력 격차: 가장 강력한 시스템들(GPT Image 2, Nano Banana 2)은 엔티티 일관성, 공간 뷰 안정성, 인과적 과정 전반에 걸쳐 넓은 범위를 유지합니다. 그러나 이러한 최상위 모델들조차 정적 그라운딩에 비해 인과적 과정(C6) 및 **제약 민감도(C8)**에서 상당한 하락을 보입니다.
진단적 통찰:
- **움직임 연속성(C4) 및 시간적 순서(C5)**는 주요 차별점입니다. 약한 모델들은 종종 "조기 최종 상태"를 생성하거나 중간 단계를 건너뜁니다.
- 인과적 전제 조건 위반: 많은 모델이 물리적으로 불가능한 상호작용(예: 서랍이 열리기 전에 손에 물체가 나타남)을 생성하거나 양의 보존에 실패(예: 붓는 동안 액체 수위가 변하지 않음)합니다.
- 트리 레벨 저하: 성능이 낮은 모델들은 L4–L6의 높은 능력 단계에서 급격한 저하를 보이며, 이는 정적 장면은 구축할 수 있으나 순서 있는 상태에 걸쳐 일관된 인과적 과정을 유지하는 데 어려움이 있음을 나타냅니다.
신뢰성: 분포 분석 결과, 최상위 모델들은 단순히 평균이 높은 것이 아니라 다양한 프롬프트에 걸쳐 일관성을 유지하는 반면, 하위 모델들은 특히 제약이 많거나 수량 중심의 작업에서 심각한 실패의 꼬리(heavy tails)를 보입니다.

5. 의의 및 주장

본 논문은 ImageTime을 내부 세계 모델의 척도가 아니라, 이미지 모델이 세계 모델과 유사한 행동을 외부화할 수 있는지를 측정하는 **행동 프로브(behavioral probe)**로 규정합니다.

정적 합성 그 이상: 결과는 높은 시각적 품질이 신뢰할 수 있는 시간적 과정 구축을 보장하지 않는다는 것을 보여줍니다. 현재의 모델들은 일관된 과정을 위해 필요한 "숨겨진 변수"(예: 소스 양, 인과적 트리거)를 유지하는 데 자주 실패합니다.
창발적 능력: 벤치마크는 오픈 웨이트 및 저비용 시스템(예: Qwen-Image-2512, Z-Image-Turbo)조차 읽기 가능한 모션 시트를 생성하고 비사소한 엔티티 보존 능력을 보여줄 수 있음을 밝혀내며, 기본적인 시공간적 과정 생성이 폐쇄형 프런티어 모델 외에서도 창발하고 있음을 시사합니다.
현재 추론의 한限界: GPT Image 2와 같은 추론 중심 시스템은 패널 간의 계획 수립에는 뛰어나지만, 여전히 객체-상태 보존, 접촉 기하학 및 반사실적 추론에서 어려움을 겪습니다.
미래 방향: 저자들은 이미지 생성의 발전이 시각적 품질과 프롬프트 준수뿐만 아니라, 상태 지속성 및 인과적 일관성에 대한 명시적인 진단을 통해서도 보고되어야 한다고 주장합니다. ImageTime은 정적 이미지 평가와 조밀한 비디오 평가 사이의 가교 역할을 하며, 시각적 세계 모델링의 진화를 추적할 수 있는 통제된 인터페이스를 제공합니다.

논문은 현재의 모델들이 기본적인 시각적 세계 모델과 유사한 행동을 보이지만, 더 길거나 제약이 많거나 인과적으로 까다로운 과정에 대해서는 시간적 상태 추적이 취약하다는 결론을 내립니다.