🤖 AI

TwiFF (Think With Future Frames): A Large-Scale Dataset for Dynamic Visual Reasoning

이 논문은 동적인 시각적 추론 능력을 강화하기 위해 270만 개의 비디오 클립으로 구성된 대규모 VCoT(Visual Chain-of-Thought) 데이터셋인 TwiFF-2.7M과 평가 벤치마크인 TwiFF-Bench를 제안하며, 비디오 생성 및 이미지 이해 능력을 결합하여 미래 프레임과 텍스트 추론을 동시에 생성하는 TwiFF 모델을 통해 동적 시각적 질의응답 성능을 크게 향상시켰습니다.

원저자: Junhua Liu, Zhangcheng Wang, Zhike Han, Ningli Wang, Guotao Liang, Kun Kuang

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junhua Liu, Zhangcheng Wang, Zhike Han, Ningli Wang, Guotao Liang, Kun Kuang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 AI의 한계: "정지 화면만 보는 사진가" 📸

지금까지의 똑똑한 AI들은 마치 **'스냅 사진 작가'**와 같았습니다. 사진을 보여주면 "이건 사과입니다", "이건 강아지입니다"라고 아주 잘 맞췄죠. 하지만 사진 속 인물이 사과를 집어 들고 있다면, 그 사진만 보고는 "이 사람이 다음에 사과를 깎을지, 아니면 그냥 먹을지"를 정확히 맞추기는 어려웠습니다. 사진은 '과거의 한 순간'만 보여주기 때문입니다.

2. TwiFF의 혁신: "미래를 그리는 예언가" 🔮

이 논문에서 제안하는 **TwiFF(Think With Future Frames)**는 사진 작가가 아니라 '스토리보드 작가' 혹은 **'예언가'**에 가깝습니다.

TwiFF는 단순히 현재를 보는 게 아니라, 머릿속으로 "다음 장면(Future Frames)"을 직접 그려보며 생각합니다.

비유하자면: 여러분이 요리 영상을 보고 있다고 해봅시다.
- 기존 AI: "지금 사람이 양파를 썰고 있네요." (현재 상태 설명)
- TwiFF: "지금 양파를 썰고 있으니(현재), 다음 장면에는 팬에 기름을 두르고 양파를 볶는 모습이 나타나겠군요(미래 예측). 그러니 다음 단계는 볶기입니다!(추론)"

즉, AI가 **[현재 관찰 $\rightarrow$ 미래 장면 상상 $\rightarrow$ 논리적 결론]**이라는 단계를 거치게 만든 것입니다.

3. 어떻게 학습시켰나요? (거대한 연습장: TwiFF-2.7M) 📚

이 능력을 키우기 위해 연구진은 무려 270만 개의 비디오 클립을 가져와서 AI에게 공부시켰습니다. 단순히 영상만 보여준 게 아니라, 영상의 흐름에 따라 **"1번 장면에서는 이랬고, 2번 장면에서는 이렇게 변했으니, 결론은 이렇다"**라는 아주 친절한 '해설지(Visual Chain-of-Thought)'를 함께 만들어 학습시켰습니다.

마치 수학 문제를 풀 때 답만 외우는 게 아니라, 풀이 과정을 한 줄 한 줄 적으며 공부하는 방식과 같습니다.

4. 무엇이 좋아졌나요? 🚀

이 기술을 적용했더니 AI가 다음과 같은 세 가지 어려운 일을 아주 잘하게 되었습니다.

설명하기 (Instructional): "요리할 때 다음엔 뭘 해야 해?"라고 물으면 순서대로 알려줍니다.
예측하기 (Predictive): "저 공이 굴러가면 어떻게 될까?"라고 물으면 물리 법칙에 따라 결과를 맞춥니다.
카메라 움직임 (Camera): "이 장면을 더 멋지게 찍으려면 카메라를 어떻게 움직여야 해?"라는 예술적인 질문에도 답할 수 있습니다.

요약하자면! 🌟

TwiFF는 AI에게 '시간의 흐름'이라는 안경을 씌워준 것입니다. 이제 AI는 멈춰있는 사진 속에서 길을 찾는 수준을 넘어, 영상의 흐름을 읽고 **"다음에 일어날 일"을 논리적으로 상상하고 설명할 수 있는 '생각하는 눈'**을 갖게 되었습니다.

[기술 요약] TwiFF: 동적 시각적 추론을 위한 대규모 데이터셋 및 모델

1. 문제 정의 (Problem Statement)

기존의 시각적 사고 사슬(Visual Chain-of-Thought, VCoT) 방식은 주로 정적인 이미지(Static scenarios) 내에서의 추론(예: 미로 찾기, 기하학적 추론)에 국한되어 있었습니다. 하지만 실제 세계의 많은 작업은 시간의 흐름에 따른 변화를 이해해야 하는 **동적 시나리오(Dynamic scenarios)**를 포함합니다.

한계점: 기존 모델들은 현재 보이는 이미지 내의 정보만을 활용하려 하기 때문에, 미래의 동작을 예측하거나(Predictive), 다음 단계를 안내하거나(Instructional), 카메라의 움직임을 결정하는(Camera motion) 등의 '시간적 역동성'이 필요한 작업에서 성능이 매우 낮습니다. 즉, 현재 관찰을 넘어 미래의 시각적 상태를 예측하는 능력이 부족합니다.

2. 핵심 방법론 (Methodology)

본 논문은 모델이 미래의 프레임을 직접 생성하며 추론할 수 있도록 하는 TwiFF(Think With Future Frames) 프레임워크를 제안합니다.

A. 데이터 생성 (TwiFF-2.7M 구축):
Panda-70M 비디오 클립을 활용하여 3단계 파이프라인을 통해 270만 개의 VCoT 데이터를 생성했습니다.

Coarse Filter (거친 필터링): 캡션-비디오 일치도, 비디오 품질, 최소 지속 시간(2초 이상), 광학 흐름(Optical Flow)을 기준으로 역동성이 부족한 영상을 제거합니다.
Event Extraction (이벤트 추출): MLLM(InternVL3.5-8B)을 사용하여 영상을 Instructional(지시), Predictive(예측), Camera(카메라) 세 가지 범주로 분류하고, 핵심 프레임과 상세 설명을 추출합니다.
VCoT Generation (VCoT 생성): 추출된 이벤트를 바탕으로 질문을 만들고, **[텍스트 추론 $\rightarrow$ 미래 프레임 이미지 $\rightarrow$ 추가 텍스트 추론 $\rightarrow$ 최종 답변]**이 교차되는 형태의 시각적-텍스트적 사고 사슬을 구축합니다.

B. 모델 아키텍처 (TwiFF Model):
사전 학습된 비디오 생성(Video Generation) 능력과 이미지 이해(Image Comprehension) 능력을 결합한 통합 모델을 제안합니다. 모델은 추론 과정에서 단순히 텍스트만 내뱉는 것이 아니라, 논리적 단계에 맞춰 미래의 핵심 동작을 담은 이미지를 반복적으로 생성하며 사고를 이어갑니다.

C. 평가 벤치마크 (TwiFF-Bench):
단순히 정답 여부만 따지는 기존 방식에서 벗어나, **추론 과정의 타당성(Plausibility)**과 **최종 답변의 정확성(Correctness)**을 동시에 평가할 수 있는 1,078개의 고품질 샘플로 구성된 벤치마크를 도입했습니다.

3. 주요 기여 (Key Contributions)

최초의 대규모 동적 VCoT 데이터셋: 270만 개 이상의 비디오 클립에서 유도된, 시간적 흐름이 반영된 대규모 데이터셋인 TwiFF-2.7M을 공개했습니다.
새로운 평가 표준 제시: 동적 시나리오에서 추론의 논리적 일관성을 측정할 수 있는 TwiFF-Bench를 제안했습니다.
통합 모델의 효용성 입증: 비디오 생성과 이해 능력을 결합했을 때 동적 추론 성능이 극대화됨을 증명했습니다.

4. 실험 결과 (Results)

성능 우위: TwiFF 모델은 기존의 텍스트 기반 CoT(TCoT) 및 정적 이미지 기반 VCoT 모델보다 TwiFF-Bench 및 OOD(Out-of-Distribution) 데이터셋인 Seed-Bench-R1에서 월등한 성능을 보였습니다. (Bagel 모델 대비 답변 정확도 약 41.6% 향상)
모달리티 시너지: 실험을 통해 텍스트와 시각적 정보가 상호작용할 때 가장 높은 추론 능력이 나타남을 확인했습니다. (TwiFF-Lite가 텍스트나 이미지만 사용하는 모델보다 우수)
정보 압축 능력: 동적 VCoT는 미래 프레임을 생성함으로써 입력 이미지의 맥락 정보를 효과적으로 압축하고 유지할 수 있음을 보여주었습니다.

5. 의의 (Significance)

이 연구는 멀티모달 AI의 지평을 '현재 보이는 것을 이해하는 단계'에서 **'미래에 일어날 일을 시각적으로 상상하며 추론하는 단계'**로 확장시켰습니다. 이는 로봇 공학의 동작 계획, 자율 주행의 예측, 고도화된 영상 편집 AI 등 실세계의 복잡한 동적 환경을 다루는 인공지능 연구에 중요한 토대를 제공합니다.