Demystifing Video Reasoning

이 논문은 비디오 생성 모델의 추론 능력이 프레임 간 순차적 과정이 아닌 확산 디노이징 단계에서 발생하는 '체인 오브 스텝 (CoS)' 메커니즘을 통해 나타난다는 것을 규명하고, 이를 활용한 추론 향상 전략을 제시합니다.

핵심

🎬 핵심 발견: "프레임 (장면) 이 아니라, '단계'에서 생각이 일어납니다!"

1. 기존의 오해: "영화를 하나씩 찍어가는 방식" (Chain-of-Frames)

기존 연구자들은 비디오 AI 가 생각할 때, 영화를 찍듯이 한 장, 한 장 (프레임) 씩 순서대로 생각한다고 믿었습니다.

• 비유: 마치 요리사가 "재료 준비 → 채소 자르기 → 고기 굽기" 순서대로 한 단계씩 끝내야 다음 단계로 넘어가는 것처럼요.
• 오해: "첫 번째 장면에서 결정을 내리고, 그다음 장면으로 넘어가서 그 결정을 실행한다"고 생각했습니다.

2. 이 논문의 새로운 발견: "요리 과정 전체를 한 번에 훑어보는 방식" (Chain-of-Steps)

하지만 이 논문은 **"아니요! AI 는 장면을 하나씩 찍는 게 아니라, '노이즈를 제거해 가는 과정' 전체를 한 번에 훑으며 생각해요"**라고 말합니다. 이를 **'Chain-of-Steps(단계의 연결고리)'**라고 부릅니다.

• 비유 (요리사의 마법):
  AI 는 요리를 시작할 때 (초기 단계), 여러 가지 가능한 레시피를 동시에 상상합니다.

  • "아, 이 요리는 소금을 더 넣을까? 아니면 후추를 더 넣을까?"
  • "혹은 고기를 굽는 대신 구울까?"

  AI 는 이 모든 가능성을 중간 단계에서 동시에 펼쳐놓고 (Superposition), 시간이 지나며 (노이즈 제거가 진행되며) **"아, 소금과 후추를 섞는 게 가장 맛있겠다"**라고 결론을 내리고 나머지 나쁜 아이디어들은 자연스럽게 사라지게 합니다.

  즉, 결론이 나오기 전까지 여러 가지 '대안'을 동시에 머릿속에 그려보다가, 마지막에 가장 좋은 하나만 남기는 것입니다.

---

🧠 AI 의 놀라운 '생각' 습관들

이 과정에서 AI 는 사람처럼 놀라운 능력들을 보여주는데, 이를 세 가지로 정리할 수 있습니다.

① "기억력" (Working Memory)

• 상황: 요리사가 재료를 섞다가 잠시 다른 일을 하더라도, "아까 넣었던 소금 양은 기억해야 해"라고 기억합니다.
• AI 의 모습: 비디오 속의 물체가 가려지거나 사라져도, AI 는 **"이건 원래 여기에 있었어"**라고 기억하며 나중에 다시 정확히 그 자리에 등장시킵니다. 마치 요리를 하다가 잠시 눈을 감아도 레시피를 잊지 않는 것과 같습니다.

② "실수 고치기" (Self-Correction)

• 상황: 요리하다가 소금을 너무 많이 넣었다가, "아, 너무 짜네!" 하고 다시 물을 추가하거나 재료를 바꿔서 맛을 잡습니다.
• AI 의 모습: 처음에 잘못된 길을 선택했다가 (예: 미로에서 잘못된 길로 들어감), 중간 단계에서 **"아, 이건 틀렸어"**라고 깨닫고 다른 길로 방향을 틀어 최종적으로 올바른 답에 도달합니다. 처음부터 완벽할 필요 없이, 생각하는 과정에서 스스로 수정해 나갑니다.

③ "먼저 보고, 그다음 행동하기" (Perception before Action)

• 상황: 요리를 시작할 때, 먼저 "이게 뭐지? (재료 확인)"를 하고 나서 "어떻게 요리하지? (행동)"를 결정합니다.
• AI 의 모습: 비디오 생성의 아주 초반 단계에서는 **"무엇이 있는지 (사물 인식)"**에 집중하다가, 후반 단계로 갈수록 **"어떻게 움직일지 (행동 계획)"**를 구체화합니다.

---

🔍 AI 의 뇌 구조 분석: "층 (Layer) 마다 역할이 달라요"

AI 의 뇌 (Diffusion Transformer) 를 해부해 보니, 층마다 역할이 명확하게 나뉘어 있었습니다.

• 초기 층 (1~9 층): "전체적인 분위기 파악" 담당. 배경이 무엇인지, 큰 구조가 어떤지 봅니다. (요리사의 "식당 분위기 확인")
• 중간 층 (20~29 층): "진짜 추론" 담당. 여기서 가장 중요한 논리적 사고가 일어납니다. (요리사의 "레시피 결정 및 맛 조절")
• 후기 층: "완성" 담당. 결정된 내용을 다듬어 최종 영상을 만듭니다. (요리사의 "접시에 담고 장식하기")

---

🚀 이 발견을 통해 무엇을 할 수 있을까요? (실용적인 팁)

연구진은 이 원리를 이용해 별도의 학습 없이 (Training-free) AI 의 추론 능력을 더 좋게 만드는 방법을 고안했습니다.

• 방법: 같은 AI 모델을 세 개 준비하고, 각각 **다른 랜덤한 시작점 (씨앗)**에서 요리를 시킵니다.
  • A 는 "소금"을 먼저 생각했고, B 는 "후추"를, C 는 "설탕"을 먼저 생각했을 수 있습니다.
• 결합: 이 세 가지의 **중간 단계 생각 (잠재적 상태)**을 섞어서 평균을 냅니다.
• 효과: 마치 "세 명의 요리사가 각자 다른 아이디어를 내고, 그중 가장 맛있는 조합을 골라내서" 최종 요리를 완성하는 것과 같습니다. 이렇게 하면 AI 가 실수를 덜 하고 더 정확한 답을 내놓게 됩니다.

---

💡 한 줄 요약

"비디오 AI 는 장면을 하나씩 찍어가는 게 아니라, 여러 가지 가능성을 동시에 상상하다가 시간이 지나며 가장 좋은 답으로 수렴해 가는 '생각의 과정'을 거칩니다. 마치 요리사가 여러 레시피를 시도해보다가 가장 맛있는 것을 고르는 것과 같습니다!"

이 연구는 AI 가 단순히 영상을 만드는 도구가 아니라, 스스로 생각하고 추론하는 지능의 싹을 가지고 있음을 보여주며, 앞으로 더 똑똑한 AI 를 만드는 중요한 열쇠가 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 생성형 비디오 모델 (Diffusion-based Video Models) 이 복잡한 시공간적 일관성을 유지하며 추론 능력을 보인다는 사실이 발견되었습니다. 기존 연구들은 이러한 추론 능력이 비디오 프레임 간의 순차적 흐름을 따라 발생한다고 가정하며, 이를 Chain-of-Frames (CoF, 프레임 연쇄) 메커니즘으로 설명했습니다. 즉, 모델이 이전 프레임을 기반으로 다음 프레임을 생성하며 논리를 전개한다고 믿었습니다.

그러나 저자들은 이 가정에 의문을 제기하며, 비디오 모델의 추론이 실제로는 어디에서, 어떻게 발생하는지에 대한 체계적인 분석이 부족하다고 지적합니다. 본 논문은 비디오 생성 모델 내부에서 추론이 일어나는 실제 메커니즘을 규명하고, 이를 통해 더 효과적인 추론 시스템을 설계하는 것을 목표로 합니다.

2. 핵심 발견 및 방법론 (Methodology & Key Findings)

저자들은 다양한 비디오 추론 벤치마크 (VBVR) 와 오픈소스 모델 (Wan2.2 등) 을 활용하여 정성적 분석, 노이즈 교란 실험, 레이어별 메커니즘 분석을 수행했습니다.

A. Chain-of-Steps (CoS): 새로운 추론 메커니즘

기존의 CoF 가설을 반박하고, 추론이 디퓨션 단계 (Diffusion Steps) 를 따라 발생한다는 Chain-of-Steps (CoS) 메커니즘을 제안합니다.

• 동작 원리: 모델은 초기 디퓨션 단계에서 여러 가능한 해답 (경로, 객체 위치 등) 을 동시에 탐색하고, 중기 단계에서 비최적의 선택을 제거 (Pruning) 하며, 후기 단계에서 최종 결정으로 수렴합니다.
• 탐색 방식:
  1. Multi-Path Exploration (다중 경로 탐색): 미로 찾기나 틱택토와 같은 복잡한 논리 작업에서 모델은 초기 단계에 여러 경로나 선택지를 병렬로 시각화했다가 점차 하나의 정답으로 좁힙니다.
  2. Superposition-based Exploration (중첩 기반 탐색): 상호 배타적인 논리 상태 (예: 서로 다른 크기의 원, 회전 각도) 가 초기 잠재 공간 (Latent Space) 에 중첩되어 존재하다가 노이즈가 제거되면서 하나의 명확한 상태로 정제됩니다.

B. 노이즈 교란 실험 (Noise Perturbation)

• Step-wise Noise: 특정 디퓨션 단계에 모든 프레임에 노이즈를 주입하면 추론 성능이 급격히 저하됩니다. 이는 추론 과정이 디퓨션 단계에 매우 민감하게 의존함을 의미합니다.
• Frame-wise Noise: 특정 프레임에 노이즈를 주입하면 모델이 양방향 어텐션 (Bidirectional Attention) 을 통해 주변 프레임 정보를 활용해 복구하므로 영향이 상대적으로 적습니다.
• 결론: 추론의 핵심은 시간 축 (프레임 간) 이 아니라, 생성 과정의 깊이 (디퓨션 단계) 에 위치합니다.

C. 등장하는 추론 행동 (Emergent Reasoning Behaviors)

LLM 에서 관찰되는 유사한 행동들이 비디오 모델에서도 발견되었습니다.

1. 작업 기억 (Working Memory): 객체의 초기 위치나 상태 (예: 가려진 곰인형) 를 디퓨션 전체 과정에서 유지하여 일관된 생성을 보장합니다.
2. 자기 수정 및 향상 (Self-correction and Enhancement): 초기 단계에서 잘못된 추론을 하더라도, 이후 디퓨션 단계에서 이를 발견하고 수정하거나 더 풍부한 논리로 발전시킵니다.
3. 행동 전 지각 (Perception before Action): 초기 단계에서는 객체의 위치와 의미 (What & Where) 를 파악하고, 후기 단계에서야 운동 계획 및 상호작용 (How & Why) 을 수행합니다.

D. 레이어별 메커니즘 분석 (Layer-wise Mechanistic Analysis)

Diffusion Transformer (DiT) 내부의 토큰 활성화를 분석한 결과, 레이어별로 기능적 전문화가 이루어진 것을 발견했습니다.

• 초기 레이어 (0-9): 배경 및 전역 구조 인식.
• 중간 레이어 (10-29): 의미론적 객체 인식 및 추론 (Reasoning) 수행.
• 후기 레이어: 잠재 표현의 통합 및 다음 단계로의 상태 고정.
• 실험: 중간 레이어의 잠재 표현 (Latent) 을 다른 모델의 것으로 교체하면 추론 결과가 완전히 바뀐다는 인과적 증거를 확보했습니다.

3. 제안된 방법: 훈련 없는 앙상블 (Training-Free Ensemble)

CoS 메커니즘과 다중 경로 탐색 능력을 활용하여, 추가적인 학습 없이 추론 성능을 향상시키는 방법을 제안했습니다.

• 전략: 서로 다른 무작위 시드 (Random Seeds) 를 가진 동일한 모델 3 개를 실행하여 초기 디퓨션 단계 (특히 추론이 활발한 중간 레이어, 20-29 레이어) 에서 생성된 잠재 표현 (Latents) 을 평균화 (Ensemble) 합니다.
• 효과: 개별 시드의 노이즈를 필터링하고, 모델이 가진 확률적 편향 (Probabilistic Bias) 을 올바른 방향으로 유도하여 더 안정적인 추론 경로를 확보합니다.

4. 실험 결과 (Results)

• 벤치마크 (VBVR-Bench): 제안된 훈련 없는 앙상블 방법을 적용한 결과, 강력한 베이스라인 모델 (VBVR-Wan2.2) 대비 약 2% 절대적 성능 향상을 기록했습니다.
  • 전체 점수: 0.685 → 0.716
  • 도메인 외 (Out-of-Domain) 성능에서도 유의미한 개선이 관찰되었습니다.
• 레이어 분석: 중간 레이어 (20-29) 만을 앙상블했을 때 가장 좋은 성능을 보였으며, 이는 해당 레이어가 추론의 핵심 영역임을 뒷받침합니다.
• 단축 모델 (Distilled Model): 4 단계로 단축된 증류 모델에서도 초기 디퓨션 단계의 잠재 공간 탐색이 유지되어야 추론이 가능함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 이론적 기여: 비디오 생성 모델의 추론이 "프레임 간 (Frame-wise)"이 아니라 "디퓨션 단계 간 (Step-wise)"에 발생한다는 Chain-of-Steps (CoS) 메커니즘을 최초로 규명했습니다. 이는 기존 CoF 가설을 근본적으로 수정한 것입니다.
• 실용적 기여: 복잡한 추론 작업을 수행하는 비디오 모델의 내부 작동 원리를 이해함으로써, 별도의 학습 없이도 성능을 향상시킬 수 있는 새로운 인퍼런스 전략 (Latent Ensemble) 을 제시했습니다.
• 미래 전망: 비디오 생성 모델이 단순한 시각적 생성 도구를 넘어, 시공간적 일관성을 가진 지능의 새로운 기반 (Substrate for Intelligence) 으로 활용될 수 있음을 시사합니다. 이는 로봇 제어, 시뮬레이션, 복잡한 계획 수립 등 다양한 분야에 적용 가능한 중요한 통찰을 제공합니다.

---

요약: 본 논문은 비디오 생성 모델이 디퓨션 과정을 통해 "다중 경로를 탐색하고 수렴하는" 방식으로 추론을 수행함을 증명하였으며, 이를 통해 훈련 없이도 추론 성능을 극대화할 수 있는 새로운 패러다임을 제시했습니다.