Map the Flow: Revealing Hidden Pathways of Information in VideoLLMs

이 논문은 기계적 해석 기법을 활용하여 비디오-대규모 언어 모델 (VideoLLM) 이 시공간적 정보를 처리하고 답변을 생성하는 내부 정보 흐름과 시간적 추론의 핵심 경로를 규명하고, 불필요한 주의를 억제하여 성능을 유지하는 방식을 제시합니다.

핵심

이 논문은 **"비디오를 보고 질문에 답하는 AI(VideoLLM) 가 실제로 어떻게 생각하고 답을 내는지 그 내부 작동 원리를 파헤친 연구"**입니다.

기존에는 AI 가 비디오를 어떻게 처리하는지 '외부'에서 관찰만 했지만, 이 연구는 AI 의 '뇌' 속을 들여다보고 정보의 흐름이 어떻게 이루어지는지를 마치 지도를 그리듯 (Map the Flow) 상세하게 설명합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

🎬 비유: AI 는 '비디오 감식관'이자 '수사관'입니다

이 AI 모델은 길고 긴 비디오를 보고 "이 비디오에서 검은 고양이가 언제 나타났나요?" 같은 질문에 답해야 합니다. 이 과정에서 AI 는 다음과 같은 4 단계의 수사 과정을 거칩니다.

1 단계: 장면들을 연결하는 '초능력' (초~중반 레이어)

• 상황: AI 는 비디오를 한 장 한 장 끊어진 사진처럼 받아들이지만, 답을 내기 위해서는 장면과 장면 사이의 연속성을 알아야 합니다.
• 비유: 마치 추리 소설을 읽는 것과 같습니다. 1 장의 내용만으로는 범인을 알 수 없지만, 1 장과 2 장, 3 장을 이어보며 "아, 이 사람이 저기서 도망친 모양이네!"라고 시간의 흐름을 파악해야 합니다.
• 발견: AI 는 비디오의 초반부와 중반부에서 이 '장면 연결 작업'을 가장 활발하게 합니다. 이 과정을 방해하면 AI 는 "시간이 흐르는 것"을 전혀 이해하지 못하게 됩니다.

2 단계: 질문의 '핵심 키워드'와 만남 (중반 레이어)

• 상황: 이제 AI 는 비디오에서 얻은 정보 (예: "고양이가 처음에 나타났다") 를 질문의 단어와 연결해야 합니다.
• 비유: 수사관이 **수첩에 적힌 단서 (비디오 정보)**를 **수사 질문 (질문 텍스트)**에 있는 핵심 단어와 대조하는 순간입니다.
  • 질문이 "시작할 때 (at the beginning)"라면, AI 는 비디오의 시작 부분 정보만 골라냅니다.
  • 질문이 "끝날 때 (at the end)"라면, 마지막 부분 정보만 골라냅니다.
• 발견: AI 는 비디오의 모든 정보를 다 가져오는 게 아니라, 질문의 **핵심 단어 (시간 관련 단어)**와 딱 맞는 정보만 선택적으로 연결합니다.

3 단계: 최종 답안 작성 (후반 레이어)

• 상황: 모든 정보가 연결되면, 이제 AI 는 최종 답을 말해야 합니다.
• 비유: 수사관이 모든 단서를 모아서 최종 보고서를 작성하는 순간입니다.
• 발견: AI 는 중반까지 정보를 다 모으고 나면, 후반부 레이어에서 "아, 이제 답이 확실해!"라고 확신을 가지고 정답을 생성합니다.

4 단계: 불필요한 정보는 버리기 (효율성)

• 핵심 발견: 가장 놀라운 점은, AI 가 정답을 내기 위해 전체 정보의 절반 이상 (약 58%) 을 실제로는 쓰지 않는다는 것입니다.
• 비유: 마치 최고의 요리사가 100 가지 재료를 사 왔지만, 정작 요리에 필요한 건 그중 40 가지만 쓰고 나머지는 버리는 것과 같습니다.
• 의미: AI 는 중요한 정보 경로 (Effective Pathways) 만 남기고 나머지는 차단해도 똑같이 잘 답합니다. 이는 AI 가 생각보다 훨씬 간결하고 효율적으로 작동한다는 뜻입니다.

---

💡 이 연구가 왜 중요한가요?

1. AI 의 '두뇌'를 이해하게 되었습니다: 이제 우리는 AI 가 비디오를 볼 때 단순히 그림을 보는 게 아니라, 시간의 흐름을 어떻게 이해하고 질문과 어떻게 연결하는지 그 '지도'를 가지고 있습니다.
2. 더 똑똑하고 빠른 AI 를 만들 수 있습니다: 불필요한 정보 처리를 줄이고 중요한 정보 경로만 강화하면, AI 는 더 빠르고 정확하게 비디오를 이해할 수 있게 됩니다.
3. 실수 원인을 파악할 수 있습니다: AI 가 틀린 답을 낼 때, 왜 틀렸는지 (시간 흐름을 못 잡았나? 아니면 질문을 잘못 이해했나?) 를 정확히 진단할 수 있게 되었습니다.

📝 한 줄 요약

이 논문은 **"AI 가 비디오를 보고 답을 낼 때, 시간의 흐름을 연결하고 질문의 핵심 단어와 만나는 '비밀 통로'를 찾아냈으며, 사실 AI 는 이 통로만으로도 충분히 똑똑하게 일할 수 있다"**는 것을 증명했습니다.

기술 요약

논문 제목: MAP THE FLOW: REVEALING HIDDEN PATHWAYS OF INFORMATION IN VIDEOLLMS
발표: ICLR 2026 (가상/제안)

이 논문은 비디오 대형 언어 모델 (VideoLLMs) 이 비디오 질문 응답 (VideoQA) 태스크를 수행할 때 내부적으로 정보가 어떻게 흐르고 처리되는지에 대한 메커니즘적 해석 (Mechanistic Interpretability) 을 제공합니다. 기존 연구들이 모델의 외부 설계 (데이터 확장, 토큰 압축 등) 에 집중했다면, 본 연구는 시간적 추론 (Temporal Reasoning) 이 모델의 어떤 계층 (Layer) 에서 어떻게 발생하며, 어떤 정보 경로 (Pathway) 를 통해 최종 답변이 생성되는지를 규명하는 데 초점을 맞추고 있습니다.

---

1. 문제 정의 (Problem)

• 배경: VideoLLMs 은 시공간적 (Spatiotemporal) 입력을 처리하여 비디오 질문 응답 (VideoQA) 등 다양한 태스크를 수행합니다.
• 한계: 최근의 성능 향상에도 불구하고, 모델이 비디오에서 시간적 정보를 추출하고 텍스트 토큰으로 전파하여 최종 답변을 생성하는 내부 메커니즘은 잘 알려지지 않았습니다.
• 핵심 질문:
  1. VideoLLMs 은 평탄화된 비디오 토큰 시퀀스로부터 시공간 정보를 어떻게 인코딩하는가?
  2. 질문의 시간적 개념 (Temporal Concepts) 은 비디오 토큰에서 어떻게 추출되어 텍스트 토큰으로 전파되는가?
  3. 모델이 정답을 생성할 준비를 하는 시점은 언제인가?
  4. VideoQA 를 해결하는 데 필수적인 효과적인 정보 흐름 경로는 무엇인가?

2. 방법론 (Methodology)

저자는 메커니즘적 해석 기법을 활용하여 VideoLLM 의 내부 계산을 역공학 (Reverse-engineering) 하였습니다.

• Attention Knockout (주요 기법):
  • 추론 과정에서 특정 토큰 간의 어텐션 (Attention) 연결을 인위적으로 차단 (Knockout) 합니다.
  • 예를 들어, 특정 프레임 간의 어텐션이나 비디오 토큰과 질문 토큰 간의 연결을 차단했을 때 최종 답변 확률이 얼마나 하락하는지 측정하여 해당 경로의 중요성을 정량화합니다.
• Logit Lens:
  • 각 계층의 비디오 토큰 히든 상태를 언어 모델 헤드를 통해 투영하여, 어떤 시공간적 개념 (Spatial/Temporal Keywords) 이 언제, 어디서 나타나는지 추적합니다.
• 실험 설정:
  • 모델: LLaVA-NeXT-7B/13B-Video-FT, Mini-InternVL-4B-Video-FT, VideoLLaMA3-7B 등 다양한 아키텍처의 VideoLLMs 사용.
  • 데이터: TVBench (시간적 추론 태스크 중심), TOMATO 등 다양한 VideoQA 벤치마크.
  • 분석 대상: Action Antonym, Action Sequence, Scene Transition, Moving Direction, Object Count 등 5 가지 시간적 추론 태스크.

3. 주요 기여 및 발견 (Key Findings & Contributions)

연구를 통해 VideoLLM 의 시간적 추론 과정이 4 단계의 일관된 패턴을 따름을 발견했습니다.

① 초기~중간 계층: 비디오 토큰 내의 활발한 프레임 간 상호작용 (Cross-frame Interactions)

• 발견: 시간적 추론은 비디오 토큰들 간의 **초기~중간 계층 (Early-to-Middle Layers)**에서 활발한 프레임 간 어텐션 (Cross-frame attention) 을 통해 시작됩니다.
• 증거: 이미지 전용 모델 (ImageLLM) 과 비교 시, 비디오 파인튜닝된 모델에서만 초기~중간 계층의 프레임 간 연결을 차단할 때 성능이 급격히 저하됨을 확인했습니다. 이는 VideoQA 학습이 모델 내부에 강력한 프레임 간 의존성을 형성시킴을 의미합니다.

② 중간 계층: 시간적 키워드를 통한 비디오 - 언어 통합 (Video-Language Integration)

• 발견: 생성된 시공간 표현은 질문 내의 **시간적 키워드 (Temporal Keywords, 예: 'begins', 'ends', 'first' 등)**와 정렬 (Alignment) 되어 선택적으로 통합됩니다.
• 메커니즘:
  • Logit Lens 분석 결과, 공간적 개념 (Spatial concepts) 은 초기 계층에 먼저 나타나지만, 시간적 개념 (Temporal concepts) 은 중간 계층 이후에 등장합니다.
  • 비디오 정보는 질문 토큰 중 정답 옵션 (True Option) 이나 시간적 키워드가 포함된 토큰으로 집중적으로 전파됩니다.

③ 중간~후기 계층: 답변 생성 (Answer Generation)

• 발견: 비디오 - 언어 통합이 완료된 후, **중간~후기 계층 (Middle-to-Late Layers)**에서 정답에 대한 확률이 급격히 상승합니다.
• 특징: 마지막 토큰 (Last Token) 에서 정답 확률은 통합이 완료되는 시점 (약 20 번째 계층 부근) 부터 급격히 증가하며, 이는 모델이 이미 정답을 결정할 준비가 되었음을 시사합니다.

④ 효과적인 정보 흐름 경로의 식별 및 가지치기 (Pruning)

• 핵심 발견: VideoLLM 은 전체 어텐션 엣지 중 약 40~60% 만을 사용하여 VideoQA 태스크를 정확하게 수행할 수 있습니다.
• 실험: 식별된 '효과적인 경로 (Effective Pathways)'만 남기고 나머지 어텐션 연결 (약 58% 까지) 을 차단하더라도 모델의 성능은 거의 유지되었습니다. 반면, 무작위로 경로를 차단하면 성능이 크게 떨어졌습니다.

4. 실험 결과 (Results)

• 성능 유지: LLaVA-NeXT-7B-Video-FT 모델에서 전체 어텐션 엣지의 42% 만을 유지 (나머지 58% 차단) 했을 때, TVBench 와 TOMATO 벤치마크에서 베이스라인과 유사한 정확도 (51.2 vs 51.5) 를 유지했습니다.
• 모델 일반화: 7B, 13B, 4B 등 다양한 크기의 모델과 Mini-InternVL, VideoLLaMA3 등 다른 아키텍처에서도 동일한 정보 흐름 패턴이 관찰되었습니다.
• 실패 사례 분석: 모델이 오답을 내는 경우, 대부분 초기 단계의 시공간 표현 형성 (Cross-frame interaction) 실패나 정적 장면 편향 (Static bias) 에서 기인하며, 후기 계층의 통합 경로 자체는 정상적으로 작동하는 경우가 많았습니다.

5. 의의 및 시사점 (Significance)

이 연구는 VideoLLM 의 '블랙박스'를 열어 시간적 추론의 내부 작동 원리를 체계적으로 규명했다는 점에서 의미가 큽니다.

1. 이론적 통찰: VideoLLM 이 어떻게 시간적 개념을 학습하고, 이를 언어적 토큰과 통합하여 추론하는지에 대한 청사진 (Blueprint) 을 제공합니다.
2. 모델 최적화: 불필요한 어텐션 연결을 제거하고 효과적인 경로만 유지함으로써 추론 오버헤드를 줄이고 효율성을 높일 수 있는 가능성을 제시합니다 (Early-exit 전략 등).
3. 학습 및 일반화 향상: 시간적 개념이 초기 계층에서 형성되어야 함을 시사하므로, 학습 목표나 아키텍처 설계를 통해 시간적 추론 능력을 강화하고 정적 편향을 줄이는 방향으로 모델을 개선할 수 있습니다.
4. 해석 가능성: VideoQA 모델의 의사결정 과정을 투명하게 만들어 신뢰성과 디버깅 능력을 향상시킵니다.

결론적으로, 본 논문은 VideoLLM 이 복잡한 시간적 추론을 수행할 때 실제로는 매우 희소하고 효율적인 정보 경로 (Sparse Information Pathways) 를 통해 작동함을 증명하며, 향후 더 효율적이고 해석 가능한 비디오 이해 모델 개발의 기초를 마련했습니다.