GraphThinker: Reinforcing Video Reasoning with Event Graph Thinking

이 논문은 비디오 내 사건 간의 인과 관계를 명시적으로 모델링하고 시각적 어텐션 보상을 강화 학습에 도입하여 할루시네이션을 줄이고 비디오 추론 능력을 향상시키는 'GraphThinker'라는 새로운 방법을 제안합니다.

핵심

🎬 영상 추론의 새로운 주인공: '그래프생각가 (GraphThinker)'

이 논문은 인공지능이 동영상을 볼 때 자주 겪는 '환각 (Hallucination)' 문제를 해결하기 위해 개발된 새로운 방법, GraphThinker에 대해 설명합니다.

쉽게 말해, **"인공지능이 동영상을 볼 때, 단순히 눈으로만 보는 게 아니라 '사건의 흐름'을 그래프처럼 구조화해서 논리적으로 생각하게 만든 기술"**입니다.

---

🕵️‍♂️ 문제: 인공지능은 왜 자꾸 헛소리를 할까?

기존의 최신 AI 모델들은 동영상을 볼 때 마치 사람이 영화를 보며 "아, 저기서 뭐가 일어났겠지?"라고 막연히 추측하는 것과 비슷합니다.

• 예시: 영상에 "사람이 물에 뛰어드는 장면"과 "드론을 날리는 장면"이 나옵니다.
• 기존 AI의 실수: "드론을 날린 다음에 물에 뛰어들었다"라고 말하며 순서를 뒤집어버립니다. (실제로는 물에 뛰어들고 나중에 드론을 날렸을 수도 있는데요!)
• 원인: AI는 영상 속 사건의 **인과관계 (왜, 언제, 어떻게)**를 명확히 이해하지 못하고, 단어들의 연결만 보고 임의로 이야기를 지어내기 때문입니다. 이를 **'환각'**이라고 부릅니다.

💡 해결책: GraphThinker (그래프생각가)

이 연구팀은 AI에게 **"동영상을 볼 때, 영화 대본을 쓰는 것처럼 사건을 구조화해서 생각하라"**고 가르쳤습니다. 이를 위해 두 가지 핵심 도구를 사용했습니다.

1. 🗺️ '사건 지도 (EVSG)'를 먼저 그리기

AI가 영상을 볼 때, 그냥 흐르는 영상만 보는 게 아니라 **사건별 지도 (Event-based Video Scene Graph)**를 먼저 그립니다.

• 비유: 동영상을 볼 때, 마치 탐정이 사건 현장에 도착해서 '수첩'에 사건들을 정리하는 것과 같습니다.
  • "0 초~5 초: 사람이 물에 뛰어든다 (사건 A)"
  • "5 초~8 초: 드론이 하늘을 난다 (사건 B)"
  • "A 와 B 는 이렇게 연결되어 있다."
• 효과: AI가 막연히 추측하는 대신, 사실 (시각적 증거) 에 기반한 구조화된 지도를 손에 들고 답을 찾게 됩니다. 그래서 시간 순서나 인과관계를 틀리지 않게 됩니다.

2. 🎯 '시각적 집중력'을 보상하는 게임 (강화 학습)

AI가 이 지도를 보고 답을 낼 때, 실제 영상 속의 중요한 장면을 잘 보고 있는지를 평가해 주는 시스템을 도입했습니다.

• 비유: 퀴즈 대회에서 정답을 맞출 때, 문제지 (영상) 를 꼼꼼히 읽었는지 확인하는 심판이 있는 것과 같습니다.
  • AI가 "드론이 날았다"라고 말했는데, 실제로 영상에서 드론을 잘 찾아냈다면 보상 점수를 줍니다.
  • 영상은 안 보고 막상 막상 지어낸다면 점수를 뺏습니다.
• 효과: AI는 **"지도 (사건 구조)"**와 "실제 영상 (시각적 증거)" 두 가지를 모두 잘 활용하도록 훈련됩니다.

---

🏆 결과: 얼마나 좋아졌을까?

이 방법을 적용한 AI는 두 가지 주요 테스트에서 기존 최고 성능 모델들을 압도했습니다.

1. 시간 순서 맞추기 (RexTime): "무엇이 먼저 일어났는가?"를 묻는 질문에서, AI가 사건 지도를 통해 시간 순서를 정확히 파악했습니다. (예: 드론과 물에 뛰어드는 순서 문제에서 정답을 맞췄습니다.)
2. 헛소리 줄이기 (VidHalluc): AI가 만들어낸 엉뚱한 이야기 (환각) 가 크게 줄었습니다. 특히 사건 간의 연결고리를 이해하는 능력이 비약적으로 향상되었습니다.

🌟 요약: 한 문장으로 정리하면?

"기존 AI 는 동영상을 보며 막연히 상상해서 헛소리를 했지만, GraphThinker 는 '사건 지도'를 그려놓고 '실제 영상'을 꼼꼼히 확인하며 논리적으로 생각하게 만들어, 더 이상 헛소리를 하지 않게 했습니다."

이 기술은 앞으로 교육용 영상 분석, 로봇의 상황 판단, 보조 AI 시스템 등 우리가 AI 에게 복잡한 영상 정보를 맡길 때, 훨씬 더 신뢰할 수 있는 결과를 얻을 수 있게 해줄 것입니다.

기술 요약

GraphThinker: 비디오 추론을 위한 이벤트 그래프 사고 강화

이 논문은 GraphThinker라는 새로운 방법을 제안하여, 멀티모달 대규모 언어 모델 (MLLM) 의 비디오 추론 능력, 특히 **할루시네이션 (hallucination)**을 줄이고 인과적 관계를 정확히 이해하는 능력을 향상시키는 연구입니다.

1. 문제 정의 (Problem)

기존의 비디오 추론을 수행하는 MLLM 들은 다음과 같은 한계를 가지고 있습니다:

• 암묵적 관계 모델링: 비디오 내 이벤트 간의 인과 관계나 시간적 순서를 명시적으로 모델링하지 않고, 단순히 토큰 간의 상관관계나 밀집된 캡션 (dense captions) 을 통해 추론합니다.
• 할루시네이션: 명시적인 인과 구조가 부재할 때, 모델은 시각적 근거 없이 사실과 다른 내용을 생성하거나 (할루시네이션), 이벤트의 시간적 순서를 잘못 파악하는 오류를 범합니다.
• 기존 방법의 부족: 기존 비디오 장면 그래프 (Video Scene Graph) 는 주로 객체 간의 관계를 포착하지만, 이벤트 간의 동적 의존성과 세부적인 시간적 경계를 명시적으로 표현하지 못해 추론의 정확도를 떨어뜨립니다.

2. 방법론 (Methodology)

GraphThinker 는 **강화 미세 조정 (Reinforcement Finetuning)**을 기반으로 하며, 두 가지 핵심 요소를 결합합니다:

A. 이벤트 기반 비디오 장면 그래프 (EVSG, Event-based Video Scene Graph) 구축

• 자동 생성 및 정제: 인간의 수동 주석 없이 MLLM 을 활용하여 비디오를 분석합니다.
  1. 다중 세밀도 밀집 캡션 생성: 비디오를 coarse, middle, fine 세 가지 세밀도 (예: 5, 10, 15 개의 이벤트) 로 나누어 캡션을 생성합니다.
  2. 그래프 생성 및 정제: 생성된 캡션을 기반으로 MLLM 이 이벤트 내 (intra-event) 객체 상호작용과 이벤트 간 (inter-event) 시간적 관계를 명시적으로 표현하는 구조화된 그래프 (EVSG) 를 생성하고 정제합니다.
• 중간 사고 과정: 이 EVSG 는 MLLM 이 추론을 수행할 때 참고하는 '중간 사고 과정 (intermediate thinking process)'으로 활용되어, 추론이 시각적 증거와 시간적 일관성에 기반하도록 제약합니다.

B. 이벤트 그래프 기반 강화 미세 조정 (Event Graph-based RFT)

• GRPO (Group Relative Policy Optimization): 기존 GRPO 알고리즘을 비디오 추론 작업에 적용합니다.
• 복합 보상 함수 (Composite Reward Function): 모델의 학습을 유도하기 위해 세 가지 보상을 설계합니다.
  1. 정확도 보상 (Accuracy Reward): 예측된 시간 구간 (IoU) 과 답변의 의미적 유사도를 평가합니다.
  2. 형식 일관성 보상 (Format Reward): 추론 과정이 <thought>...</thought> 태그와 <answer>...</answer> 태그로 올바르게 구조화되었는지 확인합니다.
  3. 시각 주의 보상 (Visual Attention Reward): 핵심 혁신 요소로, 모델이 생성한 답변 토큰이 텍스트 그래프 토큰보다 **시각적 토큰 (video tokens)**에 더 많은 주의를 기울이도록 장려합니다. 이는 추론이 추상적인 그래프 정보에만 의존하는 것을 방지하고 실제 비디오 콘텐츠에 기반하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 명시적 이벤트 관계 모델링: 기존 MLLM 이 가진 암묵적 관계 모델링의 한계를 극복하기 위해, 수동 주석 없이 생성된 EVSG를 도입하여 이벤트 간의 인과 및 시간적 관계를 명시적으로 표현했습니다.
2. 시각적 근거 강화 강화 학습: EVSG 와 **시각 주의 보상 (Visual Attention Reward)**을 결합한 강화 미세 조정 방법을 제안하여, 모델이 추론 과정에서 실제 시각적 증거를 적극적으로 탐색하도록 유도했습니다.
3. 할루시네이션 감소 및 일관성 향상: 구조화된 그래프와 시각적 보상을 통해 비디오 추론에서의 할루시네이션을 크게 줄이고, 시간적 일관성을 확보했습니다.

4. 실험 결과 (Results)

두 가지 주요 벤치마크 (RexTime, VidHalluc) 에서 기존 최첨단 (SOTA) 모델들을 능가하는 성능을 입증했습니다.

• RexTime (이벤트 인과 추론 및 시간적 위치 지정):
  • mIoU: 41.46 (기존 SOTA 대비 크게 향상)
  • Accuracy@IoU≥0.5: 30.75 (기존 모델인 TimeSearch-7B 보다 1.31%, GPT-4o 보다 2.08% 더 높은 정확도 달성)
  • 긴 비디오 전체를 분석하여 시간적 일관성을 유지하면서도 정확한 위치 지정이 가능함을 보였습니다.
• VidHalluc (비디오 할루시네이션 평가):
  • Temporal Sequence Hallucination (TSH): 84.57% 정확도 달성 (기존 오픈소스 모델 중 최상위).
  • Scene Transition Hallucination (STH): 76.33% 점수 달성.
  • EVSG 와 강화 학습을 통해 행동 인식 및 시간적 순서 파악에서의 오류를显著하게 줄였습니다.

5. 의의 및 결론 (Significance)

GraphThinker 는 비디오 추론 분야에서 **구조화된 시각적 사고 (Visual Thinking)**의 중요성을 부각시켰습니다. 단순히 텍스트 기반의 캡션이나 요약에 의존하는 것이 아니라, 이벤트 간의 인과 관계를 그래프로 명시화하고, 강화 학습을 통해 모델이 실제 시각적 데이터에 집중하도록 유도함으로써, MLLM 의 할루시네이션 문제를 효과적으로 해결했습니다. 이는 교육용 비디오 이해, embodied AI, 보조 AI 시스템 등 고수준의 비디오 추론이 필요한 응용 분야에서 신뢰할 수 있는 AI 시스템 구축의 기반을 마련했다는 점에서 의의가 큽니다.