ENTER: Event Based Interpretable Reasoning for VideoQA

1. 문제 정의 (Problem)

비디오 질문 응답 (VideoQA) 은 비디오 내의 객체, 행동, 사건을 인식하고 시간 흐름에 따른 관계 변화를 이해해야 하는 복잡한 작업입니다. 기존 연구는 크게 두 가지 접근 방식으로 나뉘며 각각의 한계가 존재합니다.

• Top-Down 접근법 (모듈형 추론): 질문을 기반으로 추론 계획을 생성하지만, 초기 계획 수립 시 저수준의 시각적 정보를 충분히 반영하지 못합니다. 이로 인해 중요한 시각적 단어가 누락되면 시스템이 이를 수정하지 못해 취약성 (Brittleness) 이 발생합니다.
• Bottom-Up 접근법 (시각 데이터 기반): 비디오 프레임을 직접 처리하여 답변을 생성하므로 시각적 맥락은 풍부하지만, 대규모 언어 모델 (LLM) 이 직접 답변을 생성하는 '블랙박스' 방식이라 추론 과정의 해석 가능성 (Interpretability) 이 부족합니다.

이러한 해석 가능성과 시각적 맥락 활용 사이의 트레이드오프를 해결하고, 복잡한 비디오 질문에 대해 투명하고 견고한 추론이 가능한 시스템이 필요했습니다.

2. 방법론 (Methodology)

저자들은 ENTER (Event Based Interpretable Reasoning) 라는 새로운 아키텍처를 제안합니다. ENTER 는 비디오를 이벤트 그래프 (Event Graph) 라는 구조화된 중간 표현으로 변환하고, 이를 기반으로 파이썬 코드를 생성하여 질문을 해결하는 하이브리드 방식을 사용합니다.

핵심 구성 요소:

1. 이벤트 그래프 생성 (Event Graph Generation):

   • 비디오 캡션 생성: 비전 - 언어 모델 (VLM) 을 사용하여 비디오를 텍스트 캡션으로 변환하되, 시간적, 인과적, 위계적 관계를 명시적으로 포함하도록 프롬프트를 설계합니다.
   • 그래프 추출: 생성된 캡션을 LLM 이 분석하여 이벤트 (노드) 와 이벤트 간 관계 (엣지) 를 추출합니다.
     • 노드: 사건 (예: "시위", "공격") 과 참여자/객체.
     • 엣지: 시간적 (Temporal), 인과적 (Causal), 위계적 (Hierarchical) 관계.
   • 이 그래프는 비디오의 전체적인 서사를 구조화하여 장기적 의존성 (Long-range dependencies) 을 포착합니다.

2. 코드 생성 및 실행 (Code Generation & Execution):

   • 생성된 이벤트 그래프와 질문을 LLM (Reasoner) 에 입력합니다.
   • LLM 은 그래프를 탐색하고 논리적 추론을 수행할 수 있는 파이썬 코드를 생성합니다.
   • 생성된 코드는 실행되어 최종 답변을 도출합니다. 이 과정에서 그래프의 구조를 직접 조작하므로 추론 경로가 명확하게 드러납니다.

3. 계층적 반복 업데이트 (Hierarchical Iterative Update):

   • 초기 그래프가 질문에 필요한 정보를 포함하지 못할 경우, 자가 수정 (Self-correction) 메커니즘을 통해 정보를 보충합니다.
   • 비용 효율적인 3 단계 전략:
     1. 더 밀도 높은 그래프 생성 (Denser Graph): 기존 캡션을 재처리하여 누락된 관계를 그래프에 추가.
     2. 더 밀도 높은 캡션 생성 (Denser Caption): 캡션에 정보가 부족하면 비디오를 다시 분석하여 상세한 캡션을 생성하고 그래프를 갱신.
     3. 멀티모달 정보 통합 (Multimodal Incorporation): 텍스트만으로는 부족할 경우, 관련 비디오 클립을 추출하여 멀티모달 엣지로 그래프를 확장하고 시각 - 언어 모델을 통해 답변.
   • 이 과정은 필요한 경우에만 고비용 연산을 수행하여 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

• 해석 가능한 중간 표현 (Interpretable Intermediate Representation): 비디오를 '블랙박스'가 아닌 이벤트 그래프로 변환하여 추론 과정을 시각화하고 코드 수준에서 검증 가능하게 만들었습니다.
• 맥락 인식 및 견고성 (Contextual Awareness & Robustness): Top-Down 방식의 취약점을 보완하기 위해, 추론 계획 수립 시 시각적 정보를 반영하고, 정보 부족 시 계층적 업데이트를 통해 오류를 수정합니다.
• 효율적인 자원 활용: 모든 경우에 고비용의 멀티모달 분석을 수행하는 대신, 필요에 따라 점진적으로 정보 밀도를 높이는 전략을 도입했습니다.
• 새로운 벤치마크 성능: 여러 주요 데이터셋에서 기존 최첨단 (SOTA) 방법론을 능가하거나 경쟁력 있는 성능을 보여주었습니다.

4. 실험 결과 (Results)

저자들은 NExT-QA, IntentQA, NExT-GQA, STAR 데이터셋에서 ENTER 를 평가했습니다.

• 성능:
  • NExT-QA: 기존 Top-Down/모듈형 방법론 (MoReVQA 등) 보다 월등히 높은 정확도를 기록했습니다. (인과성 질문 16.6% 향상, 시간성 질문 6.7% 향상).
  • IntentQA: 최상위 Bottom-Up 방법론과 유사한 성능을 보였으며, 해석 가능성을 유지했습니다.
  • STAR: 복잡한 실생활 비디오 추론 작업에서 모듈형 방법론 대비 20% 이상 높은 정확도를 달성했습니다.
  • NExT-GQA: 시각적 근거 (Grounding) 정확도 (IoU, IoP) 에서도 SOTA 를 기록하여, 답변이 비디오의 특정 시점과 일치함을 증명했습니다.
• 해석 가능성 및 오류 분석:
  • 생성된 코드가 정답을 도출하는 논리적 단계를 명확히 보여주며, 인간이 이해할 수 있는 추론 경로를 제공합니다.
  • 오류 유형 (지식 부족, 일관성 없는 참조, 정보 누락) 을 그래프와 코드 수준에서 정밀하게 진단할 수 있음을 시연했습니다.
• 모델 견고성: GPT-4 와 같은 폐쇄형 모델뿐만 아니라 Llama 3 와 같은 오픈소스 LLM 을 Reasoner 로 사용했을 때도 성능 저하가 미미하여, 방법론 자체가 강력함을 입증했습니다.

5. 의의 및 중요성 (Significance)

이 연구는 VideoQA 분야에서 해석 가능성 (Interpretability) 과 정확도 (Accuracy) 를 동시에 달성하는 새로운 패러다임을 제시합니다.

1. 신뢰성 확보: 의료, 법률, 안전 감시 등 고위험 (High-stakes) 환경에서 AI 의 결정 과정을 인간이 검증하고 신뢰할 수 있게 합니다.
2. 디버깅 용이성: 시스템이 실패했을 때, 캡션 생성 단계, 그래프 구조, 혹은 코드 실행 중 어느 단계에서 오류가 발생했는지 명확히 파악하여 개선이 가능합니다.
3. 미래 지향성: 단순한 답변 생성을 넘어, 복잡한 사건 간의 인과관계와 시간적 흐름을 구조적으로 이해하는 지능형 비디오 분석 시스템의 기반을 마련했습니다.

결론적으로 ENTER 는 비디오 이해의 '블랙박스'를 열어젖히고, 구조화된 사건 그래프와 실행 가능한 코드를 통해 투명하고 견고한 추론을 가능하게 한 획기적인 접근법입니다.