Tool-Augmented Spatiotemporal Reasoning for Streamlining Video Question Answering Task

기술 요약: 비디오 질의응답 효율화를 위한 도구 증강 시공간 추론(Tool-Augmented Spatiotemporal Reasoning)

문제 정의
비디오 질의응답(VideoQA)은 파운데이션 모델이 동적인 실제 시나리오를 인지, 이해 및 추론할 수 있는지 평가하는 중요한 벤치마크 역할을 합니다. 그러나 기존의 멀티모달 거대 언어 모델(MLLM)은 비디오 프레임 내의 공간적 관계를 모델링하는 동시에 시간적 진화의 인과적 역동성을 이해하는 데 있어 상당한 어려움을 겪고 있습니다. 현재의 접근 방식은 크게 두 가지 범주로 나뉘며, 각각 한계점을 가지고 있습니다:

1. 비디오 중심 LLM (Video-LLMs): Qwen-VL과 같은 모델들은 종종 방대한 양의 비디오 프레임을 처리해야 하므로, 중복이 많고 비효율적인 파이프라인을 초래합니다.
2. 도구 증강 LLM (Tool-augmented LLMs): 도구는 추론 능력을 향상시킬 수 있지만, 기존 구현체들은 세 가지 근본적인 문제점을 안고 있습니다:
   • 단차원적 활용 (Unidimensional Utilization): 이들은 대개 공간적 또는 시간적 차원 중 하나에만 집중하며, 두 차원을 동시에 모델링하지 못합니다.
   • 불균형한 도구 다양성 (Unbalanced Tool Diversity): 단순히 도구의 수를 늘리는 것은 LLM의 내재된 불확실성으로 인해 실행상의 문제를 야기합니다.
   • 불충분한 스케줄링 (Insufficient Scheduling): 효과적인 스케줄링 메커니나 부재로 인해 도구 호출이 무질서하게 이루어지며, 이는 모델이 심층적인 추론을 건너뛰고 직접 답변을 내놓는 "도구 체인 지름길(Toolchain Shortcuts)" 현상을 유발하여 정확도와 효율성을 저하시킵니다.

방법론
저자들은 **비디오 툴킷(Video Toolkit)**과 **시공간 추론 프레임워크(STAR)**로 구성된 종합적인 솔루션을 제안합니다.

• 비디오 툴킷 구축:
  이 툴킷은 세 가지 핵심 원칙을 바탕으로 설계되었습니다: 작업을 시간적 및 공간적 차원으로 분해하고, 컴퓨터 비전 결과를 자연어로 통합하며, 세그먼트 수준 및 프레임 수준 처리를 모두 지원하는 것입니다. 툴킷은 다음과 같이 분류된 약 22개의 플러그 앤 플레이(plug-and-play) 도구로 구성됩니다:

  • 공간 도구 (Spatial Tools): 객체 탐지(YOLO, Grounding DINO), 바운딩 박스 활용(텍스트 변환, 패치 줌, 시각적 마커 포함) 및 의미론적 분할(semantic segmentation)을 포함합니다.
  • 시간 도구 (Temporal Tools): 프레임 선택(LLM 추론 또는 A* 탐색 기반), 시간적 그라운딩(temporal grounding), 비디오 트리밍을 포함합니다.
  • 일반 도구 (General Tools): OCR, 요약 및 비디오-언어 모델을 포함합니다.
    이 도구들은 확장성을 보장하기 위해 표준화된 도구 카드(tool cards)를 사용하여 캡슐화되었습니다.

• 시공간 추론 프레임워크 (STAR):
  STAR는 도구 체인 지름길 현상을 방지하고, 시간과 공간에 걸쳐 질문과 관련된 특정 비디오 부분 집합인 **3D 관심 영역(3D Region of Interest, 3D RoI)**의 점진적 국소화를 보장하도록 설계된 학습이 필요 없는(training-free) 에이전트 기반 프레임워크입니다.

  • 시공간 인터리빙 (Spatiotemporal Interleaving): 시간 후 공간(또는 그 반대)을 피드백 없이 순차적으로 처리하는 "분리된(disentangled)" 방식과 달리, STAR는 교차 호출 전략을 강제합니다. 만약 시간 도구가 사용되었다면 다음은 반드시 공간 도구여야 하며, 그 반대도 마찬가지입니다. 일반 도구는 최후의 수단으로 예약됩니다.
  • 가시 프레임 사전 (Visible Frame Dictionary): 프레임워크는 가시적인 프레임 인덱스와 각 프레임에서 수집된 정보를 추적하는 사전($V$)을 유지합니다. 시간 도구는 프레임이나 세그먼트를 선택함으로써 사전을 업데이트하며, 공간 도구는 해당 프레임들을 처리하고 그에 상응하는 데이터를 업데이트합니다.
  • 반복 프로세스 (Iterative Process): LLM 플래너는 결과를 관찰하고, 다음 단계를 추론하며, 제약된 세트(시간적 또는 공간적 도구) 내에서 적절한 도구를 선택하여 충분한 정보가 수집될 때까지 과정을 반복합니다.

주요 기여

1. 포괄적인 비디오 툴킷: 공간, 시간 및 일반 기능을 아우르는 22개의 다양한 플러그 앤 플레이 도구를 제공하며, 이는 도구의 양과 다양성의 균형을 맞추면서 MLLM의 추론 능력을 향상시키도록 설계되었습니다.
2. STAR 프레임워크: 시공간 인터리빙을 통해 도구를 교차 호출하는 새로운 추론 프레임워크입니다. 이 전략은 의도적인 시각적 사고를 모사하여 검색 공간을 3D RoI로 점진적으로 좁히고 지름길 행동을 방지합니다.
3. 성능 및 효율성: 가벼운 도구들(3B 미만 파라미터 모델 사용)로 GPT-4o를 증강하는 것이 기존 베이스라인보다 정확도와 계산 효율성 측면에서 모두 크게 우수함을 입증했습니다.

실험 결과
저자들은 네 가지 주요 VideoQA 벤치마크(VideoMME, LongVideoBench, NExT-QA, EgoSchema)에서 STAR를 평가했습니다.

• VideoMME: STAR는 GPT-4o(32개 프레임 사용) 대비 8.2%의 개선을 달성했으며, 가장 성능이 좋은 7B 오픈 소스 Video-LLM(InternVL3-8B)보다 3.7% 높은 성능을 보였습니다. 또한 런타임을 6~8분에서 15.8초로 단축하면서도 72B 규모 모델의 성능에 근접했습니다.
• LongVideoBench: STAR는 GPT-4o보다 4.6% 향상된 성능을 보였으며, 특히 긴(180600초) 및 초장기(9003600초) 비디오 세그먼트에서 강점을 나타냈습니다.
• NExT-QA: STAR는 가장 적은 프레임(7.2개)을 사용하여 최고 정확도(82.1%)를 달성했으며, 이는 7B Video-LLM 및 다른 프레임 선택 방식들을 능가하는 수치입니다. 검증 세트에서 경량 버전(STAR-MINI)은 DoraemonGPT보다 6.3% 높은 성능을 기록했습니다.
• 절제 연구 (Ablation Studies): "제약 없음(No Constraints)", "프롬프팅(Prompting)", "시공간 분리(Spatiotemporal Disentanglement)" 전략과의 비교를 통해, 시공간 인터리빙 방식이 더 길고 다양한 도구 체인을 활용함으로써 정확도와 프레임 효율성 사이의 최적의 균형을 제공함을 확인했습니다.

의의 및 주장
본 논문은 제안된 비디오 툴킷과 STAR 프레임워크가 자율적이고 지능적인 비디오 분석 어시스턴트를 구축하는 데 있어 중요한 단계라고 주장합니다. MLLM에 구조화되고 확장 가능한 툴킷과 3D RoI의 점진적 국소화를 강제하는 추론 프레임워크를 갖춤으로써, 복잡한 시공간 추론을 처리하는 데 있어 현재 모델들의 한계를 해결합니다. 저자들은 이 접근 방식이 가벼운 오픈 소스 도구들을 사용하여 높은 성능을 달상하며, 이는 거대한 파라미터 중심의 모델들과 비교했을 때 확장성과 효율성이 높다는 점을 강조합니다.

저자들이 언급한 한계점: 현재 구현은 플래너로 OpenAI의 GPT 모델(GPT-4o/GPT-3.5)에 의존하고 있어 API 비용이 발생합니다. 향후 연구에서는 플래너를 더 가벼운 모델로 대체하고, 도구 사용을 추론 과정에 더 잘 통합하는 것을 목표로 합니다. 또한, 현재 시스템은 시각적 콘텐츠에 집중되어 있으며 자막 및 오디오 통합은 향후 과제로 남겨두었습니다.