HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering

1. 문제 정의 (Problem Definition)

장기 영상 질문 답변 (Long-form Video QA) 작업은 제한된 컨텍스트 윈도우를 가진 대규모 비전 - 언어 모델 (LVLM) 에게 중요한 도전을 제기합니다.

• 핵심 병목 현상: 전체 영상을 원본 프레임 속도로 처리하는 것은 계산 비용이 너무 많이 들어 불가능합니다. 따라서 관련성이 높은 프레임을 선택하는 프레임 선택 (Frame Selection) 이 필수적이지만, 이는 정확도와 효율성 사이의 심각한 트레이드오프를 야기합니다.
• 기존 방법의 한계:
  • 유사도 기반 (Similarity-based): CLIP 등 고정된 인코더를 사용하여 쿼리와 프레임의 유사도를 계산합니다. 계산 비용은 낮지만, 복잡한 쿼리 (예: "내레이션에서 화학 반응을 언급한 후 왼쪽의 비커에 무슨 일이 일어났는가?") 를 단일 밀집 벡터로 축소하여 사건 순서 (temporal ordering) 와 교차 모달 바인딩 (cross-modal binding, 오디오 + 비주얼) 을 잃어버립니다.
  • 에이전트 기반 (Agent-based): 반복적인 LVLM 추론을 통해 구조화된 이해를 달성하지만, 계산 비용이 매우 높고 지연 시간이 길어 실용성이 떨어집니다.

2. 제안 방법: HiMu (Methodology)

HiMu 는 학습이 필요 없는 (training-free) 프레임워크로, 복잡한 쿼리를 계층적 논리 트리로 분해하고 이를 경량 전문가 (experts) 들이 처리하도록 하여 효율성과 정확성을 동시에 달성합니다.

핵심 파이프라인 (4 단계)

1. 신호 - 심볼릭 쿼리 분해 (Neuro-Symbolic Query Decomposition):

   • 텍스트 전용 LLM 을 통해 자연어 질문을 계층적 논리 트리 (Hierarchical Logic Tree) 로 변환합니다.
   • 리프 노드 (Leaf Nodes): 각 리프는 특정 모달리티에 특화된 경량 전문가 (Expert) 와 원자적 술어 (Atomic Predicate) 로 구성됩니다.
     • 비주얼: CLIP (장면/행동), OVD (YOLO-World, 객체), OCR (화면 텍스트).
     • 오디오: ASR (음성 인식), CLAP (환경음/음악).
   • 내부 노드 (Internal Nodes): 논리 연산자 (AND, OR) 와 시간적 연산자 (Seq, RightAfter) 를 사용하여 자식 노드들을 조합합니다.

2. 멀티모달 전문가 신호 추출 및 처리:

   • 각 전문가가 프레임별 관련성 신호를 생성합니다.
   • 정규화 및 평활화: 서로 다른 스케일 (신뢰도, 유사도 등) 의 신호를 Median/MAD 기반 정규화를 통해 [0, 1] 로 매핑하고, 모달리티별 시간 해상도 차이를 보정하기 위해 가우시안 커널로 평활화 (Smoothing) 합니다.

3. 퍼지 논리 조합 (Fuzzy-Logic Composition):

   • 트리 구조를 하향식 (Bottom-up) 으로 평가하여 각 프레임의 만족도 곡선 $T(t)$ 를 생성합니다.
   • 연산자:
     • AND: 모든 자식이 동시에 활성화될 때.
     • Seq: 사건이 시간 순서대로 발생했을 때.
     • RightAfter: 원인과 결과가 시간적으로 밀접하게 연결되었을 때 (지수 감쇠 적용).

4. PASS (Peak-And-Spread Selection) 선택 전략:

   • 단순히 점수가 높은 상위 K 개 프레임을 선택하는 대신, 만족도 곡선의 국소 최대값 (Peaks) 을 먼저 식별하고, 각 피크 주변의 시간적 맥락을 포함하는 이웃 프레임을 추가하여 선택합니다. 이는 단일 이벤트에 집중되는 것을 방지하고 시간적 다양성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 신호 - 심볼릭 프레임워크: 쿼리를 논리 트리로 분해하고 모달리티별 전문가에게 라우팅하여 퍼지 논리 연산자로 신호를 조합함으로써, 정밀한 시간적 근거 (temporal grounding) 를 제공합니다.
2. 학습 불필요 및 단일 샷 파이프라인: 반복적인 LVLM 호출 대신 텍스트 전용 LLM 한 번의 호출과 캐싱된 전문가 평가를 사용하여 지연 시간을 극도로 줄였습니다.
3. 효율성 - 정확도 파레토 프론트 재정의: 기존 방법들보다 적은 프레임 수 (16 프레임) 로 더 높은 정확도를 달성하며, 계산 비용 대비 성능 면에서 새로운 기준을 제시했습니다.
4. 오디오 모달리티의 적극적 활용: 오디오 (ASR, CLAP) 를 선택의 1 차적 증거로 통합하여, 오디오 - 비주얼 교차 의존성을 가진 쿼리 해결 능력을 크게 향상시켰습니다.

4. 실험 결과 (Results)

• 벤치마크: Video-MME, LongVideoBench, HERBench-Lite 에서 평가되었습니다.
• 성능 비교 (Video-MME 기준):
  • Qwen3-VL-8B 모델 사용 시: 16 프레임에서 기존 모든 선택기 (BOLT, AKS, T* 등) 를 능가하는 73.22% 의 정확도를 기록했습니다.
  • GPT-4o 모델 사용 시: 16 프레임으로 78.18% 의 정확도를 달성하여, 32~512 프레임을 사용하는 기존 에이전트 기반 방법들 (VSLS, VideoChat-A1 등) 보다 높은 성능을 보였습니다.
• 계산 효율성:
  • 에이전트 기반 방법들에 비해 약 10 배 적은 FLOPs 를 사용하면서도 더 높은 정확도를 달성했습니다.
  • 프레임 수를 64 로 늘린 균일 샘플링 (Uniform Sampling) 보다 16 프레임의 HiMu 가 더 좋은 성능을 내어, 불필요한 프레임 제거의 효과를 입증했습니다.
• 성분 분석 (Ablation Study):
  • 논리 트리 구조를 단순 합산 (Flat Fusion) 으로 대체하면 정확도가 가장 크게 하락 (-5.49%p) 하여, 구조화된 조합이 핵심임을 입증했습니다.
  • ASR(음성 인식) 전문가를 제거하면 가장 큰 성능 저하 (-1.99%p) 가 발생하여 오디오의 중요성을 확인했습니다.

5. 의의 및 결론 (Significance)

HiMu 는 장기 영상 QA 분야에서 효율성과 심층 추론 간의 격차를 성공적으로 해소했습니다.

• 비용 절감: 반복적인 대규모 모델 추론 없이도, 구조화된 논리 분해와 경량 전문가를 통해 에이전트 수준의 이해도를 달성합니다.
• 해석 가능성 (Interpretability): 각 프레임 선택이 어떤 전문가 (예: "오디오에서 '폭발' 소리", "비주얼에서 '화재'") 에 의해 결정되었는지 명확하게 추적 가능하여, 시스템의 오류를 진단하고 개선하는 데 유용합니다.
• 실용성: 학습이 필요 없으며, 어떤 LVLM 에든 플러그 - 앤 - 플레이 방식으로 통합 가능하여 실제 응용 환경에 적용하기 용이합니다.

요약하자면, HiMu 는 "적은 프레임으로 더 똑똑하게" 영상을 이해할 수 있는 새로운 패러다임을 제시하며, 멀티모달 추론의 효율성을 혁신적으로 향상시킨 연구입니다.