기술 요약: 긴 비디오 이해를 위한 계층적 프로그래밍적 탐사 (Hierarchical Programmatic Probing, HPP)

1. 문제 정의

긴 비디오 이해는 현재의 시각-언어 모델(Vision-Language Models, VLMs)에 근본적인 도전 과제를 제시합니다. 지배적인 패러다임은 비디오 프레임을 LLM의 임베딩 공간으로 투영하고 단일 순방향 패스(forward pass) 내에서 인지와 추론을 결합하여 수행하는 것입니다. 저자들은 이러한 "단일 구조(monolithic)" 형식이 다음과 같은 두 가지 주요 병목 현상으로 인해 긴 비디오에 대해 구조적으로 부적합하다고 주장합니다:

1. 잠재적 추론의 한계: LLM은 잠재 표현 내에서 다단계 계획 전략을 발견하고 실행하는 데 어려움을 겪으며, 특히 장기적인 시간적 의존성을 해결할 때 더욱 그렇습니다.
2. 토큰 팽창: 긴 비디오는 방대한 양의 시각적 토큰(예: 1시간 비디오의 경우 108만 개)을 생성하며, 이는 계산 비용과 KV-캐시 요구량을 팽창시킬 뿐만 아니라 컨텍스트 창 전반에 걸쳐 관련 신호를 희석시킵니다.

기존의 에이전트 기반 프레임워크는 밀집된 캡셔닝(dense captioning)이나 경직된 탐색 워크플로우를 통해 이를 완화하려고 시도하지만, 이러한 접근 방식은 종종 수동으로 설계된 휴리스틱에 의존하여 적응형 탐사를 제한하고 현대적인 코딩 능력을 갖춘 LLM의 반복적이고 동적인 문제 해결 능력을 충분히 활용하지 못합니다.

2. 방법론: 계층적 프로그래밍적 탐사 (HPP)

제안된 HPP 프레임워크는 의미론적 인지와 고차원적 시간 추론을 분리합니다. 단일 패스 추론 대신, HPP는 긴 비디오 이해를 상호작용 가능한 코딩 환경 내에서 계층적으로 분할된 비디오를 반복적이고 프로그래밍적인 탐사를 하는 과정으로 재정의합니다.

핵심 아키텍처

시스템은 REPL(Read-Evaluate-Print Loop) 내에서 상호작용하는 세 가지 주요 구성 요소로 이루어집니다:

1. 코딩 능력을 갖춘 LLM: "추론 에이전트" 역할을 합니다. 최소한의 컨텍스트(시스템 프롬프트, 메타데이터, 쿼리)로 초기화되며, 전략 수립, 계획, 관계적 추론 및 코드 실행을 담당합니다. 이 모델은 원시 픽셀을 직접 처리하지 않습니다.
2. 경량 VLM: "인지 모듈" 역할을 합니다. 특정 프레임이나 짧은 세그먼트에 대해 표적화된 시공간적 이해를 수행하기 위해 LLM에 의해 온디맨드(on-demand) 방식으로 호출됩니다.
3. 구조화된 탐사 환경: 비디오를 일련의 효율적인 함수들을 통해 LLM에 노출하는 Python 기반 REPL입니다. 이는 단순한 프레임 수준 처리를 방지합니다.

주요 기술 구성 요소

긴 비디오에 대해 프로그래밍적 탐사를 실행 가능하게 만들기 위해, HPP는 네 가지 특정 모듈을 도입합니다:

• 정보 밀도 인식 계층적 분할 (Information-Density-Aware Hierarchical Segmentation):

  • 균등한 샘플링 대신, 시스템은 압축된 비디오 비트스트림 정보(I-프레임, 모션 벡터, 잔차)를 활용하여 원시 프레임을 샷(shot) 단위로 분할합니다.
  • 모션 및 잔차 벡터를 기반으로 "샷 에너지(shot energy)"를 계산하여 정보 밀도를 식별합니다.
  • 샷은 다시 경량화된 증류된 시각 인코더를 사용하여 장면(scene)(시간적으로 일관된 단위) 및 클러스터(cluster)(전역적으로 의미론적 일관성을 가진 단위)로 그룹화됩니다. 이는 조대(coarse)-세밀(fine) 탐색을 위한 다중 스케일 구조(Shots $\to$ Scenes $\to$ Clusters)를 생성합니다.

• 모션 적응형 후기 상호작용 의미론적 검색 (Motion-Adaptive Late-Interaction Semantic Retrieval):

  • 쿼리와 관련된 세그먼트를 국지화하기 위해, 시스템은 균등한 프레임 샘플링을 피하는 검색 모듈을 사용합니다.
  • 샷의 모션 에너지에 비례하여 프레임을 샘플링합니다.
  • 유사도는 하이브리드 후기 상호작용(hybrid late-interaction) 방식을 사용하여 계산됩니다. 이는 전역적인 샷 수준 임베딩과 미세한 토큰-프레임 상호작용(MaxSim)을 결합하여 정적인 공간적 컨텍스트와 모션 기반의 행동 단서를 모두 포착합니다.

• 구조화된 탐사 함수 (Structured Probing Functions):

  • LLM은 REPL 내의 비용 등급이 매겨진 API를 통해 비디오와 상호작용합니다:
    • 저비용(Cheap): 구조 쿼리(get_shots, get_scenes), 자막 검색.
    • 중간 비용(Moderate): 의미론적 검색(search_in_shots), 프레임 추출.
    • 고비용(Expensive): VLM 쿼리(vlm_query).
  • 이러한 비용 구조는 LLM이 조대-세밀 전략을 채택하도록 유도합니다: 즉, 저렴한 신호로 방향을 잡고, 시간적 영역을 좁힌 뒤, 표적 세그먼트에 대해서만 인지를 호출하는 방식입니다.

• 반복적 추론 루프 (Iterative Reasoning Loop):

  • LLM은 쿼리를 하위 목표로 분해하고, 병렬 검색을 수행하며, 후보를 VLM으로 검증하고, 결과(예: 검색 결과 중복 제거, 쿼리 재구성)를 반복적으로 정제하기 위해 Python 코드를 작성하고 실행합니다.

3. 주요 기여

1. 인지와 추론의 분리: 본 논문은 코딩 능력이 있는 LLM이 고수준의 계획 및 전략 실행을 담당하고, 경량 VLM은 표적화된 인지 추출에 국한되는 패러다임의 전환을 제안합니다. 이를 통해 추론과 인지 구성 요소를 독립적으로 확장할 수 있습니다.
2. 프로그래밍적 비디오 내비게이션: HPP는 비디오 이해를 코드 실행 작업으로 취급하여, 명시적인 지시 없이도 LLM이 적응형 전략(예: 다중 쿼리 앙상블 검색, 시간적 비최대 억제 등)을 자율적으로 발견할 수 있게 합니다.
3. 효율적인 계층적 구조화: 비디오 코덱 메타데이터(I-프레임, 모션 벡터)를 활용하여 세그먼트를 생성함으로써, 값비싼 광학 흐름(optical flow) 계산을 피하면서도 시간적 중복성과 정보 밀도를 효과적으로 포착합니다.
4. 창발적 전략 (Emergent Strategies): 이 프레임워크는 LLM이 패러래징된 쿼리를 통한 병렬 검색을 수행하거나 코드를 사용하여 결과를 병합/중복 제거하는 것과 같이, 고정된 워크플로우로는 달성하기 어려운 복잡한 추론 패턴을 자발적으로 개발할 수 있음을 보여줍니다.

4. 실험 결과

저자들은 네 가지 주요 긴 비디오 벤치마크인 LongVideoBench (LVB), EgoSchema, VideoMME, MLVU에서 HPP를 평가했습니다.

• LongVideoBench 성능: HPP는 단일 구조 VLM을 크게 능가하며, 특히 긴 지속 시간의 비디오(600초~3600초)와 관계적 추론 작업(L2)에서 두드러집니다. 예를 들어, 3600초 서브셋에서 HPP는 유사한 크기의 비전 인코더를 가진 베이스라인 VLM의 57.4%에 비해 70.5%의 정확도를 달성했습니다.
• 스케일링 법칙 (Scaling Laws):
  • 인지 스케일링: HPP 프레임워크 내에서 비전 인코더 크기를 개선(0.3B에서 6B로)했을 때, 단일 구조 베이스라인 대비 일관된 이득(+10.9% 및 +7.8%)을 얻었습니다.
  • 추론 스케일링: 더 강력한 코딩 LLM(예: Claude Opus 4.6 vs. MiniMax-M2.5)은 비디오 이해 성능의 향상으로 직접 연결되었으며(59.2% $\to$ 76.3%), 이는 프레임워크가 LLM의 코딩 능력을 효과적으로 활용함을 확인시켜 줍니다.
• 일반 벤치마크: HPP는 훨씬 더 큰 파라미터 수를 가진 모델(예: 72B–78B 모델) 및 GPT-4o, Gemini 1.5 Pro와 같은 독점 시스템과 비교하여 EgoSchema, VideoMME, MLVU에서 경쟁력 있거나 우수한 결과를 달exam했습니다.
• 효율성: HPP는 탐사 오버헤드로 인해 매우 짧은 비디오에서는 토큰 사용량이 약간 높을 수 있으나, 긴 비디오에서는 훨씬 더 효율적입니다. 가장 긴 작업들의 경우, HPP는 중복된 프레임을 처리하지 않음으로써 표준 프레임 샘플링 방식보다 최대 16배 적은 토큰을 사용했습니다.

5. 의의 및 주장

본 논문은 의미론적 인지와 고차원적 시간 추론을 분리하는 것이 긴 비디오 이해를 위한 중요한 진전이라고 주장합니다. 적응형 코드 기반 탐사 과정을 통해 인지를 외부화함으로써, HPP는 다음을 실현합니다:

• 표준 VLM의 잠재적 다단계 추론에서의 "깊이 천장(depth ceiling)"을 극복합니다.
• 복잡하고 긴 호흡의 과업에서도 성능 저하 없이 더 작고 효율적인 VLM을 사용할 수 있게 합니다.
• 구조화된 인터페이스를 갖춘 현대적 LLM이 시간적 국지화 및 증거 집계를 위한 정교한 전략을 자율적으로 개발할 수 있음을 입증합니다.

저자들은 성능이 기본 LLM의 코딩 능력에 의해 제한될 수 있으며, 에이전트의 자율적 특성으로 인해 조기 종료나 컨텍스트 드리프트(context drift)와 같은 실패 모드가 발생할 수 있다는 점을 언급하며 한계를 인정했습니다. 그러나 결과는 프로그래밍적 탐사가 현재의 단일 구조 VLM 패러다임에 대한 확장 가능하고 효과적인 대안이 될 수 있음을 시사합니다.