기술 요약: 효율적인 세그먼트-투-비디오(Segment-to-Video) 감독을 통한 긴 비디오 이해를 위한 국소적 추론 능력 향상

문제 정의

멀티모달 거대 언어 모델(MLLM)이 비디오 이해 분야에서 상당한 잠재력을 보여주었지만, **긴 비디오 이해(Long Video Understanding, LVU)**는 여전히 중요한 과제로 남아 있습니다. 주요 장애물은 복잡하고 긴 문맥 내에 존재하는 방해 요소(distracting noise)이며, 이는 국소적인 세부 사항을 가리고 MLLM이 잘못된 답을 생성하도록 유도합니다.

기존의 솔루션들은 두 가지 주요 접근 방식을 통해 이를 완화하려고 시도하지만, 두 방식 모두 심각한 단점을 가지고 있습니다:

1. 검색 기반 방법(Retrieval-based methods): MLLM에 입력하기 전, 쿼리와 관련된 증거를 식별하기 위해 외부 검색 모델에 의존합니다. 이는 추가적인 학습 및 추론 오버헤드와 함께 상당한 계산 및 저장 부담을 초래합니다.
2. 추론 기반 방법(Reasoning-based methods): DeepSeek-R1과 같은 모델에서 영감을 받아, 지도 미세 조정(SFT)과 강화 학습(RL)을 포함하는 강화 미세 조정(RFT) 프레임워크를 활용합니다. 그러나 이들은 두 가지 주요 문제에 직면해 있습니다:
   • 높은 학습 비용: SFT 단계는 대규모 사고 사슬(Chain-of-Thought, CoT) 주석(종종 Gemini와 같은 고가의 모델에 의해 생성됨)을 필요로 하며, RL 단계는 복잡하고 작업 특화적인 보상 설계가 필요합니다.
   • 높은 추론 지연 시간: 일부 방법은 자기 성찰적(self-reflective) 및 반복적 인지(iterative-perception) 메커니즘을 채택하여, 결과적으로 긴 출력(예: 1k 토큰 이상)을 생성하며, 이는 실제 애플리케이션에서 병목 현상이 됩니다.

방법론: 세그먼트-투-비디오 감독 (Segment-to-Video Supervision, S2V)

저자들은 기존 방식의 막대한 비용 없이 LVU에서의 미세한 추론을 강화하기 위해 설계된 새롭고 효율적인 방법인 S2V를 제안합니다. 핵심 철학은 짧고 국소적인 비디오 세그먼트를 기반으로 학습 데이터를 생성한 다음, 이 감독 신호를 전체 비디오로 전이하는 것입니다.

1. 데이터 합성 파이프라인 (S2V-10K)

저자들은 10,000개의 고품질 학습 샘플로 구성된 S2V-10K 데이터셋을 생성하기 위한 완전 자동화된 파이프라인을 구축했습니다:

• 비디오 수집: YT-Temporal-180M 코퍼스를 활용하여, 의미론적 연속성을 유지하기 위해 시각적 장면 전환을 기준으로 긴 지속 시간의 비디오를 유지하고 분할합니다.
• 세그먼트 기반 VQA 생성: 강력한 MLLM($M_T$)이 짧은 세그먼트 또는 최대 $N_M$개의 세그먼트 조합을 기반으로 다지선다형 질문-답변(VQA) 삼중항을 생성합니다. 품질 보장을 위해 두 번째 MLLM($M'_T$)이 질문에 다시 답하게 하며, 불일치하는 쌍은 폐기합니다.
• 전체 비디오로의 전이: 세그먼트 기반 질문을 전체 비디오에 적용할 때 발생하는 참조 모호성을 해결하기 위해, 작업 지침에 세그먼트 타임스탬프를 명시적으로 포함합니다. 이를 통해 세그먼트 기반 VQA를 특정 세그먼트에 조건화된 명확한 비디오 기반 VQA로 변환합니다.
• 난이도 필터링: 더 작은 규모의 MLLM($M_I$)이 샘록에 여러 번 응답하여 이를 Simple(단순), Medium(중간), Hard(어려움) 난이도로 분류합니다. 최종 데이터셋은 수렴과 도전 과제 모두를 보장하기 위해 이 카테고리들을 (1:3:6 비율로) 균형 있게 구성합니다.

2. 학습 전략

두 단계 학습(SFT + RL)과 복잡한 보상 설계가 필요한 RFT 프레임워크와 달리, S2V는 간소화된 접근 방식을 사용합니다:

• 단일 단계 RL: 모델은 오직 강화 학습(구체적으로 Group Relative Policy Optimization, GRPO)만을 사용하여 학습됩니다.
• 단순한 보상: 보상 함수는 단순한 정확도 보상(정답 시 1, 오답 시 0)입니다.
• 특권 정보(Privileged Information): 세그먼트 타임스탬프는 학습 중에 모델이 미세한 세부 사항을 올바른 답과 연관시키도록 안내하는 "특권 정보" 역할을 합니다. 결정적으로, 논문에서는 일단 학습되면 모델이 독립적으로 국소적 증거를 인지할 수 있게 되므로, 추론 시에는 이러한 타임스탬프가 필요하지 않다고 명시합니다.

3. 추론

S2V 모델은 제한된 출력 토큰을 사용하여 **단일 순전파(single forward pass)**로 답을 예측하며, 이는 다른 추론 기반 방법들이 유발하는 반복적인 다회차 생성 과정을 피합니다.

주요 기여

1. 새로운 감독 방법: 긴 문맥 속에서 국소적 세부 사항을 이해하도록 MLLM을 강제하는 **세그ment-to-Video Supervision (S2V)**을 제안하여, 세그먼트 기반 주석을 전체 비디오로 전이합니다.
2. 자동화된 데이터 파이프라인 및 데이터셋: 견고한 감독 데이터를 합성하기 위한 완전 자동화된 파이프라인을 설계하여, '건초더미 속 바늘 찾기(needle-in-a-haystack)' 문제와 다중 세그먼트 추론을 다루는 S2V-10K 데이터셋을 구축했습니다.
3. 효율성 및 성능: S2V가 (단 10K개의 샘플과 단순한 RL만을 사용하여) 일반 MLLM 및 특화된 LVU 방법들보다 우수한 정확도를 달성하면서도 학습 및 추론 비용을 크게 줄임을 입증했습니다.

실험 결과

세 가지 주요 LVU 벤치마크인 LongVideoBench (LVB), Video-MME, MLVU에서 광범-한 실험이 수행되었습니다.

• 일반 MLLM 대비 성능: S2V 모델(4B, 7B, 8B 파라미터)은 모든 벤치마크에서 최신 일반 MLLM(예: Qwen3-VL, InternVL3.5)을 일관되게 능가했습니다. 특히, S2V는 중간 및 긴 비디오 서브셋에서 더 두드러진 이득을 보였습니다.
• LVU 특화 방법 대비 성능: S2V는 검색 기반 및 추론 기반 LVU 방법들을 모두 앞질렀습니다.
  • 데이터 효율성: Video-R1과 비교했을 때, S2V는 학습 데이터를 425K에서 10K 샘플로(98% 감소), GPU 시간을 약 440시간에서 약 160시간으로(64% 감소) 줄였습니다.
  • 정확도: S2V-8B는 훨씬 더 큰 데이터셋과 복잡한 학습 파이프라인에 의존하는 방법들과 대등하거나 더 우수한 정확도를 달 achievement 했습니다.
• 추론 효율성: S2V는 더 나은 정확도-지연 시간 트레이드오프를 달성했습니다. 반복적인 인지를 피함으로써, 추론 기반 베이스라인들에 비해 지연 시간을 크게 줄이면서 단일 순전파로 정확한 답을 낼 수 있게 했습니다.
• 미세한 추론(Fine-Grained Reasoning): 절제 연구(Ablation studies)를 통해 S2V가 미세한 증거를 인지하고 활용하는 능력을 향상시킨다는 점을 확인했습니다. 관련 세그먼트가 제거된 비디오로 테스트했을 때, S2V 모델은 베이스 모델보다 더 큰 성능 저하를 보였는데, 이는 국소적 증거에 대한 더 강한 의존성을 나타냅니다.

의의 및 주장

본 논문은 S2V가 기존의 추론 기반 LVU 방법들에 내재된 상당한 학습 및 추론 오버헤드를 해결한다고 주장합니다. "더 많이 보는 것"(밀집된 입력)에서 "더 잘 보는 것"(미세한 증거 연관)으로 초점을 전환함으로써, S2V는 MLLM이 긴 문맥 속에서 유용한 증거와 방해되는 노이즈를 효과적으로 구별할 수 있게 합니다.

저자들은 S2V가 단순히 데이터를 필터링하는 기술이 아니라 감독의 패러다임 전환임을 강조합니다. 이는 다음과 같은 조건에서도 고품질의 LVU 성능을 달성할 수 있음을 증명합니다:

• 최소한의 데이터: 정교하게 합성된 단 10K개의 샘플.
• 단순한 학습: 기본적인 정확도 보상을 사용하는 단일 단계 RL.
• 낮은 지연 시간: 단일 패스 추론.

이 연구는 LVU를 개선하는 핵심은 값비싼 CoT 주석이나 반복적인 추론 메커니즘에 의존하는 것이 아니라, 모델이 미세하고 국소적인 세부 사항을 답과 연관시키도록 학습시키는 데 있음을 시사합니다.