기술 요약: LongVT

문제 정의

대형 멀티모달 모델 (LMM) 은 텍스트 기반 사고 연쇄 (Chain-of-Thought, CoT) 를 활용한 비디오 추론에서 잠재력을 입증해 왔습니다. 그러나 15 분 이상의 장편 비디오 (>15 minutes) 를 처리할 때는 증거가 희소하고 시간적으로 분산되어 있어 환각 현상에 여전히 취약합니다. 기존 접근법은 주로 R1 스타일의 패러다임 (텍스트 CoT 를 통한 감독 미세 조정 followed by 그룹 상대 정책 최적화) 에 의존하며, 언어 중심적입니다. 이는 중요한 추론을 위해 필수적인 세밀하거나 결정적인 순간을 놓치는 경우가 많으며, 적응적으로 핵심 시각적 증거를 포착하지 못합니다. furthermore, 현재 벤치마크는 데이터 오염과 선택 편향으로 인해 자주 고생하며, 몇 시간 분량의 영상 중 좁고 구체적인 시간 창 안에 답이 있는 'Haystack 속의 비디오 세그먼트 (Video Segment-in-a-Haystack)' 능력을 엄격하게 테스트하지 못합니다.

방법론

본 논문은 **교차 멀티모달 도구-사고 연쇄 (Interleaved Multimodal Chain-of-Tool-Thought, iMCoTT)**를 통해 장편 비디오로 '생각하기 (Thinking with Long Videos)'를 가능하게 하는 엔드투엔드 에이전트 프레임워크인 LongVT를 소개합니다.

핵심 메커니즘: iMCoTT

인간의 시청 습관 (전체적인 스킴밍 followed by 상세 검사) 에서 영감을 받아, LongVT 는 LMM 이 필요에 따른 시간적 검색과 추론을 네이티브로 교차할 수 있도록 합니다. 모델을 맹목적으로 텍스트를 재구성하는 대신 다음과 같이 작동합니다:

1. 전체 스킴 (Global Skim): 관련 시간 창에 대한 가설을 수립하기 위해 비디오를 대략적으로 미리 봅니다.
2. 도구 호출: 가설로 설정된 세그먼트에서 더 세밀한 프레임을 재샘플링하기 위해 네이티브 crop_video(start_time, end_time) 도구를 호출합니다.
3. 검증 및 자기 수정: 검색된 클립을 분석합니다. 증거가 불충분하거나 위치 파악이 잘못되었을 경우, 모델은 자기 성찰을 통해 시간 창을 정제하고 도구를 다시 호출합니다. 이 루프는 답변이 검색된 시각적 증거에 기반할 때까지 계속됩니다.

데이터 세트: VideoSIAH

장편 비디오 추론을 위한 세밀한 QA 데이터의 부족을 해결하기 위해, 저자들은 VideoSIAH를 큐레이션했습니다. 이는 대규모 데이터셋으로 다음과 같이 구성됩니다:

• 학습 데이터: 콜드스타트 감독 미세 조정 (SFT) 을 위한 247.9K 개 샘플 (도구 증강 트레이스 포함), 에이전트 강화 학습 (RL) 을 위한 1.6K 개 샘플, 그리고 에이전트 강화 미세 조정 (RFT) 을 위한 15.4K 개 샘플.
• 평가 벤치마크 (VideoSIAH-Eval): 평균 약 1,688 초의 비디오에서 증거가 희소한 추론을 테스트하도록 특별히 설계된, 인간-루프 검증이 포함된 652 개의 신중하게 큐레이션된 개방형 QA 쌍.

3 단계 학습 전략

1. 콜드스타트 SFT: 기본 LMM(Qwen2.5-VL-7B) 이 시간 창을 제안하고, 컷 도구 (crop tool) 를 호출하며, 멀티모달 증거를 구성하도록 가르칩니다. 이 단계는 모델이 초기에 창을 위치 파악하거나 도구 출력을 통합하지 못해 RL 붕괴가 발생하는 것을 방지하는 데 중요합니다.
2. 에이전트 RL: **연결된 답변 - 시간 기반 보상 (joint answer-temporal grounding reward)**을 사용하여 모델을 최적화합니다. 이전 연구들이 답변 정확도나 시간 정렬을 별도로 보상하는 것과 달리, 이 보상 함수는 두 가지를 결합하여 답변 정확도를 유지하면서 시간 위치 파악을 개선하는 탐색적 롤아웃을 명시적으로 장려합니다.
3. 에이전트 RFT: RL 단계에서 고품질 궤적을 감독 데이터로 증류합니다. 이는 RL 동안 학습된 에이전트 행동을 안정화시키고, 세밀한 시간 위치 파악 및 다단계 추론을 공고히 합니다.

주요 기여

1. 엔드투엔드 에이전트 패러다임: LongVT 는 수 시간 분량의 비디오에 대해 멀티모달 도구 증강 CoT 와 필요에 따른 클립 검사를 네이티브로 교차하는 최초의 프레임워크로, LMM 이 수동적인 프레임 소비가 아닌 능동적이고 증거를 찾는 추론을 수행할 수 있게 합니다.
2. VideoSIAH 데이터셋 및 벤치마크: 다양한 고품질 도구 통합 추론 트레이스를 생성하는 확장 가능한 데이터 파이프라인 구축과 기존 벤치마크에서 발견되는 데이터 오염 및 선택 편향을 완화하는 전용 평가 벤치마크를 구축했습니다.
3. 학습 전략 검증: 본 논문은 연결된 보상 함수를 갖춘 3 단계 파이프라인 (SFT + RL + RFT) 이 SFT 나 RL 단독보다 일관된 개선을 산출함을 체계적으로 검증하여, 장편 비디오 추론을 위한 새로운 최첨단 기준을 확립했습니다.

실험 결과

희소 (64 프레임) 와 밀집 (512/768 프레임) 샘플링 체계 하에서 네 가지 벤치마크 (VideoMME, VideoMMMU, LVBench, VideoSIAH-Eval) 에서 평가됨:

• 성능: LongVT-7B-RFT 는 오픈소스 비디오 중심 LMM 중에서 최첨단 성능을 달성했습니다. 까다로운 VideoSIAH-Eval 에서 42.0 점에 도달하여 두 번째로 좋은 오픈소스 모델보다 6 점 더 높은 점수를 기록했습니다.
• 격차 축소: 최고의 LongVT 체크포인트는 독점 모델 (예: GPT-4o) 과의 격차를 평균 약 4 점 이내로 좁혔습니다.
• 효율성: 다중 턴 도구 상호작용에도 불구하고, LongVT 는 단일 턴 베이스라인에 비해 추가적인 추론 지연을 초래하지 않습니다. 일부 경우 환각으로 인한 장황한 생성을 피함으로써 더 빠릅니다.
• 절대 연구 (Ablation Studies): 자체 큐레이션된 iMCoTT 데이터가 SFT 에 중요하며, 연결된 보상 함수가 개별 보상보다 우수하고, 최적의 성능을 위해서는 전체 3 단계 파이프라인이 필요함을 결과가 입증했습니다.

중요성 및 주장

본 논문은 LongVT 가 장편 비디오 이해를 수동적인 작업에서 능동적이고 증거를 찾는 과정으로 성공적으로 전환했다고 주장합니다. 네이티브 도구 호출을 통해 검색된 시각적 증거에 각 추론 단계를 근거로 삼음으로써, 이 프레임워크는 환각 현상을 크게 완화하고 시간적 위치 파악을 향상시킵니다. 저자들은 인간의 인지 전략을 반영하는 이 '장편 비디오로 생각하기' 패러다임이 신뢰할 수 있는 장편 비디오 추론을 위한 필수적인 진화라고 주장합니다. 이 연구는 외부 검색기나 보조 전문가 모델에 의존하지 않고도 구조화된 도구 증강 학습과 고품질의 세밀한 데이터를 통해 오픈소스 모델이 견고하고 인간과 정렬된 추론 능력을 달성할 수 있음을 확립합니다.