💻 computer science

Video-o3: Native Interleaved Clue Seeking for Long Video Multi-Hop Reasoning

Video-o3 는 작업 분리형 어텐션 마스킹과 검증 가능한 궤적 기반 보상을 통해 네이티브 반복적 단서 탐색을 가능하게 함으로써 균일 샘플링의 한계를 극복하는 장기 비디오 멀티홉 추론을 위한 새로운 프레임워크로, MLVU 및 Video-Holmes 와 같은 벤치마크에서 최첨단 성능을 달성합니다.

원저자: Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

게시일 2026-05-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

30 분짜리 영화를 한 편 보고 미스터리를 해결하려는데, 실제로 볼 수 있는 시간은 몇 초뿐이라고 상상해 보세요. 대부분의 기존 AI 모델은 이 문제를 해결하기 위해 몇 초마다 전체 영화를 빠르게 흐릿하게 스냅샷처럼 찍은 뒤 즉시 답을 추측합니다. 이는 전체 더미 한 번 훑어보며 그 속에서 바늘을 찾으려 하고, 운 좋게 보였기를 바라는 것과 같습니다. 바늘은 종종 '건초'(지루한 부분) 에 숨어 있어 놓치거나, 너무 많은 정보에 압도당하게 됩니다.

Video-o3는 게임의 규칙을 바꾸는 새로운 AI 프레임워크입니다. 그냥 훑어보는 대신, 이는 확대경을 든 탐정처럼 행동합니다. 작동 원리는 다음과 같이 단순한 개념으로 나누어 설명할 수 있습니다:

1. 탐정의 접근법 (네이티브 인터리브된 단서 탐색)

전체 영화를 보고 나서 추측하는 대신, Video-o3 는 조금 보고, 생각한 뒤 결정합니다: "이 특정 5 초 구간을 확대해서 무슨 일이 일어나는지 확인해야겠다."

작동 방식: 시스템에게 비디오의 특정 구간을 '자르도록'(필름 릴에서 작은 조각을 잘라내듯) 요청하여 자세히 살펴봅니다.
루프: 이 과정을 반복합니다. 조금 보기 $\rightarrow$ 생각하기 $\rightarrow$ 단서 확대 $\rightarrow$ 다시 생각하기 $\rightarrow$ 다른 단서 확대.
결과: 실제로 중요한 비디오 부분만 보고 나머지는 무시하며, 조각조각 답을 구성해 나갑니다.

2. '분산된 주의'의 문제 (작업 분리 주의 마스크)

범죄 현장과 동시에 보고서를 작성하려는 탐정을 상상해 보세요. 정확히 같은 시간에 두 가지를 모두 하려 하면 혼란스러울 수 있습니다. 범죄 현장을 보면서도 실제로 보고 있는 것이 아니라 기억에서 나온 것을 적어내릴 수도 있습니다. 이를 '가짜 사고'라고 합니다.

해결책: Video-o3 는 특별한 '마스크' 기술을 사용합니다.
- AI 가 단서를 찾을 때(비디오를 스캔할 때), 작성할 수 있는 최종 답을 무시하도록 강제됩니다. 완전히 증거를 찾는 데에만 집중합니다.
- AI 가 답을 작성할 때, 원본 비디오 영상은 무시하고 방금 찾은 단서에만 집중하도록 강제됩니다.
비유: 이는 '학습' 단계에서는 교과서만 볼 수 있고, '시험' 단계에서는 필기 노트만 볼 수 있는 학생과 같습니다. 이는 부정행위나 혼란을 방지하여 최종 답이 확실한 증거에 기반하도록 보장합니다.

3. '정지 신호' (검증 가능한 궤적 기반 보상)

이론적으로 탐정은 모든 프레임을 살펴보기 위해 무한히 확대할 수 있지만, 이는 시간이 너무 오래 걸리고 비용(연산 능력) 이 너무 많이 듭니다.

해결책: Video-o3 는 특별한 보상 시스템으로 훈련됩니다.
- AI 가 빠르고 정확하게 답을 찾으면 큰 '금별'(보상) 을 받습니다.
- AI 가 이미 답을 얻은 후 불필요하게 확대를 계속하면 '페널티'(보상이 줄어듦) 를 받습니다.
비유: 이는 '따뜻하고 차가운' 게임과 같습니다. AI 는 '따뜻한'(충분한 증거를 가진) 순간을 느끼는 즉시 검색을 멈추는 법을 배웁니다. 빈 방을 보는 시간을 낭비하는 대신, 퍼즐을 해결한 바로 그 순간에 멈추는 효율성을 학습합니다.

4. 훈련장 (Seeker-173K)

AI 에게 탐정이 되게 하려면 교과서만 주는 것이 아니라, 단서를 찾아야 하는 수천 개의 연습 사례를 제공해야 합니다.

데이터셋: 연구자들은 Seeker-173K라는 거대한 데이터셋을 만들었습니다. 여기에는 AI 가 보기 $\rightarrow$ 확대 $\rightarrow$ 생각 $\rightarrow$ 다시 보기 $\rightarrow$ 해결의 사이클을 연습하도록 강요당하는 173,000 개의 '비디오 미스터리' 예제가 포함되어 있습니다.
결과: 이러한 특정 '단서 탐색' 작업에서 많이 연습했기 때문에, 이전 모델들보다 복잡한 비디오 질문에 대해 훨씬 더 잘 해결하게 되었습니다.

결론

Video-o3 는 컴퓨터가 긴 비디오를 보는 더 똑똑한 방법입니다. 한 번에 전체 영화를 외우려 하는 대신, 인간 탐정처럼 행동합니다: 장면을 스캔하고, 중요한 세부 사항에 확대하며, 점들을 연결하고, 증거를 얻는 즉시 멈춥니다. 이는 이를 훨씬 더 빠르고, 정확하며, 긴 비디오에 숨겨진 복잡한 퍼즐을 해결하는 데 더 뛰어나게 만듭니다.

성능: 테스트에서 이 접근법은 비디오를 단순히 '훑어본' 이전 방법들보다 비디오 퍼즐을 훨씬 더 높은 정확도 (예: 주요 벤치마크 중 하나에서 72.1%) 로 해결할 수 있게 했습니다.

기술 요약: Video-o3

문제 정의

장기 영상 이해를 위한 기존 멀티모달 대규모 언어 모델 (MLLM) 은 주로 균일한 프레임 샘플링을 followed by 단일 턴 추론에 의존합니다. 이러한 접근법은 방대한 중복 배경 콘텐츠 내에서 희소하지만 중요한 증거를 식별하는 데 어려움을 겪어, 상당한 계산 오버헤드와 추론 정확도 저하를 초래합니다. 초기 "단서 탐색 + 답변 추론" 프로토타입이 존재하지만, 이들은 종종 수동으로 설계된 휴리스틱에 의존하며 엔드 투 엔드 최적화가 부족하고, 단서 탐색과 추론을 분리하여 복잡한 긴 형식의 영상에서 요구되는 결합된 멀티홉 추론으로 확장하지 못합니다. 또한, 네이티브 멀티턴 도구 호출은 공유 컨텍스트 내의 추론 및 도구 호출 작업의 이질성으로 인한 주의 분산과, 통제되지 않은 도구 상호작용이 과도한 토큰 소비 및 중복 탐색으로 이어지는 컨텍스트 비효율성이라는 두 가지 핵심 과제를 도입합니다.

방법론

저자들은 장기 영상에서 네이티브 인터리브된 단서 탐색과 멀티홉 추론을 위해 설계된 Video-o3 프레임워크를 소개합니다. 이 시스템은 모델이 반복적으로 중요한 시각적 단서를 발견하고, VideoCrop 도구를 통해 핵심 세그먼트를 세밀하게 검사하며, 충분한 증거가 확보되면 검색을 적응적으로 종료할 수 있도록 합니다.

1. 작업 분리 주의 마스크 (TDAM)

이질적인 작업 (단서 발견 대 답변 추론) 으로 인한 주의 분산을 완화하기 위해 저자들은 TDAM 을 제안합니다. 이 메커니즘은 감독 미세 조정 (SFT) 중에 명시적인 가시성 제약을 부과합니다:

단서 탐색 단계: 모델이 글로벌 영상 입력에만 주의를 기울이도록 제한하여, 글로벌 컨텍스트에 기반한 계획 전략을 학습하도록 강제합니다.
답변 추론 단계: 글로벌 개요를 마스킹하여 모델이 고해상도 도구 관찰로부터만 답변을 도출하도록 합니다.
이 전략은 분리된 전문성과 전체적 추론 필요성 사이의 균형을 맞추기 위해 학습 데이터의 10% 에만 적용되며, 공유 글로벌 컨텍스트를 유지하면서 두 모드의 학습을 효과적으로 격리합니다.

2. 검증 가능한 궤적 기반 보상 (VTGR)

컨텍스트 길이 증가를 제어하고 효율적인 탐색을 장려하기 위해 강화 학습 (RL) 을 위한 새로운 보상 함수가 도입되었습니다. 보상 $R$ 은 답변 정확도, 형식 유효성, 그리고 궤적 기반 승수 $\beta$ 의 합성물입니다:
$R = r_a \cdot (1 + \beta) + r_f$

하이브리드 단서 점수 ( $S_{clue}$ ): 정밀한 위치 파악을 장려하기 위해, 지상 진실 구간 (IoU, IoP, IoG 사용) 과 일치하는 궤적을 보상하거나 "자유 탐색" 샘플의 다양성을 장려합니다.
턴 감쇠 인자 ( $\gamma$ ): 기준 턴 수를 초과하는 궤적을 패널티하여 민첩한 종료를 장려하고 중복 루프를 방지합니다.
모델은 샘플링된 그룹 내에서 상대적 이점을 최대화하기 위해 GRPO 의 변형인 DAPO 알고리즘을 사용하여 최적화됩니다.

3. 데이터 합성 및 Seeker-173K

네이티브 인터리브된 도구 호출 학습을 위한 데이터 부족을 극복하기 위해 저자들은 확장 가능한 자동화된 데이터 합성 파이프라인을 개발했습니다. 이 파이프라인은 "Video-Question-Answer" 삼중항을 단서 위치 파악, 유효성 검증, 궤적 생성, 논리적 일관성 확인의 네 단계로 처리합니다. 이 과정을 통해 Seeker-173K가 산출되는데, 이는 견고한 네이티브 인터리브된 도구 호출 능력을 함양하도록 명시적으로 설계된 173,000 개의 도구 상호작용 궤적으로 구성된 고품질 코퍼스입니다.

주요 기여

작업 분리 주의 마스크: 단서 위치 파악과 답변 추론을 분리하여 주의 간섭을 방지하고, 엔드 투 엔드 모델이 글로벌 컨텍스트를 유지하면서 특정 탐색 단계에 집중할 수 있도록 하는 메커니즘.
검증 가능한 궤적 기반 보상: 포괄적 탐색과 계산 효율성 사이의 균형을 맞추는 보상 공식으로, 모델이 단서를 정확하게 위치 파악하고 증거가 충분할 때 추론을 정확하게 종료하도록 장려.
Seeker-173K 데이터셋: 자동화 합성 파이프라인을 통해 구축된 173k 개의 도구 상호작용 궤적으로 구성된 대규모 고품질 학습 코퍼스로, 장기 영상 추론을 위한 감독 및 강화 학습을 지원.

실험 결과

다양한 장기 영상 이해 및 추론 벤치마크에 대한 광범위한 평가는 Video-o3 이 최첨단 방법을 크게 능가함을 보여줍니다:

MLVU: 72.1% 정확도 (SFT+RL) 를 달성하여 이전 최고 기록을 능가했습니다.
Video-Holmes: 46.5% 정확도를 달성하여 강력한 멀티홉 증거 탐색 능력을 입증했습니다.
LVBench: 47.6% 정확도를 달성했습니다.
시간적 그라운딩: Charades-STA 벤치마크에서 Video-o3 은 mIoU 60.7을 달성하여 LongVT(27.2) 및 Qwen2.5-VL(43.6) 과 같은 베이스라인을 크게 능가했습니다.
효율성: 분리된 반복 추론 방법과 비교하여 Video-o3 은 KV 캐시를 통한 중복 계산 제거를 위해 통합된 공유 컨텍스트를 활용하여, 더 적은 시각 토큰을 사용하면서도 추론 시간을 LOVE-R1 대비 32.9%, VideoChat-R1.5 대비 46.0% 단축했습니다.

이 프레임워크는 또한 더 작은 베이스 모델 (Qwen3-VL-4B) 로의 일반화를 입증하여 모든 테스트된 벤치마크에서 일관된 개선을 보여주었습니다.

중요성 및 주장

이 논문은 네이티브 도구 호출의 유효성을 검증함으로써 장기 영상 이해에 대한 새로운 최첨단 기준을 확립했다고 주장합니다. 정적 입력을 수동으로 처리하는 대신 모델이 반복적인 멀티턴 상호작용을 통해 작업 관련 증거를 능동적으로 탐색할 수 있게 함으로써, Video-o3 은 균일한 샘플링과 단일 턴 추론의 근본적인 한계를 해결합니다. 이 연구는 네이티브 도구 사용 패러다임이 차세대 에이전트 MLLM 을 발전시키는 데 있어 변혁적 잠재력을 강조하며, 특히 복잡한 쿼리를 관리 가능한 하위 목표로 분해하고 견고한 멀티홉 추론 체인을 통해 모호성을 해결하는 능력을 부각시킵니다. 저자들은 그들의 접근 방식이 탐색 범위와 추론 효율성 사이의 균형을 성공적으로 유지하여 확장 가능한 장기 영상 분석에 필수적인 요구 사항을 충족한다고 강조합니다.