기술 요약: OmniReasoner

문제 정의

긴 오디오-비디오 추론은 모든 모달리티를 아우르는 대규모 언어 모델(Omnimodal LLM)에 있어 근본적인 과제를 제시합니다. 질문에 답하기 위해 필요한 결정적인 증거는 종종 희소하게 존재하며, 시간적으로 분산되어 있고, 시각적 및 청각적 단서 모두를 포함하는 교차 모달(cross-modal) 특성을 가집니다. 컨텍스트 윈도우의 제약과 토큰 비용으로 인해 모든 프레임과 오디오 세그먼트를 고해상도로 유지하는 것은 계산적으로 불가능합니다. 반대로, 긴 스트림을 컨텍스트에 맞추기 위해 균일하게 다운샘플링하면 정확한 추론에 필요한 미세한 증거를 놓칠 수 있습니다. 기존 방식들은 고정된 전처리 방식에 의존하거나, 시각적 단서만을 사용하여 관련 세그먼트를 검색하거나, 혹은 증거 선택 이후의 추론을 최적화하는 데 그치며, 긴 오디오-비디오 스트림에서 언제 그리고 어디에 고해상도 계산 자원을 할당할 것인가라는 핵심적인 결정 문제를 해결하지 못합니다.

방법론

저자들은 모델이 '줌인(zoom-in)' 도구를 호출할지 여부를 적응적으로 결정하도록 학습시켜, 옴니모달 LLM이 "긴 오디오-비디오를 가지고 생각하는 법"을 가르치는 도구 사용 사후 학습(post-training) 프레임워크인 OmniReasoner를 소개합니다.

1. 추론 워크플로우

OmniReasoner는 두 단계 프로세스로 작동합니다:

• 글로벌 프리뷰(Global Preview): 모델은 먼저 전체 오디오-비디오 스트림의 저비용, 희소 글로벌 프리뷰(저프레임 레이트 비디오 및 전체 오디오)를 소비합니다.
• 도구 결정(Tool Decision): 이 프리뷰와 사용자 질문을 바탕으로, 정책(policy)은 두 가지 행동 중 하나를 결정합니다:
  • 직접 답변(Direct Answer): 글로벌 증거가 충분하다면 모델은 즉시 답변합니다.
  • 줌인(Zoom-in): 더 많은 증거가 필요하다면, 모델은 시간 간격 $[s, e]$를 지정하여 줌인 도구를 호출합니다.
• 로컬 검사(Local Inspection): 시스템은 요청된 간격에 해당하는 고해상도 로컬 클립을 추출합니다. 모델은 글로벌 컨텍스트와 상세한 로컬 증거를 모두 사용하여 최종 답변을 생성하는 종합적인 추론을 수행합니다.

2. TimeAnchor

핵심적인 기술적 기여는 서로 다른 샘플링 입도(granularity) 간의 시간적 접지(temporal grounding) 문제를 해결하는 TimeAnchor입니다.

• 과제: 표준 프레임 인덱스나 청크 ID는 특정 샘플링 레이트에 상대적입니다. 희소한 글로벌 프리뷰에서 유효한 프레임 인덱스는 밀집된 로컬 클립에서의 동일한 물리적 순간을 나타내지 않습니다.
• 해결책: TimeAnchor는 인터리브된(interleaved) 오디오-비디오 토큰 스트림의 매 2초 단위 청크 앞에 평문 텍스트 형태의 절대 시간 마커(예: <32 seconds>)를 추가합니다. 이를 통해 시간적 인자(예: "32~38초 검사")가 모델이 희소한 글로벌 스트림을 보든 밀집된 로컬 클립을 보든 관계없이 유효하고 왕복 일관성(round-trip consistent)을 유지하도록 합니다. 인자는 프레임 인덱스가 아닌 실제 시각(wall-clock time)에 결합됩니다.

3. 시간 증강 데이터 엔진(Temporal Augmented Data Engine)

비싼 수동 구간 주석(manual interval annotation) 없이 모델을 학습시키기 위해, 저자들은 도구 사용 궤적(trajectory)을 합성하는 시간 증강 데이터 엔진을 구축했습니다:

• 태스크 구성: 다중 세그먼트 합성(독립적인 클립들을 스티칭) 및 이상치 삽객(윈도우 내의 오디오, 비디오 또는 둘 다를 교체)을 통해 장문 추론 태스크를 생성합니다. 편집 과정은 본질적으로 정답 증거 구간을 제공합니다.
• 궤적 합성: "MediaSandbox"를 사용하여 엔진은 추론 환경을 시뮬레이션합니다. 두 가지 유형의 궤적을 생성합니다:
  • 도구 사용 궤적: 모델이 글로벌 뷰를 관찰하고, 줌인 간격을 요청하고, 로컬 클립을 받은 후 답변합니다.
  • 직접 답변 궤적: 모델이 글로벌 뷰로부터 직접 답변합니다.
• 학습 체계: 이 프레임워크는 이러한 합성된 궤적에 대해 **지도 미세 조정(SFT)**을 적용하여 도구 사용 프로토콜을 확립한 후, 그룹 상대 정책 최적화(GRPO) 강화 학습을 수행합니다. RL 보상은 답변의 정확도와 형식 준수 여부에 따라 결정되며, 도구가 최종 답변을 개선할 때만 호출하도록 정책을 최적화합니다.

주요 기여

1. OmniReasoner 프레임워크: SFT 및 RL을 통해 옴니모달 모델이 적응형 도구 사용(줌인)을 학습할 수 있게 하는 사후 학습 접근 방식.
2. TimeAnchor: 프레임 인덱스가 아닌 절대 시간 마커를 사용하여 입도 차이(희소 vs 밀집 샘플링) 간의 시간적 인자 유효성을 유지하는 메커니즘.
3. 시간 증강 데이터 엔진: 비디오 편집을 통해 알려진 증거 구간을 가진 도구 사용 궤적을 합성함으로써 수동 구간 주석 없이도 확장 가능한 데이터 생성 파이프라인.

실험 결과

실험은 OmniVideoBench, LVOmniBench, Daily-Omni, WorldSense, VideoMME, VideoHolmes를 포함한 옴니모달 및 비디오 추론 벤치마크에서 수행되었습니다.

• 성능 향상: OmniReasoner(Qwen2.5-Omni-7B 기반)는 베이스 모델을 크게 상회했습니다. 주목할 만한 개선 사항은 다음과 같습니다:
  • OmniVideoBench: +5.5 포인트 (29.3 $\to$ 34.8).
  • LVOmniBench: +3.4 포인트 (32.0 $\to$ 35.4).
  • VideoHolmes: +15.6 포인트 (24.4 $\to$ 40.0). 이는 베이스라인의 고정된 32프레임 제한과 비교하여 줌인을 통해 더 많은 프레임을 검색할 수 있는 능력 덕분입니다.
• 길이 민감도: 성능 격차는 비디오 길이에 따라 넓어졌습니다. OmniVideoBench에서 05분 영상의 경우 +3.2 포인트였던 이득이 1030분 영상에서는 +9.9 포인트로 증가하여, 긴 컨텍스트의 희소 증거에 대한 적응형 줌인의 효능을 입증했습니다.
• 절제 연구(Ablation Studies):
  • 자체 큐레이션된 시간 데이터를 제거했을 때 성능이 크게 하락하여, 구성된 증거 구간의 필요성을 확인했습니다.
  • 오디오 입력이나 도구 반환 클립을 제거하면 성능이 저하되어, 교차 모달 증거와 능동적 로컬 획득에 대한 의존성을 검증했습니다.
  • TimeAnchor 절제 연구 결과, 학습 레시피만으로도 접지 능력이 향상되지만, TimeAnchor는 추가적인 상당한 이득(예: Charades-STA mIoU에서 +6.1 포인트)을 제공하여 입도 간의 시간적 인자를 정렬하는 역할을 입증했습니다.
  • SFT 웜업 없는 RL 전용 학습은 실패하였으며, 이는 도구 사용 형식을 확립하기 위한 지도 학습 기반의 콜드 스타트가 필요함을 보여줍니다.

의의

본 논문은 긴 오디오-비디오 추론을 위해 균일한 인지(perception)에서 **적응형 증거 획득(adaptive evidence acquisition)**으로의 전환이 필요하다고 주장합니다. OmniReasoner는 옴니모달 모델이 단순히 고정된 컨텍스트를 수동적으로 처리하는 것이 아니라, 언제 보고 어디를 다시 들을지 결정하는 에이전트로서 행동하도록 학습될 수 있음을 보여줍니다. TimeAnchor와 확장 가능한 데이터 엔진을 도입함으로써, 이 연구는 대규모 수동 주석 없이도 장형 오디오-비디오 작업의 추론 정확도를 높이기 위한 구체적인 기술적 허들인 시간적 접지 문제를 해결합니다. 저자들은 현재의 2단계 도구 범위에 대한 한계와 옴니모달 설정에서의 멀티 턴 에이전트 상호작용을 위한 더 성숙한 RL 인프라의 필요성을 언급했습니다.