기술 요약: O-MARC: 효율적인 비디오 이해를 위한 올모달 메모리 증강 압축 증류

1. 문제 제기

올모달 대규모 언어 모델 (LLM) 은 통합된 오디오, 시각 및 언어 이해를 위한 유망한 방향으로 부상했습니다. 그러나 오디오와 비디오 모달리티 모두 토큰 집약적인 특성을 가지고 있어 추론 비용이 여전히 높습니다. 비디오 프레임과 오디오 스트림을 함께 처리하면 긴 올모달 시퀀스가 생성되어, 특히 긴 비디오의 경우 막대한 메모리 오버헤드와 느린 추론을 초래합니다.

토큰 압축은 자연스러운 해결책이지만, 이를 오디오 - 비디오 입력으로 확장하는 것은 만만치 않습니다. 시각 전용 압축과 달리 오디오 - 비디오 압축은 서로 다른 중복 패턴을 가진 두 가지 모달리티를 처리해야 합니다. 비디오 토큰은 종종 공간적 및 시간적 중복성을 보이는 반면, 오디오 토큰은 짧지만 결정적인 단서를 인코딩할 수 있습니다. 중요한 점은 각 모달리티의 중요성이 종종 상호 의존적이라는 것입니다. 소리는 가시적인 장면과 결합될 때 의미를 얻으며, 시각적 사건은 해당 오디오가 없으면 모호하게 남을 수 있습니다. 기존 압축 방법들은 종종 모달리티를 고립적으로 압축하여 정확한 추론에 필요한 교차 모달 증거를 제거할 수 있습니다.

또한, 기존 벤치마크는 노이즈가 많은 사용자 생성 콘텐츠 (UGC) 에서 오디오 - 비디오 연관성을 완전히 분리하지 못합니다. 많은 현재 벤치마크는 장편 비디오 추론을 평가하지만, 오디오 신호를 거의 활용하지 않는 비전 기반 모델에 주로 의존하거나, 시각적 사전 지식만으로 해결 가능한 질문을 명시적으로 필터링하지 않습니다.

2. 방법론

본 논문은 새로운 벤치마크, 학습이 없는 압축 방법, 그리고 압축 인식 증류 프레임워크라는 세 가지 접근 방식을 제안합니다.

2.1 UGC-AVQA 벤치마크

평가 격차를 해소하기 위해 저자들은 1,000 개의 공개 UGC 단편 비디오와 4,816 개의 질문 - 답변 (QA) 쌍으로 구성된 공개 벤치마크인 UGC-AVQA를 소개합니다.

• 초점: 사건, 장면, 시간적 변화를 통한 세밀한 오디오 - 비디오 연관성.
• 구성: 비디오는 네 가지 범주인 오디오 - 비디오 사건 진행, 오디오 - 비디오 장면/시간적 전환, 교차 장면 정렬, 세밀한 대비에 대한 상세한 캡션과 객관식 질문으로 주석이 달립니다.
• 난이도 필터: 두 모달리티 모두를 필요로 하는 질문을 보장하기 위해 "오디오 제거 테스트"가 적용됩니다. 오디오 트랙이 제거되었을 때 강력한 모델 (Gemini-3.1-Flash) 이 실패하는 경우에만 샘플이 벤치마크에 유지됩니다. 이는 시각적 사전 지식만으로 해결 가능한 질문을 필터링합니다.
• 분할: 데이터셋은 학습 세트 (794 개 비디오, 3,168 개 QA 쌍) 와 벤치마크 세트 (206 개 비디오, 1,648 개 QA 쌍) 로 나뉘며, 품질 보장을 위해 인간 검토가 수행됩니다.

2.2 OMAC (올모달 메모리 증강 압축)

OMAC은 백본 모델을 수정하지 않고도 중요한 시각적 메모리와 시간적으로 근거한 오디오 앵커를 보존하도록 설계된 학습이 없는 플러그인 압축 방법입니다.

• 시각적 메모리:
  • 프레임 점수 매기기: 프레임이 요약되어 쿼리 관련성으로 점수가 매겨집니다. 높은 점수를 받은 프레임이 키 프레임으로 선택됩니다.
  • 토큰 선택: 선택된 프레임 내에서 토큰은 프레임 중심에 대한 대비로 점수가 매겨집니다. 독특한 토큰은 명시적인 시각적 메모리로 유지되고, 가중치 풀링을 통해 컴팩트한 프레임 메모리 토큰이 형성됩니다.
  • 구조: 이는 프레임 요약 ( coarse memory) 과 독특한 로컬 토큰 및 컴팩트한 요약 (fine-grained memory) 으로 구성된 2 단계 메모리 구조를 생성합니다.
• 오디오 메모리 및 예산 조정:
  • 앵커: 오디오 토큰이 중요도에 따라 점수가 매겨집니다. 높은 점수를 받은 토큰은 "앵커"가 되며, 인근에 있는 제거된 토큰은 이를 합쳐 컴팩트한 음향 메모리 슬롯을 형성합니다.
  • 교차 모달 예산 할당: OMAC 은 시각적 메모리 분포를 사용하여 오디오 예산을 조정합니다. 특정 시간 구간이 중요한 시각적 메모리를 유지하는 경우, 해당 구간의 오디오 예산이 증가합니다. 반대로 시각적으로 가벼운 구간은 더 공격적으로 압축됩니다. 이는 압축된 시퀀스가 고립된 토큰이 아닌 모달리티 간의 사건 구조를 보존하도록 보장합니다.

2.3 O-MARC (올모달 메모리 증강 압축 증류)

컴팩트 모델이 압축된 입력에 대해 견고하게 추론할 수 있도록 하기 위해 저자들은 그룹 상대적 정책 최적화 (GRPO) 기반의 압축 증류 프레임워크인 O-MARC를 소개합니다.

• 메커니즘: 각 쿼리에 대해 정책은 전체 토큰을 사용하는 "교사" 브랜치와 OMAC 으로 압축된 토큰을 사용하는 "학생" 브랜치라는 두 가지 롤아웃을 샘플링합니다.
• 보상 형성: 교사와 학생 간의 보상 차이 ($\Delta_i$) 는 압축으로 인한 저하를 측정합니다. 이 차이는 GRPO 이점을 재형성하는 데 사용됩니다.
• 목적: 학습 목적은 메모리 압축 하에서도 견고하게 유지되는 행동으로 정책 최적화를 편향되도록 수정됩니다. 구체적으로, GRPO 에서는 유익하지만 압축으로 인해 심각하게 저하되는 샘플은 더 큰 양의 업데이트를 받습니다. 이를 통해 모델은 축소된 토큰 예산 내에서 효과적으로 추론하는 법을 학습할 수 있습니다.

3. 주요 기여

1. UGC-AVQA: 오디오 제거 난이도 검사를 통해 질문이 진정으로 올모달 추론을 필요로 하는지 보장하는 UGC 비디오용 오디오 - 비디오 연관성을 위한 새로운 공개 벤치마크.
2. OMAC: 중요한 시각적 메모리를 보존하고 시각적 컨텍스트를 사용하여 오디오 메모리 예산을 동적으로 할당하는 학습이 없는 플러그인 압축 방법.
3. O-MARC: 압축된 올모달 컨텍스트 하에서 견고하게 추론하도록 올모달 모델을 훈련시키는 압축 증류 프레임워크로, 표준 토큰 가지치기 및 최신 학습 기반 베이스라인을 능가합니다.

4. 실험 결과

실험은 3B 에서 30B 파라미터까지의 모델 (Qwen2.5-Omni 및 Qwen3-Omni 시리즈) 을 대상으로 DailyOmni, UGC-AVQA, OmniVideo, WorldSense 의 네 가지 벤치마크에서 수행되었습니다.

• OMAC 성능: OMAC 은 효율성 - 정확성 트레이드오프에서 직접 토큰 가지치기 (OmniZip) 및 전체 토큰 추론보다 일관되게 우수한 성과를 보였습니다.
  • Qwen2.5-Omni-3B에서 OMAC 은 평균 점수를 45.8 로 향상시켜 전체 토큰 추론 (44.1) 과 OmniZip(41.0) 을 능가했습니다.
  • 전체 토큰 추론 대비 추론 지연 시간을 34.6%(1.53 배 속도 향상) 줄이고 메모리 사용량을 34.7% 감소시켰습니다.
• O-MARC 성능:
  • 효율성: 3B 모델에서 O-MARC(3 천 개 샘플로만 학습) 는 평균 점수 45.8 을 달성하여 전체 토큰 베이스라인 (44.1) 과 OMAC 단독 (42.8) 을 능가했습니다.
  • 확장성: 10 만 개 이상의 학습 샘플로 7B 모델로 확장했을 때, O-MARC 는 평균 점수 51.1 을 달성하여 최신 학습 기반 베이스라인인 OmniSIFT(48.7) 를 능가했고 UGC-AVQA 정확도를 크게 향상시켰습니다 (64.6 대 56.4).
• 절대 연구:
  • 압축 비율: OMAC 은 70% 압축에서도 높은 성능을 유지한 반면, OmniZip 성능은 크게 저하되었습니다.
  • 가이드: 오디오가 시각적 압축을 안내하거나 모달리티가 독립적으로 압축되는 변형보다 전체 OMAC 설계 (시각 $\to$ 오디오 예산 조정) 가 더 우수한 성과를 보였습니다.

5. 중요성과 주장

이 논문은 효율적인 올모달 추론이 단순히 추론 가속화 기술로만 보지 않고 학습 가능한 조건으로 보아야 한다고 주장합니다.

• 상호 의존성: 결과는 오디오와 비디오 압축을 고립적으로 처리할 수 없음을 보여줍니다. 교차 모달 증거를 보존하는 것 (예: 오디오 예산 할당을 안내하기 위해 시각적 메모리 사용) 은 추론 능력을 유지하는 데 중요합니다.
• 견고성: O-MARC 를 통해 저자들은 컴팩트 모델이 축소된 토큰 예산 하에서 효과적으로 추론하도록 훈련될 수 있음을 보여주며, 종종 효율성이 제한된 환경에서 더 큰 모델이나 전체 토큰 추론보다 우수한 성과를 냅니다.
• 평가: UGC-AVQA 의 도입은 현재 벤치마크의 격차를 강조하며, 신뢰할 수 있는 UGC 오디오 - 비디오 QA 는 범용 시각 인식이나 단일 모달 사전 지식 이상을 필요로 하며, 오디오 - 비디오 연관성의 명시적 평가가 필요함을 보여줍니다.

저자들은 벤치마크 구성, 메모리 압축, 압축 인식 훈련에 대한 통합 연구가 실제 세계의 노이즈가 많은 비디오 콘텐츠에 대한 견고하고 효율적인 올모달 추론을 위한 길을 제공한다고 결론지었습니다.