기술 요약: AVOC – 검색 기반 토큰 압축을 통한 시간 단위 오디오-비디오 이해 능력 향상

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 단기 형태의 오디오-비디오 작업에서 상당한 성공을 거두었습니다. 그러나 이러한 능력을 시간 단위의 장기 오디오-비디오 이해로 확장하는 데에는 두 가지 주요 병목 현상이 존재합니다:

1. 컨텍스트 창의 제한: 장시간 지속되는 비디오와 고샘플링 레이트 오디오에서 생성되는 방대한 토큰 시퀀스는 현재 MLLM의 컨텍스트 창을 초과합니다.
2. 정보 중복성: 가공되지 않은 오디오-비디오 스트림에는 상당한 중복이 포함되어 있습니다. 단순한 감소 전략(예: 균등한 희소 샘플링)은 중요한 단기 이벤트를 놓치기 쉬운 반면, 밀집 샘플링은 컨텍스트 예산을 소진하여 시퀀스 절단 및 핵심 단서의 희석을 초래합니다.

기존의 옴니모달(Omni-Modal) LLM용 압축 방법들은 종종 비대칭적이고 단방향적인 설계(예: 오디오를 사용하여 비디오를 가지치거나 그 반대의 경우)에 의존합니다. 이러한 접근 방식은 "가이드" 역할을 하는 모달리티가 약하거나 희소한 신호를 제공할 경우 중요한 정보를 버릴 위험이 있으며, 영화나 회의와 같은 현실 세계의 복잡하고 상호 의존적인 멀티모달 콘텐츠의 특성을 포착하지 못합니다.

2. 방법론: AVOC 프레임워크

저자들은 AVOC를 제안하며, 이는 멀티모달 토큰 압축을 Top-K 검색(Retrieval) 문제로 재정의합니다. 고정된 컨텍스트 예산 $K$와 대규모 후보 토큰 풀이 주어졌을 때, 목표는 사용자 질의에 가장 잘 부합하는 압축된 서브셋을 검색하는 것입니다. AVOC는 모달리티 인코더와 LLM 백본 사이에 위치하며, 세 가지 고전적인 정보 검색(IR) 기준을 통합된 학습 가능한 압축 파이프라인으로 결합합니다.

2.1 핵심 구성 요소

압축 모듈은 토큰을 생성하고 선택하기 위해 세 단계로 작동합니다:

• 관련성 (Text-Guided Cross-Attention Scoring):

  • 메커니즘: 사용자의 텍스트 질의를 검색 쿼리로, 멀티모달 토큰을 후보 코퍼스로 취급합니다.
  • 구현: 텍스트 임베딩과 멀티모달 토큰 임베딩 간의 크로스 어텐션 점수를 계산합니다. 토큰의 관련성 점수는 모든 텍스트 토큰으로부터 받은 어텐션 로짓(logit)의 평균값입니다.
  • 목표: 특정 사용자 질의와 밀접한 관련이 있는 토큰을 우선순위에 둡니다.

• 중요도 (Bidirectional Video-Audio Cross-Attention Scoring):

  • 메커니즘: 질의와 독립적인 내재적 정보성을 포착하여(질의 불가지론적), 질의가 풍부한 오디오-비주얼 콘텐츠에 비해 희소할 때 발생하는 문제를 해결합니다.
  • 구현: 각 템포럴 블록 내에서 비디오 토큰과 오디오 토큰 간의 양방향 크로스 어텐션을 계산합니다. 반대 모달리티와 강하게 상호작용하는 토큰은 더 높은 점수를 받습니다.
  • 목표: 명시적으로 질의되지 않더라도 의미론적으로 밀도가 높은 영역(예: 대화와 동작이 동시에 일어나는 장면)이 유지되도록 보장합니다.

• 다양성 (Temporal-Aware Maximal Marginal Relevance - TA-MMR):

  • 메커니즘: 중복되거나 인접한 토큰의 선택을 방지하는 동시에, 시간적으로 구별되면서도 의미론적으로 유사한 이벤트는 보존합니다.
  • 구현: 수정된 MMR 목적 함수를 사용하는 재순위화(Re-ranking) 단계입니다. 표준 MMR과 달리, TA-MMR은 중복성 페널티를 로컬 템포럴 윈도우($W$) 내로 제한합니다. 즉, $[\tau_i - W, \tau_i + W]$ 범위 내의 토큰들 사이에서만 유사성을 페널티 처리합니다.
  • 목표: 서로 다른 시간에 발생하는 반복적인 이벤트는 억제하지 않으면서, 정보적으로 반복되는 인접 토큰(예: 정적인 장면)을 억제합니다.

2.2 선택 및 학습

• 예산 할당: 총 토큰 예산 $K$는 균형 잡힌 교차 모달 표현을 보장하기 위해 모달리티별 예산($K_{video}, K_{audio}$)으로 나뉩로집니다. TA-MMR은 각 모달리티 내에서 독립적으로 적용됩니다.
• 미분 가능한 학습: 엔드투엔드 학습을 가능하게 하기 위해, 이산적인 Top-K 선택은 Gumbel-Soft-max와 Straight-Through Estimator를 사용하여 근사화됩니다. TA-MMR 재순위화는 탐욕적(Greedy)이고 반복적인 특성 때문에 학습 중에는 비활성화되며, 추론 시에만 활성화됩니다.
• 2단계 학습:
  1. 1단계: 압축 모듈 없이 데이터로 LLM 백본을 미세 조정하여 안정적인 그래디언트 신호를 구축합니다.
  2. 2단계: 무작위로 초기화된 압축 모듈과 LLM을 공동 학습시킵니다.

3. 주요 기여

1. 새로운 관점: 멀티모달 토큰 압축을 Top-K 검색 문제로 재정의하여, 고전적인 IR 원칙(관련성, 중요도, 다양성)을 오디오-비디오 도메인에 적응시켰습니다.
2. 학습 가능한 압축 모듈: 텍스트 가이드 크로스 어텐션, 양방향 크로스 모달 어텐션, 그리고 Temporal-Aware MMR을 통해 세 가지 IR 기준을 구현하는 통합 모듈을 설계했습니다.
3. 옴니모달 능력: 시간 단위의 오디오-비디오 스트림을 처리할 수 있는 옴니모달 LLM(AVOC)을 개발하여, 엄격한 컨텍스트 예산 하에서도 전체적인 이해와 세밀한 검색을 모두 달고할 수 있게 했습니다.

4. 실험 결과

저자들은 여러 장기 오디오-비디오 벤치마크와 자체 제작한 Needle-in-a-Haystack (NIAH) 태스크를 통해 AVOC를 평가했습니다.

• 벤치마크 성능:

  • OmniVideoBench: AVOC는 (10, 30] 분 서브셋에서 **39.8%**의 평균 정확도를, 전체적으로는 **42.3%**를 달성하여, 2위 모델을 각각 4.9 및 5.5 포인트 차이로 앞섰습니다.
  • LVOmniBench: AVOC는 Medium 서브셋에서 41.3%, High 서브셋에서 **35.5%**를 달성하여 전체 평균 **40.3%**를 기록했으며, 이는 2위 모델보다 5.5 포인트 높은 수치입니다.
  • WorldSense: AVOC는 **52.6%**의 정확도를 달성하여 2위 모델보다 1.7 포인트 향상되었습니다.
  • 관찰 사항: 성능 향상은 비디오 길이에 따라 규모가 커지며, 이는 이 방법이 중복성이 가장 높은 초장기 콘텐츠에서 특히 효과적임을 나타냅니다.

• 오디오-비디오 Needle-in-a-Haystack (AV-NIAH):

  • AVOC는 최대 3600초 (1시간) 길이의 비디오에 숨겨진 "바늘"(비밀 키워드)에 대한 강력한 검색 능력을 입증했습니다.
  • 2000~3000초 이후 정확도가 크게 저하되는 베이스라인(예: OmniZip)과 달리, AVOC는 전체 기간-깊이 그리드 전반에 걸쳐 높은 정확도를 유지했습니다.

• Ablation 연구:

  • 단일 구성 요소(관련성, 중요도, 다양성)를 제거할 경우 성능 저하가 발생하여, 이들의 상호 보완적인 성격을 확인했습니다.
  • 최적의 모달리티 예산 비율은 **2:1 (Video:Audio)**로 나타났으며, 이는 테스트된 벤치마크에서 시각적 단서의 높은 정보 밀도를 반영합니다.
  • TA-MMR 하이퍼파라미터($\lambda=0.15, W=3$)가 매우 중요했습니다. 윈도우 반경을 무한대로 설정하여 표준 MMR으로 퇴화시킬 경우 성능이 하락하여, 시간적 인지(Temporal Awareness)의 필요성을 검증했습니다.

• 효율성:

  • 압축 모듈은 최소한의 오버헤드(전체 유지 시 약 1.8초)만을 추가합니다.
  • 공격적인 압축(유지 비율 $\rho=0.1$)을 적용했을 때, 압축되지 않은 백본과 비교하여 프리필링(Prefilling) 지연 시간을 거의 9배 단축했습니다 (4.45초에서 0.5초로).

5. 의의 및 주장

본 논문은 AVOC가 풍부한 시간 단위 멀티모달 콘텐츠를 추론할 수 있는 옴니모달 LLM을 향한 중요한 진전이라고 주장합니다. 경직되고 비대칭적인 압축 전략을 넘어, 대칭적이고 검색에서 영감을 얻은 접근 방식을 통해 AVOC는 컨텍스트 창의 제한과 정보 중복성 사이의 근본적인 트레이드오프를 해결합니다. 저자들은 이 프레임워크가 시퀀스 길이 제약으로 인해 접근이 어려웠던 실제 시나리오(예: 영화, 회의, 튜토리얼)에서 모델이 견고한 이해와 세밀한 검색 능력을 유지할 수 있게 한다고 강조합니다.