OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

기술 요약: OmniFocus

문제 정의
Omni-modal 대규모 언어 모델(OmniLLMs)은 오디오와 비디오를 공동으로 처리하는 능력을 입증하며, 오디오-비주얼 이해, 공감적 추론, 캡셔닝 등의 작업을 가능하게 했습니다. 그러나 오디오-비주얼 입력은 방대한 토큰 시퀀스를 생성하여, 긴 형태의 설정이나 자원이 제한된 환경에서의 적용 가능성을 제한하는 상당한 추론 비용을 초래합니다. 토큰 압축은 단일 모달리티 또는 시각-언어 모델에서 추론 비용을 줄이기 위한 표준적인 해결책이지만, 이를 OmniLLM에 적용하는 데는 독특한 과제가 따릅니다. 즉, 방법론이 오디오 증거, 시각적 증거, 그리고 교차 모달 정렬(cross-modal alignment)을 동시에 보존해야 합니다.

OmniZip과 같은 기존의 오디오-비주얼 토큰 압축 방식은 일반적으로 단일 모달리티 가이드(예: 오디오 어텐션을 사용하여 두 모달리티의 압축을 유도)에 의존합니다. 저자들은 이러한 접근 방식에서 두 가지 결정적인 한계를 식별했습니다:

1. 시간적 국소성(Temporal Locality) 무시: 단일 모달리티 가이드 방식은 쿼리와 관련된 증거의 시간적 국소성을 고려하지 못하는 경우가 많으며, 정보 밀도가 모달리티 전반에 걸쳐 균등하게 분포되어 있거나 정렬되어 있다고 가정합니다.
2. 모달리티 편향(Modality Bias): 하나의 모달리티를 가이드로 사용함으로써, 이 방식은 가이드 모달리티의 정보 밀도 분포가 다른 모달리티에도 적용된다고 암묵적으로 가정합니다. 이는 가이드 모달리티에 대한 과적합을 초래하고, 공동 오디오-비주얼 추론이나 비가이드 모달리티에 필수적인 증거를 간과하여 성능을 저하시킵니다.

방법론: OmniFocus
저자들은 **모달리티 대칭적 압축(modality-symmetric compression)**을 달성하기 위해 설계된, 훈련이 필요 없는 쿼리 가이드 토큰 압축 방법인 OmniFocus를 제안합니다. 한 모달리티가 다른 모달리티를 가이드하는 기존 방식과 달리, OmniFocus는 텍스트 쿼리를 기반으로 비디오와 오디오에 대해 독립적인 중요도 추정을 수행합니다. 이 방법은 토큰이 LLM 백본에 소비되기 전 세 단계로 작동합니다:

1. 쿼리 인식 모달리티 점수 산출(Query-Aware Modality Scoring):

   • 오디오 및 비디오 토큰과 동일한 입력 공간을 공유하도록 LLM의 임베딩 레이어에서 쿼리 토큰을 추출합니다.
   • 각 시간적 청크(temporal chunk)에 대해, 쿼리 표현과 해당 청크 내 토큰 간의 최대 코사인 유사도(maximum cosine similarity)를 측정함으로써 비디오와 오디오의 관련성 점수를 독립적으로 계산합니다.
   • 이 "최대 유사도(max-similarity)" 접근 방식은 관련 정보가 고르게 분포되어 있기보다는 특정 토큰에 집중되어 있을 수 있음을 인지하여, 쿼리에 부합하는 희소한 증거를 효과적으로 포착합니다.

2. 청크 단위 예산 할당(Chunk-wise Budget Allocation):

   • 관련성 점수는 압축 점수(관련성이 높을수록 압축률이 낮음)로 변환됩니다.
   • 이 점수들은 전역 모달리티별 예산 제약 조건 하에서 각 청크의 로컬 드롭 비율(local drop ratio)로 매핑됩니다.
   • 캘리브레이션 단계를 통해 서로 다른 시간적 청크와 모달리티가 적응형 로컬 예산을 받을 수 있도록 허용하면서, 전체 유지 토큰 수가 목표 전역 유지 비율(예: 25% 또는 35%)과 일치하도록 보장합니다.

3. 이중 점수 토큰 선택(Dual-Score Token Selection):

   • 각 청크와 모달리티 내에서, 교차 모달 정렬과 모달리티 특유의 돌출성(salience)을 모두 보존하기 위해 두 가지 상호 보완적인 기준에 따라 토큰을 선택합니다:
     • 상호 모달 연관성(Inter-modal Association): 동일한 청크 내의 다른 모달리티의 평균 표현에 대한 유사도로 토큰 점수를 매깁니다. 이는 오디오-비주얼 대응 관계를 보존합니다.
     • 모달 내 피크(Intra-modal Peak): 자신의 모달리티 평균에 대한 차별성(distinctiveness)으로 토큰 점수를 매깁니다. 이는 교차 모달 정렬만으로는 놓칠 수 있는 특정 모달리티만의 고유한 증거를 보존합니다.
   • 최종 선택은 가장 높은 연관성 점수를 가진 토큰과 가장 높은 피크 점수를 가진 토큰을 동일한 비율로 나누어 유지합니다.

주요 기여

1. 모달리티 편향 식별: 본 논문은 OmniLLM에서 단일 모달리티 가이드 압축이 모달리티 편향을 유발하여, 비가이드 모달리티나 공동 추론이 필요한 작업의 성능을 저하시킨다는 것을 경험적으로 검증했습니다.
2. OmniFocus 프레임워크: 대칭적 압축을 수행하는 훈련이 필요 없는 쿼리 가이드 방식의 도입입니다. 이는 쿼리 관련성을 비디오와 오디오에 대해 별도로 추정하여, 모달리티 간의 연관성과 모달 내 피크를 보존하면서 편향을 완화합니다.
3. 경험적 검증: 네 가지 오디오-비주얼 벤치마크(DailyOmni, WorldSense, OmniVideoBench, VideoMME)에 걸친 광범위한 실험을 통해, OmniFocus가 유리한 정확도-효율성 트레이드오프를 달enc함이 입증되었습니다.

결과
실험은 Qwen2.5-Omni-3B 및 Qwen2.5-Omni-7B 모델 제품군을 대상으로 수행되었습니다.

• 성능: 25% 토큰 유지 비율에서, OmniFocus는 여러 주요 벤치마크 점수에서 기존 베이스라인(OmniZip, DyCoke, Random)을 능가했습니다.
  • DailyOmni (Qwen2.5-Omni-7B)에서, OmniFocus는 57.73%인 OmniZip와 54.37%인 DyCoke에 비해 59.40%의 정확도를 달성했습니다.
  • WorldSense에서, OmniFocus는 3B 모델에서 OmniZip보다 최대 1.04포인트 높은 성능을 보이며 모든 모델-예산 설정에서 최상의 압축 결과를 달성했습니다.
  • VideoMME에서, 모든 네 가지 설정에서 가장 우수한 압축 평균 점수를 기록했습니다.
• 효율성: OmniFocus는 상당한 속도 향상을 제공했습니다. 25% 유지 비율의 DailyOmni (7B 모델)에서, 전체 토큰 베이스라인 대비 1.38배의 프리필(prefill) 속도 향상과 1.32배의 엔드-투-엔드(end-to-end) 속도 향상을 제공하면서도 다른 압축 방법보다 높은 정확도를 유지했습니다.
• 절제 연구(Ablation Studies): 저자들은 다음을 확인했습니다:
  • 최대 유사도 점수 산출 방식이 평균 유사도 방식보다 우수합니다.
  • 점수 기반의 적응형 할당이 랜덤 또는 균등 할당보다 우수합니다.
  • 하이브리드 상호 모달 및 모달 내 토큰 선택 전략이 매우 중요합니다. 하나에만 의존할 경우 성능 저하가 발생합니다.
  • 모달리티 균형 점수 산출(오디오와 비디오를 모두 고려)이 단일 모달리티 점수 산출보다 더 견고합니다.

의의 및 주장
본 논문은 쿼리 가이드 모달리티 대칭적 압축이 단일 모달리티 가이드 토큰 예산 책정보다 긴 형태의 오디오-비주얼 이해를 위한 더 신뢰할 수 있는 설계 방식이라고 주장합니다. OmniFocus의 의의는 추가적인 모델 재학습 없이도 기존의 비대칭 압축 전략에 내재된 모달리티 편향을 완화할 수 있다는 점에 있습니다. 교차 모달 대응 관계와 모달리티 특유의 돌출적 증거를 모두 보존함으로써, OmniFocus는 높은 충실도로 오디오-비주얼 추론 작업을 수행하면서도 자원이 제한된 환경에서 OmniLLM이 효율적으로 작동할 수 있게 합니다. 저자들은 이 방법이 효과적이긴 하지만, 고정된 입력 임베딩에 의존하기 때문에 초기 토큰 임베딩이 쿼리 의도를 완전히 포착하지 못하는 미세한 이벤트에는 정밀도가 떨어질 수 있으며, Qwen2.5-Omni 제품군 이외의 아키텍처에 대한 일반화 가능성에 대해서는 추가적인 평가가 필요하다고 언급했습니다.