기술 요약: OmniSelect

문제 제기

오믹니멀모달 대규모 언어 모델 (OmniLLMs) 은 단일 자동회귀 아키텍처 내에서 오디오, 비디오, 텍스트의 이해를 통합하기 위해 등장했습니다. 그러나 고충실도 비디오 및 오디오 스트림을 처리하면 과도한 토큰 수가 생성되어 어텐션 메커니즘에서 2 차 복잡도를 초래하고, 추론 중 상당한 계산 및 메모리 병목 현상을 야기합니다.

단일 모달 작업 (이미지, 비디오, 오디오) 에서는 토큰 압축이 탐구되어 왔으나, 기존 OmniLLM 솔루션은 고정된 모달별 가이드에 의존합니다. 예를 들어, OmniZip 과 같은 방법은 오디오 앵커를 사용하여 비디오 가지치기를 안내하는 반면, 다른 방법들은 시각적 단서에만 의존합니다. 저자들은 이러한 "일률적" 전략이 부적절하다고 주장합니다. 왜냐하면 시각 및 청각 정보의 상대적 중요성은 다양한 쿼리에 따라 크게 달라지기 때문입니다. 논문에서 illustrated 된 바와 같이, 일부 질문은 시각에 크게 의존하고, 다른 일부는 오디오에 의존하며, 일부는 균형 잡힌 통합을 요구합니다. 부적절한 모달을 사용하여 압축을 안내하면 중요한 정보가 제거되고 모델 응답이 오류를 일으킬 수 있습니다.

방법론: OmniSelect

이러한 한계를 해결하기 위해 저자들은 학습이 불필요하고 모달 적응형인 토큰 가지치기 프레임워크인 OmniSelect를 제안합니다. 이 방법은 고정된 가이드 메커니즘을 피하고, 특정 쿼리에 기반하여 멀티모달 입력에 적합한 압축 전략을 동적으로 선택합니다. 프레임워크는 2 단계 전략으로 작동합니다:

1. 모달 인식 동적 비율 할당

첫 번째 단계는 전역 가지치기 전략을 결정하고 각 시간 그룹에 대한 가지치기 비율을 할당합니다.

• 관련성 추정: 시스템은 경량 AudioCLIP 모델을 사용하여 교차 모달 관련성을 추정합니다. 텍스트 쿼리와 시각 및 오디오 임베딩 간의 유사성 점수를 계산합니다. 계산 비용을 줄이기 위해 비디오 프레임은 시간적으로 다운샘플링되고, 텍스트는 명사와 형용사만 유지하도록 필터링됩니다.
• 전략 분류: 평균 유사성 점수 ($\bar{s}^{(v)}$는 비디오, $\bar{s}^{(a)}$는 오디오) 와 임계값 $\theta$에 기반하여 시스템은 입력을 세 가지 가지치기 영역 중 하나로 분류합니다:
  • 균일 가지치기: $|\bar{s}^{(v)} - \bar{s}^{(a)}| \leq \theta$인 경우, 두 모달은 동등하게 중요하게 취급됩니다.
  • 비디오 중심 가지치기: $\bar{s}^{(v)} > \bar{s}^{(a)}$인 경우, 전략은 비디오 토큰을 우선시합니다.
  • 오디오 중심 가지치기: $\bar{s}^{(a)} > \bar{s}^{(v)}$인 경우, 전략은 오디오 토큰을 우선시합니다.
• 적응형 할당: 선택된 영역 내에서 시스템은 각 시간 그룹에 가지치기 비율 ($\rho$) 을 동적으로 할당합니다. 평균으로부터의 유사성 점수 편차를 기반으로 시그모이드 매핑을 사용하여, 쿼리와 더 높은 관련성을 가진 그룹이 더 많은 토큰을 유지하도록 보장하면서 전역 가지치기 예산을 충족합니다.

2. 시간 그룹 가지치기 파이프라인 (TGP2)

전략과 비율이 결정되면, 시스템은 각 시간 그룹 내에서 세밀한 토큰 가지치기를 수행합니다:

• 오디오 가지치기: 오디오 인코더의 마지막 층에서 파생된 어텐션 행렬을 기반으로 Top-K 선택을 사용하여 중요한 오디오 토큰을 선택합니다.
• 비디오 가지치기: 비전 임베딩의 코사인 유사성 행렬을 기반으로 Bottom-K 선택을 사용하여 중요한 비디오 토큰을 선택합니다. 저자들은 어텐션 싱크 편향을 피하고 계산 오버헤드를 줄이기 위해 어텐션 기반 방법 대신 Bottom-K(다른 토큰과 가장 낮은 유사성을 가진 토큰 선택) 를 선택합니다. 이는 중복되고 고도로 상관관계가 있는 콘텐츠를 효과적으로 제거하면서도 독특한 시각적 단서를 보존한다고 주장합니다.

주요 기여

논문은 세 가지 주요 기여를 제시합니다:

1. 고정 가이드의 한계 분석: 저자들은 정적 모달별 가이드에 의존하는 기존 방법들이 다양한 쿼리에 따른 모달의 중요성 변화를 고려하지 못해 비최적 압축으로 이어진다는 것을 입증합니다.
2. OmniSelect 프레임워크: 학습이 불필요하고 모달 적응형인 프레임워크를 제안하여 균일, 비디오 중심, 오디오 중심 가지치기 전략 사이를 동적으로 선택합니다. 또한 시간 그룹 내에서 세밀한 토큰 가지치기를 수행하여 정보성 토큰을 보존하기 위해 비율을 적응적으로 할당합니다.
3. 실증적 검증: 오디오 - 비디오 벤치마크에 대한 광범위한 실험을 통해 OmniSelect 가 높은 성능을 유지하면서 추론을 가속화하고 GPU 메모리 오버헤드를 줄이며, 학습이 불필요한 토큰 압축 방법 간에 경쟁력 있는 결과를 달성함을 보여줍니다.

실험 결과

저자들은 Qwen2.5-Omni 모델 (3B 및 7B 파라미터) 을 WorldSense, DailyOmni, VideoMME, OmniVideoBench라는 네 가지 벤치마크에 걸쳐 평가했습니다.

• 성능 유지: OmniSelect 는 원래 전체 토큰 정확도의 **94% 에서 99%**를 유지합니다. 여러 사례 (예: OmniVideoBench 및 VideoMME 의 특정 설정) 에서 이 방법은 전체 토큰 추론의 성능을 능가하기도 하여, 중복 토큰 제거가 예측 품질을 향상시킬 수 있음을 시사합니다.
• 효율성 향상:
  • 추론 속도 향상: 1.19 배에서 1.33 배의 속도 향상을 달성했습니다.
  • 메모리 감소: GPU 메모리 소비를 2.58GB 에서 2.77GB까지 줄였습니다.
  • 프리필링 시간: 70% 토큰 압축 하에서 프리필링 시간을 3.53 배에서 3.62 배 단축했습니다.
• 비교: OmniSelect 는 다양한 프레임 예산과 압축 비율에서 OmniZip(오디오 가이드) 및 DyCoke(시간 병합) 과 같은 베이스라인을 일관되게 능가했습니다. 이 이점은 긴 비디오 시나리오와 3B 모델에서 특히 두드러졌으며, 이는 더 유리한 효율성 - 성능 트레이드오프를 보여주었습니다.
• 절대 실험: 가지치기 전략의 동적 선택 (비디오 중심, 오디오 중심, 균일 간 전환) 이 단일 고정 전략에 의존하는 것보다 우수하다는 것이 실험을 통해 확인되었습니다.

중요성 및 주장

논문은 OmniSelect 를 OmniLLM 최적화에 필요한 진전으로 위치시킵니다. 저자들은 이 작업의 주요 중요성이 정적, 모달별 가이드에서 동적, 쿼리 인식 전략 선택으로의 전환에 있다고 주장합니다. 모달 선호도를 명시적으로 모델링하고 쿼리의 특정 의미적 필요에 맞춰 압축 전략을 적응하도록 모델을 가능하게 함으로써, OmniSelect 는 균일 압축의 함정을 효과적으로 피합니다.

저자들은 이 방법이 학습이 불필요하여 재학습이나 미세 조정 없이 기존 OmniLLM 에 즉시 적용 가능하다고 강조합니다. 그들은 현재 임계값 기반 선택 메커니즘이 효과적이지만 최적의 전략은 종종 제안된 분류 체계 내에 존재하며, 주요 한계는 가지치기 자체의 표현 능력보다는 전략 선택의 정밀도에 있다고 결론지었습니다. 향후 작업은 모달 중요성 추정을 위한 더 견고한 모델을 탐구할 것을 제안합니다.