기술 요약: OmniDrop

문제 정의

Omni-modal 대규모 언어 모델 (Omni-LLM) 은 텍스트, 오디오, 비디오를 통합하는 전체적 멀티모달 이해에서 상당한 잠재력을 입증했습니다. 그러나 실시간 응용 및 장형 추론의 주요 병목 현상은 고해상도 시간 데이터로 인한 '토큰 폭발'입니다. 오디오 및 비디오 신호는 텍스트보다 훨씬 많은 토큰을 생성합니다 (예: 1 분짜리 비디오 클립은 10,000 개 이상의 토큰으로 매핑될 수 있음). 이로 인해 계산 및 메모리 오버헤드가 2 차 함수적으로 증가합니다.

기존 Omni-LLM 을 위한 토큰 압축 방법은 일반적으로 입력 임베딩 수준에서 가지치기를 수행합니다. 이러한 접근 방식은 오디오 - 비디오 토큰이 공유 표현 공간이나 시간적 동시 발생을 통해 의미론적으로 정렬된다는 가정에 의존합니다. 저자들은 이러한 가정이 두 가지 주요 이유로 신뢰할 수 없다고 주장합니다:

1. 약한 전-LLM 정렬: 오디오 및 비디오 임베딩은 처리 전 LLM 임베딩 공간 내에서 서로 다른 부분 공간을 차지하여, 의미 있는 의미론적 관계를 식별하지 못하는 낮은 교차 모달 코사인 유사성을 초래합니다.
2. 신뢰할 수 없는 시간적 동시 발생: 동시 발생하는 오디오 및 시각적 사건이 반드시 의미론적 대응을 의미하는 것은 아닙니다 (예: 배경 음악이나 화면 밖 내레이션은 가시적 콘텐츠와 정렬되지 않을 수 있음).

결과적으로 임베딩 거리나 동시 발생에 기반한 입력 수준 가지치기는 종종 중요한 모달리티별 증거를 폐기하여 비최적의 토큰 선택으로 이어집니다.

방법론: OmniDrop

이러한 한계를 해결하기 위해 저자들은 OmniDrop을 제안합니다. 이는 훈련이 필요 없는 계층별 토큰 가지치기 프레임워크입니다. 기존 방법과 달리 OmniDrop은 입력 단계가 아닌 LLM 디코더 계층 내에서 토큰을 점진적으로 가지치기하며, 세 가지 핵심 메커니즘을 활용합니다:

1. 점진적 계층별 토큰 가지치기 (PLP)

오디오 - 비디오 정보 융합이 디코더 계층을 통해 점진적으로 발생한다는 관찰에 영감을 받아, OmniDrop은 동적 가지치기 일정을 채택합니다.

• 초기 계층: 오디오 및 비디오 스트림 간의 충분한 멀티모달 정보 융합 및 통합을 허용하기 위해 가지치기는 보수적 (낮은 비율) 입니다.
• 심층 계층: 모델이 명확한 쿼리 관련 토큰 선호도를 형성한 후에는 가지치기가 공격적 (높은 비율) 이 됩니다.
• 구현: 계층 $l$에 대한 가지치기 비율 $p_l$은 시그모이드 함수를 따릅니다:
  $$p_l = p_{init} + (p_{final} - p_{init}) \cdot \sigma(l, t_{mid}, \beta)$$
  이를 통해 토큰은 통합을 위해 얕은 계층에서는 보존되고, 정보성 토큰이 더 구별 가능한 깊은 계층에서는 제거됩니다.

2. 쿼리 기반 토큰 중요도

오디오 및 비디오 토큰을 직접 비교하는 대신, OmniDrop은 텍스트 쿼리를 의미론적 매개체로 사용합니다.

• 메커니즘: 오디오 및 비디오 토큰에 대한 중요도 점수 $S$는 텍스트 토큰에서 오디오 - 비디오 토큰으로의 평균 어텐션 점수를 기반으로 계산됩니다:
  $$S = \frac{1}{n_T} \sum_{q} \text{Attn}_{q \to \{V,A\}}$$
• 적응성: 이를 통해 모델은 작업 요구 사항에 따라 토큰 예산을 동적으로 할당할 수 있습니다. 오디오 중심 작업의 경우 더 많은 오디오 토큰이 유지되고, 비디오 중심 작업의 경우 더 많은 비디오 토큰이 유지됩니다. 이는 특정 쿼리에 대한 정보 손실을 최소화합니다.

3. 시간적 다양성 점수 (TDS)

주요 어텐션 피크와 시간적으로 멀리 떨어진 토큰의 과도한 가지치기 (글로벌 컨텍스트 손실로 이어질 수 있음) 를 방지하기 위해 OmniDrop은 다양성 지표를 도입합니다.

• 프로세스:
  1. 가장 높은 중요도 점수를 가진 토큰을 포함하는 '키 청크'($c_{max}$) 를 식별합니다.
  2. 가장 낮은 점수의 토큰으로 구성된 후보 버퍼를 선택합니다.
  3. $c_{max}$로부터 정규화된 시간적 거리 $D$를 계산합니다.
  4. 최종 점수를 증분합니다: $S_{TDS} = S + \lambda_{div} \cdot D$.
• 효과: 주요 어텐션 피크와 시간적으로 멀리 떨어진 토큰은 점수 부스트를 받아 시퀀스 전반에 걸쳐 균형 잡힌 토큰 생존을 장려하고 글로벌 시간적 컨텍스트를 보존합니다.

4. 모달리티 내부 가지치기

토큰을 LLM 에 입력하기 전에, OmniDrop은 중복성을 제거하기 위해 독립적인 모달리티 내부 가지치기를 수행합니다:

• 오디오: 오디오 인코더의 마지막 계층에서 가장 높은 어텐션 점수를 가진 토큰을 유지합니다.
• 비디오: 코사인 유사성을 기반으로 연속적인 중복 시각 토큰을 필터링하기 위해 Temporal Token Merging (TTM) 을 사용합니다.
• 결과: 이 전처리는 계층별 가지치기가 시작되기 전에 초기 토큰 수를 약 45% 로 줄입니다.

주요 기여

1. 입력 수준 한계 분석: 이 논문은 전-LLM 임베딩에서의 정렬 부족과 의미론적 관련성의 대리 지표로서 시간적 동시 발생의 신뢰성 부재로 인해, 입력 수준 오디오 - 비디오 유사성이 토큰 가지치기를 위한 약한 신호를 제공함을 입증합니다.
2. OmniDrop 프레임워크: 텍스트 쿼리를 활용하여 모달리티 무관하고 작업 적응적인 토큰 선택을 가능하게 하는 새로운 훈련 불필요 계층별 가지치기 프레임워크입니다. 이는 효율성과 컨텍스트 보존 사이의 균형을 맞추기 위해 점진적 가지치기 일정과 시간적 다양성 점수를 사용합니다.
3. 실증적 검증: 다양한 벤치마크 (VideoMME, WorldSense, AVUT) 에 대한 광범위한 실험에서 OmniDrop 은 기존 SOTA 훈련 불필요 방법 (OmniZip, DASH) 보다 성능이 우수하면서도 지연 시간과 메모리 사용량을 크게 줄임이 확인되었습니다.

실험 결과

Qwen2.5-Omni(7B 및 3B 모델) 에서 평가된 OmniDrop 은 다음과 같은 결과를 달성했습니다:

• 성능 향상: 모든 베이스라인을 최대 3.58 점까지 상회했습니다 (특히 7B 모델을 사용한 AVUT 벤치마크에서). 주목할 만한 점은 30% 토큰 유지 시 OmniDrop 이 VideoMME 에서 100% 전체 토큰 베이스라인을 능가했다는 것입니다.
• 강건성: 극단적인 압축 (20% 유지) 하에서 OmniDrop 은 1.0 점 이상 하락한 베이스라인에 비해 최소한의 성능 저하 (평균 0.18~0.47 점 하락) 를 보였습니다.
• 효율성: 전체 토큰 추론 대비 프리필 지연 시간을 최대 40% 줄이고 GPU 메모리 사용량을 최대 14.7% 줄였으며, 경쟁력 있는 성능을 유지했습니다.
• 작업 적응성: 분석 결과, 쿼리 기반 메커니즘이 오디오 인식 작업의 경우 더 많은 오디오를, 장면 인식 작업의 경우 더 많은 비디오를 유지하는 등 특정 작업 요구 사항에 따라 토큰 유지 비율을 성공적으로 적응시킴이 확인되었습니다.

중요성 및 주장

이 논문은 OmniDrop 이 입력 수준에서 디코더 계층으로 토큰 가지치기를 근본적으로 전환함으로써 확장 가능하고 반응형 Omni-LLM 을 위한 실용적인 솔루션을 제공한다고 주장합니다. 텍스트 쿼리를 안내 신호로 활용하고 멀티모달 융합의 점진적 특성을 인정함으로써, 이 방법은 모델 재학습이나 아키텍처 수정 없이도 우수한 효율성 - 성능 트레이드오프를 달성합니다.

저자들은 현재 방법이 토큰 선택을 위해 텍스트 프롬프트에 의존하므로 오디오/비디오 입력만 있는 시나리오에서의 사용이 제한된다는 한계를 인정합니다. 또한 훈련 불필요 프레임워크로서 가지치기 일정과 같은 하이퍼파라미터는 학습된 것이 아니라 경험적으로 결정됩니다. 향후 연구는 텍스트 안내 없이 의미론적 관계를 포착하는 방법과 보정 데이터를 통한 가지치기 결정 최적화를 탐구하는 것을 목표로 합니다.