1. 문제 정의 (Problem Definition)

• 배경: 옴니모달 대규모 언어 모델 (OmniLLMs) 은 오디오와 비디오 스트림을 통합하여 처리하지만, 이로 인해 생성되는 긴 멀티모달 토큰 시퀀스는 추론 비용 (메모리 및 지연 시간) 을 급격히 증가시킵니다.
• 기존 방법의 한계:
  • 기존 토큰 압축 방법들은 주로 고정된 윈도우 (fixed window) 단위로 시퀀스를 분할하거나, 어텐션 점수 (attention scores) 에만 의존하여 토큰을 제거합니다.
  • 이러한 접근법은 오디오 - 비디오 신호의 부분적 의미 구조 (piecewise semantic structure) 를 무시합니다. 즉, 의미 있는 전환점 (화자 변경, 주제 전환, 장면 변경 등) 이 임의의 고정된 경계에서 잘리거나, 중요한 전환 토큰이 어텐션 스코어가 낮다는 이유로 제거되어 정보 손실이 발생합니다.
  • 특히 공격적인 토큰 압축 (예: 25% 이하 유지) 시 성능이 급격히 저하되는 취약점이 있습니다.

2. 제안 방법: DASH (Methodology)

DASH (Dynamic Audio-driven Semantic cHunking) 는 학습이 필요 없는 (training-free) 프레임워크로, 오디오 신호를 의미적 앵커 (semantic anchor) 로 활용하여 멀티모달 토큰 압축을 의미 구조에 맞게 동적으로 조정합니다. 주요 구성 요소는 다음과 같습니다.

가. 동적 의미 청킹 (Dynamic Semantic Chunking)

• 원리: 오디오 임베딩 공간에서 인접한 토큰 간의 코사인 유사도 (cosine similarity) 감소를 감지하여 의미적 경계 (semantic boundaries) 를 탐지합니다.
• 작동 방식:
  • 의미적으로 일관된 구간 (예: 하나의 문장) 내에서는 유사도가 높지만, 의미 전환 (휴지, 주제 변경) 시 유사도가 급격히 떨어지는 특성을 이용합니다.
  • 임계값 ($\tau_a$) 과 최소 청크 크기 ($C_{min}$, 약 1 초) 를 적용하여 노이즈를 필터링하고, 의미 단위를 보존하는 가변 길이 (variable-length) 세그먼트를 생성합니다.

나. 오디오 기반 시각 분할 (Audio-Driven Visual Segmentation)

• 크로스-모달 정렬: 탐지된 오디오 경계를 시간 비율 매핑 (temporal ratio mapping) 을 통해 비디오 토큰 인덱스로 투영합니다.
• 효과: 오디오의 의미적 전환 (예: 문장 끝) 이 비디오의 장면 변경이나 동작 변화와 일치한다는 가정을 바탕으로, 오디오와 비디오가 동일한 의미 구조로 분할되도록 강제합니다. 이는 추가 학습 없이 명시적인 크로스-모달 정렬을 가능하게 합니다.

다. 트리-신호 융합 토큰 스코어링 (Tri-Signal Fusion Token Scoring)

각 세그먼트 내에서 어떤 토큰을 유지할지 결정하기 위해 세 가지 신호를 융합하여 중요도 점수를 산출합니다. 이는 어텐션 스코어의 희소성 (sparsity) 문제를 해결합니다.

1. 경계 확률 (Boundary Probability, 가중치 0.4): 의미적 전환점에 위치한 토큰을 우선시합니다.
2. 확률적 밀도 기반 고유성 (Uniqueness, 가중치 0.3): 다중 스케일 가우시안 커널을 사용하여 토큰의 내용적 독특성 (content distinctiveness) 을 측정합니다. (기존 밀도 기반 클러스터링의 단점을 보완)
3. 어텐션 점수 (Attention Score, 가중치 0.3): 모델이 인지하는 중요도 (salience) 를 반영합니다.

• 결과: 구조적 중요성, 내용적 독특성, 모델 인지 중요도를 종합하여, 어텐션만으로는 놓칠 수 있는 중요한 전환 토큰들을 구출 (rescue) 합니다.

라. 경계 인식 비디오 압축 (Boundary-Aware Video Compression)

• 오디오의 정보 밀도 (유지된 오디오 토큰 비율) 에 따라 비디오 세그먼트별 압축 비율을 적응적으로 조절합니다.
• 의미 전환점 (경계) 에 해당하는 프레임은 시각적 컨텍스트를 보존하기 위해 유지 비율을 높여 보호합니다.

3. 주요 기여 (Key Contributions)

1. 구조 인식 압축 패러다임 전환: 멀티모달 토큰 압축을 고정된 위치 기반이 아닌 의미적 경계 기반으로 재정의했습니다.
2. 학습 불필요 (Training-Free) 프레임워크: DASH 는 추가 학습 파라미터 없이 오디오 임베딩의 통계적 특성과 시간적 정렬을 활용하여 크로스-모달 정렬 및 압축을 수행합니다.
3. 트리-신호 융합 메커니즘: 구조적 경계, 내용적 고유성, 어텐션 스코어를 결합하여 기존 어텐션 기반 선택의 한계를 극복하고, 공격적인 압축 하에서도 정보 손실을 최소화합니다.

4. 실험 결과 (Results)

• 벤치마크: AVUT, VideoMME, WorldSense 에서 Qwen2.5-Omni (7B, 3B) 모델을 사용하여 평가했습니다.
• 성능:
  • 압축 효율성: DASH 는 25% 토큰 유지율에서 기존 최첨단 방법 (OmniZip 등) 이 35% 유지율에서 달성하던 정확도와 동등하거나 더 높은 성능을 보였습니다.
  • WorldSense: 7B 모델 기준 25% 유지 시 44.9% 정확도를 기록하여, 35% 유지 OmniZip(44.7%) 을 상회했습니다.
  • VideoMME: 풀 토큰 (Full Tokens) 기준 66.0% 정확도를 25% 유지율에서도 유지했습니다.
• 효율성:
  • Prefill 속도: 7B 모델에서 3.5 배, 3B 모델에서 3.8 배의 속도 향상을 달성했습니다.
  • 지연 시간: 엔드-투-엔드 지연 시간이 최대 1.7 배 감소했습니다.
  • 오버헤드: 경계 탐지 및 스코어링 과정의 계산 오버헤드는 40ms 미만으로 매우 낮습니다.

5. 의의 및 결론 (Significance)

• 의미 구조의 중요성 부각: 멀티모달 압축에서 단순한 위치적 규칙성이 아닌, 오디오와 비디오가 공유하는 의미적 구조 (semantic structure) 를 압축의 가이드로 삼아야 함을 입증했습니다.
• 실용적 가치: 학습 비용 없이 옴니모달 모델의 추론 효율을 극대화하면서도, 중요한 의미 전환 정보를 보존하여 모델의 이해 능력을 유지합니다.
• 미래 방향: 이 연구는 멀티모달 모델의 확장성을 높이고, 실시간 애플리케이션에서의 배포 장벽을 낮추는 중요한 기술적 토대를 제공합니다.

요약하자면, DASH는 오디오의 자연스러운 경계를 활용하여 비디오와 오디오를 동적으로 분할하고, 다중 신호를 융합하여 중요한 토큰을 선별함으로써, 기존 방법보다 훨씬 적은 토큰으로도 높은 정확도와 빠른 추론 속도를 동시에 달성한 획기적인 토큰 압축 프레임워크입니다.