HeadRouter: Dynamic Head-Weight Routing for Task-Adaptive Audio Token Pruning in Large Audio Language Models

다음은 논문 "HeadRouter: Large Audio Language Models 를 위한 작업 적응형 오디오 토큰 가지치기를 위한 동적 헤드 가중치 라우팅"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대형 오디오 - 언어 모델 (LALMs) 은 다중 모달 시퀀스 처리에서 뛰어난 능력을 입증해 왔으나, 특히 긴 문맥의 오디오 입력을 처리할 때 엄청난 추론 비용으로 고통받고 있습니다.

• 병목 현상: 분 단위의 오디오를 처리하면 거대한 토큰 시퀀스 (예: 분당 1,500 개 토큰) 가 생성되어 과도한 프리필링 (prefilling) 지연 시간과 KV 캐시 메모리 사용량을 초래합니다.
• 기존 방법의 한계: 현재 토큰 가지치기 기술 (유사도 기반, 시간 기반, 어텐션 기반) 은 일반적으로 오디오 컨텍스트에서 실패합니다. 이는 다음 세 가지 간과된 문제 때문입니다:
  1. 작업 이질성: 오디오 작업은 균일하지 않습니다. 의미론적 작업 (예: 자동 음성 인식 (ASR), 전사) 에서 음향적 작업 (예: 화자 성별, 사운드 이벤트 감지) 에 이르기까지 다양합니다. 기존 방법들은 단일 가지치기 전략이 모든 상황에 적합하다고 가정합니다.
  2. 헤드 행동 이질성: LALM 의 어텐션 헤드는 동등하게 기여하지 않습니다. 이 논문은 의미론적 작업과 음향적 작업이 서로 다른 중요도 분포를 가진 구별된 어텐션 헤드 하위 집합을 활성화함을 보여줍니다.
  3. 오디오 본질에 대한 인식 부재: FastV와 같은 방법은 위치 편향 (꼬리 토큰 유지) 으로 고통받고, Frame 하위 샘플링은 내용 무관 (유성 구간과 무성 구간 무시) 합니다.

2. 방법론: HeadRouter

저자들은 입력 오디오의 특정 특성에 적응하도록 어텐션 가중치를 라우팅하는 **학습 불필요 (training-free)**인 동적 토큰 가지치기 방법인 HeadRouter를 제안합니다.

핵심 메커니즘

HeadRouter 는 세 가지 주요 단계로 작동합니다:

1. 위치 무관 QK 프로빙:

   • 위치 편향을 피하기 위해, 가지치기 레이어 ($M-1$) 직전의 레이어에서 쿼리 (Q) 와 키 (K) 프로젝션을 사용하여 텍스트 - 오디오 상호작용을 프로빙합니다.
   • 핵심적으로, 이 단계에서는 회전 위치 임베딩 (RoPE) 을 제거합니다. 이는 토큰의 중요성이 절대적 위치에 기반한 것이 아니라 텍스트와 오디오 콘텐츠 간의 의미론적 정렬에 기반하도록 보장합니다.

2. 선택성 추정 및 라우팅 신호:

   • 각 어텐션 헤드 $h$에 대해, 오디오 토큰에 대한 어텐션 분포의 엔트로피를 기반으로 선택성 점수 ($sel_h$) 를 계산합니다. 높은 선택성은 헤드가 특정 토큰에 집중함을 의미하고, 낮은 선택성은 확산된 분포를 의미합니다.
   • 라우팅 신호 ($s_{pr}$) 는 모든 헤드의 선택성 점수 간의 표준 편차로 계산됩니다.
     • 낮은 $s_{pr}$: 헤드가 유사하게 행동함을 나타냅니다 (일반적으로 의미론적 작업의 특징).
     • 높은 $s_{pr}$: 매우 선택적인 헤드의 희소 하위 집합을 나타냅니다 (일반적으로 음향적 작업의 특징).

3. 가우시안 소프트 라우팅:

   • 하드 스위칭 대신, HeadRouter 는 세 가지 사전 보정된 헤드 가중치 프로파일을 혼합하는 가우시안 소프트 믹싱 메커니즘을 사용합니다:
     • 의미론적 프로파일 ($w_{sem}$): 의미론적 작업에서 유도됨.
     • 음향적 프로파일 ($w_{aco}$): 음향적 작업에서 유도됨.
     • 균일 프로파일 ($w_{uni}$): 동등한 가중치.
   • 라우팅 신호 $s_{pr}$는 가우시안 커널을 통해 혼합 계수 ($\alpha$) 를 결정하여 연속적이고 샘플별인 헤드 가중치 벡터 ($w^*$) 를 생성합니다.
   • 그런 다음 토큰 중요도는 $w^*$를 사용하여 각 헤드의 어텐션 점수에 가중치를 부여함으로써 계산됩니다.

3. 주요 기여

1. 의미론적 - 음향적 헤드 분기: 이 논문은 의미론적 작업과 음향적 작업에 대해 어텐션 헤드가 근본적으로 다른 행동을 보인다는 경험적 증거를 제시하여, 모든 헤드가 동등하게 기여한다는 가정을 도전합니다.
2. 오디오 적응형 라우팅: 입력 특성 (선택성 분포) 에 기반하여 헤드 가중치를 동적으로 라우팅하는 새로운 학습 불필요 메커니즘인 HeadRouter를 도입했습니다. 미세 조정 (fine-tuning) 이 필요하지 않습니다.
3. 성능 향상형 압축: 이 방법은 공격적인 가지치기 (토큰의 30~60% 제거) 가 노이즈와 중복 토큰을 필터링함으로써 특정 시나리오에서 가지치기되지 않은 기준선보다 성능을 향상시킬 수 있음을 보여줍니다.

4. 실험 결과

이 방법은 Qwen2.5-Omni (3B/7B) 및 Phi-4-Multimodal과 같은 모델을 사용하여 AudioMarathon 및 MMAU-Pro 벤치마크에서 평가되었습니다.

• 우수한 성능:
  • Qwen2.5-Omni-3B에서 70% 토큰 유지 (30% 가지치기) 시, HeadRouter 는 모든 경쟁자 (FastV, DART, Frame) 를 능가하는 **101.8%**의 베이스라인 성능을 달성했습니다.
  • Qwen2.5-Omni-7B에서는 **103.0%**의 베이스라인 성능을 달성했습니다.
  • 의미론적 (ASR, SER) 및 음향적 (SED, SGR) 작업 전반에 걸쳐 베이스라인을 일관되게 능가했으며, 특히 ASR 에서 다른 방법들은 심각한 저하를 겪었습니다.
• 공격적 가지치기에 대한 강건성: 90% 가지치기 (토큰의 10% 만 유지) 에서도 HeadRouter 는 의미론적 및 음향적 성능 간의 최상의 균형을 유지한 반면, 다른 방법들은 붕괴되었습니다.
• 효율성: HeadRouter 는 성능 - 메모리 트레이드오프에서 파레토 프론티어를 차지합니다. 정확도를 유지하면서 피크 GPU 메모리 사용량을 크게 줄입니다 (Frame/DART 와 유사).
• 일반화: 이 방법은 다른 모델 아키텍처 (Qwen 및 Phi 계열) 와 벤치마크 간에 효과적으로 이전되어, 라우팅 신호가 특정 데이터셋에 과적합된 것이 아니라 일반적인 오디오 속성을 포착함을 증명합니다.

5. 의의

• 패러다임 전환: 이 작업은 LLM 의 토큰 가지치기에 대한 "일률적 (one-size-fits-all)" 접근 방식을 도전합니다. 다중 모달 오디오 처리에는 작업 적응형 라우팅이 필수적임을 확립합니다.
• 실제 배포: 학습 불필요이며 프리필링 시간의 미미한 계산 오버헤드 (<1%) 만 추가함으로써, HeadRouter 는 긴 문맥 오디오 LLM 의 효율성 병목 현상에 대한 즉각적이고 배포 가능한 솔루션을 제공합니다.
• LALM 에 대한 통찰: 이 발견들은 가지치기가 속도뿐만 아니라 노이즈 제거를 위해서도 유익할 수 있음을 보여줍니다. 적응형 메커니즘이 특정 작업과 무관한 토큰을 효과적으로 폐기하기 때문입니다.

결론적으로, HeadRouter 는 어텐션 헤드의 고유한 이질성을 활용하여 토큰 유지를 동적으로 최적화함으로써 대형 오디오 - 언어 모델을 더 효율적이고 강건하게 만드는 중요한 진전을 나타냅니다.