HeadRouter: Dynamic Head-Weight Routing for Task-Adaptive Audio Token Pruning in Large Audio Language Models

1. Declaração do Problema

Grandes Modelos de Linguagem de Áudio (LALMs) demonstraram capacidades notáveis no processamento de sequências multimodais, mas sofrem com custos de inferência proibitivos, particularmente ao lidar com entradas de áudio de contexto longo.

• O Gargalo: O processamento de áudio na escala de minutos gera sequências massivas de tokens (por exemplo, 1.500 tokens por minuto), levando a latências excessivas de preenchimento inicial (prefilling) e grandes pegadas de memória no KV-cache.
• Limitações dos Métodos Existentes: Técnicas atuais de poda de tokens (baseadas em similaridade, temporais e baseadas em atenção) geralmente falham em contextos de áudio devido a três questões negligenciadas:
  1. Heterogeneidade de Tarefas: As tarefas de áudio não são uniformes; variam de tarefas semânticas (por exemplo, ASR, transcrição) a tarefas acústicas (por exemplo, gênero do falante, detecção de eventos sonoros). Os métodos existentes assumem que uma única estratégia de poda serve para todos.
  2. Heterogeneidade do Comportamento das Cabeças: As cabeças de atenção nos LALMs não contribuem igualmente. O artigo revela que tarefas semânticas e acústicas ativam subconjuntos distintos de cabeças de atenção com distribuições de importância diferentes.
  3. Falta de Consciência da Natureza do Áudio: Métodos como FastV sofrem de viés posicional (retendo tokens finais), enquanto a subamostragem Frame é cega ao conteúdo (ignorando segmentos vocais versus silenciosos).

2. Metodologia: HeadRouter

Os autores propõem o HeadRouter, um método de poda de tokens livre de treinamento e dinâmico que se adapta à natureza específica do áudio de entrada roteando pesos de atenção.

Mecanismo Central

O HeadRouter opera em três etapas principais:

1. Sondagem QK Agnóstica à Posição:

   • Para evitar viés posicional, o método sonda interações texto-áudio usando projeções de Consulta (Q) e Chave (K) da camada anterior à camada de poda ($M-1$).
   • Crucialmente, os Embutimentos Posicionais Rotacionais (RoPE) são removidos durante esta etapa. Isso garante que a importância do token seja baseada puramente no alinhamento semântico entre o conteúdo de texto e áudio, e não na posição absoluta.

2. Estimativa de Seletividade e Sinal de Roteamento:

   • Para cada cabeça de atenção $h$, uma pontuação de seletividade ($sel_h$) é calculada com base na entropia da distribuição de atenção sobre os tokens de áudio. Alta seletividade implica que a cabeça foca em tokens específicos; baixa seletividade implica uma distribuição difusa.
   • Um sinal de roteamento ($s_{pr}$) é computado como o desvio padrão das pontuações de seletividade através de todas as cabeças.
     • Baixo $s_{pr}$: Indica que as cabeças se comportam de forma semelhante (típico de tarefas semânticas).
     • Alto $s_{pr}$: Indica um subconjunto esparsos de cabeças altamente seletivas (típico de tarefas acústicas).

3. Roteamento Suave Gaussiano:

   • Em vez de comutação rígida, o HeadRouter utiliza um mecanismo de mistura suave Gaussiana para combinar três perfis de pesos de cabeça pré-calibrados:
     • Perfil Semântico ($w_{sem}$): Derivado de tarefas semânticas.
     • Perfil Acústico ($w_{aco}$): Derivado de tarefas acústicas.
     • Perfil Uniforme ($w_{uni}$): Pesos iguais.
   • O sinal de roteamento $s_{pr}$ determina os coeficientes de mistura ($\alpha$) via um kernel Gaussiano, produzindo um vetor de pesos de cabeça contínuo e específico da amostra ($w^*$).
   • A importância do token é então calculada ponderando as pontuações de atenção de cada cabeça usando $w^*$.

3. Contribuições Principais

1. Divergência de Cabeças Semântico-Acústicas: O artigo fornece evidências empíricas de que as cabeças de atenção exibem comportamentos fundamentalmente diferentes para tarefas semânticas versus acústicas, desafiando a suposição de que todas as cabeças contribuem igualmente.
2. Roteamento Adaptativo ao Áudio: Introdução do HeadRouter, um mecanismo novo e livre de treinamento que roteia dinamicamente os pesos das cabeças com base nas características de entrada (dispersão de seletividade) sem exigir ajuste fino.
3. Compressão que Melhora o Desempenho: O método demonstra que a poda agressiva (removendo 30–60% dos tokens) pode, na verdade, melhorar o desempenho em relação à linha de base não podada em certos cenários, filtrando ruído e tokens redundantes.

4. Resultados Experimentais

O método foi avaliado nos benchmarks AudioMarathon e MMAU-Pro usando modelos como Qwen2.5-Omni (3B/7B) e Phi-4-Multimodal.

• Desempenho Superior:
  • No Qwen2.5-Omni-3B com retenção de 70% dos tokens (30% de poda), o HeadRouter alcançou 101,8% do desempenho da linha de base vanilla, superando todos os concorrentes (FastV, DART, Frame).
  • No Qwen2.5-Omni-7B, alcançou 103,0% da linha de base.
  • Superou consistentemente as linhas de base em tarefas semânticas (ASR, SER) e acústicas (SED, SGR), enquanto outros métodos sofreram degradação significativa, especialmente em ASR.
• Robustez à Poda Agressiva: Mesmo com 90% de poda (retendo apenas 10% dos tokens), o HeadRouter manteve o melhor equilíbrio entre desempenho semântico e acústico, enquanto outros métodos colapsaram.
• Eficiência: O HeadRouter ocupa a fronteira de Pareto no trade-off desempenho-memória. Reduz significativamente o uso de pico de memória GPU (similar ao Frame/DART) enquanto mantém maior precisão.
• Generalização: O método transfere-se efetivamente através de diferentes arquiteturas de modelos (famílias Qwen e Phi) e benchmarks, provando que o sinal de roteamento captura propriedades gerais de áudio em vez de superajustar a um conjunto de dados específico.

5. Significado

• Mudança de Paradigma: Este trabalho desafia a abordagem "tamanho único" para poda de tokens em LLMs. Estabelece que o roteamento adaptativo a tarefas é essencial para o processamento de áudio multimodal.
• Implantação Prática: Ao ser livre de treinamento e adicionar sobrecarga computacional negligenciável (<1% do tempo de preenchimento inicial), o HeadRouter oferece uma solução imediata e implantável para o gargalo de eficiência dos LLMs de Áudio de Longo Contexto.
• Insight sobre LALMs: As descobertas revelam que a poda pode ser benéfica não apenas para velocidade, mas para remoção de ruído, pois o mecanismo adaptativo descarta efetivamente tokens que são irrelevantes para a tarefa específica em questão.

Em conclusão, o HeadRouter representa um avanço significativo na tornas os Grandes Modelos de Linguagem de Áudio mais eficientes e robustos, aproveitando a heterogeneidade intrínseca das cabeças de atenção para otimizar dinamicamente a retenção de tokens.