Resumo Técnico: MURMUR – Um Sistema de Inferência Eficiente para ASR de Longa Duração

Problema

O reconhecimento automático de fala (ASR) de longa duração enfrenta um compromisso fundamental entre precisão e latência. As abordagens existentes dividem-se em duas categorias, cada uma com limitações significativas:

1. Pipelines Baseados em Fragmentos (ex: WhisperX): Estes sistemas processam áudios em janelas curtas e fixas (ex: 30 segundos) para permitir inferência paralela e baixa latência. No entanto, sofrem de fragmentação de contexto, levando a erros na atribuição de locutor e geração de carimbos de tempo (timestamps) nas fronteiras dos fragmentos. Eles dependem de heurísticas frágeis e módulos externos (como diarização separada) para costurar os segmentos, o que frequentemente resulta em desempenho degradado em métricas como o WER com restrição temporal (tcpWER).
2. Modelos de Passagem Única de Longo Contexto (ex: VibeVoice-ASR): Estes modelos processam gravações inteiras em uma única passagem autorregressiva, mantendo o contexto entre fragmentos para uma precisão superior e saída nativa de locutor/timestamp. Contudo, são computacionalmente caros, sofrendo de alta latência de inferência devido à escala quadrática da atenção e aos custos de gerenciamento do cache KV. Além disso, são propensos a falhas catastróficas, como loops de repetição, que podem fazer com que toda a requisição de inferência falhe.

O desafio central é alcançar a alta precisão e o alinhamento robusto de locutor/timestamp dos modelos de passagem única, mantendo a baixa latência e a robustez dos sistemas baseados em fragmentos.

Metodologia

Os autores propõem o MURMUR, um sistema de inferência que opera em dois níveis de granularidade para superar este compromisso:

1. Otimização Inter-Fragmento: Tamanho de Fragmento Ajustável

Em vez de aderir a janelas curtas fixas ou processar a gravação inteira de uma vez, o MURMUR trata o tamanho do fragmento como um hiperparâmetro ajustável.

• Análise: Os autores analisaram a relação entre o tamanho do fragmento e o desempenho no conjunto de dados AMI-IHM. Eles descobriram que a precisão estabiliza além de um comprimento de contexto moderado, enquanto contextos extremamente longos podem degradar o desempenho em condições ruidosas devido à confusão acústica acumulada.
• Estratégia: O MURMUR adota um tamanho de fragmento intermediário de 300 segundos. Este tamanho estabelece um equilíbrio, igualando ou excedendo a precisão de passagem única em várias condições, ao mesmo tempo que permite a inferência paralela em lote (batch).
• Costura (Stitching): O sistema utiliza Detecção de Atividade de Voz (VAD) para identificar fronteiras de fala, mescla os segmentos em fragmentos de 300s e os processa em paralelo. Pós-inferência, realiza o realinhamento entre fragmentos. Crucialmente, em vez de forçar rótulos de diarização externos, o sistema trata as atribuições de locutor internas do modelo dentro dos fragmentos como verdade fundamental (ground truth) e usa a diarização apenas para reconciliar as identidades dos locutores entre as fronteiras dos fragmentos.

2. Otimização Intra-Fragmento: Expulsão de Cache KV de Janela Deslizante

Para reduzir ainda mais a latência dentro dos fragmentos de 300s, o MURMUR explora a esparsidade da atenção através de uma política personalizada de expulsão de cache KV.

• Observação: O perfilamento revelou que os tokens de fala exibem uma esparsidade de atenção extrema. No VibeVoice-ASR, menos de 25% dos tokens de fala respondem por 99% dos pesos totais de atenção na maioria das camadas. Além disso, os padrões de atenção mostram uma esparsidade diagonal que se desloca conforme a decodificação progride.
• Política: O sistema implementa uma estratégia de expulsão de janela deslizante aplicada separadamente aos tokens de saída e aos tokens de fala:
  • Tokens de Saída: Segue uma abordagem estilo StreamingLLM, retendo tokens "sink" (sumidouro) e uma janela deslizante de tokens recentes.
  • Tokens de Fala: Introduz uma política de "atraso e deslocamento" (delay-and-shift). Uma janela fixa de tokens de fala é retida inicialmente para permitir que o modelo atenda ao contexto de áudio inicial. Conforme a decodificação avança, a janela se desloca para frente, expulsando tokens de fala mais antigos que ficam fora da banda de atenção ativa.
• Implementação: Isso requer gerenciamento personalizado de cache KV para lidar com a lógica distinta de expulsão para os tokens de fala pré-preenchidos versus os tokens de texto gerados.

Principais Contribuições

1. Análise Sistemática do Tamanho do Fragmento: O artigo fornece uma caracterização detalhada do tamanho do fragmento como um hiperparâmetro para ASR de longo contexto, demonstrando que tamanhos intermediários (300s) otimizam o compromisso entre precisão de transcrição, atribuição de locutor, alinhamento temporal e latência.
2. Arquitetura MURMUR: O design de um sistema de inferência que combina inferência paralela em lotes guiada por VAD com expulsão de cache KV intra-fragmento. Este sistema produz transcrições de ponta a ponta com timestamps e rótulos de locutor sem depender de módulos de pós-processamento externos para alinhamento.
3. Exploração da Esparsidade de Tokens de Fala: A identificação e utilização da extrema esparsidade de atenção em tokens de fala dentro de modelos de ASR de longo contexto, permitindo uma nova política de expulsão que reduz os custos de inferência com degradação mínima de precisão.

Resultados

Avaliado no modelo VibeVoice-ASR nos conjuntos de dados AMI-IHM, AMI-SDM, Tedlium3 e Earnings21:

• Precisão vs. Latência: No conjunto de dados AMI-IHM, o MURMUR iguala a precisão de passagem única (tcpWER de ~25,29% com expulsão de token de fala vs. 25,68% da linha de base) enquanto reduz a latência em 4,2× (de 370,7s para 88,43s).
• Robustez: Ao contrário da inferência de passagem única, que falhou catastroficamente (loops de repetição) em 2 de 14 gravações do AMI-IHM, o MURMUR contém as falhas em fragmentos individuais, garantindo que a requisição inteira não falhe.
• Impacto da Expulsão:
  • A expulsão de tokens de saída sozinha proporcionou um aumento de velocidade de 3,85×.
  • A expulsão de tokens de fala sozinha proporcionou um aumento de velocidade de 4,20×.
  • A combinação de ambas resultou em um aumento de velocidade de 3,79× (ligeiramente menor devido ao overhead de gerenciamento).
  • A estratégia de expulsão de tokens de fala resultou em menos de 1% de degradação relativa no tcpWER em comparação com a linha de base sem expulsão.
• Comparação: O MURMUR supera significativamente as linhas de base baseadas em fragmentos, como o WhisperX, em tcpWER (25,73% vs. 35,54%), mantendo uma latência comparável.

Significância e Alegações

O artigo afirma que o reconhecimento de fala possui um "comprimento de contexto ideal nítido e bem definido" (em torno de 300 segundos), impulsionado pelos efeitos cumulativos de ruído acústico e complexidade do locutor. Isso contrasta com os LLMs de texto, onde contextos mais longos são estritamente benéficos.

A significância do MURMUR reside em demonstrar que a inferência de passagem única não é necessária para alcançar a precisão de passagem única. Ao identificar o ponto operacional ideal para o tamanho do fragmento e explorar os padrões específicos de esparsidade de atenção dos tokens de fala, o MURMUR alcança o melhor dos dois mundos: a alta fidelidade dos modelos de longo contexto e a eficiência dos pipelines baseados em fragmentos. Os autores posicionam este trabalho como um passo em direção a estratégias de inferência conscientes de contexto para fala de longa duração, sugerindo que sistemas futuros podem generalizar essas descobertas à medida que os modelos de ASR de longo contexto de ponta a ponta se tornem mais prevalentes.

O artigo nota modestamente limitações, incluindo sua aplicabilidade atual apenas a modelos que produzem nativamente transcrições com atribuição de locutor e sua avaliação restrita ao inglês. Não pretende resolver todos os desafios do ASR de longa duração, mas oferece uma arquitetura de inferência eficiente específica para a classe emergente de modelos de ASR de longo contexto.