Distilling Conversations: Abstract Compression of Conversational Audio Context for LLM-based ASR

1. Problema e Motivação

Os sistemas de Reconhecimento Automático de Fala (ASR) baseados em Grandes Modelos de Linguagem (LLMs) modernos processam frequentemente cada enunciado de forma isolada, ignorando o contexto conversacional prévio. No entanto, em cenários reais (assistentes de voz, atendimento ao cliente, reuniões), a interpretação correta de uma fala depende frequentemente de turnos anteriores para resolver ambiguidades, identificar entidades nomeadas (nomes, locais) e ajustar a pronúncia específica do falante.

O desafio central identificado pelos autores é a ineficiência de recursos ao tentar incorporar esse contexto multimodal. Em LLMs baseados em áudio, o contexto prévio é representado por longas sequências de tokens de áudio. À medida que a conversa cresce, o tamanho do prompt aumenta rapidamente, gerando custos elevados de cache (KV cache), latência e gargalos de memória durante a inferência. A questão de pesquisa é: o contexto conversacional multimodal realmente melhora o ASR baseado em LLM e, se sim, como representar esse contexto de forma eficiente sem perder os benefícios?

2. Metodologia: Compressão Abstrata (Abstract Compression)

Os autores propõem uma nova abordagem chamada Compressão Abstrata para reduzir a pegada de tokens do contexto prévio, mantendo a informação essencial.

• Abordagem Híbrida: O método substitui a sequência de áudio de alta resolução dos turnos anteriores por um número fixo de tokens latentes aprendidos, enquanto mantém as transcrições (texto) desses turnos explícitas e não comprimidas. Como o texto é muito mais compacto que o áudio, isso reduz drasticamente o custo computacional.
• Mecanismo de Compressão: Utiliza um mecanismo de atenção cruzada (cross-attention) aprendível. Para cada turno de contexto, uma matriz de consulta (query) específica aprende a mapear a sequência variável de tokens de áudio original ($X_i$) para um conjunto fixo de $K$ tokens latentes ($Z_i$).
• Estratégia de Treinamento em Duas Etapas:
  1. Alinhamento (Stage 1): Um módulo de compressão é treinado para reconstruir a transcrição a partir dos tokens de áudio comprimidos em uma tarefa de ASR de turno único. O modelo base (LLM) permanece congelado; apenas o módulo de compressão é otimizado.
  2. Ajuste Fino Contextual (Stage 2): O modelo é ajustado finamente para tarefas de ASR de múltiplos turnos usando a entrada comprimida. Utiliza-se um curriculum learning onde o número de turnos de contexto aumenta progressivamente durante o treinamento. O módulo de compressão e os parâmetros LoRA do áudio do LLM são otimizados conjuntamente.

3. Principais Contribuições

1. Validação do Contexto Multimodal: Demonstram que o contexto conversacional multimodal (áudio + texto) melhora o desempenho do ASR baseado em LLM, mas apenas após um ajuste fino supervisionado em múltiplos turnos. O simples uso de prompting na inferência sem treinamento prévio degrada o desempenho.
2. Introdução da Compressão Abstrata: Apresentam um método que comprime o áudio de turnos anteriores em um orçamento fixo de tokens latentes, preservando as transcrições textuais. Isso permite recuperar parte dos ganhos do contexto completo com uma fração significativa do custo de tokens.
3. Análise de Trade-offs: Fornecem estudos de ablação detalhados sobre o tamanho do gargalo (número de tokens latentes), dados de treinamento e o impacto do comprimento do contexto na eficiência e precisão.

4. Resultados Experimentais

Os experimentos foram conduzidos em conjuntos de dados in-domain (DefinedAI) e out-of-domain (WoW), utilizando o modelo PHI-4-MULTIMODAL como base.

• Desempenho do Contexto Cru: O ajuste fino em múltiplos turnos com contexto de áudio completo melhorou significativamente a precisão, especialmente para entidades contextuais (medido pela métrica Bias-WER). Por exemplo, no conjunto WoW, o Bias-WER caiu de 25,6% (sem contexto) para 23,3% (com contexto cru).
• Eficácia da Compressão Abstrata: O modelo comprimido recuperou uma parte substancial desses ganhos. No conjunto WoW, o modelo comprimido atingiu um Bias-WER de 24,5%, superando a linha de base sem contexto (25,6%) e aproximando-se do modelo de contexto cru (23,3%), mas com um custo de tokens muito menor.
• Análise de Entidades: Os ganhos foram mais pronunciados na métrica Bias-WER do que no WER geral, confirmando que o contexto (comprimido ou não) é crucial para a recuperação de nomes, locais e termos específicos.
• Tamanho do Gargalo ($K$): Aumentar o número de tokens latentes ($K$) de 4 para 16 melhorou consistentemente o desempenho. $K=16$ ofereceu o melhor equilíbrio, capturando a maior parte da informação contextual necessária.
• Estabilidade: A compressão torna o custo de inferência mais previsível e estável, independentemente da duração variável dos turnos anteriores.

5. Significado e Conclusão

O trabalho estabelece que o contexto conversacional multimodal é valioso para o ASR, mas seu uso direto é proibitivamente caro em termos de recursos computacionais. A Compressão Abstrata oferece uma solução prática, permitindo que sistemas de ASR baseados em LLMs aproveitem o histórico da conversa para melhorar a precisão (especialmente em entidades raras) sem sofrer com o crescimento exponencial do tamanho do prompt.

A descoberta de que a compressão do áudio é mais crítica do que a compressão do texto (que já é compacto) e que o alinhamento específico do domínio (in-domain) é mais importante para a etapa final do que a reconstrução perfeita de áudio isolada, fornece diretrizes claras para o desenvolvimento futuro de sistemas de diálogo eficientes e de baixa latência.