Resumo Técnico: Tradução de Fala para Texto em Streaming com um SpeechLLM

Declaração do Problema

Os sistemas atuais para traduzir fala em texto em outro idioma geralmente dependem de uma arquitetura em cascata: um reconhecedor de fala produz uma transcrição, que é então alimentada em um sistema de tradução de texto para texto. Embora avanços recentes tenham permitido que "SpeechLLMs" (Modelos de Linguagem Grandes condicionados a áudio de fala) realizem tradução de ponta a ponta, as implementações existentes falham em operar de forma verdadeiramente em streaming real.

A maioria dos SpeechLLMs existentes ou aguarda uma utterância completa antes de gerar saída ou depende de políticas fixas (como "wait-k") que emitem tokens em intervalos fixos com base em blocos de áudio. Essas políticas fixas são inadequadas para cenários do mundo real, onde a velocidade da fala, as pausas e o ruído de fundo variam. Especificamente:

• Políticas Fixas: Se um microfone abrir antes do início da fala, ou se um falante hesitar, políticas fixas forçam o modelo a alucinar saída ou ficar para trás, levando à degradação da qualidade da tradução ou à perda de frases.
• Eficiência Energética: Modelos em streaming existentes que emitem tokens de "aguardar" para solicitar mais áudio frequentemente incorrem em altos custos energéticos em dispositivos de borda, pois exigem avaliações completas e frequentes do grande modelo de linguagem (LLM).

Metodologia

1. Arquitetura "Intermixada"

O artigo propõe uma arquitetura inovadora onde o próprio LLM aprende uma política de espera. Em vez de um módulo separado decidir quando esperar, o LLM é treinado para emitir dois tipos de tokens:

• Tokens de Texto: A saída de tradução real.
• Tokens de Espera ($W$): Sinais indicando que o modelo precisa de mais áudio antes de prosseguir.

Neste modelo "intermixado", a sequência de entrada alterna entre vetores de fala codificados (de um codificador de fala) e tokens de texto, espelhando a sequência de saída que intercala tokens de texto e tokens de espera. O modelo aprende a decidir, com base no áudio parcial visto até o momento, se possui informações suficientes para emitir um token de tradução ou deve esperar pelo próximo bloco de áudio.

2. Alinhamento ao Nível de Frases para Treinamento

Um desafio crítico no treinamento de sistemas em streaming é determinar quando emitir palavras específicas. Métodos padrão de alinhamento ao nível de palavras (por exemplo, SimAlign) frequentemente falham para pares de idiomas linguisticamente distantes (por exemplo, inglês e coreano) porque os conceitos não mapeiam um para um.

• Solução Proposta: Os autores geram alinhamentos ao nível de frases usando um LLM com poucos exemplos (few-shot prompting).
• Mecanismo: Os textos de origem e destino são alinhados frase por frase. Todas as palavras em uma frase de destino são alinhadas à palavra final da frase de origem correspondente. Isso garante que o modelo emita uma palavra de destino apenas após ouvir o áudio de origem necessário, prevenindo a geração prematura.
• Objetivo de Treinamento: O modelo é treinado para maximizar a probabilidade de uma única sequência de passos ótima (uma mistura de decisões de espera e emissão) derivada desses alinhamentos.

3. Política de Espera com Saída Antecipada para Eficiência Energética

Para abordar o custo energético das chamadas frequentes ao LLM causadas por tokens de espera, os autores introduzem uma política de espera com saída antecipada.

• Mecanismo: Um cabeçalho leve (derivado das primeiras camadas do LLM) toma uma decisão preliminar: Esperar ($W$) ou Emitir ($E$).
• Operação:
  • Se a política decidir Esperar, o LLM completo não é avaliado, economizando computação significativa.
  • Se a política decidir Emitir, o LLM completo é avaliado para gerar zero ou mais tokens de texto seguidos por um token de espera.
• Compromisso: Isso permite um equilíbrio ajustável entre latência e consumo de energia sem comprometer a qualidade da tradução, pois o LLM completo retém a autoridade final para anular uma decisão de "emitir" se determinar que mais áudio é necessário.

4. Métricas de Avaliação

O artigo critica métricas de latência padrão como "atraso médio" por suas inconsistências com a fala em streaming (por exemplo, tratamento de emissões pós-áudio e utterâncias curtas). Em vez disso, propõe a Latência Lógica Média, que mede o tempo médio em que um token é emitido em relação a uma linha de base teórica onde os tokens são gerados uniformemente ao longo da duração do áudio.

Resultados Principais

Experimentos foram conduzidos em tarefas de tradução de inglês para francês, inglês para coreano e inglês para alemão, usando conjuntos de dados como CoLiMu e Fleurs.

• Latência vs. Qualidade: O SpeechLLM intermixado alcança uma latência de 1–2 segundos enquanto mantém a qualidade da tradução (pontuação COMET) próxima às linhas de base offline não em streaming. Ele supera significativamente os sistemas existentes de política fixa (Bestow com wait-k) e políticas dinâmicas (AlignAtt) no compromisso entre latência e qualidade.
• Robustez: Ao contrário dos modelos de política fixa, que sofrem falha catastrófica (alucinações) quando a entrada contém silêncio ou ruído (testado no conjunto de dados "SilFleurs"), o modelo intermixado adapta-se dinamicamente, mantendo qualidade consistente.
• Eficiência Energética: A política de saída antecipada reduz o número de chamadas ao LLM. Para inglês para coreano, ajustar a penalidade de espera reduziu o uso de energia de 1,55 para 1,16 tokens por token de saída, mantendo a latência estável em ~2,3 segundos.
• Estratégia de Alinhamento: O alinhamento ao nível de frases proposto supera significativamente o alinhamento ao nível de palavras (SimAlign). A supervisão ao nível de palavras levou à geração prematura e à degradação da qualidade, enquanto a supervisão ao nível de frases forneceu rótulos de tempo confiáveis.

Significado e Alegações

O artigo afirma abordar a lacuna no streaming adaptativo em tempo real para SpeechLLMs. Suas principais contribuições são:

1. Uma Política de Espera Aprendida: Abandonar políticas fixas e rígidas por um modelo que aprende quando esperar com base no conteúdo de áudio, permitindo verdadeira adaptabilidade às variações de fala do mundo real.
2. Supervisão ao Nível de Frases: Um método para gerar dados de treinamento que lida com as complexidades das estruturas de frases entre idiomas, essencial para tradução em streaming de alta qualidade entre idiomas diversos.
3. Streaming Consciente de Energia: A introdução da política de saída antecipada demonstra que sistemas em streaming podem ser otimizados para dispositivos de borda, reduzindo o consumo de energia sem sacrificar os benefícios de baixa latência do streaming.

Os autores concluem que seu sistema oferece um equilíbrio superior de baixa latência, alta qualidade de tradução e robustez em comparação com políticas fixas ou dinâmicas existentes, tornando-o um candidato viável para implantação no mundo real em aplicações como tradução móvel.