Resumo Técnico: DOA - Política de Atenção Decoder-Only Livre de Treinamento para Tradução Simultânea de Longa Duração

Declaração do Problema

A tradução simultânea de fala para texto (SimulST) requer uma política de streaming para decidir quando ler o áudio de origem e quando escrever os tokens de destino, equilibrando a qualidade da tradução com a latência. Embora os sistemas de última geração utilizem tipicamente arquiteturas de codificador-decodificador baseadas em atenção (AED), onde a atenção cruzada fornece sinais de alinhamento explícitos para guiar essas decisões, avanços recentes migraram para os Modelos de Linguagem de Fala de Grande Escala (SpeechLLMs). Esses modelos empregam arquiteturas apenas de decodificador (decoder-only) que dependem exclusivamente da autoatenção, carecendo de escores de atenção cruzada explícitos.

Essa mudança arquitetônica levanta uma questão crítica: O mecanismo de autoatenção nos SpeechLLMs decoder-only contém sinais de alinhamento suficientemente estáveis para guiar decisões de streaming? Além disso, as abordagens existentes para adaptar SpeechLLMs para SimulST frequentemente dependem de ajuste fino baseado em treinamento ou políticas heurísticas fixas (ex: wait-k) e não foram rigorosamente validadas em cenários de longa duração, onde os modelos devem processar contextos acústicos e textuais em crescimento contínuo.

Metodologia: Atenção Decoder-Only (DOA)

Para abordar essas lacunas, os autores propõem o Decoder-Only Attention (DOA), uma política livre de treinamento que permite a tradução simultânea de longa duração usando SpeechLLMs prontos para uso sem retreinamento.

1. Derivação de Alinhamento de Proxy

Como os modelos decoder-only processam fala e texto dentro de uma única sequência autorregressiva, os autores derivam uma matriz de atenção cruzada de proxy diretamente dos pesos de autoatenção do decodificador.

• Durante a geração autorregressiva, os pesos de autoatenção $A^{(l,h)}$ são extraídos para a camada $l$ e cabeça $h$ do decodificador, cobrindo uma sequência de $S$ tokens de áudio e $T$ tokens de texto gerados.
• Como os tokens de áudio ocupam o prefixo da sequência, os autores isolam a atenção direcionada ao contexto acústico: $\tilde{A}^{(l,h)} = A^{(l,h)}[:, : S]$.
• Isso resulta em uma matriz $\tilde{A} \in \mathbb{R}^{T \times S}$, análoga à matriz de atenção cruzada em modelos AED.
• O alinhamento de proxy final $\bar{A}$ é obtido pela média entre camadas e cabeças selecionadas.

2. Política de Decisão de Streaming

A política utiliza o alinhamento derivado para determinar quando emitir tokens:

• Para cada token gerado $t$, a posição de áudio alinhada $a_t$ é identificada como a posição que recebe o maior escore de atenção ($a_t = \arg\max_s \bar{A}_{t,s}$).
• Um hiperparâmetro de corte $f$ define o número de quadros de áudio recebidos mais recentemente considerados "acusticamente instáveis".
• Tokens alinhados a posições dentro dos últimos $f$ quadros são retidos, pois sua evidência acústica de suporte pode evoluir com o input futuro.
• Apenas tokens que satisfazem $a_t < S - f$ são comprometidos para a saída.

3. Adaptação de Longa Duração

Para lidar com fluxos de áudio ilimitados, o DOA implementa mecanismos de seleção de histórico para evitar o transbordamento de memória:

• Histórico Textual: Duas estratégias são avaliadas: (i) Palavras Fixas (mantendo os últimos $N$ tokens) e (ii) Pontuação (mantendo o texto após a pontuação forte mais recente).
• Histórico Acústico: O alinhamento de proxy é usado para podar quadros de áudio. Quadros alinhados exclusivamente com o histórico textual descartado são removidos, enquanto quadros alinhados com o prefixo preservado e novas hipóteses são mantidos.
• Tratamento de Casos Limite: Se a poda baseada em atenção falhar em descartar quadros e o histórico de áudio exceder uma duração predefinida (ex: 90s ou 120s), os quadros mais antigos são truncados para manter a memória limitada.

Principais Contribuições

1. Primeira Política Livre de Treinamento para SimulST Decoder-Only: O DOA é a primeira política que permite a tradução simultânea de longa duração com SpeechLLMs decoder-only prontos para uso, aproveitando a autoatenção como um sinal de alinhamento de proxy.
2. Validação da Estabilidade da Autoatenção: O trabalho investiga e confirma empiricamente que a autoatenção do decodificador fornece informações de alinhamento suficientemente estáveis para conduzir decisões de streaming, desafiando a suposição de que a atenção cruzada explícita é necessária.
3. Capacidade de Longa Duração: Diferente de trabalhos anteriores focados em enunciados pré-segmentados, o DOA é projetado para fluxos de áudio contínuos de longa duração com poda dinâmica de contexto.
4. Agnosticismo de Modelo: O framework requer apenas o acesso aos pesos de autoatenção do decodificador, tornando-o aplicável a qualquer SpeechLLM sem adaptação específica para a tarefa.

Resultados Experimentais

Os autores avaliaram o DOA no Phi4-Multimodal e Qwen3-Omni para tradução de Inglês para Alemão e Inglês para Italiano, comparando contra a linha de base StreamAtt aplicada ao modelo AED SeamlessM4T.

• Seleção de Histórico: A estratégia de Pontuação superou consistentemente as estratégias de Palavras Fixas tanto em qualidade (COMET) quanto em estabilidade através dos regimes de latência. Isso contrasta com as descobertas em sistemas AED, sugerindo que modelos decoder-only beneficiam-se mais da continuidade textual em nível de sentença.
• Análise de Camadas e Cabeças: A média do alinhamento de proxy através de todas as camadas e cabeças rendeu o desempenho mais robusto. A seleção de camadas específicas levou à instabilidade ou falha, enquanto cabeças específicas ofereceram apenas ganhos mínimos.
• Desempenho:
  • Os SpeechLLMs equipados com DOA alcançaram qualidade de tradução (escores COMET de até 0.828 para Qwen3-Omni en-it) próxima aos benchmarks de decodificação offline sem retreinamento.
  • Os modelos demonstraram um trade-off favorável entre latência e qualidade, superando consistentemente a linha de base AED StreamAtt.
  • O Qwen3-Omni cobriu uma ampla faixa operacional (400ms a 3.8s LongYAAL) com alta qualidade, enquanto o Phi4-Multimodal ofereceu uma gestão de latência mais fácil.

Significância e Alegações

O artigo afirma que o DOA consegue reaproveitar SpeechLLMs offline para tradução simultânea sem retreinamento, demonstrando que a autoatenção do decodificador pode servir como um sinal de alinhamento eficaz para decisões de streaming. Os autores enfatizam que esta abordagem se generaliza entre diferentes famílias de modelos (densos vs. MoE) e arquiteturas, fornecendo um mecanismo simples e eficaz para SimulST de longa duração.

O trabalho destaca que o alinhamento baseado em atenção não é exclusivo de modelos encoder-decoder e pode ser adaptado para arquiteturas decoder-only. No entanto, os autores mantêm a modéstia quanto ao seu escopo, observando limitações como a avaliação restrita a fala de origem em inglês, o uso de línguas alvo de escrita latina e a falta de comparações de latência computacionalmente conscientes devido a ambientes de GPU heterogêneos. Eles declaram explicitamente que a generalização para línguas logográficas ou morfologicamente ricas permanece uma questão aberta.