AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IWSLT 2026 Simultaneous Speech Translation Task

Resumo Técnico: AlignAtt4LLM

Problema
O artigo aborda o desafio de adaptar Modelos de Linguagem de Grande Escala (LLMs) offline, apenas decodificadores (decoder-only), para tradução simultânea de fala (SST). As políticas simultâneas tradicionais como o AlignAtt (Papi et al., 2023, 2024) dependem da atenção cruzada (cross-attention) entre codificador e decodificador para determinar quando um prefixo de origem é suficiente para gerar um token de destino. Os LLMs apenas decodificadores carecem desse mecanismo explícito de atenção cruzada, pois processam o texto de origem e de destino dentro de um único fluxo de autoatenção causal. Consequentemente, aplicar o AlignAtt padrão a modelos apenas decodificadores não é diretamente viável. Além disso, as políticas simultâneas existentes para modelos apenas decodificadores, como o LocalAgreement, frequentemente introduzem maior latência e não aproveitam os sinais internos de atenção do modelo. Os autores visam preencher essa lacavra, permitindo que um LLM offline de alta qualidade opere em um modo simultâneo de baixa latência sem treinar o modelo para direções linguísticas específicas.

Metodologia
O sistema proposto, AlignAtt4LLM, é um cascata síncrona consistindo de dois componentes principais:

1. Componente ASR: Utiliza o Qwen3-ASR (1.7B) para transcrição e o Qwen3-ForcedAligner (0.6B) para atribuir tempos de início e fim por palavra. O sistema opera de maneira baseada em chunks, retranscrevendo a cauda de áudio ao vivo em cada limite de chunk para estabilizar as hipóteses.

2. Componente MT: Utiliza o Gemma-4 E4B-it servido via vLLM. A inovação central reside na adaptação da política AlignAtt para esta arquitetura apenas decodificadora através de quatro mecanismos técnicos específicos:

   • Intervalo de Origem Explícito no Prompt: Como os modelos apenas decodificadores carecem de atenção cruzada, os autores estruturam o prompt causal para separar explicitamente a transcrição de origem do histórico de destino. O prompt concatena o prompt de sistema, a transcrição de origem ao vivo ($s^{(k)}$), a instrução de tradução, o prefixo de destino aceito ($y_{1:m_k}$) e o rascunho atual ($\hat{y}^{(k)}$). Isso permite que a política identifique o intervalo de origem dentro da matriz de autoatenção.
   • Seleção Offline de Cabeças de Tradução Específicas: Nem todas as cabeças de autoatenção contribuem para o alinhamento da tradução. Seguindo Liu et al. (2026), os autores realizam uma calibração offline usando texto paralelo não utilizado e alinhamentos do GPT-5-mini para pontuar as cabeças via Pontuação de Tradução (TS). Eles retêm as 8 melhores cabeças por par de idiomas, que estão concentradas nas camadas posteriores do backbone.
   • Replay Seletivo $qk$-fast: O tempo de execução vLLM implantado funde kernels de atenção, ocultando a matriz de atenção completa $n \times n$. Para acessar os sinais de alinhamento necessários, os autores implementam um observador de tempo de execução que captura os tensores exatos de query ($Q$) e key ($K$) consumidos pelo módulo de atenção após a normalização e o embedding de posição rotativa (RoPE). Em vez de reconstruir a matriz completa, o sistema realiza um "replay seletivo $qk$-fast", recomputando apenas o bloco específico de scores de atenção entre os tokens de rascunho e o intervalo de origem ($\hat{A}_{D, S^{(k)}}$). Isso garante saídas bit-idênticas ao modelo não modificado, evitando o custo computacional da reconstrução total da atenção.
   • Captura de Query/Key em Tempo de Execução: Para garantir que o observador sobreviva à otimização de grafo (ex: eliminação de código morto), uma dependência sentinela de valor zero é adicionada à saída da atenção. Isso mantém o caminho de captura no fan-in vivo do grafo sem alterar os resultados numéricos.

Política de Aceitação
A política varre os tokens rascunhados da esquerda para a direita, aceitando um prefixo enquanto o sinal de alinhamento permanecer dentro da "fronteira de origem acessível". A decisão é baseada em:

1. Verificação da Fronteira de Origem: O argmax da linha de atenção reconstruída não deve exceder o número de palavras de origem acessíveis mais uma margem ($b=1$).
2. Massa de Proveniência: A soma da massa de atenção direcionada aos tokens de origem acessíveis ($\pi^{acc}_t$) é calculada.
3. Estabilização: O sistema aplica estatísticas de prefixo online (Welford) e um filtro de mediana para estabilizar o pico de alinhamento antes de tomar uma decisão.

Principais Contribuições

1. Primeira Aplicação de AlignAtt a LLMs Apenas Decodificadores: O artigo demonstra que o AlignAtt pode ser aplicado com sucesso a arquiteturas apenas decodificadoras ao recuperar o sinal de alinhamento da autoatenção em vez da atenção cruzada.
2. Implementação Compatível com Tempo de Execução: Os autores propõem um método para capturar e reproduzir sinais de atenção em um ambiente de kernel fundido de nível de produção (vLLM) sem modificar os pesos do modelo ou exigir a materialização da matriz de atenção completa.
3. Seleção Eficiente de Cabeças: O sistema mostra que um conjunto esparso de cabeças de atenção calibradas offline é suficiente para impulsionar a política simultânea, reduzindo significativamente o overhead computacional do processo de replay em comparação ao uso de todas as cabeças.

Resultos
Avaliado na tarefa de Tradução Simultânea de Fala IWSLT 2026 (Inglês para Alemão, Italiano e Chinês):

• Desempenho: O AlignAtt4LLM supera as linhas de base de sem contexto fornecidas tanto no regime de baixa latência (~2s CU-LongYAAL) quanto no de alta latência (<4s) para Inglês-Alemão e Inglês-Italiano.
• Tradução para Chinês: Os resultados para Inglês-Chinês são mistos; embora os scores de chrF sejam competitivos, os scores BLEU e XCOMET-XL favorecem ligeiramente a linha de base. Os autores atribuem isso em parte ao desempenho mais fraco do backbone Gemma-4 em Chinês, em vez de ser um problema da política.
• Latência vs. Qualidade: O sistema alcança um ponto operacional estável de baixa latência, oferecendo também um regime de alta latência com qualidade de tradução significativamente melhorada.
• Eficiência: O replay seletivo usando apenas 8 cabeças incorre em um overhead mínimo (mediana de 25,4 ms/token) comparado a implementações eagerly (63,7 ms/token), confirmando a praticidade da abordagem.

Significância e Alegações
O artigo afirma que o AlignAtt4LLM é o primeiro sistema a aplicar com sucesso a política AlignAtt a um LLM apenas decodificador. Argumenta-se que o método não está vinculado ao modelo Gemma-4 específico; como a política depende apenas de um layout de prompt determinístico, cabeças de atenção calibradas e captura de query/key, ela pode ser portada para backbones de apenas decodificador mais fortes e focados em tradução (ex: HY-MT-1.5, MiLMMT-46) para potencialmente melhorar o desempenho em línguas não europeias. O trabalho demonstra que modelos offline de alta qualidade podem ser efetivamente reaproveitados para tradução simultânea sem treinamento dedicado, desde que o sinal de alinhamento possa ser extraído corretamente do substrato de autoatenção.