Streaming Translation and Transcription Through Speech-to-Text Causal Alignment

Resumo Técnico: Hikari – Tradução e Transcrição em Streaming via Alinhamento Causal

1. O Problema

A tradução simultânea de fala (SiMT) tradicional enfrenta um dilema fundamental entre latência (atraso) e qualidade (precisão).

• Desafio Sintático: Em pares de idiomas com estruturas divergentes (ex: Inglês SVO vs. Japonês SOV), o tradutor precisa "segurar" informações iniciais (como o sujeito e o verbo) até que o contexto completo seja revelado para evitar erros de estruturação.
• Limitações Atuais:
  • Sistemas Cascata: Dependem de modelos de tradução offline combinados com heurísticas humanas (como "wait-k") ou políticas aprendidas separadas. Essas abordagens são rígidas e frequentemente falham em lidar com a complexidade sintática, gerando alucinações ou atrasos excessivos.
  • Políticas Externas: A maioria dos sistemas requer módulos de decisão externos para determinar quando ler (READ) e quando escrever (WRITE), o que complica o treinamento e a inferência.

O objetivo é criar um sistema end-to-end (ponta a ponta) que realize tradução e transcrição simultâneas sem depender de políticas externas ou heurísticas manuais, aprendendo implicitamente quando esperar e quando traduzir.

2. Metodologia: O Modelo Hikari

O Hikari é um modelo de aprendizado profundo que unifica a decisão de leitura/escrita na própria distribuição de probabilidade do próximo token, eliminando a necessidade de um controlador externo.

Arquitetura e Modificações Chave:
Baseado no encoder-decoder Transformer do Whisper, o Hikari introduz três modificações críticas para permitir o processamento nativo em streaming:

1. Token WAIT Especial: A decisão de "ler" (aguardar mais áudio) ou "escrever" (emitir tradução) é codificada no vocabulário.
   • Emissão de um token WAIT $\rightarrow$ Ação de READ (o modelo processa mais áudio).
   • Emissão de um token de texto $\rightarrow$ Ação de WRITE (o modelo emite tradução).
   • Isso cria um modelo de linguagem condicionado ao áudio que aprende implicitamente a política de sincronização.
2. Máscaras Causais:
   • Encoder: Máscara triangular inferior para garantir que o encoder só veja o áudio passado/presente (ingestão incremental).
   • Cross-Attention (Decoder-Encoder): Máscara causal dilatada para garantir monotonicidade temporal estrita, impedindo que o decoder "vaze" informações futuras do encoder.
3. Dilatação de Tempo do Decoder (Decoder Time Dilation - D):
   • Para evitar que o modelo gere uma sequência interminável de tokens WAIT (o que ocorreria se $D=1$, já que o áudio é muito mais denso que o texto), o tempo do decoder é "dilata".
   • O parâmetro D define quantos embeddings de áudio correspondem a um passo de geração do decoder. O valor ótimo encontrado foi D=4, equilibrando a precisão do alinhamento causal com a eficiência computacional e a densidade de tokens.

Treinamento e Dados:

• Alinhamento Causal: Como dados reais de interpretação simultânea profissional são raros, os autores criaram um pipeline para gerar dados sintéticos. Eles alinham palavras de origem e destino baseando-se em similaridade de embeddings e timestamps, inserindo tokens WAIT para garantir que a "hora lógica" da saída corresponda à chegada física do áudio.
• Ajuste Fino Supervisionado (SFT): Para corrigir a tendência do modelo de gerar pausas excessivas (latência drift), foi desenvolvido um método de SFT. O modelo é treinado em amostras onde atrasos artificiais são introduzidos, forçando-o a aprender a "recuperar" (burst) e emitir tokens rapidamente para recuperar o atraso, sem sacrificar a qualidade.

3. Principais Contribuições

1. Abordagem Livre de Políticas (Policy-Free): Um framework unificado de fala-para-texto que aprende tradução e transcrição simultaneamente sem heurísticas externas ou controladores de política.
2. Mecanismo de Token WAIT: Unifica o "o quê" (tradução) e o "quando" (política) em um único framework probabilístico.
3. Dilatação de Tempo do Decoder: Uma técnica inovadora para reduzir a sobrecarga autoregressiva e equilibrar a distribuição de treinamento entre tokens WAIT e tokens de texto.
4. Estratégia de Recuperação de Atraso: Um método de SFT que ensina o modelo a minimizar a latência e recuperar-se de desvios de tempo durante a inferência.
5. Acesso Aberto: Disponibilização dos pesos do modelo e do código para fomentar a pesquisa em modelagem de sequências em streaming.

4. Resultados

O modelo foi avaliado em pares de idiomas Inglês-Japonês, Inglês-Alemão e Inglês-Russo, tanto em cenários de baixa latência (LL) quanto alta latência (HL).

• Desempenho (BLEU): O Hikari estabeleceu novos State-of-the-Art (SOTA) em todos os pares de idiomas e regimes de latência testados, superando baselines recentes de competições como a IWSLT 2025.
  • Exemplo: No conjunto de dados HQ Podcasts (Inglês-Japonês), o Hikari alcançou um BLEU de 49.10 com uma latência média (StreamLAAL) de 2.20s, superando significativamente modelos anteriores.
• Trade-off Qualidade-Latência: A curva de Pareto do modelo com SFT deslocou-se para a esquerda, indicando que o modelo consegue manter a mesma qualidade de tradução com latências menores do que a versão pré-treinada.
• Transcrição (ASR): Embora focado em tradução, o modelo demonstrou competência em ASR em streaming, embora com desempenho inferior em dados fora da distribuição (ruídos específicos) devido ao tamanho menor do conjunto de dados de treinamento em comparação com modelos dedicados massivos.
• Ablação:
  • O modelo Hikari-small teve desempenho inferior, indicando que a capacidade do modelo é crucial para gerenciar a política implícita.
  • Remover a tarefa de ASR do treinamento degradou significativamente a tradução, provando que a ASR fornece o "ancoramento acústico" necessário para o alinhamento causal preciso.

5. Significado e Impacto

O trabalho do Hikari representa um avanço significativo na área de Tradução Automática Simultânea (SiMT) ao demonstrar que é possível eliminar a complexidade de sistemas modulares e heurísticas manuais.

• Simplicidade Arquitetural: Ao embutir a lógica de decisão diretamente no modelo, simplifica-se o pipeline de inferência, tornando-o mais robusto e escalável.
• Aplicabilidade Real: O modelo é capaz de operar em tempo real (RTF < 1.0) em GPUs modernas, tornando-o viável para uso em conferências internacionais, educação e comunicação cross-lingual em tempo real.
• Futuro: O sucesso da abordagem "livre de políticas" sugere que modelos maiores e mais complexos podem aprender estratégias de interpretação sofisticadas (como a paciência sintática necessária para pares de idiomas divergentes) apenas através de dados alinhados causalmente, sem necessidade de engenharia de regras explícitas.

Em resumo, o Hikari redefine o estado da arte ao provar que um modelo end-to-end, treinado com alinhamento causal e ajustado para recuperação de latência, pode superar sistemas complexos baseados em múltiplos componentes e heurísticas.