Efficient Punctuation Restoration via Weighted Lookahead Scoring Method for Streaming ASR Systems

Resumo Técnico: Restauração de Pontuação Eficiente via Pontuação de Lookahead Ponderada para ASR de Streaming

Declaração do Problema
Sistemas de Reconhecimento Automático de Fala (ASR) frequentemente produzem sequências de palavras sem pontuação, o que prejudica a legibilidade e complica tarefas subsequentes, como a divisão de sentenças e tradução. Modelos de Linguagem de Grande Escala (LLMs) podem restaurar a pontuação via geração baseada em prompts, mas essa abordagem é inadequada para ambientes de ASR de streaming. Métodos baseados em geração frequentemente reescrevem o transcrito, causando desalinhamento com a sequência de palavras original e levando a erros de rotulagem em cascata sob avaliação por fronteira (boundary-wise). Além disso, a geração autorregressiva incorre em alta latência e comprimentos de decodificação imprevisíveis, violando as estritas restrições de latência de aplicações de streaming em tempo real. Modelos offline existentes dependem de contexto bidirecional de frase completa, o qual não está disponível em cenários de streaming, onde as decisões devem ser tomadas online com contexto futuro limitado.

Metodologia: Pontuação de Lookahead Ponderada (Weighted Lookahead Scoring)
Os autores propõem uma estrutura de pontuação não autorregressiva, projetada especificamente para restrições de streaming. Em vez de gerar uma nova sentença, o método preserva o transcrito de entrada e toma uma decisão em cada fronteira de palavra sobre se deve inserir um sinal de pontuação (Vírgula, Ponto Final, Ponto de Interrogação) ou nenhuma pontuação (∅).

O mecanismo central envolve um lookahead de K-subtokens limitado:

1. Teste de Hipótese: Em cada fronteira $i$, o sistema avalia um conjunto de ações candidatas $a \in \{VÍRGULA, PONTO\_FINAL, PONTO\_INTERROGACAO, \emptyset\}$.
2. Função de Pontuação: O LLM (especificamente o Llama-3.2-1B) atua como um motor de pontuação ao nível de token, em vez de um gerador. A pontuação $S_i(a)$ para uma ação candidata é calculada usando uma combinação ponderada de dois termos:
   • Prior Local: $\log P(a | w_{1:i})$, representando a preferência por um sinal de pontuação com base no prefixo.
   • Evidência de Lookahead: $\log P(w_{i+1:i+K} | w_{1:i}, a)$, medindo a consistência do sufixo futuro limitado dada a inserção da ação $a$.
   • A fórmula é: $S_i(a) = \alpha \log P(a | w_{1:i}) + (1-\alpha) \log P(w_{i+1:i+K} | w_{1:i}, a)$.
3. Regra de Decisão: O sistema seleciona a melhor candidata não vazia $a^*_i$ e a compara com a linha de base de não-inserção ($\emptyset$). A pontuação é inserida apenas se a margem $\Delta_i = S_i(a^*_i) - S_i(\emptyset)$ exceder um limiar $\tau$ calibrado em validação.
4. Calibragem: O peso $\alpha$ e o limiar $\tau$ são ajustados em um conjunto de validação, mas permanecem fixos durante a inferência, não exigindo atualizações de parâmetros em tempo de execução.

Principais Contribuições

1. Estrutura Não Autorregressiva: O artigo introduz uma abordagem de pontuação que evita a geração de texto livre, preservando assim a sequência de palavras original e garantindo um alinhamento rigoroso de fronteiras.
2. Compatibilidade com Streaming: Ao utilizar um orçamento de lookahead limitado ($K$) e pontuar um conjunto fixo de ações, o método fornece um orçamento de latência previsível, evitando o comprimento de decodificação variável da geração autorregressiva.
3. Desempenho com Modelos Compactos: O estudo demonstra que um LLM compacto de 1 bilhão de parâmetros (Llama-3.2-1B), usado puramente como pontuador sem ajuste fino, alcança um forte desempenho. O método também suporta ajuste fino via LoRA para ganhos adicionais.
4. Validação Empírica: A abordagem é avaliada no dataset IWSLT 2017 English, mostrando robustez contra o desvio de formatação e falhas de alinhamento comuns em baselines baseados em prompt.

Resultos Experimentais
O método foi avaliado no conjunto de teste IWSLT 2017 English usando uma métrica Macro F1 de 4 classes (incluindo a classe "Nenhum").

• Sem Ajuste Fino (No-Fine-Tuning): Usando o Llama-3.2-1B pré-treinado com um lookahead de $K=2$, o método alcançou um Macro F1 de 0,893. Isso superou significativamente o baseline de prompt do Llama-3.2-1B-Instruct (0,566) e o baseline ajustado do ELECTRA-small (0,913) sob a mesma restrição de $K=2$.
• Ajustado (Fine-Tuned): Após o ajuste fino do modelo Llama com LoRA, o Macro F1 melhorou para 0,937 (com $K=2$), superando o baseline ajustado do ELECTRA (0,913).
• Ablação de Lookahead ($K$): Experimentos mostraram que o lookahead é crítico. Sem lookahead ($K=0$), o desempenho caiu significativamente (Macro F1 0,646). O desempenho atingiu o pico em $K=2$ (0,937), com retornos decrescentes para $K > 2$.
• Análise de Erros: Matrizes de confusão revelaram que o lookahead limitado reduziu substancialmente os falsos positivos (ex: inserindo vírgulas onde não existiam) e falsos negativos (perdendo vírgulas reais) em comparação com a configuração $K=0$.

Significância e Alegações
O artigo alega que a pontuação de LLM apenas para inferência oferece uma alternativa robusta e eficaz para a restauração de pontuação em configurações de streaming. Ao desacoplar o processo de decisão da reescrita do transcrito, o método garante que a avaliação por fronteira permaneça bem definida e diretamente comparável entre sistemas. Os autores enfatizam que esta abordagem fornece um orçamento de latência previsível, tornando-a prática para pipelines de legendagem em tempo real, onde a estabilidade de tempo de execução e a confiabilidade do alinhamento são tão críticas quanto a precisão bruta.

Os autores observam modestamente que sua avaliação é atualmente limitada ao dataset IWSLT 2017 English e ainda não inclui transcritos de ASR ruidosos ou medições de latência/memória de nível de sistema, que identificam como direções para trabalhos futuros.