Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition

O artigo apresenta o Uni-ASR, uma arquitetura unificada baseada em Grandes Modelos de Linguagem (LLMs) que integra reconhecimento de fala em modo não streaming e streaming através de um paradigma de treinamento conjunto e estratégias de decodificação, permitindo transições suaves entre os modos e alta precisão com baixa latência.

O essencial

Imagine que você tem um tradutor de voz super inteligente, um "gênio" que consegue ouvir o que você diz e escrever o texto perfeito. O problema é que, na vida real, a gente não pode esperar esse gênio ouvir toda a frase inteira antes de começar a escrever. Se você estiver fazendo uma chamada de vídeo ao vivo, o texto precisa aparecer na tela quase instantaneamente, enquanto você ainda está falando.

Aqui está o que o Uni-ASR faz, explicado de forma simples:

1. O Problema: O "Gênio" vs. O "Corredor"

Antes dessa pesquisa, existiam dois tipos de sistemas de reconhecimento de voz:

• O "Gênio" (Não-Streaming): Ele ouve a frase inteira, pensa muito, analisa o contexto e escreve a resposta perfeita. É muito preciso, mas lento. É como um aluno que só entrega a prova depois de revisar tudo.
• O "Corredor" (Streaming): Ele escreve o que ouve palavra por palavra, na hora. É rápido, mas como ele não tem o contexto completo, ele comete mais erros (como escrever "pão" em vez de "bão" porque não ouviu a frase inteira).

Até agora, para ter um sistema que fosse rápido e preciso, você precisava de dois robôs diferentes ou de truques complexos que deixavam o sistema lento ou confuso.

2. A Solução: O "Camaleão" Uni-ASR

Os pesquisadores criaram o Uni-ASR. Pense nele como um camaleão ou um ator de teatro que pode mudar de personagem instantaneamente sem trocar de roupa.

• Um único cérebro: Eles criaram um único modelo (baseado em uma Inteligência Artificial chamada LLM) que sabe fazer as duas coisas: ouvir tudo de uma vez (para máxima precisão) OU ouvir em pedaços (para velocidade).
• A mágica do treinamento: Eles ensinaram esse "ator" a praticar de duas formas ao mesmo tempo. Às vezes ele pratica ouvindo a frase toda, e às vezes ele pratica ouvindo apenas um pedaço e tentando adivinhar o resto, sabendo que pode ter que corrigir depois.

3. O Truque do "Correção Instantânea" (Fallback)

A parte mais criativa é como eles lidam com a velocidade.

Imagine que você está ditando um texto para um amigo. O amigo escreve rápido, mas às vezes ele erra a última palavra porque ainda não ouviu a próxima.

• O jeito antigo: O amigo escreve a palavra errada e espera você terminar a frase para corrigir tudo de uma vez (o que atrasa).
• O jeito Uni-ASR: O amigo escreve a palavra, mas se ele sentir que a próxima frase pode mudar o sentido, ele apaga a última palavra e espera o próximo pedaço de áudio chegar. Assim que o próximo pedaço chega, ele reescreve a última palavra com a informação nova.

Isso é o que chamam de "Estratégia de Fallback". É como se o sistema dissesse: "Escrevi isso, mas vou manter essa última letra em 'suspenso' até ouvir mais um pouco para ter certeza." Isso permite que o sistema seja rápido, mas sem perder a precisão, porque ele tem permissão para corrigir o que acabou de escrever.

4. Por que isso é importante?

• Para quem precisa de velocidade: Se você está usando legendas ao vivo em uma reunião ou assistindo a um vídeo, o texto aparece quase na mesma velocidade que a fala, sem travar.
• Para quem precisa de precisão: Mesmo sendo rápido, ele não comete os erros bobos dos sistemas antigos, porque ele usa a inteligência de um "gênio" (LLM) para entender o contexto.
• Economia: Em vez de ter dois sistemas caros rodando no servidor (um para cada modo), você só precisa de um. É como ter um carro que é tanto um esportivo quanto um caminhão de carga, dependendo de como você dirige.

Resumo em uma frase

O Uni-ASR é um sistema de reconhecimento de voz que usa uma única inteligência artificial para ser tão preciso quanto um sistema que espera o fim da frase e tão rápido quanto um sistema que escreve enquanto você fala, corrigindo seus próprios erros em tempo real sem que você perceba.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition, apresentado em português:

1. Problema Identificado

A integração de Sistemas de Reconhecimento Automático de Fala (ASR) com Grandes Modelos de Linguagem (LLMs) trouxe avanços significativos em precisão, coerência contextual e fluidez na transcrição. No entanto, a implantação desses sistemas em cenários de streaming (transmissão em tempo real) com baixa latência permanece um desafio crítico.

As abordagens atuais dividem-se em duas categorias principais, ambas com limitações:

• Pipelines de Streaming Adaptados: Tentativas de adaptar modelos não-streaming para streaming (usando estratégias como wait-k ou hold-n) sofrem de incompatibilidade entre treinamento e inferência, redundância computacional e picos de latência imprevisíveis.
• Modelos Nativos de Streaming: Arquiteturas dedicadas (como Transducer-Llama ou MoCha-ASR) muitas vezes tratam o LLM apenas como um componente auxiliar, carecem de integração profunda entre modalidades de fala e linguagem, ou introduzem complexidade excessiva no pipeline de inferência.

O objetivo central é criar uma arquitetura unificada que suporte nativamente tanto o modo não-streaming (alta precisão) quanto o streaming (baixa latência) sem necessidade de variantes de modelo separadas ou modificações arquiteturais durante a implantação.

2. Metodologia Proposta: Uni-ASR

O Uni-ASR é um framework unificado baseado em LLMs que integra capacidades de reconhecimento não-streaming e streaming em uma única arquitetura end-to-end.

Arquitetura do Modelo

O modelo segue o paradigma de frameworks baseados em LLMs (como Fun-ASR e Qwen3-ASR) e consiste em três componentes principais (Figura 1):

1. Codificador de Áudio: Utiliza a arquitetura Conformer para extrair representações de fala de alto nível.
2. Adaptador de Áudio: Projeta as representações do codificador em um espaço de embedding compatível com o LLM (duas camadas lineares com ativação ReLU).
3. Decodificador Baseado em LLM: Utiliza o modelo de linguagem pré-treinado Qwen3-1.7B para gerar transcrições de forma autoregressiva, condicionado às representações de fala e prompts textuais.

Paradigma de Treinamento Unificado

O núcleo da inovação reside em um paradigma de treinamento conjunto que permite a transição suave entre os modos:

• Modo Não-Streaming (NS): Processa a fala completa. O treinamento segue o padrão teacher-forced com tokens de início () e fim ().
• Modo Streaming Padrão (SS): Divide o fluxo de áudio em chunks (blocos) fixos e utiliza alinhamento forçado externo para segmentar o texto. O treinamento cria sequências intercaladas de fala-texto, propagando memória contextual de segmentos anteriores.
• Modo Streaming Consciente de Contexto (CS): Esta é uma contribuição chave. Para resolver a discrepância entre treinamento e inferência (onde o modelo não vê o contexto futuro), o treinamento CS modifica intencionalmente as sequências:
  • O último token de texto de cada segmento é substituído por <pad> no input.
  • O token <eos> é omitido nos segmentos de texto.
  • Isso força o modelo a aprender a lidar com descontinuidades contextuais e a prever tokens faltantes, simulando o comportamento real de inferência incremental.

Estratégia de Decodificação: Latest-Token Fallback

Para a inferência em streaming, o sistema emprega uma estratégia de fallback do último token:

• Ao receber um novo chunk de áudio, o modelo descarta o cache de chaves-valor (KV) da rodada anterior e reescreve o último token de texto como <pad>.
• A sequência revisada é concatenada com a representação atual de fala para re-decodificação.
• Isso permite que o modelo corrija erros de fronteira e preencha tokens ausentes com base no novo contexto, mantendo a consistência entre o que foi aprendido (treinamento CS) e o que é executado (inferência), sem adicionar latência significativa.

3. Contribuições Chave

1. Arquitetura Unificada: Primeira abordagem que suporta nativamente modos não-streaming e streaming na mesma estrutura de rede, eliminando a necessidade de manter múltiplos modelos.
2. Paradigma de Treinamento Consciente de Contexto (CS): Uma técnica inovadora que alinha a dinâmica de treinamento com o comportamento de inferência incremental, mitigando ambiguidades de fronteira e melhorando a precisão em streaming.
3. Estratégia de Decodificação Fallback: Um mecanismo de re-decodificação eficiente que corrige erros de tokens anteriores com sobrecarga computacional mínima, garantindo baixa latência.
4. Treinamento Conjunto (Joint Training): Integração de três paradigmas (NS, SS, CS) em uma única fase de fine-tuning supervisionado, garantindo que o modelo seja robusto em diversas condições de latência.

4. Resultados Experimentais

O modelo foi avaliado em benchmarks públicos (AISHELL, LibriSpeech, FLEURS, WeNetSpeech) com dados em chinês e inglês.

• Desempenho Não-Streaming: O Uni-ASR alcança precisão competitiva com os sistemas SOTA (State-of-the-Art), superando ou equiparando-se a modelos como Whisper-large-v2 e Seed-ASR em métricas de CER (Taxa de Erro de Caracteres) e WER (Taxa de Erro de Palavras).
• Desempenho em Streaming:
  • Supera frameworks nativos de streaming como Speech ReaLLM, SpeechLLM-XL e MoCha-ASR.
  • Em comparação com o Qwen3-ASR-1.7B (que usa iterações não-streaming repetidas), o Uni-ASR oferece desempenho robusto com menor sobrecarga computacional.
  • Estudo de Ablação: Reduzir o tamanho do chunk (de 1000ms para 320ms) aumenta a latência, mas degrada a precisão. A estratégia de fallback proposta recupera significativamente essa perda:
    • Em chunks de 320ms, a estratégia de fallback reduziu o WER médio em 19,88% em comparação com a decodificação greedy padrão.
    • A combinação de Beam Search com Fallback (Beam†) obteve os melhores resultados em todas as configurações de latência.

5. Significância e Conclusão

O Uni-ASR representa um avanço significativo na unificação de ASR baseado em LLMs. Ao resolver o dilema tradicional entre precisão (não-streaming) e latência (streaming), o trabalho oferece uma solução prática e eficiente para implantação em cenários do mundo real, como legendagem em tempo real e assistentes de voz interativos.

A principal contribuição teórica é a demonstração de que, através de um treinamento conjunto inteligente e estratégias de decodificação alinhadas ao contexto, é possível eliminar a necessidade de arquiteturas separadas para diferentes requisitos de latência, mantendo a qualidade SOTA em ambos os modos. Isso simplifica a infraestrutura de implantação e reduz custos computacionais, tornando os sistemas de ASR baseados em LLMs mais acessíveis e versáteis.