Resumo Técnico: FormalASR

1. Declaração do Problema

Os sistemas de Reconhecimento Automático de Fala (ASR) são tradicionalmente otimizados para transcrição literal, reproduzindo fielmente a forma superficial falada. Embora eficazes para benchmarks que medem a Taxa de Erro de Caracteres (CER), essa saída frequentemente inclui disfluências (por exemplo, "hum", "ah"), inícios falsos, repetições e estruturas de frases informais. Essas características tornam a saída inadequada para aplicações downstream orientadas à escrita, como geração de atas de reuniões, ditado de documentos ou editores controlados por voz, que exigem texto formal e bem estruturado.

As soluções alternativas atuais geralmente envolvem um pipeline de duas etapas: um modelo ASR gera uma transcrição literal, seguida por um Modelo de Linguagem Grande (LLM) separado para reescrever o texto em um estilo formal. No entanto, essa abordagem introduz latência significativa, duplica a pegada de memória e complica a implantação em dispositivos devido à necessidade de executar dois modelos simultaneamente. Por outro lado, grandes modelos multimodais capazes de transcrição formal em uma única passagem frequentemente dependem de APIs em nuvem, incorrendo em custos e levantando preocupações de privacidade que impedem a implantação na borda.

2. Metodologia

Os autores propõem o FormalASR, uma abordagem ponta a ponta que mapeia diretamente áudio falado em chinês para texto escrito formal usando um único modelo compacto, eliminando a necessidade de LLMs auxiliares no momento da inferência.

2.1. Construção do Conjunto de Dados

Para permitir o treinamento supervisionado para esta tarefa, os autores construíram dois conjuntos de dados em grande escala reescrevendo corpora literais existentes:

• WenetSpeech-Formal: Derivado do corpus WenetSpeech, contendo 969.201 amostras de treinamento.
• Speechio-Formal: Derivado do benchmark Speechio, contendo 43.178 amostras de teste distribuídas em 27 subconjuntos específicos de domínio (palestras, entrevistas, reuniões, etc.).

Pipeline de Construção:

1. Entrada: Áudio original e transcrições literais.
2. Reescrita por LLM: O modelo DeepSeek-V3.2 foi instruído a reescrever transcrições literais em chinês escrito formal. Esse processo envolveu a remoção de palavras de preenchimento, reestruturação de frases para seguir convenções escritas, normalização de pontuação e correção de erros de reconhecimento, preservando o conteúdo semântico.
3. Filtragem de Qualidade: A filtragem automática descartou reescritas de baixa qualidade com base na similaridade de embeddings (consistência semântica), distância de edição (garantindo formalização significativa sem alucinação) e presença de artefatos óbvios.

2.2. Arquitetura do Modelo e Treinamento

Os autores ajustaram finamente o Qwen3-ASR (um modelo de áudio-linguagem com um encoder estilo Whisper e um decodificador autoregressivo Qwen) em duas escalas: 0,6B e 1,7B parâmetros.

• Objetivo de Treinamento: Ajuste fino supervisionado (SFT) padrão usando estimativa de máxima verossimilhança. O modelo aprende a realizar conjuntamente o alinhamento áudio-texto, a remoção de disfluências e a transferência de estilo dentro de um único processo de geração condicional.
• Inferência: A decodificação é realizada diretamente na entrada de áudio para produzir texto formal, mantendo a complexidade do sistema idêntica às implantações padrão de ASR de modelo único.

3. Principais Contribuições

1. Conjuntos de Dados: A disponibilização de código aberto do WenetSpeech-Formal e do Speechio-Formal, os primeiros conjuntos de dados em grande escala de fala para formal em chinês construídos via reescrita baseada em LLM e filtragem de qualidade. Esses conjuntos permitem o treinamento ponta a ponta sem modelos auxiliares na inferência.
2. Modelos: O lançamento do FormalASR-0,6B e do FormalASR-1,7B, modelos compactos de áudio-linguagem ajustados finamente para transcrição direta de fala para formal.
3. Desempenho: Demonstração de que modelos compactos podem alcançar melhorias significativas na qualidade de formalização em relação a baselines literais, permanecendo adequados para implantação em dispositivos.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks tanto intra-domínio (conjunto de teste WenetSpeech-Formal) quanto inter-domínio (conjunto de teste Speechio-Formal).

4.1. Métricas de Precisão

O FormalASR superou consistentemente as baselines literais (Qwen3-ASR e Whisper large-v3) em todas as métricas:

• Taxa de Erro de Caracteres (CER): O FormalASR alcançou uma redução relativa de CER de até 37,4% sobre as baselines literais no benchmark inter-domínio Speechio-Formal (por exemplo, o modelo de 1,7B reduziu o CER de 0,2393 para 0,1499).
• ROUGE-L e BERTScore: Ambas as métricas melhoraram, confirmando que o modelo preserva o conteúdo semântico enquanto remove disfluências. Por exemplo, no WenetSpeech-Formal, o modelo de 1,7B melhorou o ROUGE-L de 0,8571 para 0,8896 e o BERTScore de 0,9268 para 0,9439.
• Efeito de Escala: O modelo de 1,7B superou consistentemente o modelo de 0,6B, sugerindo que decodificadores maiores fornecem maior capacidade para formalização linguística.

4.2. Eficiência de Inferência

• Redução de Tokens: Ao remover palavras de preenchimento e disfluências, o FormalASR produz sequências de saída mais curtas. Em média, o FormalASR-1,7B reduziu os tokens de saída em 22,8% no WenetSpeech-Formal e em 14,3% no Speechio-Formal em comparação com a baseline literal.
• Latência: A redução no comprimento da sequência levou a uma menor latência de decodificação. A vantagem de latência cresceu de forma superlinear com o comprimento da frase; para enunciados longos (40–49 tokens), o FormalASR-1,7B reduziu a latência em aproximadamente 388 ms em comparação com a baseline literal.

4.3. Quantização e Viabilidade em Dispositivos

Os autores avaliaram a quantização GGUF para validar o potencial em dispositivos:

• 8-bit (Q8 0): Compressão quase sem perdas. O tamanho do modelo foi reduzido em ~47% (por exemplo, o modelo de 1,7B de 3,80 GB para 2,03 GB) com degradação de qualidade negligenciável (aumento de CER de apenas 0,0001).
• 4-bit (Q4 K): Compressão forte (~72% de redução de tamanho) com trade-offs moderados de qualidade. Notavelmente, o modelo de 1,7B de 4 bits com 1,08 GB ainda superou o modelo de 0,6B de 1,46 GB em precisão total, indicando que a capacidade do modelo, e não a precisão numérica, é o determinante primário da qualidade de formalização.

5. Significado e Alegações

O artigo afirma que o FormalASR é o primeiro trabalho a ajustar finamente um modelo compacto de áudio-linguagem ponta a ponta para transcrição de fala para chinês formal. Seu significado principal reside em demonstrar que os modelos ASR modernos possuem a capacidade latente para formalização linguística; eles simplesmente exigem supervisão adequada para ativar essa capacidade sem aumentar o tamanho do modelo ou a complexidade no momento da inferência.

Ao alcançar formalização de alta qualidade em uma única passagem forward, o FormalASR aborda a lacuna crítica entre a saída de ASR literal e o texto formal exigido por aplicações downstream. Ele oferece uma solução leve e em dispositivo que evita a latência, os custos de memória e as preocupações de privacidade associadas a pipelines de duas etapas ou modelos multimodais baseados em nuvem. Os autores concluem que sua abordagem permite a implantação prática para transcrição em tempo real em ambientes sensíveis à privacidade ou com recursos limitados.