FireRedASR2S: A State-of-the-Art Industrial-Grade All-in-One Automatic Speech Recognition System

O artigo apresenta o FireRedASR2S, um sistema de reconhecimento automático de fala (ASR) industrial de ponta e tudo-em-um que integra módulos de detecção de atividade vocal, identificação de língua falada e previsão de pontuação, alcançando desempenho superior ao estado da arte em diversos benchmarks para mandarim, dialetos chineses, inglês e código misto.

O essencial

Imagine que você tem um amigo super inteligente chamado FireRedASR2S. Ele não é apenas um tradutor de voz; ele é um gerente de equipe completo para qualquer áudio que você jogue na frente dele.

Antes, as empresas tinham que contratar quatro pessoas diferentes para fazer um trabalho só: uma para separar o silêncio da fala, outra para descobrir de que país a pessoa está falando, uma terceira para escrever o que foi dito e uma quarta para colocar vírgulas e pontos. O problema? Essas pessoas não se entendiam bem, passavam mensagens erradas umas para as outras e o resultado final ficava bagunçado.

O FireRedASR2S resolveu isso criando uma equipe unificada e integrada. É como se você tivesse um único funcionário "super-herói" que faz tudo isso perfeitamente, do início ao fim.

Vamos conhecer os quatro "superpoderes" dessa equipe:

1. O Guardião do Silêncio (FireRedVAD)

• O que faz: Ele é o porteiro. Quando você grava um áudio longo com música de fundo, alguém cantando, barulho de trânsito e depois uma pessoa falando, ele sabe exatamente onde a voz começa e onde termina.
• A analogia: Imagine que o áudio é uma festa barulhenta. O Guardião não deixa a música ou o barulho da rua entrarem na sala de reuniões. Ele só deixa passar a voz humana (e até o canto, se for o caso).
• O diferencial: Ele foi treinado por humanos reais ouvindo milhares de horas de áudio, não por computadores tentando adivinhar. Por isso, ele é muito preciso e leve (pesa menos que um aplicativo de celular comum), podendo rodar até em celulares antigos.

2. O Detetive de Sotaques e Línguas (FireRedLID)

• O que faz: Assim que o Guardião separa a voz, o Detetive chega e pergunta: "Quem está falando? É chinês? É inglês? É um dialeto específico de uma província?"
• A analogia: É como um recepcionista de um hotel internacional que, ao ouvir a primeira frase, já sabe se o hóspede é do Japão, da Coreia ou de uma região específica da China, e o direciona para o quarto certo.
• O diferencial: Ele reconhece mais de 100 línguas e mais de 20 dialetos chineses. Ele é tão bom que acerta quase 97% das vezes, superando concorrentes famosos.

3. O Escriba Mágico (FireRedASR2)

• O que faz: Este é o coração do sistema. Ele ouve o que foi dito e transforma em texto.
• A analogia: Pense nele como um estenógrafo (alguém que escreve muito rápido) que nunca se cansa. Ele tem dois "modos":
  • Modo Turbo (AED): Rápido e eficiente, perfeito para o dia a dia.
  • Modo Super-Inteligente (LLM): Um "gênio" com mais de 8 bilhões de parâmetros (como um cérebro gigante) que entende nuances, gírias e até letras de música.
• O diferencial: Ele foi treinado com 200.000 horas de áudio (o equivalente a ouvir rádio 24 horas por dia por mais de 20 anos!). Isso significa que ele entende sotaques difíceis, misturas de línguas e até quando alguém está cantando em vez de falando. Ele também sabe dizer exatamente em que segundo cada palavra foi dita.

4. O Editor de Pontuação (FireRedPunc)

• O que faz: O Escriba Mágico gera um texto corrido, sem pontos ou vírgulas. O Editor chega depois e organiza tudo.
• A analogia: É como se você recebesse um e-mail escrito por um robô que não sabe usar pontuação: "olá tudo bem com você". O Editor transforma em: "Olá, tudo bem com você?".
• O diferencial: Ele é especialista em chinês e inglês, entendendo o contexto para saber se é hora de usar um ponto, uma vírgula ou um ponto de exclamação, deixando o texto pronto para leitura humana.

---

Por que isso é um marco?

A grande inovação do FireRedASR2S é que ele não é apenas uma coleção de ferramentas coladas umas nas outras. É um sistema "tudo-em-um".

• Sem atrito: Como todos os membros da equipe conversam entre si, não há perda de informação.
• Flexível: Você pode usar apenas o Guardião (para cortar silêncio), apenas o Escriba (se já tiver o áudio separado) ou o time todo.
• Industrial: Foi feito para funcionar no mundo real, com ruídos, músicas e sotaques estranhos, não apenas em laboratórios perfeitos.

Em resumo: O FireRedASR2S é como ter uma equipe de elite de tradutores, editores e secretários trabalhando juntos em um único cérebro, capaz de entender o que você diz, em qualquer sotaque, e transformá-lo em um texto perfeito e pontuado, pronto para ser usado. E o melhor: a equipe inteira (o código e os modelos) foi liberada para que qualquer pessoa possa usar e estudar!

Resumo técnico

Resumo Técnico: FireRedASR2S – Um Sistema de Reconhecimento Automático de Fala (ASR) Industrial de Última Geração

1. O Problema

Apesar dos avanços significativos no Reconhecimento Automático de Fala (ASR) impulsionados por modelagem end-to-end e Grandes Modelos de Linguagem (LLMs), a implantação prática em cenários do mundo real enfrenta desafios complexos. Áudios reais frequentemente contêm gravações de longa duração, silêncios, música de fundo, canto, fala multilíngue e diversos dialetos chineses.

Sistemas existentes muitas vezes são construídos através da montagem de módulos heterogêneos (ferramentas separadas para detecção de voz, identificação de idioma, ASR e pontuação) provenientes de fontes distintas. Essa abordagem gera:

• Interfaces inconsistentes e complexidade de integração.
• Propagação de erros entre módulos.
• Falta de reprodutibilidade.
• Supervisão fraca ou indireta em componentes como a Detecção de Atividade de Voz (VAD), que frequentemente dependem de alinhamento forçado derivado de ASR, comprometendo a robustez em condições acústicas desafiadoras.

Havia, portanto, uma necessidade crítica de um sistema tudo-em-um (all-in-one), de nível industrial, com código aberto, modularização clara e desempenho de ponta (SOTA) integrado em um pipeline unificado.

2. Metodologia e Arquitetura

O FireRedASR2S é um sistema unificado que integra quatro módulos principais em um pipeline coeso, permitindo que cada componente funcione independentemente ou em conjunto. O pipeline processa o áudio em quatro etapas sequenciais:

A. FireRedASR2 (Reconhecimento de Fala)

Este é o núcleo do sistema, oferecendo duas variantes para equilibrar precisão e eficiência:

1. FireRedASR2-LLM: Baseado em uma arquitetura Encoder-Adapter-LLM. Utiliza um codificador Conformer, um adaptador leve e um LLM pré-treinado (8B+ parâmetros) para geração de texto. Foca na máxima precisão.
2. FireRedASR2-AED: Baseado na arquitetura clássica Encoder-Decoder com Atenção (1B+ parâmetros). Utiliza um codificador Conformer e um decodificador Transformer. Suporta carimbos de tempo (timestamps) em nível de token e palavra através de um ramo CTC post-hoc.

Inovações Chave no ASR:

• Dados de Treinamento: Expansão massiva do corpus supervisionado de 70k horas (na versão anterior) para **200k horas**, cobrindo mandarim, inglês, dialetos chineses, código-switching, fala e canto.
• Suporte a Dialetos: Vocabulário atualizado (8.667 tokens) para melhor cobertura de cenários multilíngues e dialetais.
• Carimbos de Tempo: Implementação de um ramo CTC adicional no modelo AED para gerar alinhamento preciso sem reentrenar o modelo principal.

B. FireRedVAD (Detecção de Atividade de Voz)

Um módulo ultra-leve (0,6M parâmetros) baseado em DFSMN (Deep Feedforward Sequential Memory Network).

• Treinamento Diferenciado: Ao contrário de soluções industriais comuns que usam alinhamento forçado de ASR, o FireRedVAD é treinado com milhares de horas de dados acústicos anotados manualmente por humanos.
• Capacidades: Suporta VAD não-streaming (offline), VAD streaming (baixa latência) e mVAD (VAD multietiqueta), capaz de distinguir entre fala, canto e música simultaneamente.
• Definição de "Voz": Considera a união de fala e canto como "voz", alinhando-se a cenários de conteúdo gerado por usuários (UGC).

C. FireRedLID (Identificação de Idioma Falado)

Um módulo baseado em Encoder-Decoder (Conformer + Transformer) que realiza identificação hierárquica.

• Estrutura Hierárquica: Primeiro prevê o idioma principal (ex: zh, en). Se for chinês, prevê o dialeto específico (ex: yue, wu, min). Isso reduz a ambiguidade e melhora a estabilidade.
• Escopo: Suporta mais de 100 idiomas e 20+ dialetos chineses.
• Inicialização: O codificador é inicializado a partir do encoder pré-treinado do FireRedASR2-AED.

D. FireRedPunc (Previsão de Pontuação)

Um módulo estilo BERT para restaurar a pontuação em textos gerados pelo ASR.

• Arquitetura: Encoder BERT inicializado a partir do LERT (uma variante linguística do BERT), com uma cabeça de classificação token-a-token.
• Treinamento: Treinado em grandes corpora multissubjetivos de chinês e inglês (~18,57B caracteres chineses e ~2,20B palavras inglesas).
• Saída: Prevê tags para espaço, vírgula, ponto, interrogação e exclamação.

3. Principais Contribuições

1. Sistema Open-Source Tudo-em-um: Primeira integração unificada de ASR, VAD, LID e Pontuação com interfaces padronizadas e implantação modular.
2. Precisão e Cobertura de Dialetos: O FireRedASR2 supera os benchmarks públicos em 24 conjuntos de teste, especialmente em dialetos chineses, graças à escala de dados supervisionados.
3. Segmentação Robusta: O FireRedVAD utiliza supervisão direta humana (não derivada de ASR), resultando em maior robustez em condições acústicas complexas (música, canto, ruído).
4. Identificação Hierárquica: O FireRedLID oferece uma abordagem eficiente para identificar idiomas e dialetos simultaneamente com alta precisão.
5. Pontuação Eficiente: O FireRedPunc estabelece novos patamares de desempenho em benchmarks de pontuação multissubjetiva.

4. Resultados de Avaliação

Os módulos foram avaliados independentemente em benchmarks públicos e internos:

• ASR (FireRedASR2):

  • Mandarim: 2,89% de CER (Taxa de Erro de Caracteres) em média em 4 benchmarks públicos, superando concorrentes como Doubao-ASR, Qwen3-ASR e Fun-ASR.
  • Dialetos Chineses: 11,55% de CER em média em 19 benchmarks de dialetos.
  • Canto: 1,12% de CER no conjunto de dados opencpop.
  • O modelo AED (1B+) oferece um equilíbrio excelente entre precisão e tamanho, enquanto o LLM (8B+) atinge o estado da arte.

• VAD (FireRedVAD):

  • No benchmark FLEURS-VAD-102 (102 idiomas): 99,60% de AUC-ROC e 97,57% de F1.
  • Supera significativamente Silero-VAD, TEN-VAD e WebRTC-VAD, mantendo uma taxa de falsos positivos baixa (2,69%) e uma taxa de perda (miss rate) de 3,62%.

• LID (FireRedLID):

  • FLEURS (82 idiomas): 97,18% de precisão no nível de enunciado, superando Whisper (79,41%) e SpeechBrain.
  • Dialetos Chineses: 88,47% de precisão, demonstrando eficácia na identificação fina de dialetos.

• Pontuação (FireRedPunc):

  • F1 Médio: 78,90% em benchmarks multissubjetivos (Chinês e Inglês), superando o FunASR-Punc (62,77%).
  • Destaque especial no inglês, onde o ganho foi substancial (74,83% vs 49,91%).

5. Significado e Impacto

O FireRedASR2S representa um avanço significativo na industrialização de sistemas de processamento de fala.

• Reprodutibilidade e Transparência: Ao liberar pesos e código, o sistema permite que a comunidade científica e a indústria repliquem e construam sobre um pipeline completo, em vez de depender de "caixas pretas" ou integrações frágeis.
• Robustez Industrial: A abordagem de treinamento com dados anotados manualmente para VAD e a expansão massiva de dados para ASR resolvem problemas comuns de degradação de desempenho em cenários reais (música, canto, dialetos).
• Flexibilidade de Implantação: A arquitetura modular permite que desenvolvedores utilizem apenas o VAD para segmentação, apenas o LID para roteamento, ou o pipeline completo, facilitando a integração em produtos de baixa latência ou edge computing.
• Inclusão Linguística: O foco explícito em dialetos chineses e canto preenche uma lacuna importante em sistemas de ASR comerciais que geralmente priorizam apenas o mandarim padrão.

O sistema está disponível no repositório GitHub do FireRedTeam, promovendo o desenvolvimento futuro de tecnologias de fala mais acessíveis e precisas.