Resumo Técnico: O Flywheel TTS–STT para ASR Indic

1. Declaração do Problema

O artigo identifica uma lacuna crítica na Reconhecimento Automático de Fala (ASR) em línguas indianas: enquanto sistemas comerciais e de código aberto de última geração (SOTA) performam bem em texto padrão de "prosa lida" (por exemplo, notícias, Wikipedia), eles falham significativamente em áudio denso em entidades. Este domínio de nicho inclui conteúdo de fluxos de trabalho do mundo real, como números de telefone de 10 dígitos, valores monetários (em algarismos latinos e palavras indicas), endereços indianos com tokens latinos embutidos, nomes de marcas e mistura de código inglês/indico.

Em um conjunto de teste sintético de Telugu denso em entidades, mantido de lado, o modelo SOTA de código aberto (vasista22/whisper-telugu-large-v2) alcançou uma Taxa de Acerto de Entidades (EHR) de apenas 0,027, e o sistema comercial (Deepgram Nova-3) alcançou 0,16. Ambos os sistemas performam ordens de magnitude pior nestes dados em comparação com seu desempenho em prosa lida, principalmente porque seus corpora de treinamento são dominados por texto de prosa lida.

2. Metodologia: O Flywheel TTS–STT

Os autores propõem um flywheel de adaptação autossuficiente que utiliza Text-to-Speech (TTS) de código aberto para gerar os dados de treinamento específicos necessários para fechar a lacuna do ASR.

A. Corpus de Áudio Sintético Denso em Entidades (EDSA)

• Geração: O pipeline usa o Anthropic Haiku-4.5 para gerar ~22.000 enunciados portadores com tags de entidades em Telugu, Hindi e Tamil. Estes são iniciados com dicionários de entidades curados (dígitos, moeda, endereços, marcas, substantivos próprios, mistura de código).
• Diversidade de Síntese: Para evitar overfitting a uma única distribuição de voz, os enunciados são roteados através de cinco sistemas TTS: Praxy R6 (código aberto), Vanilla Chatterbox, IndicF5, ElevenLabs v3 e Cartesia sonic-3.
• Controle de Qualidade: Um filtro de Taxa de Erro de Caracteres (CER) por classe descarta ~10–15% dos clipes sintéticos que o ASR de base não consegue reconhecer.
• Alinhamento de Texto: Uma etapa crítica de pré-processamento reescreve sequências de dígitos em suas formas soletradas específicas da língua (por exemplo, convertendo "54235" em "cinco lakh quarenta e dois mil...") para garantir que os rótulos de texto verdadeiros correspondam à realização acústica do áudio sintético.
• Custo: O custo marginal para gerar este corpus é inferior a $50 (excluindo créditos gratuitos), uma fração do custo de transcrição humana.

B. Receita de Ajuste Fino LoRA

Os autores ajustam finamente modelos ASR usando Adaptação de Baixo Rank (LoRA) sobre dois modelos base:

1. Praxy-STT-rb (Manchete): Ajusta finamente o vasista22 (Whisper-large-v2) no corpus EDSA misturado com dados do mundo real (IndicVoices, Common Voice, FLEURS). Este modelo usa uma taxa de aprendizado menor para evitar o esquecimento catastrófico da competência em prosa lida.
2. Praxy-STT-r2: Ajusta finamente o Whisper-large-v3 do zero para demonstrar uma correção condicional à língua para o "Colapso de Script".

C. Métricas de Avaliação

• Taxa de Acerto de Entidades (EHR): Uma métrica personalizada projetada para equivalência semântica em vez de correspondências exatas ao nível de token. Ela normaliza moeda (tratando "5 lakh" vs. "500.000"), marcas e dígitos soletrados. É determinística e não depende de juízes LLM.
• Taxa de Fidelidade de Script (SFR): Mede a fração de caracteres na saída que pertencem ao bloco Unicode correto para a língua alvo, detectando "Colapso de Script" (por exemplo, áudio de Telugu transcrito em script Kannada).

3. Resultados Chave

A. Desempenho de Reconhecimento Denso em Entidades

No conjunto de teste sintético denso em entidades mantido de lado (usando áudio Cartesia não visto durante o treinamento):

• Telugu: O modelo flywheel (Praxy-STT-rb) alcançou uma EHR de 0,473. Isso representa uma melhoria de 17× sobre o SOTA de código aberto (0,027) e uma melhoria de 3× sobre o Deepgram Nova-3 comercial (0,16).
• Tamil: O modelo alcançou uma EHR de 0,543, uma melhoria de 22× sobre tanto o SOTA de código aberto quanto o Deepgram (ambos ~0,025).
• Hindi: O modelo alcançou uma EHR de 0,337 (7× sobre o SOTA de código aberto), mas performou abaixo do Deepgram (0,485). Os autores notam que isso sugere que o flywheel é mais eficaz onde os sistemas comerciais ainda não investiram em cobertura de entidades.

B. Transferência de Fala Nativa

Uma verificação de sanidade usando 20 enunciados de Telugu gravados por humanos nativos confirmou a capacidade do modelo de generalizar além dos dados sintéticos. A EHR na fala nativa foi de 0,516, ligeiramente superior à do conjunto mantido de lado sintético (0,473), indicando que o ganho é devido à aprendizagem de entidades e não ao overfitting da distribuição TTS.

C. Regressão em Prosa Lida

Os autores relatam trade-offs honestos. Embora o reconhecimento de entidades tenha melhorado, houve uma leve regressão na Taxa de Erro de Palavras (WER) de prosa lida:

• Telugu: +6,6 pontos percentuais (pp) em FLEURS-Te.
• Hindi/Tamil: As regressões excederam o limite de +7 pp pré-registrado em FLEURS.
• No entanto, em retenções conversacionais (IndicVoices), os modelos mantiveram paridade com os modelos base.

D. Colapso de Script Condicional à Língua

O artigo identifica um modo de falha específico no Whisper-large-v3 em Telugu, onde ele frequentemente produz scripts Kannada ou Devanagari (SFR 0,46–0,71). Uma correção LoRA por língua corrigiu isso (SFR 0,81–0,97). No entanto, os autores descobriram que esta receita é contraindicada para Hindi e Tamil, onde o modelo vanilla já possui alta fidelidade de script (SFR ≥0,98); aplicar o LoRA lá causou regressões significativas de WER e quedas de SFR.

E. Estudo de Ablação

Uma ablação treinando a mesma receita LoRA em apenas dados de prosa lida (FLEURS-Te) sem o corpus EDSA resultou em uma EHR de 0,020 (perto da linha de base). Isso atribui conclusivamente ~100% do ganho de reconhecimento de entidades ao corpus EDSA, e não à própria arquitetura LoRA.

4. Significado e Alegações

O artigo alega fechar a lacuna na ASR Indic para domínios de nicho, densos em entidades, onde tanto sistemas de código aberto quanto comerciais falham atualmente. Seu significado reside em:

1. Síntese de Dados Custo-Efetiva: Demonstrar que um corpus de treinamento de alta qualidade e diversificado para domínios de nicho pode ser gerado por <$50 usando TTS de código aberto e LLMs, contornando os altos custos de transcrição humana.
2. Salto de Desempenho: Alcançar uma melhoria de 17–22× no reconhecimento de entidades em línguas indicas de baixo recurso, superando APIs comerciais em Telugu e Tamil.
3. Rigor Metodológico: Introduzir a métrica EHR para avaliar adequadamente o reconhecimento de entidades e fornecer um diagnóstico (verificação SFR) para evitar ajustes finos prejudiciais em línguas que não precisam deles.
4. Relato Honesto: Os autores afirmam explicitamente que seus modelos não atingiram as metas pré-registradas (EHR ≥0,75 para Telugu) e que a tarefa permanece "substancialmente aberta", enquadrando seus resultados como um grande passo a partir de uma linha de base próxima de zero, em vez de um problema resolvido.

Todo o código, dados, dicionários de entidades e pesos de modelo são lançados como código aberto para garantir a reprodutibilidade.