Resumo Técnico: Política de Transcrição como uma Variável Latente

1. Declaração do Problema

Os sistemas atuais de Reconhecimento Automático de Fala (ASR) em larga escala tratam a política de transcrição — a decisão de gerar texto verbatim (incluindo disfluências, preenchimentos, repetições e sons paralinguísticos) versus texto pretendido (conteúdo limpo e fluente) — como uma variável latente não controlada. Essa ambiguidade surge porque os modelos são tipicamente treinados em dados anotados de forma heterogênea sem sinais de controle explícitos.

Os autores identificam três consequências primárias desta ambiguidade:

1. Instabilidade de Decodificação: Em fala disfluente, a busca por feixe (beam search) gera transcrições significativamente diferentes para o mesmo áudio (mediana de divergência de feixe de ~15% ao nível de caracteres) porque o modelo carece de um sinal para selecionar entre estratégias de transcrição concorrentes.
2. Confundimento de Avaliação: A Taxa de Erro de Palavra (WER) padrão confunde erros de conteúdo com diferenças de estilo. Os autores demonstram que até 60% da WER reportada em benchmarks conversacionais (ex: AMI) reflete incompatibilidade de estilo em vez de falha real de reconhecimento.
3. Temporização Mal Definida: Se um modelo decide de forma inconsistente se deve emitir uma repetição de palavra ou um preenchimento, a distribuição de atenção cruzada (cross-attention) para aquela região temporal carece de um alvo estável, tornando os timestamps ao nível de palavra conceitualmente indefinidos e praticamente imprecisos.

2. Metodologia

Os autores propõem que o desafio central é o controle de capacidade em vez da aquisição de capacidade, argumentando que modelos pré-treinados já codificam ambos os estilos, mas requerem ativação explícita. Eles introduzem três mecanismos complementares para ativar essas capacidades latentes de forma inequívoca, utilizando a arquitetura OpenAI Whisper-medium como base.

A. Controle de Estilo Explícito via Tags de Modo

Os autores introduzem tokens de prefixo do decodificador discretos (tags de modo) para parametrizar a política de transcrição como uma escolha binária entre modos verbatim e intended.

• Design: Eles estendem o vocabulário com tokens específicos: [verbatim 1..3] para controle de disfluência, [sound 1,2] para eventos paralinguísticos e [intended 1..5] para saída limpa.
• Particionamento Consciente de Cobertura: Para lidar com a qualidade heterogênea de anotação (ex: corpora com rótulos de disfluência, mas sem rótulos de som), as tags são particionadas. Durante o treinamento, as amostras recebem apenas as tags que correspondem à sua cobertura de anotação. Isso evita que o modelo aprenda gradientes contraditórios (penalizando-o por perder rótulos que nunca foram anotados).
• Estratégia de Treinamento: O mesmo áudio é treinado sob ambas as políticas, distinguindo-se apenas pelos prefixos das tags. Isso ensina o codificador a representar todo o conteúdo disponível (palavras, disfluências, sons), enquanto as tags ditam a política de emissão.

B. Atenção Cruzada Supervisionada para Temporização de Nível de Palavra

Uma vez que a sequência de tokens de saída é estabilizada pelas tags de modo, os autores aplicam atenção cruzada supervisionada para melhorar a temporização.

• Objetivo: Em vez de depender de um alinhamento emergente e não supervisionado, eles supervisionam diretamente cabeças de atenção cruzada selecionadas com alvos de fronteira de palavra derivados de alinhamento forçado (forced alignment).
• Função de Perda: Eles minimizam a distância de cosseno média entre a distribuição de atenção média das cabeças selecionadas e um vetor alvo binário de verdade fundamental (ground-truth) que representa o intervalo de tempo da palavra.
• Inferência: Para lidar com a fusão de espaços em branco pelo tokenizador, eles desacoplam a detecção de pausa da atenção usando um modelo de pausa baseado em energia e aplicam escalonamento de temperatura (afiação) às distribuições de atenção antes do alinhamento de Viterbi.

C. Verbatimize: Recuperação de Disfluência Condicionada ao Transcrito

Os autores introduzem uma nova tarefa chamada Verbatimize, que permite a criação escalável de transcritos verbatim a partir de transcritos pretendidos.

• Mecanismo: Dado um arquivo de áudio e um transcrito pretendido (como um prompt), o modelo reconstrói uma versão verbatim canônica. Ele copia exatamente o conteúdo do prompt enquanto insere disfluências ancoradas acusticamente (preenchimentos, repetições, cortes, sons) em suas localizações temporais.
• Treinamento: Isso envolve uma técnica de "perturbação de caixa" (casing perturbation) onde palavras de conteúdo no prompt são aleatoriamente convertidas para maiúsculas para forçar o modelo a atender ao *prompt para ortografia exata, enquanto depende do áudio para a localização da disfluência.

3. Resultados Principais

Capacidade Latente e Transferência Cross-Lingual

• Ativação Zero-Shot: Treinar apenas os embeddings das tags de modo (congelando o codificador e o decodificador de 764M de parâmetros) elevou o F1 de eventos de disfluência em alemão de 10% para 79% zero-shot, apesar de não haver dados de treinamento verbatim em alemão.
• Fine-Tuning Total: O ajuste fino total apenas para inglês (FT0) alcançou 93,8% de F1 de eventos de disfluência em alemão e 90,7% em inglês.
• Controle de Política: Remover as tags de modo do modelo ajustado reduziu o F1 de disfluência em alemão para 60,1%, demonstrando que sinais de política explícitos são críticos para a transferência cross-lingual e estabilidade.
• Qualidade do Pretendido: As tags de modo suprimiram com sucesso o vazamento de disfluências na saída pretendida (a Taxa de Inserção caiu de ~15% para ~3-4%) sem comprometer a precisão do reconhecimento (as taxas de Substituição e Deleção permaneceram estáveis).

Temporização de Nível de Palavra

• Desempenho: O método de atenção cruzada supervisionada alcançou um Erro Médio Absoluto (MAE) de 36 ms em fala lida (TIMIT) e 102 ms em fala disfluente (FluencyBank).
• Comparação: Este método supera os baselines de alinhamento forçado (ex: MFA degrada para 142 ms em fala disfluente; WhisperX atinge 200 ms). O método também generaliza para o alemão (55 ms MAE) com zero supervisão de tempo em alemão.

Verbatimize

• Recuperação de Palavras Raras: Em um conjunto de avaliação de palavras raras, o Verbatimize melhorou a Recuperação de Palavras Raras (RWR) de 6,8% (transcrição apenas acústica) para 96,1%, com uma Perda de Conteúdo (CLR) de apenas 1,3%. Isso confirma que o modelo pode copiar fielmente o conteúdo do prompt enquanto adiciona disfluências.

4. Significância e Alegações

O artigo afirma que o estilo de transcrição em ASR moderno é uma variável latente não controlada que causa instabilidade mensurável e erros de avaliação. A significância do trabalho reside em:

1. Demonstrar a Capacidade Latente: Mostrar que modelos de larga escala já possuem a habilidade de transcrever texto verbatim ou pretendido, exigindo apenas uma interface explícita (tags de modo) para ativá-la, em vez de aprender essas habilidades do zero.
2. Resolver a Ambiguidade de Avaliação: Fornecer um framework para desmembrar erros de conteúdo de incompatibilidades de estilo, permitindo uma avaliação mais justa de ASR conversacional.
3. Enriquecimento de Dados Escalável: Introduzir o "Verbatimize" como um método para gerar transcritos verbatim canônicos de alta qualidade a partir de transcritos pretendidos abundantes, abordando a escassez de corpora de disfluência anotados, particularmente para línguas não inglesas.
4. Abordagem Unificada: Oferecer um único modelo que pode alternar entre modos verbatim e pretendido, fornecer temporização precisa ao nível de palavra em fala disfluente e realizar geração condicionada ao transcrito, superando baselines especializados em todas as categorias.

Os autores concluem que o salto de 10% para 94% de desempenho zero-shot apoia a visão de que a transcrição específica de modo exige majoritariamente ativação, em vez de aquisição.