When Multiple Scripts Matter: Evaluating ASR in Clinical Settings

Resumo Técnico: Avaliando ASR em Ambientes Clínicos com Variabilidade de Multiescritas

Definição do Problema
O Reconhecimento Automático de Fala (ASR) em ambientes clínicos não ingleses enfrenta um desafio específico conhecido como variabilidade de multiescritas. Diferente do code-switching padrão, que envolve a alternância acústica entre idiomas, a variabilidade de multiescritas ocorre quando um único termo médico falado corresponde a múltiplas formas ortográficas válidas (por exemplo, um termo médico de origem inglesa escrito no alfabeto romano versus sua renderização fonética em um script local como o Hangul coreano).

As métricas de avaliação de ASR convencionais, como a Taxa de Erro de Palavras (WER), baseiam-se em uma suposição de transcrição de referência única. Em ambientes clínicos, essa suposição falha porque termos médicos de origem inglesa carecem de diretrizes de localização padronizadas, levando a múltiplas transcrições válidas. Métricas rigorosas de correspondência de strings tratam essas variantes ortográficas válidas como erros, subestimando sistematicamente o desempenho do ASR. Além disso, os benchmarks e métricas existentes (como o Transliterated WER) focaram primordialmente em code-switching de domínio geral ou variação dialetal, deixando as configurações de multiescritas clínicas amplamente inexploradas.

Metodologia
Para abordar essas lacunas, os autores introduzem o MultiClin, um benchmark de ASR clínico projetado para avaliar a robustez à variabilidade de multiescritas.

• Construção do Dataset: O dataset foi construído a partir de diálogos médico-paciente publicamente disponíveis (ACIBench, Primock57, MTS-Dialog). O processo envolveu:

  1. Etiquetagem (Tagging): Uso de um LLM para identificar e etiquetar instâncias de alternância de script em três categorias: MEDICAL (termos em inglês), UNIT (unidades de medida) e NUMBER (números).
  2. Tradução e Transliteração: Os diálogos foram traduzidos para o coreano. Crucialmente, as entidades etiquetadas foram preservadas em sua forma original, mas aumentadas com uma renderização fonética no script local (ex: "injection, 인젝션"), separadas por vírgulas. Isso cria um mapeamento "muitos-para-um" entre a fala e a ortografia válida.
  3. Anotação Humana: Profissionais de enfermagem revisaram os dados quanto à correção ortográfica e naturalidade.
  4. Síntese de Fala: Para cumprir as restrições de HIPAA e privacidade, o áudio foi sintetizado usando modelos de TTS com estilos de locução específicos (médicos profissionais, pacientes letárgicos) e ruído clínico simulado (reverberação, HVAC).
  5. Estatísticas: O dataset final contém 316 diálogos cobrindo mais de 20 especialidades clínicas, com uma média de 34 turnos por diálogo.

• Protocolo de Avaliação (Resolução Dinâmica de Referência de Multiescritas): Os autores propõem uma métrica de avaliação localizada (Algoritmo 1) que vai além da correspondência de referência única.

  • Para cada entidade etiquetada na referência, o sistema extrai dinamicamente uma janela de 50 caracteres da predição do ASR.
  • Ele computa a Taxa de Erro de Caracteres (CER) tanto para a forma original em inglês quanto para a forma no script local contra esta janela.
  • O sistema seleciona a variante de referência (original ou transliterada) que produz o erro local mínimo, tratando efetivamente ambas as formas ortográficas como verdade fundamental (ground truth).

• Configuração Experimental:

  • Modelos: Inferência zero-shot foi testada no Whisper (v3, v3-turbo), Qwen3 ASR (0.6B, 1.7B) e Gemini (2.5 Flash, 2.5 Pro).
  • Fine-tuning: Modelos Whisper foram ajustados via LoRA. O estudo investigou especificamente o impacto da consistência de rotulagem ao variar a "razão de transliteração" (a proporção de entidades etiquetadas renderizadas no script local versus o script original) durante o treinamento.

Resultados Principais

1. Viés de Avaliação: Mudar da correspondência estrita de rótulo único ("original" apenas) para uma avaliação consciente de multiescritas ("ambos") reduziu significativamente as taxas de erro em todos os modelos. Por exemplo, o WER do Gemini 2.5 Pro caiu de 28,28% para 15,78% quando os termos médicos foram avaliados com flexibilidade de multiescritas. Isso confirma que as métricas convencionais penalizam sistematicamente saídas corretas e foneticamente precisas que diferem ortograficamente de uma única referência.
2. Desempenho dos Modelos: Sob a configuração consciente de multiescritas, o Gemini 2.5 Pro alcançou a melhor Taxa de Erro de Caracteres (CER) de 4,86%. Entre os modelos de código aberto, o Whisper v3 Turbo demonstrou a maior robustez (23,00% de WER).
3. Ganhos de Fine-tuning: O ajuste fino de modelos Whisper no dataset MultiClin com uma razão de transliteração de 100% (unificando todas as entidades etiquetadas no script local) gerou melhorias substanciais. O Whisper-Large v3 Turbo alcançou um CER de classe mundial de 6,16% (uma redução absoluta de 3,83% sobre sua linha de base pré-treinada).
4. Impacto da Consistência de Rotulagem: O estudo encontrou uma relação não monotônica entre a razão de transliteração e o desempenho.
   • Razão de 0% (Misto/Apenas Romano): Maiores taxas de erro (69,17% CER).
   • Razão de 50%: Um segundo pico de erro (57,47% CER). Os autores atribuem isso à incerteza ortográfica, onde mapeamentos de script inconsistentes maximizam a entropia condicional $H(Y|X)$, dificultando a capacidade do modelo de formar fronteiras de decisão estáveis.
   • Razão de 100% (Unificado): Consistiu em apresentar o melhor desempenho (7,66% CER), validando que a unificação de scripts fornece um sinal de aprendizado determinístico.

Significância e Alegações
O artigo alega que o MultiClin fornece um framework de avaliação mais justo e informativo para o ASR clínico não inglês, ao considerar as variações ortográficas válidas que as métricas tradicionais ignoram. Os autores enfatizam que:

• A avaliação consciente de multiescritas revela as verdadeiras capacidades dos modelos de ASR, que são frequentemente subestimados pela correspondência estrita de strings.
• A unificação de scripts (treinar com ortografia consistente) é uma estratégia essencial para mitigar a ambiguidade ortográfica e melhorar a convergência do modelo em ambientes clínicos.
• O dataset e o código estão publicamente disponíveis para facilitar pesquisas futuras sobre variabilidade de multiescritas e robustez de ASR clínico.

O trabalho conclui observando que pesquisas futuras devem examinar como essas melhorias de ASR influenciam tarefas clínicas subsequentes, como extração de entidades e geração de notas SOAP.