When Multiple Scripts Matter: Evaluating ASR in Clinical Settings

Resumen Técnico: Evaluación de ASR en Entornos Clínicos con Variabilidad Multiescriptural

Planteamiento del Problema
El Reconocimiento Automático del Habla (ASR, por sus siglas en inglés) en entornos clínicos no ingleses enfrenta un desafío específico conocido como variabilidad multiescriptural. A diferencia del cambio de código (code-switching) convencional, que implica la alternancia acústica entre idiomas, la variabilidad multiescriptural ocurre cuando un término médico hablado corresponde a múltiples formas ortográficas válidas (por ejemplo, un término médico de origen inglés escrito en el alfabeto romano frente a su renderización fonética en un script local como el Hangul coreano).

Las métricas de evaluación de ASR convencionales, como la Tasa de Error de Palabra (WER), dependen de una suposición de transcripción de referencia única. En entornos clínicos, esta succión falla porque los términos médicos de origen inglés carecen de directrices de localización estandarizadas, lo que conduce a múltiples transcripciones válidas. Las métricas de coincidencia de cadenas estrictas tratan estas variantes ortográficas válidas como errores, subestimando sistemáticamente el rendimiento del ASR. Además, los benchmarks y métricas existentes (como el WER transliterado) se han centrado principalmente en la variación dialectal o el code-switching de dominio general, dejando la exploración de los entornos clínicos multiescripturales prácticamente inexplorada.

Metodología
Para abordar estas brechas, los autores introducen MultiClin, un benchmark de ASR clínico diseñado para evaluar la robustez ante la variabilidad multiescriptural.

• Construcción del Conjunto de Datos: El conjunto de datos se construyó a partir de diálogos doctor-paciente disponibles públicamente (ACIBench, Primock57, MTS-Dialog). El proceso consistió en:

  1. Etiquetado: Uso de un LLM para identificar y etiquetar instancias de cambio de script en tres categorías: MEDICAL (términos en inglés), UNIT (unidades de medida) y NUMBER (números).
  2. Traducción y Transliteración: Los diálogos se tradujeron al coreano. Crucialmente, las entidades etiquetadas se preservaron en su forma original pero se aumentaron con una renderización fonética en el script local (por ejemplo, "injection, 인젝션"), separadas por comas. Esto crea un mapeo de "muchos a uno" entre el habla y la ortografía válida.
  3. Anotación Humana: Profesionales de enfermería revisaron los datos para asegurar la corrección ortográfica y la naturalidad.
  4. Síntesis de Voz: Para cumplir con las restricciones de HIPAA y privacidad, el audio se sintetizó mediante modelos TTS con estilos de locución específicos (médicos profesionales, pacientes letárgicos) y ruido clínico simulado (reverberación, HVAC).
  5. Estadísticas: El conjunto de datos final contiene 316 diálogos que cubren más de 20 especialidades clínicas, con un promedio de 34 turnos por diálogo.

• Protocolo de Evaluación (Resolución Dinámica de Referencia Multiescriptural): Los autores proponen una métrica de evaluación localizada (Algoritmo 1) que va más allá de la coincidencia de referencia única.

  • Para cada entidad etiquetada en la referencia, el sistema extrae dinámicamente una ventana de 50 caracteres de la predicción del ASR.
  • Calcula la Tasa de Error de Carácter (CER) tanto para la forma inglesa original como para la forma en el script local contra esta ventana.
  • El sistema selecciona la variante de referencia (original o transliterada) que produzca el error local mínimo, tratando efectivamente ambas formas ortográficas como una verdad de campo (ground truth) válida.

• Configuración Experimental:

  • Modelos: Se probó la inferencia zero-shot en Whisper (v3, v3-turbo), Qwen3 ASR (0.6B, 1.7B) y Gemini (2.5 Flash, 2.5 Pro).
  • Ajuste Fino (Fine-tuning): Los modelos Whisper se ajustaron utilizando LoRA. El estudio investigó específicamente el impacto de la consistencia de etiquetado variando la "proporción de transliteración" (la proporción de entidades etiquetadas renderizadas en el script local frente al script original) durante el entrenamiento.

Resultados Clave

1. Sesgo de Evaluación: Pasar de la coincidencia estricta de etiqueta única ("original" solamente) a una evaluación consciente de la multiplicidad de scripts ("ambas") redujo significativamente las tasas de error en todos los modelos. Por ejemplo, el WER de Gemini 2.5 Pro cayó de 28.28% a 15.78% cuando los términos médicos se evaluaron con flexibilidad multiescriptural. Esto confirma que las métricas convencionales penalizan sistemáticamente las salidas correctas y fonéticamente precisas que difieren ortográficamente de una única referencia.
2. Rendimiento de los Modelos: Bajo la configuración consciente de múltiples scripts, Gemini 2.5 Pro logró la mejor Tasa de Error de Carácter (CER) de 4.86%. Entre los modelos de código abierto, Whisper v3 Turbo demostró la mayor robustez (23.00% de WER).
3. Ganancias del Ajuste Fino: El ajuste fino de los modelos Whisper en el conjunto de datos MultiClin con una proporción de transliteración del 100% (unificando todas las entidades etiquetadas en el script local) produjo mejoras sustanciales. Whisper-Large v3 Turbo alcanzó un CER líder en su clase de 6.16% (una reducción absoluta de 3.83% sobre su línea base pre-entrenada).
4. Impacto de la Consistencia de Etiquetado: El estudio encontró una relación no monotónica entre la proporción de transliteración y el rendimiento.
   • Proporción 0% (Mixto/Solo Romano): Tasas de error más altas (69.17% CER).
   • Proporción 50%: Un segundo pico de error (57.47% CER). Los autores atribuyen esto a la incertidumbre ortográfica, donde los mapeos de scripts inconsistentes maximizan la entropía condicional $H(Y|X)$, interrumpiendo la capacidad del modelo para formar fronteras de decisión estables.
   • Proporción 100% (Unificado): Consistente en ofrecer el mejor rendimiento (7.66% CER), validando que la unificación de scripts proporciona una señal de aprendizaje determinista.

Significancia y Reivindicaciones
El artículo sostiene que MultiClin proporciona un marco de evaluación más justo e informativo para el ASR clínico no inglés al contabilizar las variaciones ortográficas válidas que las métricas tradicionales pasan por alto. Los autores enfatizan que:

• La evaluación consciente de múltiples scripts revela las capacidades reales de los modelos ASR, que a menudo son subestimadas por la coincidencia estricta de cadenas.
• La unificación de scripts (entrenar con ortografía consistente) es una estrategia esencial para mitigar la ambigüedad ortográfica y mejorar la convergencia del modelo en entornos clínicos.
• El conjunto de datos y el código están disponibles públicamente para facilitar la investigación adicional sobre la variabilidad multiescriptural y la robustez del ASR clínico.

El trabajo concluye señalando que la investigación futura debería examinar cómo estas mejoras del ASR influyen en las tareas clínicas posteriores, como la extracción de entidades y la generación de notas SOAP.