Phoneme-Level Mispronunciation Screening in Polish-Speaking Children with an Explainable Assistant

Resumen Técnico: Cribado de Malpronunciación a Nivel de Fonema en Niños Hispanoparlantes con un Asistente Explicable

Declaración del Problema

Los trastornos de los sonidos del habla (SSD, por sus siglas en inglés) son prevalentes en la infancia temprana; sin embargo, el acceso oportuno a la evaluación especializada suele verse limitado por la capacidad restringida y los largos tiempos de espera. Esta brecha motiva el desarrollo de herramientas de cribado ligeras para su uso fuera de los entornos clínicos. No obstante, la aplicación de la Reconocimiento Automático del Habla (ASR) estándar al habla infantil es problemática debido a las diferencias acústicas (tractos vocales más cortos, formantes más altos), la alta variabilidad intra-hablante y la presencia de realizaciones no canónicas sistemáticas que forman parte del desarrollo normal. Además, los sistemas ASR de extremo a extremo suelen depender de fuertes sesgos de modelos de lenguaje que pueden "normalizar" las realizaciones inusuales hacia palabras probables, ocultando así errores de contraste mínimo esenciales para la detección de malpronunciaciones.

El polaco presenta un desafío específico para el cribado automático debido a su denso inventario consonántico y frecuentes grupos consonánticos, particularmente en lo que respecta a los sibilantes. En la práctica clínica polaca, los sibilantes se categorizan en tres series (syczący, ciszący y szumiący), donde las sustituciones (p. ej., /ù/ → [s]) y las distorsiones requieren un manejo clínico diferenciado. El objetivo de este trabajo no es construir un sistema de transcripción general, sino crear un mecanismo sensible e interpretable para señalar errores probables y localizarlos a nivel de token para la práctica guiada por cuidadores.

Metodología

Los autores proponen un flujo de trabajo de cribado que consta de tres componentes principales: un reconocedor acústico, un módulo de cribado basado en alineación y un asistente fundamentado en plantillas.

1. Modelo Acústico y Representación de Tokens
El sistema utiliza un codificador basado en wav2vec2 inicializado desde un checkpoint de polaco (jonatasgrosman/wav2vec2-large-xlsr-53-polish). Para mejorar la estabilidad en segmentos densos en sibilantes y proporcionar contexto específico de la tarea, se añade un post-codificador Transformer de 6 capas. El modelo se entrena utilizando Clasificación de la Conexión Temporal de Caracteres (CTC).

• Inventario de Tokens: Las pronunciaciones se representan como tokens de tipo IPA delimitados por espacios. Crucialmente, el vocabulario se extiende con tokens IPA entre corchetes (p. ej., [s], [ù]) para representar resultados de sustitución juzgados por expertos. Estos tokens entre corchetes sirven como evidencia explícita de desviación.
• Adaptación: El modelo se adapta al habla infantil y al vocabulario extendido mediante el Ajuste Fino Eficiente en Parámetros (PEFT). Específicamente, se inyectan módulos LoRA (rango $r=32$, $\alpha=64$) en las proyecciones de atención y en las subcapas de alimentación hacia adelante (feed-forward), y se descongelan las últimas 6 capas del codificador. Esto resulta en un 33.3% de parámetros entrenables.

2. Cribado Basado en Alineación
El sistema realiza una alineación de mínimo de edición (Levenshtein) entre la secuencia canónica propuesta ($y_{ref}$) y la secuencia producida reconocida ($\hat{y}$).

• Tipificación de Errores: Se interpretan las operaciones de alineación (Coincidencia, Sustitución, Inserción, Deletción). Para los objetivos de sibilantes/africadas, las sustituciones se mapean a categorías interpretables (p. ej., cambio en el lugar de articulación, alternancia de sonoridad o desajuste de modo).
• Confianza: Se calcula una puntuación de confianza ($c_i$) como la media de la probabilidad posterior del token reconocido sobre los fotogramas asignados a este mediante el colapso de búsqueda codiciosa (greedy) de CTC. Esta puntuación se utiliza estrictamente como una señal de supresión (p. ej., solicitar una nueva grabación si la confianza es baja) en lugar de una probabilidad calibrada.

3. Asistente Explicable
El vector de cribado (objetivo, realizado, tipo, posición, confianza) se introduce en un asistente dirigido a cuidadores.

• Fundamentación en Plantillas: La retroalimentación se genera a partir de un inventario fijo y revisable de plantillas elaboradas por clínicos.
• Límites de Seguridad: El sistema evita explícitamente el diagnóstico clínico. Incluye reglas de rechazo ante la incertidumbre y no realiza afirmaciones médicas. Si la confianza es baja o la evidencia es inconsistente, el sistema solicita una nueva grabación en lugar de proporcionar asesoramiento detallado.

Contribuciones Clave

1. Reconocedor de Tokens Consciente de Sustituciones: Un modelo basado en wav2vec2 con un post-codificador Transformer compacto de 6 capas, ajustado para el habla infantil polaca con un inventario de tokens extendido que incluye marcadores de sustitución entre corchetes.
2. Evaluación Orientada al Cribado: Una evaluación en un conjunto de prueba de 10 niños no vistos que reporta tanto la calidad del reconocimiento como el rendimiento de un proxy de cribado conservador para desajustes de sibilantes objetivo.
3. Diseño de Asistente Fundamentado en Plantillas: Una arquitectura de sistema que traduce los cribados a nivel de token en retroalimentación amigable para el cuidador con límites de seguridad explícitos y un plan para la validación con el clínico en el bucle.

Resultados

El sistema fue evaluado en un conjunto de prueba de 1 mismo de 10 niños no vistos (559 enunciados) utilizando un inventario fijo de prompts diagnósticos.

• Rendimiento de Reconocimiento: El reconocedor logró una coincidencia exacta de secuencia del 88.7% (496/559 enunciados) y una precisión de tokens del 95.0%. La Tasa de Error de Palabras (WER) fue del 5.95% y la Tasa de Error de Caracteres (CER) del 4.09%.
• Estudios de Ablación: Eliminar el post-codificador redujo la coincidencia exacta de secuencia al 84.5%. Usar una línea base de WavLM-Base en lugar de wav2vec2 resultó en una menor coincidencia exacta del 78.6%.
• Rendimiento del Proxy de Cribado: Utilizando la presencia de un token entre corchetes en la posición objetivo como una bandera de desajuste, el sistema logró:
  • Precisión: 72.9%
  • Sensibilidad (Recall): 61.4%
  • Puntuación F1: 0.67
  • Tasa de Falsas Alarmas (FPR): 2.7% en elementos correctos del objetivo.
• Análisis de Errores: Entre los enunciados que no fueron coincidencias exactas, el 92.1% contenía exactamente una sustitución a nivel de unidad. De estos, el 60.3% fueron confusiones entre el canónico y el de corchetes, lo que indica que el sistema a menudo detecta la desviación pero tiene dificultades con la categorización precisa entre las etiquetas canónicas y las de corchetes.

Significancia y Reivindicaciones

El artículo sostiene que el reconocimiento de tokens basado en SSL puede servir como un núcleo práctico para el cribado orientado a cuidadores en polaco. Al centrarse en contrastes inducidos y alinearse con objetivos canónicos, el sistema evita los problemas de los sesgos de los modelos de lenguaje que enmascaran los errores de contraste mínimo. La alta tasa de coincidencia exacta respalda una alineación y tipificación de errores posterior estables.

Los autores enfatizan que el sistema es una herramienta de cribado, no una de diagnóstico. La significancia radica en el diseño de un "proxy de cribado conservador" que prioriza la sensibilidad fonética y la explicabilidad sobre la calidad de la transcripción general. El sistema identifica con éxito errores probables con una baja tasa de falsas alarmas (2.7%), lo que lo hace adecuado para el uso en el hogar donde minimizar los falsos positivos es crítico para evitar la ansiedad innecesaria.

El artículo concluye que, si bien los resultados actuales son prometedores, se requiere una evaluación más amplia a través de edades, severidades y condiciones de grabación antes de su implementación. El trabajo futuro incluye expandir la cobertura más allá de las sustituciones, validar la utilidad diagnóstica frente a los resultados clínicos y realizar estudios de usuario para evaluar la seguridad y claridad de la retroalimentación del asistente.