Debiased Automatic Speech Recognition for Dysarthric Speech via Sample Reweighting with Sample Affinity Test

Resumen Técnico: Reconocimiento Automático del Habla Desbiaseado para el Habla Disártrica mediante el Re-ponderación de Muestras con la Prueba de Afinidad de Muestras

Planteamiento del Problema
Los sistemas de Reconocimiento Automático del Habla (ASR) basados en aprendizaje profundo se entrenan típicamente bajo la Minimización del Riesgo Empírico (ERM), que optimiza el rendimiento promedio en todas las muestras de datos. Este enfoque a menudo no logra contabilizar las disparidades de rendimiento entre diferentes grupos, como los hablantes sanos frente a aquellos con disartria (un trastorno motor del habla). En consecuencia, los sistemas ASR exhiben un sesgo severo, desempeñándose significante mente peor en el habla disártrica debido a su baja inteligibilidad y a la tendencia de los modelos de aprendizaje profundo a ajustarse a "atajos" en lugar de características robustas. Si bien investigaciones previas se han centrado en mejorar el reconocimiento general del habla disártrica, pocos estudios han abordado el problema desde una perspectiva de desbiase para asegurar la robustez de grupo sin degradar el rendimiento en el habla sana. Además, los métodos de desbiase existentes suelen basarse en la suposición de que las muestras con pérdida alta (muestras en conflicto con el sesgo) son inherentemente útiles para el desbiase, una suposición que falla en escenarios del mundo real donde los valores atípicos o las muestras no útiles también pueden presentar una pérdida alta.

Metodología: Re-SAT
Los autores proponen un enfoque novedoso llamado Re-ponderación de Muestras con Prueba de Afinidad de Muestras (Re-SAT) para mitigar el sesgo en el reconocimiento del habla disártrica. Re-SAT opera en un entorno libre de etiquetas de grupo y consta de cuatro componentes secuenciales:

1. Estimación de Muestras en Conflicto con el Sesgo: El método identifica inicialmente las muestras potencialmente en conflicto con el sesgo dentro de un mini-lote seleccionando las $K$ muestras con los valores de pérdida más grandes. A diferencia de los métodos estáticos, Re-SAT re-estima estas muestras dinámicamente a lo largo del proceso de entrenamiento para reflejar el estado actual del modelo.
2. Prueba de Afinidad de Muestras (SAT): Para distinguir entre muestras que genuinamente ayudan al desbiase y aquellas que simplemente tienen una pérdida alta, los autores introducen la SAT. Inspirada en la afinidad de la tarea, la SAT mide la "afinidad de la muestra", definida como el efecto de entrenamiento de una muestra dada sobre la pérdida de las muestras estimadas en conflicto con el sesgo.
   • El método realiza una actualización de un solo paso de anticipación (lookahead) en una muestra dada $x_i$ para obtener un modelo temporal $\theta^{LA}_{x_i}$.
   • Luego calcula el desplazamiento de la pérdida en el conjunto de conflicto con el sesgo $\{\hat{b}_1, ..., \hat{b}_K\}$ entre el modelo original y el modelo de anticipación.
   • La puntuación de afinidad se calcula como la reducción promedio de la pérdida en el conjunto de conflicto con el sesgo. Esto permite al sistema identificar muestras que bloquean el sesgo (que mitigan el sesgo) frente a muestras que aceleran el sesgo (que empeoran el sesgo), incluso si estas últimas tienen una pérdida inicial alta.
3. Re-ponderación Normalizada: En lugar de mapear directamente las puntuaciones de afinidad a pesos, Re-SAT las normaliza clasificando las muestras dentro del lote en orden descendente de afinidad. Una función basada en softmax asigna pesos basados en estos rangos, estabilizando la tasa de aprendizaje y evitando cambios no deseados.
4. Entrenamiento: El modelo se entrena utilizando las muestras re-ponderadas, donde la pérdida total es un promedio ponderado que favorece a las muestras que bloquean el sesgo y penaliza a las que lo aceleran.

Contribuciones Clave

• Primer Trabajo de Desbiase para ASR Disártrico: Según el conocimiento de los autores, este es el primer estudio que aborda el reconocimiento del habla disártrica específicamente a través de la lente del desbiase para mejorar la robustez de grupo entre hablantes sanos y disártricos.
• Prueba de Afinidad de Muestras (SAT): El artículo introduce una métrica novedosa para medir directamente la "utilidad de desbiase" de una muestra. Esto aborda la limitación de los métodos basados en la pérdida al filtrar muestras no útiles que aceleran el sesgo y que de otro modo serían sobre-ponderadas debido a su alta pérdida.
• Marco Re-SAT: Un flujo de trabajo completo de re-ponderación de muestras que opera sin requerir anotaciones explícitas de grupo durante el entrenamiento, lo que lo hace adecuado para aplicaciones del mundo real donde las etiquetas de grupo pueden no estar disponibles.

Resultados Experimentales
El método fue evaluado en el corpus UASpeech, utilizando el modelo Whisper-tiny como base. El conjunto de datos incluyó 15 hablantes disártricos (categorizados por niveles de inteligibilidad: Muy Baja, Baja, Media, Alta) y 13 hablantes de control sanos.

• Rendimiento en el Habla Disártrica: Re-SAT redujo significativamente la Tasa de Error de Palabra (WER) en todos los grupos de inteligibilidad en comparación con la línea base ERM. Específicamente, logró reducciones relativas de WER de 12.02% (Muy Baja), 11.10% (Baja), 7.22% (Media) y 13.06% (Alta).
• Rendimiento en el Habla Sana: Crucialmente, Re-SAT también mejoró el rendimiento en los hablantes sanos (reduciendo el WER de 3.81% a 3.40%), demostrando que el proceso de desbiase no se produjo a costa del rendimiento general.
• Comparación con Líneas Base: Re-SAT superó tanto al ERM como al método de desbiase "Just Train Twice" (JTT). Mientras que JTT mejoró los resultados para el grupo "Muy Bajo", degradó el rendimiento para otros grupos y para los hablantes sanos. Re-SAT proporcionó mejoras consistentes en todos los grupos.
• Estudio de Ablación: Una variante llamada "Re-Loss", que utilizó la re-ponderación basada en la pérdida en lugar de SAT, funcionó mejor que ERM y JTT, pero fue superada por Re-SAT. Esto confirma la importancia de la Prueba de Afinidad de Muestras para identificar con precisión las muestras útiles.
• Sensibilidad de Hiperparámetros: El método mostró mejoras estables para valores de $K$ (número de muestras en conflicto con el sesgo) de 2, 4 y 8. Sin embargo, establecer $K=16$ degradó el rendimiento, sugiriendo que un conjunto de muestras en conflicto más pequeño y actualizado dinámicamente es más efectivo para una estimación precisa.

Significancia y Reivindicaciones
El artículo afirma que Re-SAT ofrece una solución robusta para crear sistemas de ASR justos e inclusivos para hablantes disártricos. Al ir más allá de la simple re-ponderación basada en la pérdida hacia un mecanismo que mide directamente la utilidad de desbiase de las muestras, el método logra cerrar con éxito la brecha de rendimiento entre los hablantes sanos y los disártricos sin sacrificar la precisión general. Los autores posicionan este trabajo como un paso fundacional hacia un ASR de robustez de grupo, destacando que su enfoque es el primero en aplicar técnicas de desbiase específicamente al dominio del habla disártrica. Sugieren que el trabajo futuro podría integrar Re-SAT con otros sistemas de reconocimiento del habla disártrica, aprovechando su estructura versátil.