Identifying and typifying demographic unfairness in phoneme-level embeddings of self-supervised speech recognition models

Resumen Técnico: Identificación y Tipificación de la Injusticia Demográfica en Embeddings de Fonemas

Título original: Identifying and typifying demographic unfairness in phoneme-level embeddings of self-supervised speech recognition models

1. El Problema

A pesar de los avances en el Reconocimiento Automático del Habla (ASR), los sistemas actuales presentan un rendimiento desigual entre distintos grupos de hablantes (SGs, por sus siglas en inglés). El problema central que aborda este estudio es la falta de comprensión sobre los mecanismos internos que causan esta injusticia. Los autores argumentan que tratar los modelos de ASR como "cajas negras" impide diseñar intervenciones efectivas. El estudio busca desglosar si la falta de equidad se debe a un sesgo sistemático (error de sesgo) o a una varianza desigual (error aleatorio) en la representación de los fonemas.

2. Metodología

Los autores proponen un marco para distinguir entre dos tipos de errores en el modelado de fonemas:

• Sesgo de embedding (Error sistemático): Los fonemas de un grupo específico se modelan alrededor de un "modo" o centro diferente al del grupo mayoritario.
• Alta varianza (Error aleatorio): Los fonemas se modelan alrededor del centro correcto, pero con mucho más ruido o dispersión para ciertos grupos.

Diseño experimental:

• Datos: Utilizaron el dataset Sonos Voice Control Bias Assessment, que permite segmentar por género, edad, dialecto y etnia.
• Modelos: Evaluaron modelos de procesamiento de habla autosupervisados (S3Ms) como WavLM, Wav2vec 2.0, DeCoAR 2.0 y el codificador de Whisper.
• Técnicas de medición:
  1. Sondas de Reconocimiento de Fonemas (PR Probes): Entrenaron clasificadores lineales sobre los embeddings congelados. Compararon el rendimiento de sondas entrenadas solo con un grupo específico (in-domain) frente a sondas entrenadas con datos balanceados.
  2. Distancia KNN (K-Nearest Neighbors): Utilizaron una heurística de distancia KNN para medir directamente la varianza (dispersión) de los embeddings de cada fonema para cada hablante.
  3. Intervención de Equidad: Aplicaron algoritmos de entrenamiento adversario y de mejora de dominio (DET/DAT) para ver si lograban mitigar los errores detectados.

3. Contribuciones Clave

• Marco de tipificación de errores: Establece una distinción clara entre el error por sesgo de modo y el error por varianza de dispersión en el espacio de embeddings.
• Identificación de la causa raíz de la injusticia: Demuestran que la injusticia en el ASR no es solo un problema de "desplazamiento" de los datos (sesgo), sino principalmente un problema de "ruido" o falta de precisión en la representación (varianza).
• Evaluación de técnicas de mitigación: Analizan críticamente por qué los métodos actuales de entrenamiento adversario (DET/DAT) fallan al intentar mejorar la equidad en el nivel de fonemas.

4. Resultados Principales

• Predominancia de la Varianza: Los resultados indican que los grupos de hablantes con peor rendimiento en el reconocimiento de fonemas son precisamente aquellos que presentan una mayor varianza en sus embeddings. Existe una correlación estadísticamente significativa entre la alta varianza KNN y la baja precisión de las sondas.
• Escasez de Sesgo Sistemático en capas profundas: Aunque se detectó cierto sesgo de modo en las primeras capas, este disminuye en las capas más profundas tras el ajuste fino (fine-tuning) para ASR. Esto sugiere que el problema no es que el modelo "entienda mal" el fonema para un grupo, sino que lo representa de forma "imprecisa" o "ruidosa".
• Ineficacia de DET/DAT: El entrenamiento adversario (diseñado para eliminar información del hablante) no redujo la varianza de los embeddings ni mejoró la equidad. Esto se debe a que estas técnicas intentan corregir el sesgo (desplazamiento), pero el problema real es la varianza (dispersión).
• Comportamiento por grupos: Se observó que los niños presentan una varianza mucho mayor que los adultos, lo que explica su dificultad inherente para ser modelados correctamente.

5. Significancia

Este trabajo es fundamental porque cambia el enfoque de la investigación en equidad de ASR. Sugiere que, para lograr sistemas verdaderamente justos, la comunidad científica no debe centrarse únicamente en eliminar la información demográfica de las capas del modelo (adversarial training), sino en desarrollar métodos que estabilicen y reduzcan la varianza de las representaciones fonéticas para los grupos desfavorecidos. Propone que la equidad en el habla debe abordarse como un problema de geometría del modelado (reducir la dispersión en el espacio de embeddings).