Where Do Self-Supervised Speech Models Become Unfair?

Resumen Técnico: Análisis de Sesgo por Capas en Modelos de Habla Auto-Supervisados

1. El Problema

Los modelos de procesamiento de habla auto-supervisados (S3Ms, por sus siglas en inglés) han demostrado un rendimiento desigual entre diferentes Grupos de Hablantes (SGs, Speaker Groups), como niños, mujeres, hablantes no nativos o personas con dialectos específicos. Aunque se han realizado numerosos intentos para reducir esta brecha de equidad mediante técnicas de fine-tuning (ajuste fino) o algoritmos de entrenamiento adversario, ninguno ha logrado cerrar completamente la brecha.

La hipótesis central de los autores es que la falta de éxito se debe a una comprensión limitada de cómo y dónde se propaga el sesgo dentro de la arquitectura del modelo. No existe consenso sobre en qué capa específica del modelo comienza a divergir la capacidad de modelar el habla de diferentes grupos demográficos, ni sobre la magnitud de este sesgo.

2. Metodología

Para abordar esta cuestión, los autores realizaron un análisis capa por capa de los embeddings latentes de modelos S3M preentrenados y ajustados.

• Enfoque de "Sondas" (Probes): En lugar de entrenar modelos completos, entrenaron decodificadores ligeros (una sola capa lineal) para dos tareas:
  1. Identificación de Hablante (SID): Para evaluar la capacidad de distinguir quién habla.
  2. Reconocimiento Automático de Habla (ASR): Para evaluar la capacidad de transcribir el habla.
     Estos decodificadores se entrenaron utilizando los embeddings extraídos de cada capa individual del modelo S3M.
• Datos: Se utilizaron dos corpus anotados con metadatos demográficos: Sonos Voice Control Bias Assessment Dataset y Meta's Fair-speech corpus.
• Métricas de Sesgo:
  • Se midió la tasa de error general y la tasa de error relativa por grupo demográfico (SG).
  • Se definió un sesgo demográfico (DV-bias) como la media del error relativo absoluto de todos los grupos dentro de una variable demográfica (ej. género, edad).
• Modelos Analizados: Se evaluaron varios S3M de última generación (WavLM, W2V2, XLS-R, BEST-RQ) de diferentes tamaños, arquitecturas y datos de preentrenamiento (monolingües, multilingües, en inglés y francés), además de un modelo end-to-end (Whisper) para comparación.
• Experimentos de Ajuste Fino: Se probaron modelos ajustados para ASR, tanto con el algoritmo estándar (CTC) como con algoritmos de equidad mejorada (entrenamiento adversario y de dominio - DET/DAT).

3. Contribuciones Clave

1. Primer Análisis Capa por Capa: Presentan el primer estudio que analiza la equidad de los embeddings de modelos S3M preentrenados en cada capa latente, tanto para SID como para ASR.
2. Origen Temprano del Sesgo: Demuestran que el sesgo contra ciertos grupos de hablantes está presente desde las primeras capas latentes del modelo, antes incluso de que el modelo tenga un rendimiento útil en tareas complejas.
3. Relaciones Inversas y Directas: Descubrieron patrones opuestos en la relación entre el rendimiento general y el sesgo para las dos tareas:
   • SID: El sesgo es mínimo donde el rendimiento general es máximo.
   • ASR: El sesgo es máximo donde el rendimiento general es máximo.
4. Ineficacia del Ajuste Fino: Evidencian que el fine-tuning para ASR, incluso con técnicas de equidad avanzadas, no elimina el sesgo preexistente, sugiriendo que este se "hornea" (bakes in) durante el preentrenamiento.

4. Resultados Principales

• Origen del Sesgo (RQ1): El sesgo contra grupos específicos (hablantes no nativos y niños para ASR; niños y mujeres para SID) comienza en la primera capa de atención del modelo. Esto indica que la injusticia está arraigada profundamente en la representación inicial del modelo.
• Relación Rendimiento-Sesgo (RQ2):
  • Para SID: Existe una relación inversa entre el error y el sesgo. Las capas que mejoran el rendimiento general de SID también minimizan el sesgo contra grupos desfavorecidos. A medida que el rendimiento de SID cae en capas posteriores, el sesgo aumenta.
  • Para ASR: Existe una relación directa (o inversa al error). A medida que el rendimiento de ASR mejora (el error WER disminuye) hacia las capas finales, el sesgo contra ciertos grupos aumenta. Las capas que maximizan la precisión de transcripción son, paradójicamente, las más injustas.
• Impacto del Ajuste Fino (RQ3):
  • El fine-tuning para ASR mejora el rendimiento general, pero tiene un efecto negligible en la reducción del sesgo a nivel de grupo.
  • Incluso el uso de algoritmos de entrenamiento adversario (DET/DAT) no logra revertir los patrones de sesgo establecidos durante el preentrenamiento.
  • Esto explica por qué las técnicas de mitigación de sesgos aplicadas solo en la fase de ajuste fino tienen resultados modestos en la práctica.

5. Significado y Conclusiones

El estudio revela que la falta de equidad en los modelos de habla no es un defecto que se introduce principalmente durante el ajuste fino, sino una característica inherente a los modelos preentrenados auto-supervisados.

• Implicación Teórica: Los modelos S3M aprenden características pertinentes para ASR a expensas de ciertos grupos demográficos, mientras que las características para SID se aprenden de manera más equitativa.
• Implicación Práctica: Intentar corregir el sesgo únicamente en la fase de fine-tuning es una estrategia insuficiente. La comunidad debe enfocarse en desarrollar técnicas de preentrenamiento más justas y en investigar los mecanismos causales dentro de los datos de entrenamiento (por ejemplo, densidad dialectal o cadencia) que generan estas representaciones sesgadas desde las primeras capas.
• Conclusión Final: La injusticia en los modelos de habla es un problema sistémico que comienza en las capas iniciales de la representación latente, lo que hace extremadamente difícil eliminarla una vez que el modelo ha sido preentrenado.