Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition

1. Problema y Motivación

El reconocimiento automático de voz (ASR) ha evolucionado desde sistemas basados en CTC (sin modelo de lenguaje) hacia arquitecturas que integran Modelos de Lenguaje Grandes (LLM) preentrenados como decodificadores. La premisa de este trabajo es cuestionar si la incorporación de priors de texto derivados de LLMs mejora la equidad en la transcripción de habla o, por el contrario, amplifica los sesgos demográficos existentes.

• Contexto: Se sabe que los sistemas ASR comerciales tienen sesgos históricos (ej. mayor tasa de error para hablantes negros o con acentos no estándar).
• Hipótesis de riesgo: Dado que los LLMs se entrenan principalmente en texto en inglés estándar, existe el temor de que sus priores lingüísticos degraden el rendimiento en habla con acentos diversos o dialectos, especialmente en condiciones acústicas adversas donde el decodificador debe depender más de su conocimiento lingüístico que de la señal de audio.
• Brecha de investigación: No existían estudios sistemáticos que aislaran el efecto del grado de integración del modelo de lenguaje (LM) en la equidad del ASR, ni bajo condiciones de audio limpio ni bajo degradación acústica.

2. Metodología

2.1. Modelos Evaluados (3 Generaciones)

Los autores evaluaron 9 modelos representativos de tres generaciones arquitectónicas, utilizando un total de ~43,000 enunciados:

1. Generación 1 (Sin LM): Wav2Vec2-large (Codificador CTC, sin decodificador autoregresivo ni LM).
2. Generación 2 (LM Implícito): Tres checkpoints de Whisper (Small, Medium, Large-v3). Aprenden un LM implícito a partir de transcripciones pareadas.
3. Generación 3 (LM Explícito): Cinco modelos que enrutian embeddings de audio a un LLM preentrenado (Qwen3-ASR, Canary-Qwen, Granite-Speech). Estos utilizan priores de texto explícitos.

2.2. Conjuntos de Datos y Métricas

• Common Voice 24: ~16,400 enunciados con variación de acento, género y edad.
• Fair-Speech (Meta): ~26,470 enunciados con prompts controlados (mismas frases leídas por todos), eliminando confusores de vocabulario. Cubre etnia, género, edad, primera lengua (L1) y nivel socioeconómico.
• Métricas:
  • WER (Word Error Rate): Precisión absoluta.
  • MMR (Max/Min Ratio): Métrica de equidad ($WER_{max} / WER_{min}$). Un MMR de 1.0 indica paridad perfecta.
  • Análisis de Errores: Descomposición en sustituciones, borrados e inserciones (clave para detectar alucinaciones).

2.3. Condiciones de Degradación (Perturbaciones)

Para simular entornos del mundo real, se probaron los 9 modelos bajo 12 condiciones de degradación en ambos conjuntos de datos (totalizando 216 ejecuciones):

• Ruido aditivo: SNR 20, 10, 0 dB.
• Reverberación: RT60 0.3, 0.6, 1.0 s.
• Inyección de silencio: 25%, 50%, 75% de la duración del enunciado.
• Enmascaramiento de fragmentos (Chunk Masking): 10%, 20%, 30% del audio cegado.

3. Contribuciones Clave

El estudio presenta seis hallazgos principales que desafían suposiciones comunes:

1. Primera evaluación sistemática de decodificadores LLM en equidad ASR a través de 5 ejes demográficos y 12 condiciones de degradación.
2. Refutación de la amplificación racial: Los decodificadores LLM explícitos (Gen 3) no amplifican el sesgo racial; de hecho, Granite-8B (Gen 3) es el modelo más equitativo en etnia.
3. Alucinación patológica en Whisper: Se identifica un comportamiento anómalo en Whisper-large-v3 con acento indio, donde la tasa de inserción salta al 9.62% (no monótono), superando a modelos más pequeños.
4. La compresión de audio es más crítica que la escala del LLM: La equidad en acentos depende más de cómo se comprime el audio antes de llegar al decodificador que del tamaño del modelo de lenguaje.
5. Paradoja de la degradación: La degradación severa (enmascaramiento) suele comprimir las brechas de equidad (todos fallan igual), pero la inyección de silencio amplifica drásticamente el sesgo de Whisper (hasta 4.64x) al desencadenar alucinaciones selectivas por demografía.
6. Tipos de alucinación dependientes de la arquitectura: Los sistemas con LM implícito (Whisper) caen en bucles de repetición catastróficos bajo degradación, mientras que los LLM explícitos son más robustos, a menos que la compresión de audio sea muy alta.

4. Resultados Detallados

4.1. Equidad en Audio Limpio

• Etnia: Los hablantes negros/afroamericanos tienen consistentemente el WER más alto en todos los modelos. Sin embargo, los modelos Gen 3 (como Granite-8B) logran la mejor equidad relativa (MMR = 2.28), superando a los modelos Whisper.
• Acento: Qwen3-1.7B (baja compresión) es el más equitativo en acentos (MMR = 1.82). En contraste, Whisper-large-v3 es el menos equitativo (MMR = 5.34) debido a su fallo específico con el acento indio.
• Paradoja de Medición: Qwen3-1.7B tiene el WER absoluto más bajo para hablantes negros (8.45%), pero la brecha relativa es alta (+203%) porque su WER para hablantes blancos es extremadamente bajo (2.79%). Esto sugiere que se deben reportar tanto métricas absolutas como relativas.

4.2. El Fenómeno de Alucinación en Whisper

• Acento Indio: Whisper-large-v3 muestra una tasa de inserción del 9.62% en acento indio, frente al 1.53% de Whisper-medium.
• Naturaleza del Error: El 50.7% de los errores en este caso son inserciones. De estas, el 43% son bucles de repetición (el modelo se queda atascado repitiendo frases) y el 48% son completaciones sintácticas. Esto es un fallo de arquitectura, no solo de datos.
• Comparación: Todos los modelos Gen 3 mantienen tasas de inserción por debajo del 3.1% en las mismas muestras.

4.3. Robustez bajo Degradación

• Enmascaramiento (Masking): Cuando se elimina información acústica, todos los modelos convergen a un "paridad de baja precisión" (todos tienen alto WER, reduciendo la brecha relativa). Sin embargo, Whisper entra en bucles de repetición catastróficos (86% de las inserciones son repeticiones). Los decodificadores LLM explícitos producen 38 veces menos inserciones y casi ninguna repetición.
• Compresión de Audio: Los modelos Gen 3 con alta compresión (Granite, que usa un cuello de botella Q-former) reintroducen el problema de repetición, comportándose más como Whisper que como Qwen3 (baja compresión). Conclusión: El diseño del codificador de audio es más determinante para la equidad que la escala del LLM.
• Inyección de Silencio: Este es el caso más peligroso para Whisper. Bajo 25% de silencio, la brecha de equidad en acento se amplifica 4.64 veces. El silencio desencadena alucinaciones demográficas selectivas (ej. falla catastróficamente con acento africano pero no con canadiense).

5. Significado y Recomendaciones

• El diseño del codificador de audio es la palanca principal: No basta con escalar el LLM; la forma en que se comprime y procesa la señal de audio antes de llegar al decodificador (ej. Q-former vs. proyección directa) determina la robustez y la equidad.
• Selección de Modelos:
  • Para equidad general y robustez: Qwen3-1.7B (baja compresión) es la mejor opción.
  • Para equidad étnica específica: Granite-8B muestra el mejor MMR en etnia.
  • Advertencia sobre Whisper: Whisper-large-v3 no debe desplegarse en habla con acentos sin mitigación de alucinaciones, especialmente en entornos con ruido o silencios, debido a su propensión a bucles de repetición y sesgos de acento.
• Implicaciones para la Industria: La "robustez" no es una propiedad monolítica; un modelo puede ser robusto al ruido pero frágil ante el silencio. Las métricas de equidad deben evaluarse bajo degradación, no solo en audio limpio, ya que las condiciones del mundo real pueden revelar o esconder sesgos de manera paradójica.

En resumen, el estudio concluye que la integración de LLMs preentrenados no es intrínsecamente perjudicial para la equidad; de hecho, puede mejorarla, siempre y cuando la arquitectura de procesamiento de audio (codificador) no fuerce al decodificador a depender de priores de manera defectuosa bajo condiciones adversas.