The Unheard Alternative: Contrastive Explanations for Speech-to-Text Models

Aquí se presenta un resumen técnico detallado del artículo "La alternativa inaudita: Explicaciones contrastivas para modelos de voz a texto".

1. Planteamiento del Problema

Mientras que la IA Explicable (XAI) ha avanzado significativamente en el Procesamiento del Lenguaje Natural (NLP) basado en texto, aplicar explicaciones contrastivas a los modelos de Voz a Texto (S2T) sigue siendo un desafío abierto.

• Explicaciones Contrastivas: A diferencia de las explicaciones estándar que responden a "¿Por qué el modelo produjo la salida P?", las explicaciones contrastivas responden a "¿Por qué el modelo produjo P en lugar de Q?" (donde Q es un contrapunto o alternativa). Esto se alinea mejor con el razonamiento humano.
• La Brecha: Los métodos existentes de explicación en S2T (por ejemplo, SPES) generan mapas de saliencia holísticos sobre espectrogramas de audio. Estos mapas destacan características relevantes para la generación de cualquier palabra, pero no logran aislar características específicas de la elección entre dos salidas competidoras (por ejemplo, por qué el modelo eligió la forma masculina curioso en lugar de la femenina curiosa).
• Desafíos Específicos en S2T:
  1. Modalidad de Entrada: Las señales de audio son multidimensionales (tiempo y frecuencia) y se representan como espectrogramas.
  2. Granularidad de Salida: Los modelos S2T generan tokens de subpalabras, no palabras completas, lo que hace que la agregación de probabilidades a nivel de palabra no sea trivial.
  3. Puntuación: Las funciones de puntuación contrastiva estándar utilizadas en NLP de texto a menudo fallan cuando el modelo favorece fuertemente el objetivo sobre el contrapunto, resultando en explicaciones indistinguibles de las no contrastivas.

2. Metodología

Los autores proponen el primer marco para obtener explicaciones contrastivas en S2T adaptando el método SPES (Perturbación de Espectrograma para Voz a Texto Explicable). El enfoque implica dos intervenciones técnicas críticas:

A. Agregación de Probabilidades a Nivel de Palabra

Dado que los modelos S2T generan tokens de subpalabras, la probabilidad de una palabra completa ($t$) debe reconstruirse a partir de sus subpalabras constituyentes ($w_0, \dots, w_k$).

• Limitación del Trabajo Previo: Los métodos de agregación simples (promedio, agrupación máxima o multiplicación ingenua de la regla de la cadena) no tienen en cuenta las discrepancias en la cantidad de tokens entre el objetivo y el contrapunto, ni el hecho de que una secuencia de subpalabras podría ser un prefijo de una palabra más larga en lugar de una palabra completa.
• Solución Propuesta: Los autores adoptan el método de Límites de Palabra (Pimentel y Meister, 2024). Este método calcula la probabilidad de una secuencia de palabras asegurando que sea seguida por un token de "inicio de palabra" o puntuación. Esto evita la sobreestimación de las probabilidades de secuencias de subpalabras que son meramente prefijos (por ejemplo, distinguir _professor de _professor e ssa).

B. Funciones de Puntuación Contrastiva

El núcleo del método es una función de puntuación que cuantifica cómo perturbar una región de entrada afecta la probabilidad del objetivo ($t$) frente al contrapunto ($f$).

• El Problema con la Puntuación por Diferencia ($S_{CD}$): La puntuación contrastiva estándar, $S_{CD}(t, f) = (p(t) - \tilde{p}(t)) - (p(f) - \tilde{p}(f))$, a menudo colapsa en la puntuación base $S_B(t)$ cuando $p(t) \gg p(f)$. En tales casos, la explicación destaca características relevantes para generar cualquier palabra correcta, no el contraste específico.
• Solución Propuesta: Los autores introducen el Puntaje Relativo ($S_{CR}$), basado en Jacovi et al. (2021):
  $$S_{CR}(t, f) = \frac{p(t)}{p(t) + p(f)} - \frac{\tilde{p}(t)}{\tilde{p}(t) + \tilde{p}(f)}$$
  Esta función normaliza la contribución de ambos términos por su suma. Garantiza que, incluso si el objetivo es mucho más probable que el contrapunto, la puntuación permanezca sensible a los cambios en la probabilidad del contrapunto, aislando efectivamente características específicas del contraste.

C. Métricas de Evaluación

Para validar la fidelidad de las explicaciones (qué tan bien reflejan el comportamiento real del modelo), los autores adaptan métricas de clasificación de texto:

1. Cobertura: El porcentaje de casos en los que el modelo genera ya sea el objetivo o el contrapunto después de la eliminación de características. Una alta cobertura asegura que las características identificadas son específicas del contraste, no de la generación general de texto.
2. Tasa de Inversión: La tasa a la que el modelo cambia de predecir el objetivo al contrapunto a medida que se ocultan progresivamente (eliminan) las características salientes. Una explicación fiel debe provocar una alta tasa de inversión con una eliminación mínima.

3. Contribuciones Clave

1. Primer Método Contrastivo para S2T: Introdujo una nueva pipeline para generar explicaciones contrastivas para modelos de voz mediante la adaptación de la atribución basada en perturbación a espectrogramas.
2. Mecanismo de Puntuación Novel: Propuso el Puntaje Relativo ($S_{CR}$) como una alternativa superior al Puntaje por Diferencia estándar para S2T, demostrando que produce mapas de saliencia distintos y verdaderamente contrastivos.
3. Marco de Evaluación Robusto: Desarrolló una evaluación de doble métrica (Cobertura + Tasa de Inversión) adaptada para tareas generativas de S2T para medir la fidelidad de la explicación.
4. Validación Empírica: Validó el método en la asignación de género del hablante en traducción de voz a través de tres pares de idiomas (Inglés $\to$ Francés, Italiano, Español).

4. Resultados

El método fue evaluado utilizando el conjunto de datos MuST-SHE, centrándose en la traducción de términos neutros en género en inglés a lenguas romances con género (por ejemplo, "I am curious" $\to$ curioso vs. curiosa).

• Distinción de Mapas de Saliencia:
  • Puntaje por Diferencia ($S_{CD}$): Produjo mapas de saliencia altamente correlacionados (Pearson $r \approx 0.93$) con explicaciones no contrastivas. No logró aislar características específicas de género.
  • Puntaje Relativo ($S_{CR}$): Produjo mapas con baja correlación ($r \approx 0.33$) con mapas no contrastivos, aislando con éxito regiones acústicas relevantes para el género.
• Rendimiento de Cobertura:
  • Al eliminar características identificadas por el Puntaje por Diferencia, la cobertura cayó por debajo del 20% después de solo un 2% de eliminación (indicando que las características eran genéricas).
  • El Puntaje Relativo mantuvo una cobertura >30% incluso después de un 20% de eliminación, demostrando que apunta a características específicas del contraste de género.
• Rendimiento de Tasa de Inversión:
  • Objetivos Femeninos: Ocultar el 5% superior de las características identificadas por el Puntaje Relativo provocó que el modelo cambiara a predicciones masculinas en >70% de los casos cubiertos.
  • Objetivos Masculinos: Las tasas de inversión fueron más bajas (~30%), lo que los autores atribuyen a un sesgo de default masculino en los modelos S2T (donde lo masculino es el default a menos que haya señales femeninas fuertes), en lugar de una falla del método.
• Robustez del Modelo: Los resultados se mantuvieron consistentes a través de diferentes arquitecturas (Transformador Multilingüe, Conformer Monolingüe) y pares de idiomas.

5. Significado e Implicaciones

• Avance en XAI para Voz: Este trabajo cierra la brecha entre las técnicas de explicación contrastiva basadas en texto y los desafíos únicos del procesamiento de voz, proporcionando una base para comprender cómo los modelos S2T utilizan pistas acústicas.
• Detección de Sesgos: El método aísla efectivamente las características acústicas (por ejemplo, tono, formantes) que los modelos utilizan para la desambiguación de género. Esto es crucial para auditar el sesgo de género en la IA, revelando que los modelos a menudo dependen de rasgos vocales que pueden perjudicar a hablantes transgénero o aquellos con características vocales atípicas.
• Aplicaciones Futuras: Aunque se demostró en género, la metodología es generalizable a otros fenómenos de S2T, como la desambiguación de homófonos, la resolución de coreferencia y la selección de registro de cortesía.
• Conciencia Ética: El artículo reconoce explícitamente los riesgos éticos de usar rasgos vocales para la predicción de género, señalando que, si bien mejora la precisión, puede dañar a grupos marginados. La herramienta está diseñada para explicar los comportamientos actuales del modelo para facilitar una mejor supervisión y estrategias futuras de mitigación.

En resumen, el artículo proporciona un marco técnico riguroso para comprender por qué los modelos S2T toman decisiones específicas entre alternativas, avanzando más allá de "qué" predicen hacia "cómo" deciden, con un enfoque específico en el problema crítico del sesgo de género en la traducción de voz.