💬 NLP

Voice, Bias, and Coreference: An Interpretability Study of Gender in Speech Translation

Este estudio investiga cómo los modelos de traducción de voz asignan el género gramatical a los términos que se refieren al hablante, revelando que, si bien los modelos de lenguaje internos exhiben un sesgo masculino, los modelos de alto rendimiento pueden contrarrestarlo mediante pistas acústicas y un mecanismo novedoso que vincula los pronombres de primera persona con términos de género a través de información distribuida del espectro de frecuencia en lugar de solo el tono.

Autores originales: Lina Conti, Dennis Fucci, Marco Gaido, Matteo Negri, Guillaume Wisniewski, Luisa Bentivogli

Publicado 2026-04-29

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lina Conti, Dennis Fucci, Marco Gaido, Matteo Negri, Guillaume Wisniewski, Luisa Bentivogli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot traductor que escucha a personas hablando en inglés y traduce instantáneamente sus palabras a idiomas como el español, el francés o el italiano. En inglés, puedes decir "I became a student" (Me convertí en estudiante) sin especificar si el hablante es hombre o mujer. Pero en español, francés o italiano, la palabra para "became" (se convirtió) cambia según el género: diventato (masculino) o diventata (femenino).

La gran pregunta que plantea este artículo es: Cuando el robot escucha "I became a student", ¿cómo decide si usar la versión masculina o la femenina? ¿Adivina basándose en estereotipos, memoriza lo que vio en sus libros de entrenamiento, o realmente escucha la voz de la persona?

Aquí tienes un desglose de lo que descubrieron los investigadores, usando algunas analogías simples.

1. El robot no solo copia y pega

Una suposición común es que si un robot comete un error (como llamar "él" a una mujer), es porque aprendió ese error de sus datos de entrenamiento. Es como un estudiante que solo memoriza las respuestas más comunes en un libro de texto.

El hallazgo: Los investigadores descubrieron que el robot no es solo un imitador. Incluso cuando los datos de entrenamiento tenían más ejemplos de la versión "femenina" para una palabra específica, el robot a menudo aún elegía la versión "masculina". No memorizó pares de palabras específicos; en su lugar, aprendió una regla general: "En este idioma, las cosas suelen ser masculinas a menos que se indique lo contrario". Es como un chef que asume que todo plato es picante porque la mayoría de los platos en la cocina lo son, incluso si el ingrediente específico en el plato es suave.

2. La "voz interior" frente a los "oídos"

Para entender cómo piensa el robot, los investigadores dividieron su cerebro en dos partes:

La voz interior (Modelo de lenguaje interno): Esta es la parte que conoce las reglas del idioma de destino (español/francés/italiano) pero ignora la entrada de audio. Es como una persona que lee una oración en un libro sin saber quién la dijo.
Los oídos (El codificador): Esta es la parte que realmente escucha la voz.

El hallazgo: La "voz interior" está fuertemente sesgada hacia el género masculino. Si le pides que traduzca sin dejarle escuchar la voz, casi siempre adivinará "masculino". Sin embargo, el robot completo (con oídos) a menudo anula este sesgo interno. Cuando escucha la voz, puede decir: "Espera, mi voz interior dice 'masculino', pero el sonido me dice 'femenino', así que me quedaré con femenino".

3. La pista secreta: No es solo el "tono"

Durante mucho tiempo, la gente pensó que el robot decidía el género escuchando el tono (qué tan agudo o grave suena la voz). Tono agudo = femenino, tono grave = masculino. Es como juzgar un libro por el color de su portada.

El hallazgo: Los investigadores utilizaron un "mapa de calor" especial para ver exactamente qué partes de la onda sonora estaba observando el robot. Sorprendentemente, el robot no se centraba principalmente en el tono. En su lugar, prestaba atención a los formantes.

La analogía: Piensa en el tono como el botón de volumen, pero en los formantes como el timbre o el "color" único de la voz (como la diferencia entre un violonchelo y un violín tocando la misma nota). El robot estaba observando la forma compleja de las ondas sonoras (específicamente el primer y segundo formante) en lugar de simplemente la nota alta o baja. Es como identificar a una persona no solo por lo fuerte que grita, sino por la textura única de su voz.

4. La conexión del "Yo"

El descubrimiento más interesante es cómo el robot conecta la voz con la palabra con género.
Cuando un hablante dice, "I became a student" (Yo me convertí en estudiante), la palabra "I" (Yo) no tiene género en inglés. Pero el robot se dio cuenta de que la palabra "I" es el puente hacia la voz del hablante.

El hallazgo: El robot utiliza la palabra "I" (y otras palabras de autorreferencia como "me" o "my") como un ancla. Vincula las pistas acústicas en la voz (los formantes) directamente con la palabra "I". Una vez que sabe que la voz pertenece al "I", aplica ese género al resto de la oración.

La analogía: Imagina a un detective tratando de identificar a un sospechoso. El sospechoso dice: "I did it" (Yo lo hice). El detective no solo mira la palabra "I"; mira la voz que dice "I". Una vez que la voz se identifica como femenina, el detective sabe que toda la oración trata sobre una mujer. El robot hace lo mismo: usa el pronombre "I" para capturar la información de género oculta en la voz y aplicarla a la traducción.

5. Por qué algunos robots son mejores que otros

El estudio comparó dos tipos de arquitecturas de robots (Transformers y Conformers).

El Transformer (El mejor detective): Este modelo fue muy bueno utilizando las pistas de la voz para anular su sesgo predeterminado "masculino". Confió mucho en la conexión del "I" para obtener el género correcto.
El Conformer (El detective que lucha): Este modelo fue menos preciso. Tendía a aferrarse más a su "voz interior" (el sesgo masculino) y no escuchaba las pistas de la voz tan efectivamente.

Resumen

El artículo concluye que los robots de traducción de voz son más inteligentes de lo que pensábamos, pero tienen una forma específica de trabajar:

Tienen un sesgo incorporado para adivinar "masculino" por defecto.
No solo memorizan datos de entrenamiento; aprenden patrones generales.
No dependen únicamente del tono "agudo/grave" de una voz.
En su lugar, utilizan la palabra "I" como un gancho para capturar las pistas acústicas sutiles y complejas en la voz (los formantes) para determinar el género del hablante y traducir correctamente.

Si queremos arreglar a los robots que se equivocan con el género, no podemos simplemente cambiar los libros de entrenamiento o ajustar el tono; necesitamos entender cómo están vinculando la palabra "I" con el sonido de la voz.

A continuación se presenta un resumen técnico detallado del artículo "Voz, Sesgo y Coreferencia: Un Estudio de Interpretabilidad del Género en la Traducción de Voz".

1. Planteamiento del Problema

Los sistemas de Traducción de Voz (ST) enfrentan desafíos únicos de sesgo de género distintos a los de la Traducción Automática (TA) basada en texto. Mientras que los sistemas de texto dependen del contexto lingüístico, los sistemas de ST procesan audio que contiene pistas acústicas (por ejemplo, tono, formantes) que revelan atributos sociodemográficos del hablante, incluido el género.

El Problema Central: Al traducir desde idiomas neutros en cuanto al género (como el inglés) hacia idiomas con género gramatical (por ejemplo, español, francés, italiano), los modelos de ST deben asignar género a términos que se refieren al hablante (por ejemplo, traducir "I have become a student" a diventato vs. diventata).
El Riesgo: Los modelos pueden asignar un género incorrecto a los hablantes al depender de:
1. Desequilibrios en los Datos de Entrenamiento: Optar por formas masculinas debido a corpus sesgados.
2. Suposiciones Acústicas: Inferir incorrectamente el género basándose en características vocales (por ejemplo, asumir que un tono bajo equivale a masculino).
La Brecha: Se comprende poco cómo utilizan los modelos de ST la información acústica para tomar estas decisiones o si dependen de características acústicas específicas (como el tono) o de la coreferencia lingüística.

2. Metodología

Los autores emplean un enfoque de interpretabilidad multifacético para diseccionar el proceso de toma de decisiones de los modelos de ST en tres pares de idiomas (inglés $\to$ español, francés, italiano).

A. Conjuntos de Datos y Modelos

Datos: MuST-SHE, un punto de referencia que contiene voz en inglés con términos neutros en cuanto al género que requieren una traducción con género, anotado con el género autoidentificado del hablante.
Modelos: Dos arquitecturas entrenadas en el corpus MuST-C (para garantizar un análisis transparente de los datos de entrenamiento):
1. Transformer (Wang et al., 2020): Codificador-descodificador multilingüe.
2. Conformer (Papi et al., 2024): Codificador Conformer monolingüe con descodificador Transformer.

B. Técnicas Analíticas

Análisis de Prevalencia en los Datos de Entrenamiento:
- Compara la frecuencia de términos con género en el corpus de entrenamiento frente a las preferencias de generación del modelo.
- Objetivo: Determinar si los modelos simplemente memorizan estadísticas específicas de los términos del entrenamiento o aprenden patrones más amplios.
Aproximación del Modelo de Lenguaje Interno (ILM):
- Reemplaza la salida de audio del codificador con un vector cero, aislando el comportamiento del descodificador.
- Objetivo: Medir el sesgo inherente del descodificador (patrones de lenguaje aprendidos) independientemente del audio de entrada.
Atribución de Características Contrastiva:
- Utiliza el método de Conti et al. (2025) para generar mapas de saliencia en los espectrogramas de entrada.
- Mecanismo: Enmascara sistemáticamente segmentos del espectrograma para observar cambios en la probabilidad de generar una forma masculina frente a una femenina.
- Validación: Identifica ejemplos "invertidos" donde la oclusión de características específicas cambia la predicción de género, estableciendo un vínculo causal entre las características de entrada y la salida.

3. Resultados Clave

A. Datos de Entrenamiento vs. Comportamiento del Modelo

Hallazgo: Los modelos no replican simplemente las asociaciones de género específicas de los términos presentes en los datos de entrenamiento.
Evidencia: Aunque los datos de entrenamiento muestran un sesgo masculino (prevalencia aproximada del 68–71%), los modelos predicen frecuentemente el género menos prevalente para términos específicos (por ejemplo, el 87.8% de las predicciones femeninas en español correspondieron a términos donde la forma masculina era más frecuente en el entrenamiento).
Conclusión: Los modelos aprenden un patrón más amplio de "prevalencia masculina" en lugar de memorizar pares de palabras individuales.

B. El Papel del Modelo de Lenguaje Interno (ILM)

Hallazgo: El descodificador (ILM) exhibe un fuerte sesgo masculino (puntuaciones de preferencia de 0.74–0.81 para el Transformer), a menudo más fuerte que la prevalencia cruda de los datos de entrenamiento.
Interacción:
- El modelo Transformer frecuentemente anula este sesgo interno cuando está presente la entrada acústica, generando con éxito formas femeninas a pesar de la preferencia del ILM por lo masculino.
- El modelo Conformer depende más pesadamente de su ILM y lucha por anular el sesgo utilizando pistas acústicas, lo que resulta en una menor precisión de género.

C. Pistas Acústicas: Tono vs. Formantes

Hallazgo: Contrario a la suposición de que el tono (Frecuencia Fundamental, F0) es el motor principal para la asignación de género, los modelos dependen más de los formantes (F1 y F2).
Evidencia: Los mapas de saliencia muestran las puntuaciones de atribución más altas en el rango de 350–2,500 Hz (formantes), que son cruciales para la identidad de las vocales y varían según el género del hablante. El rango de tono (80–350 Hz) es menos dominante, aunque aún presente.
Implicación: Las intervenciones que solo manipulan el tono son insuficientes para neutralizar el sesgo de género en la ST.

D. El Mecanismo de Coreferencia

Hallazgo: La característica lingüística más crítica para la asignación de género es el pronombre de primera persona "I" (y palabras autorreferenciales como "my", "me").
Mecanismo:
- En la TA basada en texto, los modelos utilizan pronombres con género (he/she) para resolver ambigüedades.
- En la ST, la palabra "I" es semánticamente neutra en cuanto al género. Sin embargo, el modelo utiliza "I" como un ancla para vincular las pistas acústicas de la voz del hablante con el género gramatical del término objetivo.
- Prueba Estadística: Para el modelo Transformer, "I" es la palabra con la puntuación más alta en el 36–46% de los ejemplos "invertidos" (donde la oclusión cambia la predicción). Incluir todas las palabras autorreferenciales eleva esto al 43–53%.
- Asimetría: Este mecanismo es significativamente más crítico para generar formas femeninas (tasa de inversión del 60% o más cuando se ocluye) que para formas masculinas, lo que sugiere que el modelo utiliza pistas acústicas para superar su sesgo masculino predeterminado específicamente para salidas femeninas.

4. Contribuciones Clave

Desacoplamiento de Fuentes de Sesgo: Demuestra que el sesgo de género en la ST no es meramente un reflejo de la distribución de los datos de entrenamiento, sino una interacción compleja entre un modelo de lenguaje interno sesgado y la entrada acústica.
Descubrimiento de Características Acústicas: Identifica que los formantes (F1/F2), y no solo el tono, son los impulsores acústicos principales para la asignación de género en los modelos de ST.
Coreferencia en Audio: Revela un mecanismo novedoso donde los modelos utilizan pronombres de primera persona semánticamente neutros ("I") como puente para acceder a información de género acústica distribuida, realizando efectivamente una "resolución de coreferencia acústica".
Comparación Arquitectónica: Muestra que los modelos de ST basados en Transformer son mejores aprovechando estas pistas acústicas para anular sesgos internos en comparación con los modelos basados en Conformer.

5. Significado e Implicaciones

Estrategias de Mitigación: Las estrategias actuales de mitigación centradas únicamente en reequilibrar los datos de entrenamiento o manipular el tono son probablemente insuficientes. Las intervenciones efectivas deben abordar la dependencia del modelo de los formantes y su tendencia a optar por formas masculinas cuando las pistas acústicas son ambiguas o faltan.
Consideraciones Éticas: El estudio destaca el riesgo de "misgendering" (asignación incorrecta de género) a hablantes cuyas características vocales no se alinean con las expectativas binarias de género. Comprender que los modelos utilizan "I" + voz para inferir género sugiere que los sistemas podrían diseñarse para respetar los pronombres especificados por el usuario en lugar de inferir el género a partir de la voz.
Investigación Futura: Los hallazgos sugieren que los futuros sistemas de ST (incluidos los SpeechLLMs) deben evaluarse en su capacidad para manejar identidades de género no binarias y su dependencia de características acústicas específicas más allá del tono.

En resumen, el artículo proporciona una explicación causal y granular de cómo los modelos de traducción de voz navegan la ambigüedad de género, revelando que funcionan anclando las características acústicas de la voz a marcadores lingüísticos de primera persona, en lugar de depender de una detección simple del tono o de la memorización de datos de entrenamiento.