💻 computer science

What You Train Is What You Get: Gender Bias, Training Composition, and Post-Hoc Mitigation in Audio Deepfake Detection

Este estudio demuestra que el sesgo de género en la detección de deepfakes de audio es impulsado primordialmente por la composición de los datos de entrenamiento en lugar de por la calibración de umbrales post-hoc, ya que los conjuntos de datos desequilibrados causan que los grupos subrepresentados tengan un peor desempeño y los métodos de post-procesamiento no logran corregir las disparidades resultantes en la distribución de las puntuaciones.

Autores originales: Aishwarya R. Fursule, Vamshi Nallaguntla, Shruti Kshirsagar, Anderson R. Avila

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aishwarya R. Fursule, Vamshi Nallaguntla, Shruti Kshirsagar, Anderson R. Avila

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás construyendo un guardia de seguridad superinteligente para una fortaleza digital. El trabajo de este guardia es escuchar una voz y gritar: "¡Humano real!" o "¡Robot falso!" para detener los deepfakes de audio. Suena genial, ¿verdad? Pero aquí está el giro: incluso si este guardia tiene un 99% de precisión general, podría ser secretamente terrible en su trabajo para la mitad de las personas que protege.

Eso es exactamente lo que un equipo de investigadores descubrió cuando sometió a los detectores de deepfakes de audio a una enorme y controlada prueba de estrés. No se limitaron a mirar la puntuación final; espiaron bajo el capó para ver cómo fue entrenado el guardia y si trataba de manera justa a hombres y mujeres.

La regla de "Lo que entrenas es lo que obtienes"

¿La mayor sorpresa? El sesgo del guardia no es aleatorio. Es un espejo directo de con quién pasó el tiempo durante el entrenamiento.

Piensa en los datos de entrenamiento como una cafetería escolar. Si el guardia solo almuerza con chicas durante un mes, se convierte en un experto en detectar chicas falsas, pero se confunde cuando un chico intenta colarse. Si solo almuerza con chicos, se confunde con las chicas. Los investigadores descubrieron que el género que estaba subrepresentado en la "cafetería" de entrenamiento era el que recibía el peor trato al momento de la prueba.

Probaron esto creando nueve "cafeterías" (conjuntos de entrenamiento), que iban desde "Solo Chicas" hasta "Solo Chicos" pasando por "Perfectamente Equilibrada". El resultado fue cristalino: si entrenabas al modelo mayoritariamente con voces femeninas, las voces masculinas eran engañadas con más frecuencia. Si lo entrenabas mayoritariamente con voces masculinas, las voces femeninas sufrían. Es como un entrenador deportivo que solo practica con jugadores zurdos; cuando un jugador diestro entra al campo, el entrenador no tiene idea de qué hacer.

"Gafas Mágicas" vs. "Cerebro Profundo"

Los investigadores también probaron dos tipos diferentes de "ojos" (representaciones de características) para ver a qué estaba mirando realmente su guardia.

LogSpectrogram: Piensa en esto como un par de gafas que solo mira los patrones superficiales de las ondas sonoras. Cuando equilibraron la cafetería de entrenamiento, estas gafas funcionaron mucho mejor. La brecha de sesgo promedio cayó a un minúsculo 0.063 pp, y para 30 de los 32 tipos de ataques diferentes, el sesgo casi había desaparecido.
WavLM-Base+: Esto es como un cerebro de IA profundo que aprendió a entender el habla leyendo millones de horas de audio antes de siquiera conocer al guardia. Incluso cuando los investigadores le dieron una cafetería perfectamente equilibrada, esta IA seguía aferrada a su sesgo. La brecha promedio entre hombres y mujeres se mantuvo obstinadamente alta (0.273 pp), lo cual es de 3.0 a 4.3 veces mayor que el de las gafas.

El artículo sugiere que esta IA profunda aprendió el "género" como un código secreto durante su entrenamiento temprano, y ninguna cantidad de equilibrar la cafetería después podía borrar ese código. Es como enseñarle a un estudiante que ya memorizó las respuestas incorrectas; darle un libro de texto equilibrado no ayuda si todavía está usando sus notas sesgadas. Para este tipo específico de IA, simplemente equilibrar los datos de entrenamiento no es suficiente para solucionar el problema.

El "Arreglo Mágico" que no lo fue

Aquí está la parte que podría hacerte suspirar: los investigadores intentaron todo para arreglar el sesgo después de que el entrenamiento terminó. Intentaron seis estrategias diferentes de "post-hoc", que son como ajustar el umbral de decisión del guardia después del hecho.

Incluso probaron una estrategia de "Oráculo". Imagina un código de trampa superpoderoso donde el guardia puede ver las respuestas correctas antes de tomar su decisión final. Pensarías que esto lo arreglaría todo, ¿verdad?

No.

Incluso con el código de trza, la brecha en el rendimiento (llamada Tasa de Error Igual, o EER) se quedó estancada en 1.317 pp. Los investigadores demostraron que no puedes arreglar un cimiento roto simplemente pintando las paredes. Si la distribución de la puntuación interna del guardia es sesgada, mover la línea de "aprobado/reprobado" no cambia el hecho de que un grupo está recibiendo consistentemente puntuaciones más bajas que el otro. El artículo descarta explícitamente la idea de que los ajustes posteriores al entrenamiento puedan solucionar esto; el arreglo tiene que ocurrir durante el entrenamiento, no después.

Un tamaño no se ajusta a todos

Finalmente, el equipo descubrió que la "equidad" es una palabra complicada. Dependiendo de qué regla uses para medir la equidad, el "peor" atacante cambia.

Si te importa con qué frecuencia se acusa falsamente a personas reales (Tasa de Falsos Positivos), un tipo de voz falsa es el villano más grande.
Si te importa con qué frecuencia las voces falsas se escapan por las grietas (Tasa de Falsos Negativos), un otro tipo de voz falsa es el peor villano.

Es como juzgar una película: un crítico podría decir que es la mejor comedia de la historia, mientras que otro podría decir que es el peor drama. El artículo muestra que no puedes simplemente elegir un número y decir: "¡Somos justos!". Tienes que saber exactamente qué tipo de error no puedes permitirte cometer.

La conclusión final

Entonces, ¿cuál es la moraleja para nuestro mundo digital?

No confíes en el promedio: Una alta precisión general puede ocultar el hecho de que el sistema está fallando a grupos específicos.
Equilibra la cafetería (pero ten cuidado): Debes entrenar tu IA con una mezcla perfectamente equilibrada de voces desde el principio, pero sé consciente de que para algunos modelos de IA avanzados (como WavLM), equilibrar por sí solo podría no ser suficiente para solucionar sesgos profundos.
Cuidado con los "cerebros pre-entrenados": Algunos modelos de IA vienen con sesgos integrados de su entrenamiento masivo previo que son difíciles de eliminar, incluso con datos de entrenamiento perfectos.
No hay varitas mágicas: No puedes simplemente ajustar los ajustes más tarde para arreglar un sesgo profundo. Si los datos de entrenamiento están sesgados, los resultados estarán sesgados.

Los investigadores concluyen que para construir una IA verdaderamente confiable, tenemos que hornear la equidad en la receta desde el primer paso, porque una vez que el pastel está horneado, no puedes simplemente añadir más harina para arreglar el sabor.

Resumen Técnico: Sesgo de Género, Composición del Entrenamiento y Mitigación Post-hoc en la Detección de Deepfakes de Audio

Planteamiento del Problema

Los modelos de detección de deepfakes de audio son cada vez más críticos para verificar la identidad humana; sin embargo, una alta precisión agregada suele ocultar disparidades de rendimiento sustanciales entre grupos demográficos. Investigaciones previas han documentado hallazgos contradictorios con respecto al sesgo de género: algunos estudios sugieren que los modelos entrenados con voces femeninas superan a los entrenados con voces masculinas debido a artefactos espectrales, mientras que otros indican que los hablantes masculinos enfrentan tasas de falsos positivos más altas independientemente de la arquitectura. Estas contradicciones surgen porque trabajos anteriores no lograron controlar la composición de género en los datos de entrenamiento, dejando sin resolver si la dirección del sesgo es predecible a partir de la composición, cómo interactúa esto con los tipos de ataque y si el método para lograr el equilibrio es relevante. Además, no está claro si la calibración de umbral post-hoc puede reducir fundamentalmente las disparidades de género o si existe un límite estricto para su eficacia.

Metodología

Los autores realizaron un estudio sistemático utilizando el conjunto de datos ASVspoof5, que incluye 32 ataques de suplantación distintos (Text-to-Speech, Conversión de Voz y Perturbación Adversaria). Para aislar los efectos de la composición del entrenamiento, los investigadores construyeron una división personalizada y controlada de los datos, agrupando los enunciados de todas las particiones oficiales y re-particionándolos en conjuntos de 70% entrenamiento, 10% desarrollo y 20% evaluación para cada ataque y grupo de género.

Diseño Experimental:

Configuraciones de Entrenamiento: Se probaron nueve configuraciones distintas de composición de género:
- Línea Base (Baseline): Solo femenina (F), solo masculina (M) y combinada (100% F + 100% M).
- GenderMix: Seis configuraciones de mezcla parcial (por ejemplo, F+25%M, M+75%F) para crear un gradiente de desequilibrio.
Modelos y Características: Se entrenaron un total de 384 modelos específicos por ataque:
- 288 modelos utilizando características de WavLM-Base+ (seleccionadas por exhibir brechas de género mayores en trabajos previos).
- 96 modelos utilizando LogSpectrogram (para comparación de línea base).
- Todos los modelos utilizaron un clasificador ResNet18.
Evaluación: Los modelos fueron evaluados en escenarios de mismo-ataque y de ataque cruzado. El rendimiento se midió mediante la Tasa de Error Igual (EER) y seis métricas de equidad de grupo: Diferencia de Paridad Estadística (SPD), Diferencia de Oportunidad Igualada (EOpD), Diferencia de Igualdad de Oportunidades (EOD), brecha de Tasa de Falsos Positivos (FPR gap), Diferencia de Valor Predictivo Positivo (PPD) y Diferencia de Error de Umbral (TED).
Mitigación: Se aplicaron seis estrategias de calibración de umbral post-hoc, incluyendo el umbral global estándar, calibración de EER/FPR/TPR/DP por género, y una calibración Oracle (usando etiquetas completas del conjunto de prueba) para establecer el límite superior teórico de la corrección post-hoc.
Validación: La significancia estadística se verificó mediante remuestreo de bootstrap de Poisson ( $N=1000$ ) con corrección de Benjamini–Hochberg.

Contribuciones Clave

Estudio de Composición Controlada: Este es el primer estudio que varía sistemáticamente la composición de género de entrenamiento como una variable independiente controlada en la detección de deepfakes de audio, entrenando 384 modelos a través de nueve configuraciones.
Causalidad de la Composición-Sesgo: El estudio demuestra que el género subrepresentado en el entrenamiento sufre consistentemente tasas de error más altas en el tiempo de prueba en 31 de los 32 ataques, independientemente de qué género sea la minoría.
Disparidad de Representación de Características: Los autores muestran que WavLM-Base+ produce brechas de rendimiento de género de 3.0 a 4.3 veces mayores que LogSpectrogram bajo condiciones idénticas. Crucialmente, el entrenamiento equilibrado casi elimina el sesgo de LogSpectrogram pero deja el sesgo de WavLM prácticamente intacto, lo que sugiere que las correlaciones de género incrustadas durante el pre-entrenamiento autosupervisado persisten a través del ajuste fino (fine-tuning).
Especificidad del Tipo de Ataque: Se encontró que los ataques de conversión de voz producen las mayores brechas de género, mientras que los ataques de perturbación adversaria produjeron las menores brechas de EER pero las mayores disparidades de paridad demográfica, destacando que ninguna métrica única captura todas las dimensiones de la equidad.
Límites de la Mitigación Post-Hoc: El estudio demuestra que las seis estrategias de calibración, incluyendo la calibración Oracle, fallan en reducir la brecha de EER, la cual permanece fija en 1.317 pp. Esto confirma que el ajuste de umbral no puede corregir las disparidades en la distribución de las puntuaciones.

Resultados

Composición de Entrenamiento: El género dominante en el conjunto de entrenamiento tiene ventaja en el tiempo de prueba. Por ejemplo, en configuraciones ancladas en el género femenino, los hablantes masculinos enfrentan EERs significativamente más altos. Aumentar la proporción del género minoritario reduce la brecha de EER de forma monotónica pero con rendimientos decrecientes; solo el entrenamiento totalmente combinado (100% de ambos géneros) logra una brecha baja (0.273 pp para LogSpectrogram, 0.273 pp para WavLM).
Sensibilidad de las Características: Mientras que el sesgo de LogSpectrogram es neutralizado por los datos equilibrados, el sesgo de WavLM-Base+ persiste. Esto indica que WavLM codifica información de género durante su fase de pre-entrenamiento (sobre 94,000 horas de habla no etiquetada) que no es eliminable mediante el ajuste fino con datos equilibrados.
Generalización de Ataque Cruzado: Bajo la evaluación de ataque cruzado, las tendencias monotónicas observadas en la evaluación de mismo-ataque se rompen. El género desfavorecido puede cambiar dependiendo del tipo de ataque, y la brecha de EER sigue siendo alta (1.491–1.963 pp) incluso con entrenamiento combinado, lo que sugiere que el sesgo está profundamente incrustado en las representaciones de las características.
Fallo de la Calibración: Las estrategias de calibración de umbral post-hoc logran igualar métricas específicas (por ejemplo, TC FPR iguala las tasas de falsa alarma) pero lo hacen a costa de otras métías (por ejemplo, reducción de las Tasas de Verdaderos Positivos). Lo más crítico es que ninguna estrategia redujo la brecha de EER, la cual se mantuvo constante en 1.317 pp en todas las configuraciones y estrategias.
Divergencia de Métricas: La elección de la métrica de equidad altera significativamente el ranking de la equidad del ataque. Por ejemplo, A28 (pre-entrenado con YourTTS) es el más sesgado por métricas basadas en tasas pero no por TED, mientras que A19 (MaryTTS) es el más justo por métricas basadas en tasas pero el peor por TED.

Significancia y Reivindicaciones

El artículo argumenta que la equidad de género en la detección de deepfakes de audio no es simplemente un artefacto de la selección de umbrales, sino que surge de la interacción entre la composición del entrenamiento, el tipo de ataque y la representación de características.

Los autores afirman que:

El Sesgo es Estructural: Las disparidades están arraigadas en la composición de los datos y en las representaciones pre-entrenadas (específicamente en modelos SSL como WavLM), no solo en el clasificador final.
Límites Post-Hoc: Existe un límite fundamental para lo que la calibración post-hoc puede lograr. Debido a que el ajuste de umbral solo desplaza el punto de operación a lo largo de la curva ROC sin alterar su forma, no puede resolver las disparidades de EER a nivel de distribución.
Necesidad en el Tiempo de Entrenamiento: La equidad debe abordarse en el tiempo de entrenamiento. El estudio sugiere que para los detectores basados en SSL, el simple equilibrio de los datos de entrenamiento es insuficiente; las intervenciones deben ocurrir a nivel de representación o de pre-entrenamiento.
Guías de Implementación: Los profesionales deben reportar EERs por género para ataques específicos en lugar de métricas agregadas, documentar la composición de género del entrenamiento como metadato, y seleccionar estrategias de calibración basadas en el modo de falla específico que desean mitigar (por ejemplo, falsas alarmas vs. detecciones omitidas), reconociendo que ninguna estrategia única satisface todos los criterios de equidad simultáneamente.

El artículo concluye que, si bien los métodos post-hoc pueden mitigar parcialmente las disparidades en métricas específicas, no pueden corregir el sesgo estructural subyacente, lo que requiere un cambio hacia intervenciones a nivel de datos y de representación para una IA confiable en contramedidas de suplantación.