Speaker-Invariant Representation Learning for Spoofing Detection via Gradient Reversal and A Variational Information Bottleneck

Resumen Técnico: Aprendizaje de Representaciones Invariantes al Locutor para la Detección de Suplantación mediante la Reversión de Gradiente y un Cuello de Botella de Información Variacional

Planteamiento del Problema
El artículo aborda el problema crítico de la pobre generalización en los sistemas de detección de suplantación (spoofing) al transicionar de entornos intra-dominio a extra-dominio. Los autores identifican el sesgo del locutor como una causa primaria de esta fragilidad. En conjuntos de datos como ASVspoof 5, suele haber una distribución disjunta de identidades de locutores entre las particiones de voces auténticas (bona fide) y suplantadas (spoofed). En consecuencia, los modelos pueden aprender "atajos" asociando identidades de voz específicas con la etiqueta de suplantación en lugar de aprender los artefactos acústicos intrínsecos de la síntesis o manipulación. Esto conduce al sobreajuste en las distribuciones de entrenamiento y al fallo ante locutores no vistos o nuevos vectores de ataque. Además, los intentos previos de imponer la invarianza del locutor mediante el entrenamiento adversarial dependían de etiquetas de locutor dentro del conjunto de datos de suplantación, las cuales a menudo no están disponibles o son insuficientemente diversas, y corren el riesgo de descartar pistas beneficiosas de suplantación durante una supresión adversarial agresiva.

Metodología
Los autores proponen IVSpk-VIB, un marco de trabajo profesor-alumno (teacher-student) diseñado para aprender representaciones invariantes al locutor para la detección de suplantación sin requerir etiquetas de locutor para el conjunto de datos objetivo. La arquitectura consta de tres componentes principales:

1. Marco Profesor-Alumno con Reversión de Gradiente:

   • Profesor (Teacher): Un modelo de reconocimiento de locutor pre-entrenado (entrenado en el conjunto de datos a gran escala VoxCeleb2) actúa como un profesor congelado. Este extrae embeddings de locutor que codifican información rica sobre la identidad del locutor.
   • Alumno (Student): Un modelo de detección de suplantación (basado en XLSR y MHFA) es entrenado para predecir la etiqueta de suplantación.
   • Aprendizaje Adversarial: Se inserta una Capa de Reversión de Gradiente (GRL) entre el extractor de características del alumno y un cabezal de clasificación de locutor. El alumno es guiado para minimizar la pérdida de suplantación mientras maximiza el error en la predicción de los embeddings de locutor del profesor. Esto fomenta que el alumno aprenda representaciones que sean invariantes a la identidad del locutor.

2. Cuello de Botella de Información Variacional (VIB):

   • Para evitar que el entrenamiento adversarial elimine pistas esenciales relacionadas con la suplantación junto con la información del locutor, se integra un VIB en la rama de clasificación de locutor.
   • El VIB impone una restricción de información teórica sobre la representación latente. Modela la variable latente como una posterior gaussiana y aplica una regularización de divergencia de Kullback-Leibler contra una prioridad normal estándar.
   • Esto crea un cuello de botella controlado, asegurando que la supresión se centre en la información principal relacionada con el locutor mientras preserva la evidencia discriminativa necesaria para la detección de suplantación.

3. Objetivo de Entrenamiento:
   La optimización global minimiza una función de pérdida combinada: la pérdida de entropía cruzada para la detección de suplantación, el error cuadrático medio (MSE) entre los embeddings de locutor del alumno y el profesor (vía GRL), y el término de regularización VIB.

Contribuciones Clave

• Análisis del Sesgo del Locutor: Los autores demuestran empíricamente que el conjunto de entrenamiento de ASVspoof 5 crea una correlación espuria entre la identidad del locutor y la etiqueta de suplantación. El análisis de agrupamiento latente revela que las emisiones auténticas y suplantadas ocupan regiones distintas y no superpuestas en el espacio de embeddings de locutor, confirmando que los modelos pueden explotar atajos basados en la identidad.
• Invariancia de Locutor Libre de Etiquetas: Introducen un marco profesor-alumno que suprime las influencias de la identidad de voz sin depender de etiquetas de locutor en el conjunto de datos de suplantación objetivo, superando las limitaciones de métodos previos que requerían anotaciones de locutor intra-dominio.
• Entrenamiento Adversarial Controlado: Al incorporar el VIB, el método regula el proceso de supresión adversarial, gestionando el equilibrio entre eliminar características de voz sesgadas y preservar la información relevante para la suplantación.
• Evaluación Exhaustiva: El modelo es evaluado en nueve conjuntos de datos diversos, demostrando mejoras consistentes sobre las líneas base.

Resultados
El modelo propuesto MHFA-IVSpk-VIB fue evaluado frente a varias líneas base (AASIST, Conformer, MHFA y el método previo SInMT) a través de nueve conjuntos de datos, incluyendo ASVspoof 2019/2021, CodecFake y LibriSeVox.

• Generalización: El modelo logró una reducción relativa del 25.7% en la Tasa de Error Igual (EER) en comparación con la línea base MHFA en el conjunto de datos agrupado (combinando todos los conjuntos de evaluación).
• Comparación con el Trabajo Previo: Superó a la línea base SInMT (que utilizaba etiquetas de locutor intra-dominio) por un 11.3% en EER agrupado relativo, resaltando el beneficio de utilizar un profesor pre-entrenado en datos externos diversos (VoxCeleb) en lugar de etiquetas limitadas intra-dominio.
• Benchmarking: Al compararse con las cuatro mejores propuestas del desafío ASVspoof 5, el modelo propuesto mostró una robustez superior extra-dominio. Mientras que los mejores sistemas del desafío sufrieron caídas significativas de rendimiento en conjuntos de datos no vistos (por ejemplo, subiendo de un 3.30% de EER en ASVspoof 5 a un 17.33% en ASVspoof 2019), el modelo propuesto mantuvo tasas de error más bajas a través de estos cambios, logrando una mejora relativa del 62% en el EER promedio respecto al mejor sistema del desafío (T23) en todos los benchmarks.

Significado
El artículo sostiene que la integración de un Cuello de Botella de Información Variacional es esencial para equilibrar la invariancia del locutor y la discriminabilidad de la suplantación. Sin el VIB, el entrenamiento adversarial corre el riesgo de descartar pistas críticas de suplantación; con el VIB, el sistema logra una forma controlada de aprendizaje invariante. Los resultados sugieren que aprovechar la amplia diversidad de locutores de fuentes externas a través de un modelo profesor es más efectivo para la generalización que depender de la limitada diversidad de locutores encontrada en los típicos conjuntos de entrenamiento de detección de suplantación. Este enfoque ofrece una solución fundamentada al problema del sesgo del locutor, mejorando la fiabilidad de los sistemas biométricos de voz frente a ataques generativos sofisticados en escenarios del mundo real y extra-dominio.