QAMO: Quality-aware Multi-centroid One-class Learning For Speech Deepfake Detection

Resumen Técnico: QAMO – Aprendizaje de una sola clase multicéntrico y consciente de la calidad para la detección de deepfakes de voz

Planteamiento del problema
La detección tradicional de deepfakes de voz (SDD) suele tratar la tarea como un problema de clasificación binaria, lo que puede conducir al sobreajuste en ataques de suplantación conocidos y a una generalización deficiente ante deepfakes no vistos. El aprendizaje de una sola clase (OCL) ha surgido como una alternativa, modelando una distribución compacta de la voz bona fide (real) alrededor de un único centroide y tratando las desviaciones como posibles falsificaciones. Sin embargo, el OCL convencional simplifica excesivamente la clase bona fide al asumir una distribución unimodal única. Esto no logra capturar la variabilidad inherente de la clase intra-clase de la voz genuina, particularmente en lo que respecta a la calidad del habla (p. ej., claridad, presencia de ruido, realismo de la prosodia). La investigación existente indica que existen brechas significativas en la Puntuación de Opinión Media (MOS) entre la voz real y la sintética, y que las variaciones de calidad pueden influir en la separación entre las muestras bona fide y las suplantadas. Los métodos de OCL actuales no contabilizan explícitamente estos subespacios de calidad.

Metodología: Marco de trabajo QAMO
Los autores proponen QAMO, un marco que extiende el OCL mediante la introducción de múltiples centroides, cada uno optimizado para representar distintos subespacios de calidad de voz.

1. Modelado de centroides múltiples consciente de la calidad:

   • En lugar de un único centroide, QAMO aprende $Q$ centroides ($w_q$), donde cada uno corresponde a un nivel de calidad discreto (p. ej., calidad baja vs. alta MOS).
   • Los niveles de calidad se asignan a las muestras de entrenamiento utilizando un predictor de MOS preentrenado (Scoreq). El rango continuo de MOS se divide mediante umbrales en clases discretas (p. ej., $q \in \{0, 1\}$).
   • Para asegurar que los centroides sean discriminativos y estén alineados con niveles de calidad específicos, el modelo emplea una pérdida AM-Softmax ($L_{quality}$) para la clasificación de calidad. Esto obliga a los embeddings de un mismo nivel de calidad a agruparse alrededor de su centroide específico.

2. Aprendizaje de una sola clase con múltiples centroides:

   • El marco extiende la pérdida OC-Softmax a un entorno de múltiples centroides.
   • Para las entradas bona fide, el modelo calcula la distancia de similitud de coseno respecto al centroide correspondiente al nivel de calidad de la muestra.
   • Para las entradas suplantadas (spoof), el modelo penaliza la similitud de coseno máxima a través de todos los centroides para asegurar la separación de todo el subespacio bona fide.
   • El objetivo de entrenamiento final combina la pérdida QAMO ($L_{QAMO}$) y la pérdida de clasificación de calidad ($L_{quality}$) con un hiperparámetro de ponderación $\lambda$.

3. Estrategia de inferencia:

   • Inferencia de puntuación máxima (Max-Score Inference): Similar a trabajos previos de múltiples centroides, esta toma la similitud máxima a través de todos los centroides. Sin embargo, los autores señalan que esto actúa como una asignación rígida, la cual puede ser sensible a los errores de estimación de calidad.
   • Inferencia de puntuación de ensamble (Ensemble-Score Inference - Propuesta): Para mejorar la estabilidad y manejar la incertidumbre, QAMO calcula una suma ponderada de las similitudes a todos los centroides. Los pesos ($\alpha_q$) se derivan mediante una función softmax aplicada a las similitudes de coseno. Esta estrategia agrega la evidencia de todos los niveles de calidad, produciendo puntuaciones más suaves y de menor varianza sin requerir etiquetas de calidad explícitas durante la inferencia.

Contribuciones clave

• Modelado de calidad de múltiples centroides: A diferencia de otros enfoques de múltiples centroides (p. ej., SAMO) que organizan los centroides por identidad del hablante, QAMO los estructura por niveles de calidad de voz, codificando explícitamente la información de calidad en la representación bona fide.
• Función de pérdida consciente de la calidad: La integración de un objetivo de clasificación de calidad asegura que los centroides aprendidos permanezcan distintos y no colapsen en un solo punto, preservando eficazmente la variabilidad intra-clase.
• Mecanismo de inferencia robusto: La propuesta de una estrategia de puntuación de ensamble ponderada por softmax permite que el sistema opere sin etiquetas de calidad durante la inferencia, mitigando al mismo tiempo los riesgos de la asignación rígida y las predicciones excesivamente confiadas.
• Estrategia de aumento de datos: Los autores tratan los datos aumentados (vía RawBoost) como de "baja calidad" durante el entrenamiento, un proxy computacionalmente eficiente y consistente con los cambios observados en el MOS, en lugar de ignorar la degradación de la calidad.

Resultados experimentales
Los autores evaluaron QAMO en el conjunto de entrenamiento ASVspoof2019 LA y lo probaron en los conjuntos de datos ASVspoof2021 LA, ASVspoof2021 DF, In-the-Wild (ITW) y Fake-or-Real (FoR).

• Rendimiento: Al integrarse con la arquitectura de fondo XLSR-Conformer-TCM, QAMO logró una Tasa de Error Igual (EER) del 5.21% en el conjunto de datos In-the-Wild, superando la línea base de OC-Softmax de un solo centroide (6.72%) y otros sistemas conscientes de la calidad previos.
• Comparaciones: En el conjunto 21DF, QAMO logró un EER del 1.63%, y en FoR, alcanzó un 3.45%, superando consistentemente a las líneas base, incluyendo los modelos de entropía cruzada ponderada (WCE).
• Estudios de ablación:
  • Eliminar la pérdida de clasificación de calidad ($L_{quality}$) causó una degradación del rendimiento y el colapso de los centroides, confirmando la necesidad de una supervisión de calidad explícita.
  • La estrategia de inferencia de puntuación de ensamble superó significativamente a la estrategia de puntuación máxima, particularmente en el conjunto de datos ITW, al proporcionar puntuaciones mejor calibradas y una separación más clara entre las distribuciones bona fide y de suplantación.

Significancia y afirmaciones
El artículo afirma que QAMO aborda la simplificación excesiva de la clase bona fide en el aprendizaje de una sola clase tradicional al modelar explícitamente los subespacios de calidad de voz. Al hacerlo, preserva la variabilidad intra-clase mientras mantiene la discriminabilidad frente a audios suplantados. Los autores sostienen que este enfoque conduce a una detección más robusta de ataques de deepfake no vistos bajo diversas condiciones acústicas. La estrategia de puntuación de ensamble se destaca como un factor clave para estabilizar las fronteras de decisión y mejorar la robustez de la detección sin la carga computacional de estimar etiquetas de calidad durante la inferencia. El trabajo subraya la importancia de incorporar métricas de calidad de voz para construir contramedidas más fiables contra las evolutivas amenazas de los deepfakes.