Resumen Técnico: Hacia la detección de fuera de distribución en el reconocimiento de vocoders mediante la reconstrucción de características latentes

Declaración del Problema

El rápido avance de las tecnologías de síntesis de voz y conversión de voz ha permitido la generación de habla altamente natural y de apariencia humana, lo que crea riesgos de seguridad significativos relacionados con la suplantación de identidad de audio y los deepfakes. Un desafío crítico en la detección de estas muestras de audio sintético es la detección de fuera de distribución (OOD, por sus siglas en inglés). Los sistemas actuales de reconocimiento de deepfakes suelen tener dificultades porque los modelos de clasificación no pueden cubrir todos los algoritmos de vocoder existentes o futuros.

Los enfoques existentes para la detección de OOD en este dominio se basan principalmente en:

1. Métodos basados en puntuaciones de probabilidad: Asumen que las muestras dentro de la distribución (ID) tienen probabilidades máximas de softmax más altas que las muestras OOD.
2. Métodos basados en la clasificación de distancia: Clasifican como OOD las muestras que se encuentran alejadas del centro de las clases ID.

Los autores argumentan que estos métodos tienen limitaciones inherentes. Los enfoques basados en la probabilidad tienen dificultades con los valores atípicos (outliers) porque los modelos se entrenan exclusivamente con datos ID. Los métodos basados en la distancia pueden sufrir una degradación de la precisión en los bordes de los umbrales. Además, estos métodos de dos clases a menudo requieren una selección cuidadosa del umbral y no consideran explícitamente las tendencias características del propio proceso de generación de audio.

Metodología

El artículo propone un enfoque de detección basado en la reconstrucción utilizando una arquitectura de autoencoder para abordar la detección de OOD en el reconocimiento de vocoders. El sistema opera bajo la premisa de que las características acústicas específicas de una clase de vocoder conocida solo pueden ser reconstruidas eficazmente por un decodificador entrenado para esa clase específica.

Arquitectura del Sistema

1. Extracción de Características: El sistema utiliza un modelo WavLM preentrenado (congelado durante el entrenamiento) para extraer características acústicas de la entrada de audio. Los autores investigan diversas capas intermedias de WavLM, encontrando que la sexta capa o una combinación ponderada de capas hasta la 18ta produce resultados óptimos.
2. Estructura Encoder-Decoder:
   • Encoder (Codificador): Comprime la característica acústica de entrada en una representación latente de menor dimensión. Consta de tres módulos transformer (capa convolucional, bloque de codificador transformer, capa lineal).
   • Múltiples Decoders (Decodificadores): Existe un decodificador para cada clase de vocoder ID conocida. Cada decodificador intenta reconstruir la característica latente de vuelta al espacio de entrada original.
3. Lógica de Inferencia:
   • Durante la inferencia, la característica de entrada se pasa a través de todos los decodificadores.
   • Se calcula el Error Cuadrático Medio (MSE) entre la entrada original y la salida reconstruida para cada decodificador.
   • Clasificación ID: Si el MSE de un decodificador específico está por debajo de un umbral predefinido (mientras que los otros son altos), la muestra se clasifica como ID correspondiente a la clase de ese decodificador.
   • Clasificación OOD: Si el MSE entre la entrada y todos los decodificadores supera el umbral, la muestra se clasifica como OOD.

Mejoras y Restricciones

Para abordar la indistinguibilidad entre muestras ID y OOD y asegurar que los decodificadores aprendan representaciones específicas de la clase, los autores introducen dos restricciones auxiliares:

1. Aprendizaje Contrastivo: Aplicado a las características reconstruidas para minimizar la distancia entre la entrada y su reconstrucción correcta (par positivo) mientras se maximiza la distancia entre la entrada y las reconstrucciones de otros decodificadores (pares negativos).
2. Clasificador Auxiliar: Un clasificador conectado a la salida del encoder para asegurar que la representación latente comprimida se alinee estrechamente con la clase de vocoder específica antes de la reconstrucción. Esto evita que el encoder genere salidas similares para diferentes clases.

La pérdida total de entrenamiento es una suma ponderada de la pérdida de reconstrucción (MSE), la pérdida contrastiva y la pérdida de clasificación.

Contribuciones Clave

• Paradigma Basado en la Reconstrucción: El artículo cambia de un enfoque de detección de OOD basado en probabilidad/distancia a un enfoque basado en la reconstrucción, modelando explícitamente las tendencias características del proceso de síntesis de voz.
• Decodificación Específica por Clase: La arquitectura emplea múltiples decodificadores, donde cada uno está especializado para una clase de vocoder específica, asegurando que las características solo sean bien reconstruidas por su decodificador correspondiente.
• Mecanismo de Doble Restricción: La integración del aprendizaje contrastivo y un clasificador auxiliar mejora significativamente la distintividad de las características reconstruidas, resolviendo el problema de las salidas similares de diferentes decodificadores.
• Investigación de Capas de Características: El estudio evalúa sistemáticamente diferentes capas intermedias del modelo WavLM, identificando que combinar las salidas de las capas hasta la 18va (ponderadas) proporciona un rendimiento superior en comparación con las salidas de una sola capa.

Resultados Experimentales

El método propuesto fue evaluado en el conjunto de datos WaveFake, que contiene audio generado por siete arquitecturas de vocoder conocidas (muestras ID). Las muestras OOD fueron generadas mediante modelos no vistos (BigvGAN y UnivNet).

• Desempeño: El sistema propuesto alcanzó una puntuación F1 de 68.04% en el conjunto de evaluación, superando a los sistemas de referencia (ECAPA-TDNN, AASIST, RawNet2) que obtuvieron entre 63.15% y 64.08%. Esto representa una mejora relativa de aproximadamente un 10% sobre los sistemas de referencia.
• Estudios de Ablación:
  • Eliminar la pérdida contrastiva causó una caída significativa en todas las métricas (el F1 cayó a 59.21%), confirmando su papel en la separación de las instancias de clase.
  • Eliminar el clasificador auxiliar también redujo el desempeño (el F1 cayó a 55.48%), validando su necesidad para restringir el espacio latente del encoder.
• Visualización: El análisis de MSE mostró un límite distintivo entre las muestras ID y OOD, donde las muestras OOD exhibieron consistentemente errores de reconstrucción más altos en todos los decodificadores.

Significado

El artículo afirma que su enfoque basado en la reconstrucción ofrece una solución más robusta para el reconocimiento de algoritmos de deepfake al abordar directamente las limitaciones de los umbrales de probabilidad y distancia. Al centrarse en la capacidad de reconstrucción de los decodificadores específicos de clase y forzar la distintividad mediante el aprendizaje contrastivo y la clasificación auxiliar, el método identifica eficazmente las muestras que no pertenecen a ninguna distribución de vocoder conocida. Los resultados sugieren que este enfoque proporciona una solución de protección de seguridad superior para la detección de habla sintética, particularmente en escenarios que involucran algoritmos de generación desconocidos o no vistos.