XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models

Resumen Técnico: Generación de Explicaciones Basadas en XAI para la Detección de Deepfakes de Voz mediante Modelos de Lenguaje Multimodales Libres de Entrenamiento

Planteamiento del Problema
Los sistemas de detección de deepfakes de voz (SDD, por sus siglas en inglés) enfrentan actualmente un desafío crítico al proporcionar explicaciones confiables e interpretables para sus decisiones. Mientras que los enfoques existentes utilizan técnicas tradicionales de IA explicable (XAI) (por ejemplo, atribución basada en gradientes), estos métodos suelen producir señales de bajo nivel (como mapas de saliencia) que están estrechamente vinculadas a los componentes internos del modelo y son difíciles de interpretar para los humanos. Por el contrario, las explicaciones generadas por modelos de lenguaje extensos (LLM) tienden a ser genéricas, carentes de fundamento y propensas a las alucinaciones debido a la falta de evidencia heurística y supervisión específica de la tarea. Además, existe una ausencia notable de conjuntos de datos dedicados para las explicaciones de SDD, y los procesos actuales basados en LLM carecen de mecanismos principios para verificar la fidelidad de sus resultados.

Metodología: Generación de Explicaciones Basada en XAI (XGEG)
Los autores proponen un marco libre de entrenamiento, XGEG, que integra evidencia de XAI tradicional con modelos de lenguaje extensos multimodales (MLLM) para generar explicaciones fundamentadas, específicas y confiables. El proceso opera de la siguiente manera:

1. Modelos Fundacionales y Generación de Evidencia XAI: Se utilizan tres modelos de SDD pre-entrenados (basados en wav2vec 2.0, HuBERT y WavLM) sin realizar un ajuste fino (fine-tuning). Estos modelos generan mapas de atribución utilizando Gradientes Integrados (IG), Saliencia y LIME. Adicionalmente, se calculan las puntuaciones de importancia derivadas de SHAP para las características acústicas extraídas mediante el conjunto eGeMAPSv02 de openSMILE utilizando un clasificador MLP ligero y pre-entrenado.
2. Filtrado de Datos: El marco opera sobre el conjunto de datos PartialSpoof. Para garantizar la fiabilidad, solo se retienen las muestras clasificadas correctamente por los cuatro modelos (tres modelos fundacionales + el MLP). El enfoque se centra estrictamente en muestras falsificadas (spoofed), ya que las explicaciones para el habla auténtica (bona fide) son intrínsecamente menos informativas.
3. Integración Multimodal:
   • Interpretación Visual: Los mapas de calor basados en espectrogramas de IG, LIME y Saliencia se introducen en un modelo de visión-lenguaje (VLM) (Qwen2.5-VL-7B) para resumir las regiones anormales en términos de rangos temporales y de frecuencia.
   • Síntesis Textual: Estos resúmenes de tiempo-frecuencia, combinados con las características acústicas de mayor rango obtenidas mediante SHAP, se proporcionan como entrada a un modelo de lenguaje extenso multimodal (Qwen3-Omni-30B).
   • Estrategia de Prompting: Se instruye explícitamente al LLM para que trate la evidencia de XAI como señales de apoyo en lugar de conclusiones definitivas, priorizando el contenido acústico de la entrada. Se le pide al modelo que analice críticamente la evidencia en lugar de reproducirla pasivamente.
4. Salida Estructurada: Para mitigar las alucinaciones, la salida se restringe a un formato estructurado predefinido que contiene: (I) Anomalía de Audio (Rango de Tiempo/Frecuencia), (II) Explicación de texto libre, y (III) Agregación de XAI (indicando el acuerdo entre modelos).

Contribuciones Clave

1. Marco Basado en XAI: El artículo introduce un marco principista que agrega señales de XAI de múltiples modelos y emplea una validación impulsada por la fidelidad para guiar a los MLLM. Este enfoque produce explicaciones semánticamente ricas y específicas con una reducción de alucinaciones en comparación con los métodos de atribución de un solo modelo o puramente basados en texto.
2. Creación de Conjunto de Datos: Los autores construyeron y lanzaron públicamente un conjunto de datos de SDD explicable a gran escala basado en PartialSpoof, que comprende aproximadamente 65,000 instancias de explicación. Este conjunto de datos aborda la brecha en los recursos dedicados para la investigación de SDD explicable.
3. Escalabilidad Libre de Entrenamiento: La metodología se basa en modelos pre-entrenados y un proceso libre de entrenamiento, lo que garantiza la escalabilidad en diversos entornos de generación de conjuntos de datos sin la necesidad de reentrenar detectores dedicados para cada tarea.

Resultados y Evaluación
El marco fue evaluado mediante análisis cualitativo, evaluación humana y métricas cuantitativas:

• Evaluación Humana: Los anotadores calificaron las explicaciones en cuanto a corrección, soporte de evidencia, especificidad y preferencia general. Los resultados indicaron que las versiones guiadas por XAI superaron significativamente a la línea base de "Audio Puro". Notablemente, la configuración All XAI (Tres Modelos) alcanzó la mayor preferencia general (promedio de selección de 1.50) y una alta especificidad (4.30), demostrando que la guía de XAI de múltiples fuentes reduce las alucinaciones y mejora el detalle.
• Localización Cuantitativa:
  • Precisión de Interior (IA - Inside Accuracy): La configuración de un solo método LIME logró la mayor IA (0.811), lo que indica una precisión superior en la localización de intervalos temporales anormales sin sobreexpansión.
  • Sensibilidad de Logit Local Normalizada por Área: Esta métrica, diseñada para probar la fidelidad sin enmascaramiento destructivo, mostró que los métodos multimodales identifican regiones más influyentes que la línea base. La configuración All XAI (Un Solo Modelo) alcanzó la mayor densidad de sensibilidad (3.1466 × 10⁻⁶), lo que representa una mejora de 22.10× respecto a la línea base de Audio Puro.
• Análisis de Audio Auténtico (Bona Fide): El sistema también fue probado con audio genuino, generando con éxito explicaciones que justifican la ausencia de anomalías, aunque los autores señalan que esto sigue siendo más desafiante que detectar falsificaciones.

Significancia y Reivindicaciones
El artículo sostiene que el desarrollo de explicaciones confiables e interpretables es esencial para lograr resultados de SDD responsables y fiables, yendo más allá de la mera clasificación binaria. Al cerrar la brecha entre las señales de XAI de bajo nivel y el razonamiento de lenguaje natural de alto nivel, el marco propuesto mejora la transparencia y la confianza de los sistemas de detección de deepfakes. Los autores afirman que su enfoque aumenta la "precisión de interior" en más del 45% (verificado mediante evaluación humana y comprobaciones de fidelidad) y proporciona un conjunto de datos fundacional para apoyar la investigación futura en SDD explicable. El trabajo enfatiza que, si bien los LLM ofrecen interpretabilidad, requieren el soporte estructural de la XAI para mantenerse fieles al proceso de decisión subyacente.