Why Fake ? Unveiling the Semantic Vocabulary of Deepfake Detectors

Resumen Técnico: Revelando el Vocabulario Semántico de los Detectores de Deepfakes

Planteamiento del Problema
La tecnología de deepfake (DF) plantea una amenaza crítica para la integridad de la información, lo que requiere métodos de detección robustos. Sin embargo, el enfoque predominante en la detección de deepfakes se basa en la clasificación binaria (real vs. falso), la cual carece de la transparencia y la justificación necesarias para aplicaciones de alto riesgo, como los procedimientos legales. Si bien la Detección de Deepfakes Explicable (XDFD) ha surgido para abordar esto, las técnicas existentes sufren limitaciones significativas: los métodos de localización espacio-temporal suelen producir evidencia visual gruesa (por ejemplo, resaltando toda la cara en lugar de artefactos específicos), y los métodos de explicación textual frecuentemente carecen de una fundamentación espacial precisa o no logran reflejar la evidencia subyacente utilizada por el detector. Además, muchos enfoques actuales de XDFD requieren modificaciones arquitectónicas, objetivos de entrenamiento auxiliares o anotaciones humanas, lo que crea compromisos entre la interpretabilidad y el rendimiento predictivo.

Metodología
Este trabajo propone un marco de IA Explicable (XAI) post-hoc que analiza detectores de deepfakes de caja negra de última generación sin modificar su arquitectura ni requerir reentrenamiento. El enfoque técnico central utiliza Pares de Direcciones de Codificación-Decodificación (EDDP), una técnica basada en la hipótesis de la representación lineal.

1. Extracción de Conceptos: El método asume que los conceptos (características indicativas de imágenes reales o falsas) están codificados dentro del espacio latente del modelo como combinaciones lineales de incrustaciones de conceptos. Al aplicar EDDP a las activaciones de una capa específica (el 12º bloque residual de una red Xception preentrenada en FaceForensics++), los autores aprenden conjuntamente:

   • Direcciones de Decodificación ($W$): Vectores que actúan como detectores de conceptos.
   • Direcciones de Codificación ($S$): Vectores que representan las direcciones específicas en el espacio latente donde se codifican los conceptos.
   • Umbrales ($b$): Fronteras de decisión para la activación de conceptos.

2. Visualización y Cuantificación:

   • Mapas de Presencia de Conceptos (CPMs): Mapas binarios generados mediante la aplicación de direcciones de decodificación a parches espaciales, sobremuestreados para mostrar dónde están presentes conceptos específicos.
   • Mapas de Contribución de Conceptos (CCMs): Mapas de calor con conciencia espacial que cuantifican la influencia de cada concepto en el logit de la predicción final, distinguiendo entre la mera presencia y la contribución causal.

3. Validación y Análisis:

   • Sensibilidad RCAV: Se utilizan puntuaciones de Vectores de Activación de Conceptos Relativos para determinar si un concepto sesga el modelo hacia clasificaciones de "Real" o "Falso".
   • Mapeo Semántico: Las puntuaciones de Intersección sobre Unión (IoU) mapean las direcciones de conceptos abstractos a regiones faciales de verdad de campo (por ejemplo, nariz, ojos, boca).
   • Evaluación de Fidelidad: Los autores emplean el clonación de conceptos (trasplantar coeficientes de concepto de una muestra objetivo a una base de origen) e intervenciones dirigidas (añadir/eliminar conceptos para cambiar las predicciones) para verificar que los conceptos identificados son los principales impulsores de la decisión del modelo.

Contribuciones Clave

• Primer XAI Basado en Conceptos Post-Hoc para Deepfakes: Esta es la primera aplicación de XAI post-hoc basado en conceptos específicamente dentro del dominio de la detección de deepfakes, evitando la necesidad de reentrenar el modelo o de supervisión a nivel de artefacto.
• Descubrimiento del Vocabulario Semántico: El trabajo revela con éxito un "vocabulario semántico" de 16 conceptos internos aprendidos por el detector, mapeando activaciones latentes abstractas a características interpretables por humanos (por ejemplo, "boca-falsa", "ojos-reales", "cuello-falso").
• Comprensión Global y Local: El marco permite la comprensión global del modelo al identificar qué conceptos impulsan las predicciones, mientras que los CCMs proporcionan explicaciones locales basadas en conceptos y con conciencia espacial que señalan artefactos de manipulación específicos.
• Análisis Contrafactual: El método facilita el análisis de "¿qué pasaría si?", demostrando relaciones causales entre conceptos específicos y salidas del modelo mediante la intervención sistemática.

Resultados

• Identificación de Conceptos: El análisis reveló conceptos distintos que sesgan consistentemente el modelo hacia "Falso" (por ejemplo, $c_1, c_3, c_9, c_{10}, c_{12}, c_{14}$) y otros hacia "Real" (por ejemplo, $c_0, c_5, c_7, c_8, c_{11}$). Algunos conceptos resultaron ser no discriminativos.
• Fundamentación Semántica: El mapeo cuantitativo mediante IoU confirmó que los conceptos se alinean con regiones faciales específicas (por ejemplo, $c_5$ se correlaciona con la nariz, $c_{12}$ con ojos falsos).
• Fidelidad: El experimento de clonación de conceptos logró una precisión del 87.34% en la reproducción de las predicciones objetivo, y las intervenciones dirigidas en muestras mal clasificadas lograron una tasa de éxito del 99.8% en la corrección de la salida del modelo. Esto confirma que los coeficientes de concepto aprendidos capturan las características esenciales utilizadas para la clasificación.
• Especificidad de la Manipulación: El estudio observó que ciertos conceptos exhiben una alta especificidad para técnicas de generación de deepfakes particulares (por ejemplo, $c_3$ y $c_9$ son altamente prevalentes en DeepFakes y Face2Face), indicando que el detector aprende artefactos inherentes a procesos generativos específicos.

Significancia y Reivindicaciones
El artículo afirma que este enfoque proporciona una comprensión más profunda de las estrategias de detección de deepfakes al ir más allá de las predicciones binarias para revelar las características intrínsecas aprendidas durante el entrenamiento. Al fundamentar la lógica de clasificación en regiones faciales identificables y proporcionar un mecanismo para dirigir las predicciones del modelo, el trabajo permite sistemas de detección más transparentes y confiables. Los autores enfatizan que su método ofrece una alineación estrecha entre la explicación y la función de decisión, mejorando la fidelidad sin la carga operativa del reentrenamiento o las restricciones arquitectónicas.

Limitaciones
Los autores reconocen modestamente varias limitaciones:

• Aunque el detector en sí no es reentrenado, el modelo EDDP aún debe aprenderse sobre el espacio de representación específico del modelo objetivo.
• El número de conceptos es un hiperparámetro definido manualmente, lo que conlleva el riesgo de redundancia o de una señal insuficiente si no se selecciona correctamente.
• Los conceptos identificados están optimizados para la arquitectura de modelo específica (Xception) y el conjunto de datos (FaceForensics++) utilizados; pueden no ser directamente transferibles a otros modelos o conjuntos de datos sin un proceso de entrenamiento separado.