🤖 AI

Explainable Deepfake Detection with Feature-robust Augmentation and Evidence-grounded Explanation Optimization

Este artículo propone un nuevo marco para la detección de deepfakes explicable que combina el aumento de características robustas con el aprendizaje contrastivo supervisado para mejorar la resiliencia contra la degradación de imágenes, y emplea la optimización de preferencias basada en evidencia para generar explicaciones fácticamente precisas, logrando el primer lugar en el Desafío de Detección de Deepfakes Explicables de ACM Multimedia 2026.

Autores originales: Zhu Xu, Jiaqi Tang, Pokai Chen, Yuxin Peng, Yang Liu

Publicado 2026-08-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhu Xu, Jiaqi Tang, Pokai Chen, Yuxin Peng, Yang Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la era digital, la línea entre lo que es real y lo que es manufacturado se ha vuelto cada vez más difusa. La inteligencia artificial generativa ha avanzado hasta el punto de poder crear imágenes que son casi indistinguibles de las fotografías tomadas por una cámara. Estas imágenes fabricadas, a menudo llamadas deepfakes, representan una seria amenaza para la integridad de las noticias, las pruebas legales y la confianza personal. Durante años, los investigadores se han centrado en construir programas informáticos que puedan simplemente decir "sí" o "no" al mostrarles una imagen, decidiendo si es auténtica o falsa. Sin embargo, en el mundo real, un veredicto simple rara vez es suficiente. Un experto forense o un verificador de hechos necesita saber por qué una imagen es sospechosa. Necesitan ver las pistas visuales específicas —las sombras antinaturales, las texturas distorsionadas o la geometría imposible— que revelan el engaño. Esta necesidad ha dado lugar a un nuevo campo de estudio: la detección explicable, donde el objetivo no es solo encontrar el falso, sino explicar la evidencia claramente a un observador humano.

A pesar del progreso en esta área, los sistemas existentes han luchado con dos problemas principales que limitan su utilidad. Primero, estos sistemas suelen ser frágiles; si una imagen está ligeramente borrosa, comprimida o es de baja calidad, la precisión del detector puede colapsar. Segundo, cuando estos sistemas intentan explicar su razonamiento, a menudo no dicen la verdad. Pueden pasar por alto la evidencia real de manipulación o, peor aún, inventar detalles que no existen, un comportamiento conocido como alucinación. Un equipo de investigadores de la Universidad de Pekín ha abordado estos problemas con un nuevo marco de trabajo que obtuvo el primer lugar en el Desafío de Detección de Deepfakes Explicables ACM Multimedia 2026. Su enfoque no solo mejora la capacidad de detectar falsificaciones, sino que asegura que el sistema permanezca fiable incluso cuando la calidad de la imagen es deficiente y obliga a que la explicación se ciña estrictamente a la evidencia fáctica encontrada en la imagen.

Los investigadores comenzaron abordando el problema de la calidad de la imagen. En el mundo real, las imágenes rara vez son perfectas; a menudo son redimensionadas, comprimidas o degradadas por el ruido. El equipo descubrió que los métodos estándar para entrenar computadoras para reconocer falsificaciones a menudo tienen efectos contraproducentes cuando se exponen a demasiados tipos diferentes de distorsiones de imagen. En lugar de aprender a reconocer el falso, la computadora se confunde con la variedad de cambios, un fenómeno que los autores describen como deriva de características (feature drift). Para solucionar esto, desarrollaron un método de entrenamiento que expone al modelo a una amplia gama de imágenes degradadas mientras, simultáneamente, le enseña a mantener una comprensión estable de cómo se ve una imagen real o falsa. Utilizaron una técnica donde un modelo "maestro", que es una versión suavizada y estable del modelo de aprendizaje, guía al estudiante. Esto asegura que, sin importar cuánto se distorsione la imagen, la representación interna de la imagen por parte de la computadora se mantenga constante. Esto permite que el sistema detecte deepfakes con precisión incluso cuando la calidad de la imagen es deficiente, una capacidad que los modelos anteriores carecían.

Una vez que el sistema puede detectar de manera confiable un falso, el siguiente desafío es explicar el porqué. Los investigadores observaron que los modelos de explicación estándar a menudo producen respuestas que suenan plausibles pero que son fácticamente erróneas. Podrían centrarse en detalles irrelevantes, como el color de una camisa, mientras ignoran la manipulación real, como una mano deformada. Para resolver esto, el equipo creó un nuevo proceso de entrenamiento que enseña al modelo a valorar la verdad sobre el estilo. Construyeron un conjunto de datos donde se le mostraban a la computadora pares de explicaciones: una que era completa y precisa, y otra que era defectuosa. Los ejemplos defectuosos fueron diseñados específicamente para imitar errores comunes, como omitir evidencia crucial o añadir detalles inventados. Al entrenar al modelo para preferir las explicaciones precisas y rechazar las defectuosas, el sistema aprendió a priorizar los rastros genuinos de manipulación. Este proceso, conocido como optimización de preferencias, filtró eficazmente las alucinaciones y obligó al modelo a fundamentar su razonamiento en la evidencia visual real presente en la imagen.

El resultado es un sistema que es tanto robusto como honesto. En pruebas utilizando un conjunto masivo de un millón de imágenes, el nuevo marco superó a todos los demás competidores, incluyendo modelos base de importantes empresas tecnológicas. Logró las puntuaciones más altas tanto en la detección de deepfakes como en la generación de explicaciones que eran semánticamente fieles a la evidencia. Los investigadores también desarrollaron una segunda versión simplificada del modelo para situaciones donde la velocidad y la brevedad son más importantes que el análisis detallado. Esta versión fue entrenada para proporcionar resúmenes concisos de las pistas más críticas, equilibrando la necesidad de precisión con la necesidad de una lectura rápida. El éxito de este trabajo demuestra que es posible construir inteligencia artificial que no solo vea la verdad, sino que también pueda explicarla claramente, sin dejarse engañar por la mala calidad de la imagen o su propia tendencia a inventar hechos. Este avance ofrece una herramienta más fiable para los analistas forenses y el público en general, ayudando a restaurar la confianza en los medios digitales al hacer que el proceso de detección sea transparente y basado en la evidencia.

Resumen Técnico: Detección de Deepfakes Explicable con Aumento de Características Robustas y Optimización de Explicación Basada en Evidencia

Planteamiento del Problema
El artículo aborda las limitaciones de los sistemas actuales de detección de deepfakes explicables, los cuales se extienden más allá de la clasificación binaria para requerir justificaciones interpretables. Los autores identifican dos deficiencias críticas en los enfoques existentes que dificultan su aplicabilidad en el mundo real:

Vulnerabilidad a la Degradación de la Calidad de la Imagen: La precisión de la detección disminuye significamente en muestras de baja calidad. Aunque el aumento de datos estándar es una estrategia de remedio común, los autores observan que las estrategias de aumento excesivamente diversas pueden inducir un "desplazamiento de características" (feature drift), donde el modelo lucha por aprender representaciones consistentes, causando que los límites de clasificación se desdibujen y el rendimiento caiga.
Explicaciones Factualmente Erróneas: Los modelos de explicación actuales a menudo no logran proporcionar razonamientos precisos. El análisis empírico revela dos modos de fallo prevalentes: (i) Omisión de Evidencia, donde faltan trazas de manipulación cruciales (observado en el 68.3% de las muestras de la línea base), e (ii) Intrusión de Información Irrelevante, donde el modelo alucina detalles espurios (observado en el 57.7% de las muestras). Los métodos existentes suelen centrarse en el formato procedimental del razonamiento (por ejemplo, longitud o conteo de pasos) en lugar de la exactitud y completitud factual de la evidencia.

Metodología
Los autores proponen un marco unificado que comprende dos componentes sinérgicos: una rama de detección robusta y una rama de explicación basada en evidencia.

Aumento de Características Robusto para la Detección:
- Arquitectura: El sistema utiliza DINOv3-7B como codificador visual, agregando tokens de multi-granularidad (tokens CLS, REG y AVG patch) para capturar tanto la semántica global como los detalles finos.
- Pipeline de Aumento Consciente de la Degradación: Para simular condiciones del mundo real, el pipeline de entrenamiento aplica diversas distorsiones (suavizado, redimensionamiento, ruido Gaussiano/No Gaussiano, compresión JPEG, mejora de color y distractores aleatorios) con intensidades variables.
- Aprendizaje Contrastivo Supervisado: Se emplea una pérdida contrastiva supervisada para atraer las características de la misma clase de autenticidad (real o falsa) hacia cúmulos compactos independientemente de la degradación, mejorando la discriminabilidad.
- Estabilización de Mean-Teacher: Para prevenir el desplazamiento de características intra-instancia causado por aumentos diversos, se introduce una arquitectura mean-teacher. La red maestra (teacher), actualizada mediante un Promedio Móvil Exponencial (EMA) de los pesos del estudiante (student), proporciona un ancla de características estable. Una pérdida de consistencia alinea las características del estudiante de las vistas degradadas con las características del maestro de la vista limpia, asegurando la estabilidad sin sacrificar la diversidad del aumento.
Optimización de la Explicación Basada en Evidencia:
- Construcción del Conjunto de Datos de Preferencia: Los autores construyen un conjunto de datos de preferencia ( $D_{pref}$ ) que consiste en pares de explicación "elegido-rechazado". Para cada explicación de verdad fundamental (ground-truth), las muestras rechazadas se generan sintéticamente mediante un MLLM avanzado (Qwen3.5-27B) a través de tres estrategias: (i) eliminar trazas de manipulación clave (Evidencia-Omitida), (ii) inyectar detalles irrelevantes pero visualmente presentes (Inducido-por-Irrelevancia), e (iii) una combinación de ambas.
- Optimización de Preferencia Directa (DPO): El modelo se ajusta mediante DPO para priorizar las explicaciones elegidas (completas y precisas) sobre las rechazadas. Esto enseña explícitamente al modelo a evitar la omisión de evidencia y la alucinación.
- Modelo de Explicación Concisa: Para escenarios que requieren brevedad, se optimiza un modelo separado mediante la Optimización de Política Relativa de Grupo (GRPO). Este modelo utiliza una función de recompensa que equilibra la fidelidad semántica (medida por BERTScore) y la concisión (medida por SLEscore) para producir claves críticas y compactas.

Contribuciones Clave

Validación Empírica de Vulnerabilidades: El artículo proporciona evidencia empírica demostrando que la precisión de la detección es altamente sensible a la degradación de la calidad de la imagen y que el aumento estándar puede degradar el rendimiento debido al desplazamiento de características. También cuantifica la prevalencia de la omisión de evidencia y la alucinación en los modelos de explicación existentes.
Marco Novedoso: El marco propuesto mejora conjuntamente la robustez de la detección mediante el aumento consciente de la degradación junto con la estabilización mean-teacher, y mejora la fidelidad de la explicación mediante la optimización de preferencia basada en evidencia.
Rendimiento de Vanguardia (State-of-the-Art): El enfoque logra el primer lugar en el Desafío de Detección de Deepfakes Explicable de ACM Multimedia 2026, demostrando un rendimiento superior tanto en la robustez de la detección como en la interpretabilidad de la explicación.

Resultados
Evaluado en el conjunto de prueba XPlainVerse (200k imágenes), el método propuesto ("Pixel Sleuth") superó a 138 equipos participantes:

Puntuación General: Logró la puntuación general más alta (0.841617 en el leaderboard público; 0.7612 en el conjunto de prueba oculto).
Detección: Alcanzó una puntuación F1 de detección de 0.9424 en el conjunto de prueba oculto, superando a la línea base Qwen3-VL-8B (0.6342) y a otros equipos principales.
Calidad de la Explicación: Obtuvo las puntuaciones más altas en todas las métricas de explicación, incluyendo Complex BERTScore (0.7063), Simple BERTScore (0.6819), Entity F1 (0.4205) y Claim F1 (0.5800).
Análisis Cualitativo: Las visualizaciones confirman que el modelo mantiene predicciones precisas bajo diversas degradaciones donde las líneas base fallan, y genera explicaciones que enumeran con precisión las trazas de manipulación sin fabricar artefactos inexistentes.

Significancia
El artículo afirma que su marco ofrece una solución fiable para la detección de deepfakes explicable al abordar los desafíos duales de la robustez frente a las variaciones de calidad y la exactitud factual de las explicaciones. Al cambiar el enfoque de los formatos de razonamiento procedimental hacia la optimización basada en evidencia, este trabajo facilita un escrutinio forense más efectivo y fomenta una mayor confianza del usuario en las herramientas de detección automatizadas. La inclusión de modelos tanto de análisis forense detallado como de verificación de hechos concisos permite que el sistema se adapte de manera flexible a diversos escenarios de uso.

Más como este