Resumen Técnico: SEED - Benchmark para la Rastreo de Provenencia en Ediciones Secuenciales de Deepfakes Faciales

1. El Problema

El contenido generado por IA (Deepfakes) en redes sociales está evolucionando de manipulaciones únicas a ediciones secuenciales complejas. Los usuarios aplican múltiples atributos de edición uno tras otro (ej. cambiar el color de los ojos, luego añadir gafas, luego cambiar el estilo del cabello) utilizando pipelines de difusión.

• Limitaciones actuales: Los conjuntos de datos y detectores existentes se centran principalmente en manipulaciones de un solo paso o en etiquetas de autenticidad global. Ignoran las artefactos acumulativos y la naturaleza no estacionaria de las evidencias, donde una edición posterior puede sobrescribir o enmascarar las trazas de ediciones anteriores.
• El desafío: Recuperar el historial de edición completo (qué se editó, en qué orden y dónde) es crucial para la auditoría de desinformación y la moderación de plataformas, pero es extremadamente difícil debido a la sutileza de los artefactos en modelos de difusión modernos y la complejidad de rastrear una cadena de operaciones.

2. Metodología y Propuesta

Los autores presentan dos contribuciones principales: un nuevo benchmark (SEED) y una línea base de diagnóstico (FAITH).

A. SEED (Sequential Editing in Diffusion)

Es el primer benchmark a gran escala diseñado específicamente para el rastreo de provenance en ediciones faciales secuenciales basadas en difusión.

• Construcción del Dataset:
  • Contiene 91,526 imágenes faciales generadas a partir de datos reales de alta calidad (FFHQ, CelebAMask-HQ).
  • Las imágenes se crean aplicando 1 a 4 ediciones de atributos secuenciales utilizando pipelines de difusión modernos (LEdits, SDXL, SD3).
  • Se utilizan plantillas de prompts y máscaras espaciales para controlar la edición de atributos intrínsecos (ojos, labios, cabello, cejas) y accesorios (gafas, sombreros).
• Metadatos y Supervisión:
  • Cada muestra incluye anotaciones paso a paso: orden de edición, instrucciones de texto (prompts), máscaras de manipulación y el modelo de difusión utilizado.
  • Esto permite tres tareas complementarias:
    1. Análisis de Autenticidad: Distinguir entre imágenes reales y editadas secuencialmente.
    2. Análisis de Trazas de Edición: Predecir los atributos editados y su orden temporal.
    3. Análisis de Evidencia Espacial: Localizar las regiones manipuladas.
• Protocolo de Evaluación:
  • División disjoint por identidad (las identidades no se superponen entre entrenamiento y prueba) para evitar memorización.
  • División balanceada por longitud de secuencia para asegurar que el rendimiento no esté sesgado hacia secuencias cortas.

B. FAITH (Frequency-Aware Identification Transformer)

Dado que los enfoques puramente espaciales fallan ante artefactos sutiles de difusión, los autores proponen FAITH como una línea base para investigar la utilidad de las señales de frecuencia.

• Arquitectura: Un Transformer tipo codificador-decodificador.
• Mecanismo Clave:
  • Extracción Espacial: Utiliza una CNN (ResNet-50) para extraer características espaciales.
  • Guía de Frecuencia: Aplica la Transformada Discreta de Wavelet (DWT) a la imagen de entrada para extraer la sub-banda de alta frecuencia (HH), que captura detalles finos y bordes donde suelen residir los artefactos de manipulación.
  • Fusión: Las características de alta frecuencia se convierten en una mapa de guía ($M^f$) que se inyecta como un sesgo aditivo en la atención cruzada del decodificador. Esto dirige la atención del modelo hacia regiones sospechosas de manipulación, incluso cuando las señales espaciales son débiles.
• Objetivo: Predecir la secuencia ordenada de atributos editados (hasta 4 pasos) de manera autoregresiva.

3. Resultados Principales

Los experimentos se realizaron comparando FAITH con detectores de manipulación existentes (adaptados) y una línea base secuencial puramente espacial (SeqFakeFormer).

• Desempeño General:
  • Los detectores diseñados para un solo paso de manipulación tienen un rendimiento muy pobre en tareas secuenciales, especialmente a medida que aumenta la longitud de la cadena de edición ($L$).
  • La precisión cae drásticamente en la métrica Full-Acc (requiere que toda la secuencia predicha coincida exactamente con la verdad fundamental), lo que indica que recuperar el orden temporal es el cuello de botella principal.
• Impacto de la Frecuencia:
  • FAITH supera consistentemente a los métodos basados solo en espacio.
  • La variante FAITH(DWT) (usando Wavelets) obtiene los mejores resultados, superando a las variantes DCT y FFT. Esto sugiere que la descomposición multiresolución de las wavelets preserva mejor los cambios de textura y bordes introducidos por las ediciones acumuladas.
• Robustez:
  • Bajo compresión JPEG y ruido gaussiano, FAITH(DWT) mantiene un rendimiento superior, demostrando que las señales de alta frecuencia son más resistentes a la degradación que las características espaciales puras.
  • Los métodos basales tienden a sufrir "terminación prematura" (dejan de predecir antes de tiempo) o "desviación de pasos" (predicen el atributo correcto pero en el orden incorrecto).

4. Contribuciones Clave

1. SEED: El primer benchmark a gran escala (91k+ imágenes) para el rastreo de provenance secuencial en ediciones faciales basadas en difusión, con anotaciones granulares paso a paso (orden, prompts, máscaras).
2. Análisis Sistemático: Demostración de que los enfoques espaciales son insuficientes para rastrear historiales de edición complejos y que la evidencia debe agregarse más allá del dominio espacial.
3. FAITH: Establecimiento de una línea base diagnóstica que integra señales de frecuencia (Wavelets) y espacio, demostrando que las componentes de alta frecuencia son cruciales para recuperar la identidad del atributo y el orden temporal bajo ediciones múltiples.

5. Significado e Impacto

Este trabajo es fundamental para el futuro de la forense de IA por varias razones:

• Cambio de Paradigma: Mueve el foco de la detección binaria (¿es real o falso?) al rastreo de provenance (¿cómo fue editado y en qué orden?), lo cual es esencial para entender la evolución de la desinformación.
• Realismo: Al utilizar pipelines de difusión modernos y ediciones secuenciales, SEED refleja mejor las amenazas reales que enfrentan las plataformas de redes sociales hoy en día, a diferencia de benchmarks anteriores basados en GANs o ediciones únicas.
• Dirección Futura: Los resultados sugieren que las futuras soluciones de forense deben incorporar explícitamente el análisis de dominio de frecuencia (especialmente wavelets) para ser robustas ante la acumulación de ediciones y la compresión de imágenes, cerrando la brecha entre la generación de contenido y su detección forense.

En resumen, SEED proporciona la infraestructura de datos necesaria y FAITH demuestra la viabilidad técnica de utilizar señales de frecuencia para desentrañar la complejidad de los deepfakes generados secuencialmente.