Spectral Forensics of Diffusion Attention Graphs for Copy-Move Forgery Detection

Resumen Técnico: GraphSpecForge

1. El Problema: Detección de Falsificación por Copia y Movimiento (CMF)

La falsificación por copia y movimiento (Copy-Move Forgery, CMF) es una de las manipulaciones de imágenes más comunes y perniciosas, donde una región de una imagen se duplica y se pega en otra parte de la misma imagen para ocultar o fabricar contenido.

• Desafíos actuales: Los detectores tradicionales dependen de características hechas a mano (como coincidencia de bloques o descriptores de puntos clave) o de redes neuronales profundas que requieren entrenamiento específico con datos de falsificación. Estos métodos a menudo carecen de generalización ante transformaciones geométricas, compresión o mezclas complejas, y dependen de etiquetas de entrenamiento que pueden no estar disponibles.
• Objetivo: Desarrollar un marco forense que no requiera entrenamiento (training-free), capaz de detectar CMF basándose en principios teóricos generales en lugar de patrones aprendidos de un conjunto de datos específico.

2. Metodología: GraphSpecForge

El artículo introduce GraphSpecForge, un marco forense que no utiliza el modelo de difusión como extractor de características para un clasificador, sino que analiza directamente la estructura espectral de los mapas de atención de un modelo preentrenado (Stable Diffusion v1.5).

Hipótesis Central:
La manipulación de copia y movimiento induce una duplicación aproximada de subgrafos en el grafo de afinidad de auto-atención del modelo. Esta duplicación provoca una redistribución espectral detectable en el Laplaciano normalizado del grafo.

Flujo de Trabajo (Pipeline):

1. Extracción de Atención: Se realiza una sola pasada hacia adelante (forward pass) a través de un U-Net de Stable Diffusion v1.5 preentrenado. Se capturan los mapas de auto-atención de las 16 capas de transformadores (desde el codificador hasta el decodificador).
2. Construcción del Grafo:
   • Las matrices de atención se simetrizan para formar grafos ponderados no dirigidos.
   • Se calcula el Laplaciano Normalizado del Grafo ($L = I - D^{-1/2}AD^{-1/2}$). La normalización por grado es crucial para aislar la estructura de conectividad de la magnitud de la atención.
3. Extracción de Características Espectrales:
   • Se calculan los autovalores (espectro) del Laplaciano.
   • Se extraen características de cuatro grupos:
     • Transporte: Distancia de Wasserstein ($W_1$) entre el espectro de la imagen de prueba y una distribución de referencia auténtica (calculada solo con imágenes reales).
     • Filtros Espectrales: Rastros de calor, entropía espectral y momentos.
     • Sensibles a Duplicación: Masa cerca de $\lambda=1$, compresión de espaciado local.
     • Controles No Espectrales: Estadísticas de grado, radio espectral, etc.
4. Selección y Fusión de Capas (FSEL):
   • No todas las capas son igualmente informativas. Se define una puntuación FSEL (Forgery Spectral Expert Layer) que combina separación distribucional, sensibilidad causal y estabilidad.
   • Las capas superiores (generalmente en el decodificador, up_blocks) se fusionan mediante un promedio ponderado por softmax para generar una puntuación de anomalía a nivel de imagen.
5. Detección: Se compara la puntuación final con umbrales calibrados usando solo imágenes auténticas (protocolo de una clase).

3. Contribuciones Clave

• Marco Teórico: Conecta la falsificación por copia y movimiento con la teoría de perturbación de grafos, demostrando que la duplicación de subgrafos comprime los espaciados de autovalores y redistribuye la masa espectral.
• Detector sin Entrenamiento: Logra resultados significativos sin utilizar ninguna etiqueta de falsificación para el entrenamiento, calibración o ajuste de umbrales.
• Superioridad del Laplaciano Normalizado: Demuestra teórica y empíricamente que el espectro del Laplaciano normalizado supera consistentemente al espectro de atención crudo, al eliminar la confusión por la magnitud de la atención y centrarse en la conectividad estructural.
• Validación Multi-Dataset: El método se valida en cuatro conjuntos de datos públicos (RecodAI-LUC, MICC-F220, CoMoFoD, COVERAGE) con diferentes tipos de manipulación, demostrando que el mecanismo esportable, aunque la configuración óptima de características se adapte a la escala del conjunto de datos.

4. Resultados Principales

Los experimentos se centraron en el conjunto de datos a gran escala RecodAI-LUC (5,128 imágenes) y tres benchmarks adicionales.

• Rendimiento en RecodAI-LUC:
  • La mejor configuración (Espectro Laplaciano + Fusión Top-k) alcanzó un AUROC de 0.606 (IC 95%: 0.580–0.638) con un valor p de permutación de 0.005, confirmando significancia estadística.
  • El Laplaciano superó al espectro de atención crudo en +0.057 AUROC.
• Validación Cruzada (Generalización):
  • MICC-F220: AUROC = 0.752.
  • CoMoFoD: AUROC = 0.774, AUPRC = 0.833, Precisión Balanceada = 0.712, MCC = 0.499. A una tasa de falsos positivos del 1%, la tasa de verdaderos positivos (TPR) fue del 32.5%.
  • COVERAGE: AUROC = 0.673.
• Hallazgos Estructurales:
  • Las capas del decodificador (específicamente up_blocks.2 y up_blocks.3) son las más informativas para la detección.
  • La distancia de Wasserstein es el portador principal de la señal de detección.
  • La señal es monótonamente sensible a la severidad de la manipulación (a mayor manipulación, mayor puntuación de anomalía).
• Pruebas de Falsificación:
  • El detector distingue parcialmente la duplicación forzada de la auto-similitud natural (imágenes con patrones repetidos).
  • Las manipulaciones no relacionadas con copia y movimiento (borrado, ruido, JPEG) generan puntuaciones significativamente más bajas que las falsificaciones reales.
  • El control de "grafos nulos" (barajar etiquetas) colapsa el rendimiento a niveles aleatorios, confirmando que la señal depende de la estructura real de la falsificación.

5. Significado y Limitaciones

Significado:
GraphSpecForge establece un nuevo paradigma en la forensia de imágenes: utilizar las representaciones estructurales internas de los modelos fundacionales (Foundation Models) como sensores de anomalías basados en la teoría de grafos. No busca superar a los detectores supervisados de última generación (que suelen tener AUROC > 0.9), sino ofrecer una solución robusta, interpretable y sin etiquetas que funciona en escenarios donde no hay datos de entrenamiento de falsificación.

Limitaciones:

• Precisión Moderada: Un AUROC de ~0.60 en el benchmark principal es modesto en comparación con métodos supervisados, aunque es notable para un método ciego.
• Localización: El método actual opera a nivel de imagen (global) y no puede localizar píxel a píxel la región falsificada, ya que los autovalores globales descartan la información espacial precisa.
• Coste Computacional: La descomposición espectral completa en capas de alta resolución (64x64 tokens) es costosa, aunque se sugieren métodos aproximados para futuros trabajos.
• Confusión con Auto-similitud: El detector puede confundir ciertas estructuras naturales repetitivas con falsificaciones, aunque la brecha de puntuación sigue siendo significativa.

En conclusión, el trabajo demuestra que la redistribución espectral inducida por la duplicación aproximada de subgrafos es una firma forense real y portable en los modelos de difusión, abriendo nuevas vías para la detección de manipulaciones sin necesidad de reentrenamiento.