Spectral Forensics of Diffusion Attention Graphs for Copy-Move Forgery Detection

1. O Problema: Falsificação por Cópia e Movimento (CMF)

A falsificação por cópia e movimento (Copy-Move Forgery - CMF) é uma das formas mais comuns e perniciosas de manipulação de imagens, onde uma região de uma imagem é duplicada e colada em outro local da mesma imagem para ocultar ou fabricar conteúdo.

• Desafios: As regiões duplicadas podem sofrer transformações geométricas, artefatos de compressão ou mistura (blending), tornando a detecção difícil.
• Limitações dos Métodos Atuais:
  • Métodos tradicionais baseiam-se em características manuais (como correspondência de blocos ou descritores de pontos-chave), que muitas vezes falham em cenários complexos.
  • Abordagens de Deep Learning exigem dados de treinamento específicos para a tarefa de falsificação e podem não generalizar bem para tipos de manipulação não vistos durante o treinamento.
• Objetivo: Desenvolver um detector forense que não dependa de treinamento supervisionado com dados de falsificação, mas que utilize os priores estruturais inerentes a modelos de fundação pré-treinados.

2. Metodologia: GraphSpecForge

O artigo propõe o GraphSpecForge, um framework forense livre de treinamento (training-free) que detecta CMF analisando as propriedades espectrais de grafos de atenção extraídos de um modelo de difusão pré-treinado (Stable Diffusion v1.5).

Hipótese Central

A manipulação de cópia e movimento induz uma duplicação aproximada de subgrafos no grafo de afinidade de auto-atenção do modelo. Essa duplicação causa uma redistribuição espectral detectável no Laplaciano normalizado do grafo.

O Pipeline (Passo a Passo)

1. Extração de Atenção: O sistema realiza uma única passagem direta (forward pass) de uma imagem através do U-Net do Stable Diffusion v1.5, capturando os mapas de auto-atenção em todas as 16 camadas (do codificador ao decodificador).
2. Construção do Grafo:
   • As matrizes de atenção são simetrizadas para formar grafos ponderados não direcionados.
   • Calcula-se o Laplaciano Normalizado do Grafo ($L = I - D^{-1/2}AD^{-1/2}$). A normalização pelo grau é crucial para isolar a estrutura de conectividade da magnitude bruta da atenção.
3. Extração de Espectro:
   • Calculam-se os autovalores (espectro) do Laplaciano normalizado.
   • Compara-se o espectro da imagem de teste com uma distribuição de referência de imagens autênticas (calculada previamente e armazenada em cache).
4. Medição de Anomalia:
   • A anomalia é quantificada principalmente pela Distância de Transporte de Wasserstein (W1) entre o espectro da imagem de teste e a distribuição de referência autêntica.
   • São utilizados também recursos de "filtro de banda espectral", entropia e características sensíveis à duplicação.
5. Seleção e Fusão de Camadas (FSEL):
   • Nem todas as camadas são igualmente informativas. O método define uma pontuação FSEL (Forgery Spectral Expert Layer) baseada em separação distribucional, sensibilidade causal e estabilidade.
   • As pontuações das camadas mais relevantes (geralmente as camadas do decodificador de média resolução) são fundidas para gerar uma pontuação final de detecção.

3. Contribuições Chave

• Estrutura Teórica: Conecta a falsificação por cópia e movimento à teoria de perturbação espectral em grafos, demonstrando que a duplicação de subgrafos comprime o espaçamento de autovalores e redistribui a massa espectral.
• Detector Livre de Treinamento: Um pipeline que não utiliza rótulos de falsificação para calibração, treinamento ou ajuste de limiar, operando como um detector de anomalia de uma única classe.
• Superioridade do Laplaciano Normalizado: Evidência empírica e teórica de que o Laplaciano normalizado supera consistentemente o espectro de atenção bruto (+0.057 de AUROC), pois remove a confusão causada pela magnitude da atenção.
• Validação Multi-Benchmark: O método foi validado em quatro conjuntos de dados públicos (RecodAI-LUC, MICC-F220, CoMoFoD, COVERAGE) sem re-treinamento, demonstrando generalização.
• Análise de Especificidade: Experimentos de falsificação confirmam que o sinal é específico para manipulações de cópia e movimento (e não apenas para auto-similaridade natural ou ruído genérico) e aumenta monotonicamente com a severidade da manipulação.

4. Resultados Principais

Os resultados foram avaliados em quatro benchmarks, com destaque para o grande conjunto de dados RecodAI-LUC (5.128 imagens) e três conjuntos menores.

• Desempenho no RecodAI-LUC:
  • AUROC: 0.606 (IC 95%: 0.580–0.638; p = 0.005).
  • Embora moderado em termos absolutos (devido à natureza livre de treinamento e à dificuldade do benchmark), o resultado é estatisticamente significativo.
  • O Laplaciano superou o espectro bruto em +0.057 de AUROC.
• Validação Cruzada (Outros Benchmarks):
  • O mesmo pipeline alcançou resultados superiores em benchmarks menores:
    • MICC-F220: AUROC = 0.752.
    • CoMoFoD: AUROC = 0.774, AUPRC = 0.833, MCC = 0.499.
    • COVERAGE: AUROC = 0.673.
  • No CoMoFoD, o detector atingiu uma taxa de verdadeiros positivos (TPR) de 32.5% com apenas 1% de falsos positivos, um regime operacional relevante para triagem forense.
• Análise de Camadas:
  • As camadas do decodificador (especificamente up_blocks.2 e up_blocks.3) são consistentemente as mais informativas para a detecção, superando as camadas do codificador.
• Robustez:
  • O sinal espectral é robusto a variações de resolução e tamanho de imagem.
  • Experimentos de "grafos nulos" (embaralhamento de rótulos) reduziram a detecção ao acaso, confirmando que o sinal depende da estrutura real da imagem.

5. Significado e Conclusão

O trabalho apresenta uma mudança de paradigma na detecção de falsificação:

1. Mecanismo Portátil vs. Receita Rígida: O artigo não propõe apenas um conjunto fixo de hiperparâmetros, mas um mecanismo forense portátil: a perturbação espectral induzida pela duplicação aproximada de subgrafos em grafos de atenção de difusão.
2. Abordagem Zero-Shot: Demonstra que modelos de difusão pré-treinados, sem qualquer ajuste para forense, contêm informações estruturais suficientes para detectar manipulações complexas.
3. Limitações e Futuro: A precisão (AUROC ~0.60-0.77) é inferior a detectores supervisionados de última geração (que podem passar de 0.90), mas o método oferece uma vantagem única ao não exigir dados de treinamento de falsificação. O trabalho sugere que a combinação de características espectrais com detectores aprendidos pode ser o caminho para aplicações práticas.

Em resumo, o GraphSpecForge estabelece uma nova linha de pesquisa que utiliza a teoria espectral de grafos aplicada às representações internas de modelos de IA generativa para revelar a "assinatura" matemática de falsificações por cópia e movimento.