Dual Frequency Branch Framework with Reconstructed Sliding Windows Attention for AI-Generated Image Detection

1. O Problema

Com o avanço rápido de modelos generativos como Redes Adversariais Generativas (GANs) e modelos de difusão, a criação de imagens sintéticas hiper-realistas tornou-se comum, gerando riscos significativos de desinformação e fraude. Embora existam métodos de detecção, eles enfrentam duas limitações principais:

• Falta de sensibilidade a interdependências locais: Métodos existentes muitas vezes extraem características locais, mas não consideram adequadamente as diferenças de importância e as dependências complexas entre os elementos internos de uma região local.
• Limitação de domínio de frequência: A maioria das abordagens opera em um único domínio de frequência, o que impede a captura de traços de falsificação generalizados causados por métodos de geração diversos.

2. Metodologia Proposta

O autores propõem um novo framework chamado DFFreq, que combina uma atenção de janela deslizante reconstruída com uma ramificação de dupla frequência.

A. Mecanismo de Atenção de Janela Deslizante Reconstruída (RSWAttention)

Para superar a limitação de capturar dependências internas locais, o método utiliza uma janela deslizante que restringe o mecanismo de atenção a uma janela local.

• Reconstrução de Características: Dentro da janela, os recursos são reconstruídos concatenando características de diferentes bandas de frequência.
• Mecanismo: O processo envolve dividir as características em janelas, "telhar" (tiling) os recursos vizinhos em cada banda de frequência e aplicar uma janela deslizante. Isso permite que a atenção foque em detalhes de nível de pixel enquanto mantém as dependências complexas entre elementos adjacentes.
• Componentes: O bloco RSWAttention consiste em um bloco de Atenção Local (LoAttention) e uma Camada MLP de Janela Global (GMLP) para preservar correlações globais enquanto captura detalhes finos.

B. Framework de Ramificação de Dupla Frequência

Para enriquecer a extração de características de falsificação de múltiplas perspectivas, o modelo utiliza dois ramos de frequência distintos antes da aplicação da atenção:

1. Ramo Baseado em DWT (Transformada Wavelet Discreta):
   • Decompõe a imagem em quatro sub-bandas de frequência (LL, LH, HL, HH).
   • Utiliza um mecanismo de "telhamento de janela" (window tiling) para organizar as características das quatro sub-bandas em uma estrutura espacial que preserva a relação entre elementos adjacentes e as informações de frequência.
   • Foca em características de textura local e inconsistências de alta frequência.
2. Ramo Baseado em FFT (Transformada Rápida de Fourier) - Parte de Fase:
   • O artigo demonstra experimentalmente que a parte de fase do FFT contém mais traços de artefatos de falsificação do que a parte de amplitude (que reflete principalmente cor e brilho).
   • A parte de fase captura dependências de longo alcance e relações estruturais globais entre os elementos da imagem.
   • Apenas a fase é utilizada como entrada para o ramo, sendo recombina com a amplitude original após o processamento.

• Fusão: Os recursos dos dois ramos são combinados através de um hiperparâmetro $\lambda$ (ajustado para 0.4 nos experimentos) e passados para um classificador.

3. Contribuições Principais

• Reconstrução da Atenção de Janela: Criaram um mecanismo que modela efetivamente a importância e as interdependências entre elementos internos de regiões locais, superando as limitações das atenções globais tradicionais (como ViT) que são menos sensíveis a detalhes finos locais.
• Descoberta da Importância da Fase do FFT: Identificaram e validaram que a parte de fase do domínio de Fourier contém traços de artefatos mais fortes do que a amplitude, levando ao design de um ramo complementar baseado apenas na fase.
• Framework de Dupla Frequência: Integraram as quatro sub-bandas do DWT (informação local/espectral) com a fase do FFT (informação estrutural/global) para criar uma representação de características de falsificação mais rica e abrangente.

4. Resultados Experimentais

O método foi avaliado em conjuntos de dados massivos contendo imagens de 65 modelos generativos distintos (incluindo GANs clássicos, StyleGAN, modelos de difusão como Stable Diffusion, DALL-E 3, Midjourney, etc.).

• Desempenho Geral: O método alcançou uma melhoria de 2,13% na precisão de detecção em comparação com os métodos mais avançados (SOTA) como C2P-CLIP e AIDE.
• Comparação Específica:
  • No conjunto de dados GenImage, superou o C2P-CLIP em 2,4% e o LaDeDa em 4,0%.
  • No conjunto DiffusionForensics, alcançou 98,8% de precisão média, superando os melhores concorrentes em 3,0% a 3,7%.
  • No benchmark AIGIBench (que inclui cenários sociais e face-swapping), alcançou 77,9% de precisão média, superando os concorrentes em até 5,9%.
• Robustez: O modelo demonstrou alta robustez contra perturbações comuns, como compressão JPEG e desfoque Gaussiano, mantendo desempenho superior aos métodos concorrentes.
• Generalização: Mesmo treinado apenas em ProGAN, o modelo generalizou excepcionalmente bem para modelos de difusão nunca vistos durante o treinamento.

5. Significado e Impacto

Este trabalho é significativo porque aborda a lacuna crítica na detecção de imagens geradas por IA: a capacidade de generalizar entre diferentes arquiteturas de geração (de GANs antigos a modelos de difusão modernos). Ao combinar a análise de frequência local (DWT) com a análise estrutural global (Fase do FFT) e um mecanismo de atenção que foca nas interdependências locais, o DFFreq oferece uma solução mais robusta e generalizável. Isso é crucial para mitigar os riscos de segurança e desinformação associados à proliferação de deepfakes e conteúdo sintético, fornecendo uma ferramenta de detecção que não depende de um único tipo de artefato ou domínio de frequência.