Multi-Feature Fusion Approach for Generative AI Images Detection

1. Problema e Contexto

O avanço rápido dos modelos de Inteligência Artificial Generativa (GenAI), como StyleGAN, DALL·E, Stable Diffusion e Midjourney, permitiu a criação de imagens sintéticas com realismo inédito, tornando difícil distingui-las de fotografias naturais a olho nu. Isso levanta preocupações críticas sobre desinformação, direitos autorais e a erosão da confiança na mídia digital.

O problema central abordado é a falta de robustez dos detectores existentes. A maioria dos métodos atuais depende de um único espaço de características (seja estatístico, semântico ou de textura), o que os torna vulneráveis quando confrontados com modelos generativos diversos e em constante evolução. A questão de pesquisa é: um único espaço de características é universalmente superior, ou a fusão de representações ortogonais (complementares) é necessária para uma detecção robusta e agnóstica ao modelo?

2. Metodologia

O artigo propõe um framework unificado de fusão de múltiplas características que integra três espaços de características distintos e complementares para a classificação binária (Real vs. IA):

1. Características Estatísticas de Baixo Nível (MSCN):

   • Baseadas em Estatísticas de Cena Natural (NSS).
   • Utiliza a transformação Mean Subtracted Contrast Normalized (MSCN) para capturar desvios nas distribuições de luminância e contraste.
   • Extrai matrizes de co-ocorrência de nível de cinza (GLCM) e características de Haralick para identificar anomalias estatísticas sutis.

2. Embeddings Semânticos de Alto Nível (CLIP):

   • Utiliza o modelo pré-treinado CLIP-ViT/B-32 (Vision-Language Model).
   • Captura coerência semântica, relações entre objetos e consistência contextual.
   • Detecta inconsistências lógicas ou discrepâncias entre o prompt e a imagem gerada, que podem não ser visíveis no nível de pixels.

3. Padrões Locais Binários Multiescala (MLBP):

   • Foca em anomalias de textura de nível médio.
   • Utiliza Multi-scale Local Binary Patterns (com escalas R=1, 2, 3) para capturar micro-padrões repetitivos e artefatos de borda característicos de conteúdo sintético.
   • Extrai estatísticas (média, variância, entropia, energia) dos histogramas de LBP.

Processo de Fusão e Classificação:

• Normalização: Os vetores de características heterogêneos são padronizados (zero-média, variância unitária) para evitar que embeddings de alta dimensão (como o CLIP) dominem o processo de otimização.
• Fusão: Os vetores normalizados são concatenados para formar um vetor composto de 620 dimensões.
• Classificação: O vetor fundido é alimentado em classificadores de aprendizado de máquina (Gradient Boosting, Random Forest e SVM) para prever a autenticidade.

3. Principais Contribuições

• Benchmarking Abrangente: Avaliação rigorosa de três espaços de características (MSCN, CLIP, MLBP) em quatro conjuntos de dados de referência (Synthbuster, PKU-4K, CIFAKE, FakeBench) cobrindo uma ampla gama de modelos generativos (GANs e Difusão).
• Framework de Fusão Multi-Característica: Proposta de um pipeline que demonstra que a combinação estratégica de estatística, semântica e textura supera consistentemente as abordagens de recurso único em termos de precisão, robustez e generalização.
• Insights Analíticos Profundos:
  • Evidência empírica da complementaridade dos recursos através de análise de divergência de variedade (manifold divergence).
  • Demonstração de que a fusão estabiliza o espaço de características, reduzindo a sensibilidade à escolha do classificador e ao tipo de gerador.
  • Análise estatística (Kruskal-Wallis) mostrando que, em cenários de recursos individuais, o desempenho é dominado pela escolha do recurso, enquanto na fusão, a geometria do espaço fundido torna-se o fator determinante.

4. Resultados Experimentais

Os experimentos foram realizados em quatro conjuntos de dados com diferentes níveis de dificuldade (de sintéticos puros a cenários de imagem-para-imagem):

• Desempenho Individual: O CLIP (semântica) foi geralmente o melhor recurso individual, seguido pelo MSCN (estatística). O MLBP (textura) apresentou o desempenho mais variável e, em alguns casos, inferior quando usado isoladamente.
• Superioridade da Fusão: A fusão de todos os três recursos (ALL) obteve consistentemente os melhores resultados em todos os conjuntos de dados.
  • No conjunto Synthbuster, a fusão atingiu 96,6% de precisão e 0,933 de MCC (Coeficiente de Correlação de Matthews).
  • No cenário desafiador PKU-4K (especialmente na geração Imagem-para-Imagem, que preserva priors naturais), a fusão recuperou grande parte do desempenho perdido pelos métodos individuais, atingindo ~90% de precisão.
• Comparação com o Estado da Arte (SOTA): O método proposto superou consistentemente detectores de ponta como CNNDetection, DMImageDetection, PatchForensics e Synthbuster. Enquanto os métodos SOTA mostraram forte dependência do conjunto de dados e falharam em generalizar para modelos não vistos, o framework proposto manteve alta performance em todos os cenários.
• Análise de Manifold: A análise mostrou que a fusão aumenta a distância de Fréchet entre as distribuições de imagens reais e geradas, criando uma separação mais clara no espaço de características e reduzindo a sobreposição de variedades.

5. Significado e Conclusão

O trabalho conclui que a detecção de imagens GenAI é fundamentalmente um problema orientado por representação. À medida que os modelos generativos se tornam mais sofisticados e replicam melhor as estatísticas de baixo nível, os detectores baseados em um único domínio tornam-se insuficientes.

A fusão híbrida de representações estatísticas, semânticas e texturais é essencial para criar detectores robustos e agnósticos ao modelo. A estratégia de "defesa em profundidade" proposta garante que, mesmo que um modelo generativo consiga enganar uma camada de análise (ex: estatística), é improvável que ele engane simultaneamente todas as três camadas (estatística, semântica e textura). O artigo estabelece um novo padrão para a detecção de conteúdo sintético, destacando a necessidade de abordagens multi-nível para acompanhar a evolução rápida da IA generativa.