HiMix: Hierarchical Artifact-aware Mixup for Generalized Synthetic Image Detection

1. Formulação do Problema

O avanço rápido dos modelos generativos (GANs e Modelos de Difusão) levou à criação de imagens sintéticas altamente realistas, impondo desafios severos para a Detecção de Imagens Sintéticas (SID).

• Lacuna de Generalização: Detectores existentes são tipicamente treinados em conjuntos de dados limitados e enviesados. Consequentemente, sofrem de sobreajuste à fonte, onde os modelos aprendem pistas específicas do gerador em vez de padrões universais de falsificação.
• Regiões de Baixa Confiança: Quando testados em geradores não vistos, as imagens sintéticas frequentemente caem em "regiões de baixa confiança" do espaço de decisão, levando a logits dispersos e baixa precisão de classificação.
• Viés Semântico: Métodos que dependem de modelos pré-treinados (por exemplo, CLIP) frequentemente capturam conteúdo semântico de alto nível (por exemplo, categorias de objetos) em vez de artefatos intrínsecos de falsificação, fazendo com que os detectores aprendam padrões enviesados pelo conteúdo em vez de pistas de falsificação generalizáveis.

2. Metodologia: Framework HiMix

Os autores propõem o HiMix, um framework unificado projetado para aprimorar a generalização a partir das perspectivas de distribuição de dados e representação. A arquitetura consiste em dois módulos principais:

A. Augmentação Distribucional Impulsionada por Mixup (MDA)

Este módulo aborda o problema da distribuição de dados expandindo o espaço de treinamento.

• Mecanismo: Gera amostras transitórias contínuas entre imagens reais e falsas usando Mixup pixel a pixel:
  $$X_{mix} = \lambda X_{fake} + (1 - \lambda) X_{real}$$
  onde $\lambda$ é amostrado de uma distribuição Beta. Crucialmente, essas amostras mistas são rotuladas como "falsas" independentemente da proporção de mistura.
• Propósito:
  • Cobertura: Força o modelo a aprender a fronteira entre real e falso, preenchendo efetivamente as "regiões de baixa confiança" onde falsificações não vistas geralmente residem.
  • Redução Semântica: A interpolação pixel a pixel suaviza semânticas de alto nível (conteúdo), forçando o modelo a depender de artefatos de baixo nível e invariantes ao gerador (por exemplo, padrões de ruído, inconsistências de frequência) para detecção.

B. Representação Hierárquica Consciente de Artefatos (HAR)

Este módulo aborda o problema da representação extraindo pistas robustas de falsificação usando um backbone CLIP pré-treinado aprimorado com designs arquitetônicos específicos.

• Backbone e Adaptação: Utiliza um encoder ViT CLIP congelado com LoRA (Adaptação de Baixo Rango) aplicado às projeções QKV. Isso permite que o modelo se adapte a tarefas de detecção de falsificação com parâmetros mínimos, preservando o conhecimento pré-treinado.
• Agrupamento Hierárquico de Regiões (HiRP):
  • Em vez de depender exclusivamente do token CLS global, o HiRP particiona tokens de patch em janelas locais em múltiplas escalas ($s_r$).
  • Agrega estatísticas via pooling médio intra-janela e pooling máximo inter-janela para capturar artefatos sutis e espacialmente consistentes.
  • Pesos aprendíveis ($\beta_r$) fundem esses tokens regionais multi-escala.
• Fusão Inter-Camada e Inter-Granularidade:
  • Inter-Camada: Agrega características de diferentes camadas do Transformer (tanto tokens CLS quanto Region) para capturar artefatos que emergem em diferentes profundidades semânticas.
  • Fusão Inter-Granularidade (CGF): Um MLP leve funde dinamicamente as características estruturais globais (CLS) e as características locais de artefatos (Region) para produzir uma representação final, invariante ao gerador.

3. Contribuições Principais

1. Framework Unificado: Propõe o HiMix, que otimiza conjuntamente a augmentação de dados (MDA) e a representação de características (HAR) para enfrentar o problema de generalização na SID.
2. Estratégia de Augmentação Distribucional: Introduz uma abordagem impulsionada por Mixup que enriquece regiões de baixa confiança e suprime o domínio semântico de alto nível, permitindo que o modelo se concentre em traços intrínsecos de falsificação.
3. Aprendizado Hierárquico de Artefatos: Projeta um módulo de representação inovador (HAR) que integra pistas multi-escala, inter-camada e inter-granularidade para extrair padrões robustos de falsificação.
4. Desempenho State-of-the-Art: Demonstra generalização superior entre fontes em diversos benchmarks, superando significativamente métodos existentes em geradores não vistos.

4. Resultados Experimentais

O artigo avalia o HiMix em múltiplos benchmarks, incluindo GenImage, Ojha (Difusão), ForenSynths (GANs) e TwinSynths-GAN.

• Desempenho Geral: No conjunto de dados GenImage (8 geradores diversos), o HiMix alcança 97,6% de Precisão Média e 99,7% de Precisão Média, superando bases fortes como SAFE, CoD e AIDE.
• Generalização em Difusão: Quando treinado apenas no Stable Diffusion v1.4, o HiMix generaliza efetivamente para outros modelos de difusão (LDM, Glide, ADM), alcançando 98,3% de Precisão e 99,9% de AP.
• Cenários Desafiadores: No conjunto de dados TwinSynths-GAN (falsificações de alta fidelidade e alinhadas ao conteúdo), o HiMix alcança 90,6% de AP, superando o anterior SOTA (SFLD) por uma margem significativa (melhoria de 12,29%).
• Robustez: O modelo mantém desempenho estável sob compressão JPEG e desfoque gaussiano, superando o AIDE em todos os níveis de distorção.
• Eficiência de Dados: O HiMix alcança 96,71% de precisão usando apenas 1% dos dados de treinamento, demonstrando alta eficiência.
• Distribuição de Logits: Visualizações mostram que o HiMix produz distribuições intra-classe compactas e logits inter-classe bem separados, mesmo para geradores não vistos, enquanto outros métodos mostram logits dispersos e sobrepostos.

5. Significado

• Resolvendo o Problema do "Gerador Não Visto": O HiMix aborda diretamente a limitação crítica dos sistemas SID atuais de falhar em novos modelos generativos não vistos, treinando explicitamente na fronteira de decisão (via Mixup) e aprendendo artefatos invariantes.
• Implantação Prática: A robustez do método a degradações de imagem (compressão, desfoque) e sua alta eficiência de dados tornam-no adequado para implantação no mundo real, onde os dados de treinamento podem ser escassos ou o pós-processamento é comum.
• Insight Arquitetônico: O trabalho destaca a importância de ir além das características semânticas globais para uma análise hierárquica e multi-escala de artefatos, fornecendo um novo blueprint para o projeto de detectores forenses robustos.

Em conclusão, o HiMix representa um passo significativo para tornar a detecção de imagens sintéticas confiável e generalizável, deslocando o foco da memorização de assinaturas específicas de geradores para a aprendizagem de artefatos fundamentais e universais de falsificação.