Frequency-Aware Semantic Fusion with Gated Injection for AI-generated Image Detection

1. Declaração do Problema

O avanço rápido das imagens geradas por IA (AIGI) criou conteúdo visual altamente realista que desafia a confiabilidade da mídia digital. Embora os Modelos Fundamentais de Visão (VFMs) (por exemplo, DINOv3) ofereçam representações semânticas robustas e os métodos baseados em frequência capturem artefatos generativos sutis, as abordagens existentes que combinam essas modalidades sofrem de generalização limitada. Especificamente, elas performam bem em geradores "vistos", mas degradam significativamente em geradores "não vistos".

Os autores identificam duas causas primárias para essa falha:

1. Viés de Atalho de Frequência: Os modelos tendem a confiar excessivamente em pistas de frequência facilmente distinguíveis e específicas do gerador durante o treinamento. Essas pistas não generalizam entre diferentes modelos generativos, levando a um desempenho pobre sob mudanças de distribuição.
2. Conflito de Representação Cross-Domain: As estruturas de duplo fluxo existentes frequentemente usam fusão direta (por exemplo, concatenação ou atenção cruzada) para combinar características de frequência de baixo nível com características semânticas de alto nível. Como essas características residem em espaços de representação inerentemente diferentes, a fusão direta cria representações mistas que degradam o desempenho de detecção.

2. Metodologia: FGINet

Os autores propõem a Rede de Injeção Portão Consciente de Frequência (FGINet), uma estrutura de duplo fluxo projetada para aprender representações de frequência generalizáveis e integrá-las hierarquicamente com características semânticas. A arquitetura consiste em três componentes principais:

A. Codificador de Frequência com Máscara de Banda (BMFE)

Para mitigar o viés de atalho de frequência, o BMFE aprende representações de frequência invariantes ao gerador.

• Decomposição por Wavelet Haar: A imagem de entrada é decomposta em quatro sub-bandas ($LL, LH, HL, HH$). A banda de baixa frequência $LL$ é descartada, pois contém informações semânticas redundantes, enquanto as bandas de alta frequência ($LH, HL, HH$) são concatenadas.
• Mascaramento Independente Nível de Banda: Durante o treinamento, o codificador aplica mascaramento aleatório em patches não sobrepostos dentro de cada banda de alta frequência. Essa perturbação força o modelo a depender de padrões de frequência diversos em vez de artefatos específicos do gerador, incentivando robustez.
• Codificação de Token: O mapa de alta frequência mascarado é processado através de um tronco convolucional leve, agrupado e projetado em um token de frequência compacto ($T_{freq}$) compatível com o espaço de incorporação do Transformer.

B. Injeção de Frequência Portão por Camada (LGFI)

Para resolver o conflito de representação, o LGFI substitui a fusão direta por um mecanismo de injeção progressiva e hierárquica.

• Backbone Semântico: O caminho semântico utiliza um backbone pré-treinado DINOv3 adaptado via LoRA (Adaptação de Baixo Rango) para minimizar a sobrecarga de parâmetros, preservando ao mesmo tempo priores semânticos generalizáveis.
• Injeção Portão: Em vez de fundir características no final, o token de frequência $T_{freq}$ é progressivamente injetado no token de classe dos blocos do Transformer em cada camada ($l$).
• Portão Adaptativo: Um parâmetro de portão aprendível $\alpha^{(l)}$ controla dinamicamente a contribuição do token de frequência em cada camada:
  $$\hat{t}^{(l)}_{cls} = t^{(l)}_{cls} + \alpha^{(l)} T_{freq}$$
  Isso permite que o modelo pondere adaptativamente as pistas de frequência de acordo com o nível de abstração hierárquica, preservando a estrutura semântica pré-treinada enquanto integra pistas de artefato.

C. Aprendizado de Compactidade Hiperesférica (HCL)

Para aprimorar a generalização a geradores não vistos, a etapa final de classificação emprega uma estrutura de Aprendizado de Compactidade Hiperesférica baseada no objetivo CosFace.

• Normalização Hiperesférica: As características e os pesos do classificador são normalizados para residir em uma hiperesfera unitária ($\|x\|=1$).
• Margem de Cosseno: Uma margem de cosseno aditiva é imposta durante o treinamento para maximizar a separação interclasse e minimizar a variância intraclasse. Isso cria clusters compactos e bem separados para amostras reais e falsas, melhorando as fronteiras de decisão.

3. Principais Contribuições

1. Estrutura FGINet: Uma arquitetura inovadora que aborda o viés de atalho de frequência e conflitos cross-domain via Codificação de Frequência com Máscara de Banda e Injeção Portão por Camada.
2. Mecanismo BMFE: Introduz mascaramento independente entre bandas para interromper a dependência de pistas específicas do gerador, promovendo representações de frequência diversas e generalizáveis.
3. Mecanismo LGFI: Propõe uma estratégia de injeção portão progressiva que alinha pistas de frequência com a abstração hierárquica dos VFMs, evitando as armadilhas da fusão direta.
4. Objetivo HCL: Integra restrições hiperesféricas com margens de cosseno para impor distribuições de características compactas e separáveis, aumentando a robustez contra geradores não vistos.

4. Resultados Experimentais

Os autores avaliaram o FGINet em múltiplos conjuntos de dados desafiadores, incluindo GenImage, SynthBuster, WildRF, Chameleon e RRDataset (para robustez).

• Desempenho State-of-the-Art:
  • No GenImage (8 geradores), o FGINet alcançou 96,7% de precisão média, superando o segundo melhor método (SAFE) em 1,2%.
  • No SynthBuster (9 modelos de difusão), alcançou 94,3% de precisão média, superando o vice-campeão (DDA) em 4,2%.
  • No WildRF (dados de mídia social), alcançou 95,9% de precisão, demonstrando forte generalização cross-source.
  • No difícil conjunto de dados Chameleon (amostras difíceis), o FGINet atingiu 92,5% de precisão geral, superando significativamente o DDA (84,8%) e outros métodos SOTA.
• Robustez: Na avaliação do RRDataset (simulando transmissão e re-digitalização), o FGINet manteve desempenho superior em comparação com concorrentes, mostrando resiliência contra degradações reais severas.
• Estudos de Ablação:
  • A remoção do BMFE reduziu o desempenho, confirmando a necessidade de interromper atalhos de frequência.
  • Substituir o LGFI por fusão direta (Concat/Add) ou injeção sem portão causou quedas significativas de desempenho, validando a necessidade de integração hierárquica e portão.
  • A remoção do HCL reduziu a precisão de 92,5% para 90,6%, destacando a importância das restrições hiperesféricas.

5. Significado

Este artigo faz uma contribuição significativa para o campo da detecção de imagens geradas por IA, deslocando o paradigma da simples fusão de características para uma integração estruturada e hierárquica.

• Generalização: Aborda diretamente o problema do "gerador não visto", um gargalo crítico na implantação no mundo real, impedindo que os modelos memorizem artefatos específicos de geradores.
• Insight Arquitetural: O trabalho demonstra que as pistas de frequência não devem ser tratadas como um fluxo separado a ser fundido tardiamente, mas sim como um sinal complementar que deve guiar progressivamente a aprendizagem de representação semântica através de portão adaptativo.
• Impacto Prático: O forte desempenho em conjuntos de dados "no selvagem" (redes sociais, imagens re-digitalizadas) sugere que o FGINet é uma solução viável para implantar sistemas de detecção robustos em cenários do mundo real onde a qualidade da imagem varia e os geradores são desconhecidos.