Sumário Técnico: GenSyn10

Declaração do Problema

O rápido avanço da IA generativa superou o desenvolvimento de mecanismos de detecção confiáveis. Um desafio central na detecção de imagens geradas por IA é o problema de mudança de gerador fora da distribuição (OOD - out-of-distribution): detectores treinados em geradores específicos (ex: Stable Diffusion v1.4) frequentemente falham ao generalizar para saídas de geradores não vistos e arquiteturalmente distintos. Benchmarks existentes, como o CIFAKE, dependem de conjuntos de dados de geradores únicos e obsoletos ou carecem de protocolos de geração padronizados, impedindo a avaliação controlada da generalização entre geradores. Além além disso, os benchmarks atuais frequentemente falham em incluir imagens da geração mais recente de modelos de código aberto, deixando uma lacuna na compreensão de como os detectores performam contra paradigmas arquiteturais modernos, como Rectified Flow Transformers, Mixture-of-Experts (MoE) e Multimodal Diffusion Transformers.

Metodologia

Construção do Conjunto de Dados: GenSyn10

Os autores introduzem o GenSyn10, um conjunto de dados de imagens sintéticas alinhado com a estrutura do CIFAR-10 (10 classes, resolução de 32×32, 60.000 imagens no total).

• Geradores: As imagens são geradas usando três modelos de código aberto de última geração que representam famílias arquiteturais distintas:
  1. FLUX.2-dev: Utiliza um Rectified Flow Transformer.
  2. HunyuanImage-3.0: Emprega uma arquitetura de Mixture-of-Experts (MoE) autorregressiva.
  3. Qwen-Image-2512: Combina um Multimodal Diffusion Transformer (MMDiT) com um modelo de visão-linguagem Qwen2.5-VL congelado.
• Engenharia de Prompt: Um motor de prompt combinatório baseado em templates gera mais de 100.000 combinações únicas de prompts por classe. Os prompts são estruturados através de seis slots (Instância, Cena, Visão, Iluminação, Ação, Abertura) e incluem níveis de dificuldade "Clean" (Limpo) e "Hard" (Difícil) (introduzindo oclusões, desfoque de movimento, etc.).
• Padronização: Todas as imagens são geradas em resolução de 512×512 e redimensionadas para 32×32 usando reamostragem Lanczos para garantir consistência.
• Protocolo OOD: Para avaliar a generalização, o Stable Diffusion 3.5 Large é utilizado como um gerador mantido fora (held-out). Ele é excluído do conjunto de treinamento, mas usado para gerar um conjunto de teste separado para avaliação OOD, garantindo que as quedas de desempenho sejam atribuíveis a mudanças arquiteturais e não a variações de prompt ou resolução.

Protocolo de Benchmark

O artigo avalia 17 arquiteturas de classificação através de sete famílias de modelos (incluindo VGG, ResNet, DenseNet, EfficientNet, ViT, Swin e ConvNeXt) usando um protocolo de avaliação de quatro estágios:

1. Baseline (S1): Avaliação de modelos inicializados com CIFAR-10 no conjunto de teste do CIFAR-10.
2. Transferência Zero-Shot (S2): Avaliação dos mesmos modelos no conjunto de teste GenSyn10 sem ajuste fino (fine-tuning).
3. Retenção (S3): Ajuste fino no GenSyn10 seguido de avaliação no conjunto de teste do CIFAR-10 para medir o esquecimento catastrófico.
4. Adaptação (S4): Ajuste fino no GenSyn10 seguido de avaliação no conjunto de teste do GenSyn10.

Adicionalmente, uma tarefa de classificação binária real-vs-sintético é realizada. Os modelos são treinados para distinguir imagens reais do CIFAR-10 de imagens sintéticas do GenSyn10 (In-Distribution) e depois testados em imagens sintéticas do Stable Diffusion 3.5 Large mantido fora (Out-of-Distribution).

Principais Contribuições

1. Benchmark Multi-Gerador: O GenSyn10 é o primeiro conjunto de dados equivalente ao CIFAR-10 que inclui imagens de FLUX.2-dev, HunyuanImage-3.0 e Qwen-Image-2512, cobrindo famílias generativas distintas ausentes em benchmarks anteriores.
2. Gramática de Prompt Combinatória: Um sistema padronizado baseado em templates que garante geração diversa e reprodutível com dificuldade controlável, eliminando confusões de conteúdo de prompt.
3. Benchmark Abrangente de Classificadores: Uma avaliação sistemática de 17 arquiteturas sob um protocolo de quatro estágios, estabelecendo linhas de base de desempenho para imagens sintéticas da geração atual.
4. Diagnóstico Sistemático de OOD: Uma configuração experimental controlada usando um gerador mantido fora para quantificar a vulnerabilidade dos detectores a arquiteturas não vistas, demonstrando que o viés indutivo arquitetural é um determinante primário da resiliência OOD.

Resultados

Desempenho de Zero-Shot e Fine-Tuning

• Transferência Zero-Shot: Modelos treinados no CIFAR-10 demonstraram alta transferibilidade semântica para o GenSyn10. O melhor modelo (Swin-Base) alcançou 96,86% de acurácia zero-shot, enquanto o mais fraco (MNASNet-1.0) ainda atingiu 74,32%.
• Adaptação de Fine-Tuning: Após o ajuste fino no GenSyn10, quase todos os modelos excederam 98,5% de acurácia, com o ConvNeXt-Base alcançando 99,88%.
• Retenção: Modelos baseados em Transformer (ViT, Swin) exibiram superior retenção do conhecimento original do CIFAR-10 (ex: ViT-Base/16 reteve 95,12% de acurácia) comparados aos CNNs clássicos, que sofreram esquecimento significativo (ex: ResNet-50 caiu para 52,02%).

Classificação Binária Real-vs-Sintético

• In-Distribution (ID): Os modelos alcançaram desempenho próximo à saturação no conjunto de teste GenSyn10, com o Swin-Base atingindo 99,94% de acurácia.
• Out-of-Distribution (OOD): Quando testados no Stable Diffusion 3.5 Large mantido fora, todos os modelos experimentaram quedas de acurácia variando de 3,80 a 18,15 pontos percentuais.
  • ViT-Base/16 demonstrou a maior robustez OOD, com a menor queda de acurácia (−3,80%) e a maior acurácia OOD (96,08%).
  • ConvNeXtV2-Base sofreu a maior queda (−18,15%).
• Análise: A degradação de desempenho foi impulsionada principalmente por uma queda no recall sintético (classificar erroneamente imagens sintéticas não vistas como reais), enquanto a especificidade permaneceu alta. Pontuações AUC elevadas (próximas de 1,0) persistiram mesmo com as quedas de acurácia, sugerindo que, embora o desempenho com limiar degrade, os modelos retêm alguma capacidade de classificar amostras como sintéticas vs. reais.

Significância e Alegações

O artigo posiciona o GenSyn10 como um benchmark controlado para abordar o problema de "mudança de gerador OOD", identificado como um desafio central aberto no campo. Os autores afirmam que:

• O Viés Arquitetural Importa: Os resultados sugerem que o viés indutivo arquitetural (especificamente a autoatenção global em transformers) é um fator mais significativo para a resiliência OOD do que a capacidade do modelo isoladamente.
• Limites de Generalização: O alto desempenho em geradores conhecidos não garante robustez contra arquiteturas não vistas, destacando uma vulnerabilidade persistente nos métodos de detecção atuais.
• Padronização: Ao fornecer um conjunto de dados multi-gerador padronizado com um protocolo de avaliação mantido fora, o GenSyn10 permite a pesquisa principiológica em adaptação de domínio e generalização entre geradores, indo além de benchmarks de gerador único que podem sofrer overfitting a assinaturas de artefatos específicos.

Os autores observam limitações, incluindo a exclusão de certos paradigmas (ex: GANs, modelos de consistência) e a dependência de inspeção manual para erros de geração, mas enfatizam a extensibilidade do conjunto de dados para futuras atualizações conforme os modelos generativos evoluem.