Resumo Técnico: Robustez de Detectores de Arte de IA sob Mudança de Gerador

Declaração do Problema

O rápido avanço dos modelos generativos de texto para imagem, particularmente a transição de arquiteturas de difusão latente baseadas em U-Net (ex: Stable Diffusion 2.1) para arquiteturas de Diffusion Transformer (DiT) (ex: Stable Diffusion 3.5), criou um desafio significativo de segurança e confiança. Embora os modelos modernos produzam imagens cada vez mais indistinguíveis de obras de arte humanas, levantando preocupações sobre direitos autorais, desinformação e fraude, a maioria dos detectores de arte de IA existentes é treinada e avaliada nas mesmas famílias de geradores que pretendem detectar.

Isso cria uma vulnerabilidade de "mudança de gerador" (generator shift). Os detectores podem ter um bom desempenho em dados dentro da distribuição (ID - in-distribution), mas falham ao encontrar imagens de arquiteturas mais novas e não vistas. O artigo define um "modelo de ameaça de gerador emergente", onde um defensor opera um detector fixo treinado em modelos antigos (LDM, SD2.1) contra um produtor de mídia sintética utilizando um gerador mais novo e publicamente disponível (SD3.5m). O risco operacional primário é um falso negativo: o detector classifica erroneamente o conteúdo gerado por IA como criado por humanos, permitindo que ele contorne mecanismos de triagem. Este modo de falha não requer um adversário sofisticado elaborando perturbações adversárias; ele surge simplesmente da adoção de uma arquitetça de geração mais recente.

Metodologia

Construção do Conjunto de Dados

Para avaliar esta ameaça, os autores construíram um conjunto de dados de saída da distribuição (OOD - out-of-distribution) alinhado por prompts:

• Dados de Treinamento Dentro da Distribuição (ID): Derivados do conjunto de dados AI-ArtBench, contendo 120.000 imagens em 10 estilos artísticos. Isso inclui 40.000 amostras de arte humana e 80.000 imagens geradas por IA de Difusão Latente (LDM) e Stable Diffusion 2.1 (SD2.1). O conjunto de dados foi balanceado para 4.000 imagens por estilo por classe de origem para eliminar o viés de frequência.
• Dados de Teste Fora da Distribuição (OOD): Um novo conjunto de dados de 10.000 imagens geradas usando o Stable Diffusion 3.5 Medium (SD3.5m).
  • Pipeline de Construção: Para garantir a comparabilidade semântica, os autores utilizaram um pipeline de "prompt reverso". Eles selecionaram 10.000 amostras de arte humana retidas (1.000 por estilo), usaram o CLIP Interrogator para gerar prompts de texto descrevendo essas imagens, aumentaram esses prompts com tags de estilo e, então, geraram novas imagens usando o SD3.5m.
  • Controle de Qualidade: O conjunto de dados foi validado usando CLIPScore, Fréchet Inception Distance (FID), Kernel Inception Distance (KID) e LPIPS para garantir o alinhamento com o prompt e a diversidade visual, mantendo a separação de distribuição em relação ao conjunto de referência humano.

Arquitetura e Treinamento do Detector

Cinco backbones de deep learning foram avaliados como classificadores binários (Humano vs. IA) sob um paradigma de backbone congelado e sonda linear (linear-probe):

1. ResNet-18 e ResNet-50 (CNNs Residuais)
2. EfficientNet-B0 (CNN de escala composta)
3. ConvNeXt-Base (CNN modernizada com design inspirado em Transformers)
4. CLIP ViT-L/14 (Vision Transformer treinado em 400 milhões de pares imagem-texto)

Protocolo de Treinamento:

• Os pesos do backbone foram congelados (pré-treinados no ImageNet-1K ou CLIP).
• Uma única cabeça de classificação linear foi treinada sobre os recursos extraídos.
• Função de perda: Entropia cruzada binária ponderada para lidar com o desbalanceamento de classes.
• Seleção de limiar (threshold): Otimizado em um conjunto de validação para maximizar a acurácia balanceada, sendo então travado para todas as avaliações de teste para simular um cenário de implantação fixa.

Métricas de Avaliação

O desempenho foi medido em três conjuntos disjuntos: Validação, Teste ID (LDM/SD2.1) e Teste OOD (SD3.5m). As principais métricas incluíram Acurácia Balanceada, Precisão, Recall (especificamente para detecção de IA), Taxa de Falsos Negativos (FNR) e ROC-AUC. Adicionalmente, o Grad-CAM foi utilizado para analisar a atribuição espacial para casos de falha.

Resultados Principais

Desempenho Dentro da Distribuição (In-Distribution)

Todos os cinco detectores alcançaram um desempenho forte no conjunto de teste ID (imagens de LDM e SD2.1).

• CLIP ViT-L/14 teve o melhor desempenho com uma acurácia balanceada de 0,9969 e um FNR de 0,3%.
• ConvNeXt-Base seguiu com 0,9727 de acurácia balanceada.
• Modelos baseados em CNN (ResNet, EfficientNet) mostraram desempenho inferior, porém ainda alto (faixa de 0,92–0,96).
• Os modelos distinguiram com sucesso entre imagens humanas e de IA provenientes das famílias de geradores de treinamento.

Desempenho Fora da Distribuição (Mudança de Gerador)

Quando avaliados no conjunto de dados SD3.5m, todos os modelos sofreram uma queda substancial de desempenho, confirmando a vulnerabilidade à mudança de gerador.

• Degradação de Desempenho: A acurácia balanceada caiu significativamente em todos os modelos.
  • CLIP ViT-L/14: Caiu de 0,9969 para 0,7829 (uma queda de 21,4 pontos percentuais).
  • ResNet-18: Caiu de 0,9260 para 0,6688 (uma queda de 25,7 pontos percentuais).
• Modo de Falha Assimétrico: A degradação foi caracterizada por um aumento acentuado nos Falsos Negativos (IA não detectada) enquanto os Falsos Positivos (classificar arte humana como IA) permaneceram baixos.
  • Para o CLIP ViT-L/14, a Taxa de Falsos Negativos no SD3.5m subiu para 43,24%, o que significa que quase metade das novas imagens de IA foram classificadas incorretamente como humanas.
  • A Taxa de Falsos Positivos permaneceu baixa (0,19%), indicando que os detectores permaneceram conservadores ao rotular arte humana como IA.
• Ranking de Modelos: O CLIP ViT-L/14 permaneceu como o modelo mais robusto no geral, seguido pelo ConvNeXt-Base. No entanto, mesmo o melhor modelo perdeu uma fração substancial de imagens do SD3.5m.

Análise por Estilo

O desempenho variou significativamente por estilo artístico:

• Realismo foi o estilo mais difícil, com recall médio OOD de apenas 0,337 (os detectores perderam ~66% das imagens de IA).
• Ukiyo-e foi o estilo mais fácil, com recall médio OD de 0,758. Os autores atribuem isso à estrutura visual distinta do Ukiyo-e (cores planas, contornos marcantes), que permanece detectável mesmo no novo gerador.
• Análise Grad-CAM: As visualizações revelaram que, para verdadeiros positivos ID, os modelos focavam em pistas locais específicas (rostos, texturas). Para falsos negativos OOD, os mapas de ativação eram mais fracos, difusos e frequentemente focavam em regiões periféricas, sugerindo que as pistas forenses específicas aprendidas do LDM/SD2.1 não se transferem para o SD3.5m.

Significância e Alegações

O artigo afirma que a forte acurácia dentro da distribuição não é um indicador suficiente de robustez do detector quando a arquitetura geradora subjacente muda. O estudo destaca um "gap de generalização" crítico nos sistemas atuais de detecção de arte de IA.

As implicações principais traçadas pelos autores incluem:

1. Evasão via Mudança de Arquitetura: A ameaça não exige que um atacante adversário elabore perturbações. Simplesmente trocar para um gerador mais novo e publicamente disponível (como o SD3.5) é suficiente para degradar a confiabilidade do detector, criando um caminho de evasão de "baixo limiar".
2. Risco Operacional: O risco principal é o falso negativo. Em fluxos de trabalho do mundo real (ex: moderação de conteúdo, revisão de fraude), isso permite que o conteúdo sintético passe sem ser detectado como criado por humanos, minando a confiança e a segurança.
3. Estratégia de Defesa: Detectores de arte de IA não devem ser tratados como soluções estáticas e isoladas. Os autores defendem uma abordagem de defesa em camadas, onde a detecção baseada em imagem é apenas um componente, suplementada por metadados de procedência, marcas d'água, monitoramento de deriva (drift) e reavaliação periódica contra geradores emergentes.
4. Limitações: O estudo é modesto em seu escopo, observando que avalia uma mudança específica (U-Net para DiT) e utiliza uma abordagem de backbone congelado. Não alega que o ajuste fino (fine-tuning) ou outros métodos de adaptação resolveriam necessariamente o problema, mas estabelece a vulnerabilidade basal que motiva pesquisas adicionais em sistemas de detecção robustos e adaptáveis.