Simple Domain Generalization for Strong Pixel-Level Image Tampering Detection in Modern VLMs

Resumo Técnico: Generalização de Domínio Simples para Detecção Forte de Adulteração de Imagem ao Nível de Pixel em VLMs Modernos

Declaração do Problema
Os modelos de visão-linguagem (VLMs) modernos, como ChatGPT, Gemini e Qwen-Image, avançaram significativamente as capacidades de geração e edição de imagens. Embora benéficos para aplicações criativas, esses avanços representam riscos severos em relação à desinformação visual e autenticidade de conteúdo. A detecção de adulteração de imagem ao nível de pixel é crítica para a verificação forense, exigindo não apenas a classificação de uma imagem como real ou manipulada, mas também a localização precisa das regiões adulteradas.

No entanto, a detecção robusta sob implantação no mundo real é desafiadora devido a mudanças significativas de domínio. Diferentes VLMs variam em arquitetura, dados de treinamento, interfaces de edição e pipelines de pós-processamento, criando distribuições de manipulação distintas. Detectores treinados em modelos de origem específicos tendem a sofrer overfitting aos artefatos específicos do modelo e falham em generalizar para VLMs não vistos e fora da distribuição (OOD), particularmente aqueles que são recém-lançados ou de código fechado. Este trabalho aborda o problema da generalização de domínio para a detecção de adulteração ao nível de pixel, visando aprender modelos que capturem pistas transferíveis e robustas ao domínio, em vez de artefatos superficiais ligados a geradores específicos.

Metodologia: O Framework PIXAR-DG
Os autores propõem o PIXAR-DG, um framework de treinamento projetado para melhorar a robustez cross-domínio sem mudanças arquitetônicas complexas. A abordagem baseia-se na arquitetura PIXAR existente, que utiliza um backbone compartilhado para produzir três saídas: uma máscara de adulteração ao nível de pixel, um rótulo de categoria semântica e uma descrição em linguagem natural. O framework introduz três estratégias práticas fundamentais:

1. Amostragem de Minibatch Equilibrada:
   Os dados de treinamento em detecção de adulteração são frequentemente desequilibrados, com imagens adulteradas superando vastamente as imagens reais em muitos conjuntos de dados. A amostragem uniforme ingênua leva a uma otimização enviesada, onde o modelo sofre overfitting tanto para artefatos de adulteração quanto para priors de imagens limpas. Os autores introduzem uma estratégia onde cada minibatch é construído com uma proporção fixa e ideal de imagens reais e adulteradas (por exemplo, $\rho = 0,5$). Isso garante que cada etapa de otimização receba sinais de gradiente equilibrados tanto para a detecção global ao nível de imagem quanto para a localização ao nível de pixel, evitando o colapso do treinamento e estabilizando o processo de aprendizado.

2. Otimização de Injeção Tardia (Late Injection):
   Em cenários práticos, dados de VLMs emergentes (novos domínios) são frequentemente escassos em comparação com bases de dados estabelecidas. Injetar esses pequenos conjuntos de dados de novos domínios desde o início pode enviesar o aprendizado de representação ou causar overfitting a artefatos específicos de domínio instáveis. A estratégia de injeção tardia proposta envolve um processo de treinamento de dois estágios:

   • Estágio 1: O detector é treinado exclusivamente em um conjunto de dados base de larga escala (ex: Qwen-Image) até atingir uma convergência estável e aprender representações transferíveis.
   • Estágio 2: Uma pequena quantidade de dados do novo domínio emergente (ex: Gemini-2.5) é injetada no pool de treinamento. O modelo continua o treinamento nesta distribuição mista com uma taxa de aprendizado baixa, permitindo que ele se adapte ao novo domínio sem deixar que os dados limitados do novo domínio dominem o aprendizado de características iniciais.

3. Agendamento de Taxa de Aprendizado Conservador:
   Para aumentar ainda mais a estabilidade e evitar o overfitting a domínios de origem específicos ou novas distribuições pequenas injetadas, os autores substituem o agendador padrão de warmup-decay por um agendamento de taxa de aprendizado constante (especificamente reduzindo a taxa de aprendizado base de $1\times10^{-4}$ para $2\times10^{-5}$). Essa trajetória de otimização conservadora ajuda a preservar pistas de pixel transferíveis aprendidas a partir de dados multi-domínio.

Principais Contribuições

• Um Framework de Treinamento Prático: O artigo apresenta uma receita simples e eficaz para a detecção de adulteração ao nível de pixel com generalização de domínio. Ao contrário de métodos que sofrem overfitting a geradores específicos, este framework foca em aprender pistas transferíveis eficazes através de mudanças cross-modelo e OOD.
• Estratégias de Treinamento Inovadoras: O trabalho introduz a amostragem de minibatch equilibrada entre real/adulterado, um mecanismo de injeção tardia para lidar com pequenas distribuições emergentes e um agendamento de adaptação de baixa taxa de aprendizado. Esses componentes melhoram coletivamente a localização ao nível de pixel e a robustez OOD.
• Eficiência e Desempenho: O método alcança resultados superiores utilizando significativamente menos dados de treinamento. O framework proposto utiliza apenas 19,2% da escala original do dataset PIXAR (73K imagens vs. 380K) enquanto supera consistentemente os métodos anteriores de estado da arte em todos os domínios testados.

Resultados Experimentais
Os autores avaliaram o PIXAR-DG no benchmark PIXAR, testando contra quatro geradores OOD mantidos: GPT-Image-2.0, Gemini-3.1, FLUX.2 e Seedream 4.5.

• Ganhos de Desempenho: O PIXAR-DG supera o estado da arte anterior (PIXAR) por uma margem ampla. Ele alcança uma melhora relativa de 26,1% no gIoU médio e uma melhora relativa de 26,8% no cIoU médio através dos geradores OOD.
• Eficiência de Dados: Apesar de usar apenas 73K imagens de treinamento (comparado a 380K para o baseline), o PIXAR-DG-7B alcançou um Pixel Recall de 45,11% e um Pixel F1 de 33,29% em dados OOD, superando significativamente o baseline.
• Análise de Seleção de Origem: Experimentos identificaram o Qwen-Image como a fonte base ideal devido à sua natureza de código aberto e superior capacidade de generalização cross-generator. O Gemini-2.5 foi identificado como a fonte companheira ideal; apesar de ser o "pior caso" para modelos treinados com Qwen-Image, sua inclusão via injeção tardia maximizou a generalização OOD em todos os outros geradores não vistos.
• Estudos de Ablação: Visualizações do landscape de perda e normas de gradiente confirmaram que as estratégias propostas (amostragem equilibrada e taxas de aprendizado conservadoras) levam a trajetórias de otimização mais suaves e mínimos mais planos, que se correlacionam com uma melhor generalização.

Significância e Alegações
O artigo afirma que o PIXAR-DG fornece uma receita simples, porém forte, para construir detectores de adulteração ao nível de pixel robustos para imagens geradas por VLMs em rápida evolução. A significância reside em demonstrar que a composição cuidadosa do domínio de origem e o agendamento de otimização são mais críticos para detectores de adulteração de VLM do que simplesmente aumentar o volume de dados de treinamento de um único gerador. Ao focar em estratégias de treinamento práticas em vez de modificações arquitetônicas complexas, o framework oferece uma solução escalável para manter a verificação de autenticidade visual diante dos avanços contínuos na IA generativa. Os autores enfatizam que seu método permite que os detectores aprendam pistas relacionadas à adulteração transferíveis, garantindo eficácia mesmo quando a distribuição alvo provém de modelos recém-lançados ou de código fechado.