💻 computer science

Vision-Encoder Behavioral Fingerprints of Image-to-Image Generative Models: A Training-Paradigm-Driven Taxonomy of Six Commercial APIs

Este artigo propõe uma taxonomia baseada no paradigma de treinamento de seis modelos generativos comerciais de imagem-para-imagem, demonstrando que eles se dividem em dois clusters comportamentais distintos — treinados para edição versus adaptados em tempo de amostragem — com base em suas respostas a perturbações adversariais sub-JND adaptativas ao conteúdo, medidas via distâncias de tokens DINOv2 congelados.

Autores originais: Hunter Hill

Publicado 2026-06-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hunter Hill

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma tinta invisível muito especial, que você pode pintar em uma foto. Essa tinta é tão tênue que o olho humano não consegue vê-la, mas ela deixa uma "impressão digital" única no DNA digital da imagem.

Este artigo trata do que acontece quando você pega fotos pintadas com essa tinta invisível e as passa por seis ferramentas de IA populares que foram projetadas para editar ou redesenhar imagens (como transformar um esboço em uma foto, ou mudar o estilo de uma imagem).

Aqui está o resumo simples do que os pesquisadores descobriram:

1. Os Dois Grupos de "Personalidade"

Os pesquisadores testaram seis sistemas de IA comerciais diferentes. Eles esperavam que os resultados dependessem de como a IA foi construída (sua arquitetura). Em vez disso, descobriram que as IAs se dividiram em dois grupos distintos de "personalidade" baseados inteiramente em como foram treinadas:

Os "Editores Cuidadosos" (A Banda Estreita): Estas IAs (como Flux Kontext, Qwen Edit e Gemini) foram treinadas especificamente para seguir instruções para editar uma foto existente. Quando você lhes dá uma foto, elas tentam mantê-la o mais próxima possível do original.
- A Analogia: Pense nestas como um fotógrafo usando Photoshop. Eles ajustam a iluminação ou as cores, mas mantêm a estrutura e os detalhes da foto original intactos. Eles preservam a impressão digital da sua tinta invisível quase perfeitamente.
Os "Regeneradores Pesados" (A Banda de Deriva): Estas IAs (como SDXL, SD3 e gpt-image-1) foram originalmente treinadas para criar imagens do zero (texto-para-imagem) e apenas foram adaptadas para editar fotos posteriormente. Quando você lhes dá uma foto, elas tendem a "reimaginar" a imagem do zero com base em seu treinamento.
- A Analogia: Pense nestas como um pintor olhando para uma foto e pintando uma nova versão dela. Eles podem capturar a vibração geral, mas mudam as pinceladas e os detalhes significativamente. Ao fazer isso, eles apagam a impressão digital da sua tinta invisível e a substituem pela sua própria "assinatura de pintor".

2. O Treinamento Importa Mais do que a Marca

A descoberta mais surpreendente é que a "marca" ou o tipo específico de tecnologia (como se é um modelo de difusão ou um modelo de linguagem) não importava tanto quanto o método de treinamento.

Mesmo que duas IAs utilizem a mesma tecnologia subjacente, se uma foi treinada para "editar cuidadosamente" e a outra para "regenerar pesadamente", elas acabaram em grupos completamente diferentes.
Os pesquisadores descobriram que saber qual IA processou a imagem explicava 70% do comportamento, enquanto o tipo de imagem (um rosto versus uma paisagem) explicou quase nada (0,2%).

3. O Teste da "Impressão Digital"

Para descobrir qual IA fez o trabalho, os pesquisadores usaram um teste simples:

Eles pegaram a foto original (a referência limpa).
Eles pegaram a foto editada pela IA.
Eles usaram uma ferramenta inteligente de visão computacional (DINOv2) para medir as minúsculas diferenças entre as duas.

O Resultado:

Se a IA era um "Editor Cuidadoso", as diferenças eram minúsculas e consistentes.
Se a IA era um "Regenerador Pesado", as diferenças eram grandes e caóticas.

Usando apenas essa única medição, eles conseguiram adivinhar corretamente qual das seis IAs processou uma foto cerca de 51% das vezes. Como havia seis opções, o chute aleatório te daria apenas 16% de acerto. Portanto, 51% é uma melhoria significativa.

4. Por que a Detecção "Cega" Falhou

Os pesquisadores também tentaram identificar a IA sem olhar para a foto original (um teste "cego"), que é como a maioria dos detectores de IA atuais funciona.

O Resultado: Os detectores cegos falharam miseravelmente nos "Editores Cu cuidadosos". Como essas IAs mantiveram a foto tão próxima do original, os detectores cegos não consegravam distingui-las da imagem original ou umas das outras. Eles estavam basicamente chutando.
A Lição: A "foto original" é a chave. Sem ela, você não consegue saber quem fez a edição cuidadosa. Com ela, você consegue.

5. O Que Acontece com a "Tinta Invisível"?

O artigo também mediu quanto da sua "tinta invisível" especial sobreviveu à viagem através da IA:

Gemini: Manteve cerca de 98% da tinta.
Flux Kontext: Manteve cerca de 80% da tinta (embora a imagem parecesse quase idêntica ao olho humano).
gpt-image-1: Apagou a tinta completamente e a substituiu pelo seu próprio ruído.

A Conclusão

Este artigo sugere que devemos parar de pensar nessas ferramentas de tinta invisível apenas como "defesa" (tentando impedir que a IA roube arte). Em vez disso, elas são melhor utilizadas como ferramentas forenses.

Se você tem a foto original e uma foto suspeita de ter sido editada por IA, você pode usar este método para provar qual IA tocou na imagem. No entanto, isso só funciona se você tiver a foto original para comparar. Se você não tiver o original, e a IA for um "Editor Cuidadoso", a tecnologia atual não consegue dizer qual IA fez a alteração.

Resumo Técnico: Impressões Digitais Comportamentais de Codificadores de Visão em Modelos Generativos de Imagem-para-Imagem

Declaração do Problema

À medida que os sistemas comerciais de IA generativa de imagem-para-imagem (img2img) proliferam, surge uma necessidade crítica de compreender como esses sistemas de caixa-preta interagem com perturbações adversárias no domínio dos pixels (ex: Glaze, Mist, PhotoGuard). A literatura de atribuição existente foca primariamente em saídas de texto-para-imagem (T2I) em configurações cegas onde não existe uma imagem de referência. A atribuição de img2img apresenta um desafio metodológico distinto: uma imagem de referência limpa está disponível por construção. O artigo aborda três questões centrais:

Como os sistemas comerciais de img2img interagem com perturbações adversárias sub-limiares (sub-JND - diferença abaixo do limiar de percepção)?
É possível atribuir sistemas de IA específicos a partir de seu comportamento de saída quando uma referência limpa está disponível?
Quais assinaturas comportamentais esses sistemas deixam, e elas são impulsionadas pela arquitetura ou pelo paradigma de treinamento?

Metodologia

O estudo utiliza um framework de ancoragem em referência para analisar seis APIs de img2img de produção: gpt-image-1, Gemini 2.5 Flash Image, Flux Kontext, SDXL img2img, SD3 img2img e Qwen Image Edit.

Corpus de Dados

Escala: 3.588 chamadas de API válidas (após uma taxa de sucesso de 99,7%) derivadas de um corpus de 200 imagens.
Domínios: Fotografias COCO val2017, retratos CelebA-HQ-256 e imagens geradas por Flux.
Repetição: Três repetições por célula (imagem, IA).
Perturbação: Um pipeline personalizado adaptativo ao conteúdo aplica perturbações adversárias sub-JND (L∞ ≤ 0.10, orçamento JND 2.0) usando 120 passos de PGD contra um ensemble de codificadores de visão congelados.

Espaço de Características

Para cada imagem de saída $O$ e referência limpa $R$ (redimensionada para 518×518), os autores computam um vetor de características comportamentais 2D usando um codificador DINOv2 ViT-B/14 congelado:

patch_mean: A distância de cosseno média por patch entre os embeddings de tokens da última camada de $O$ e $R$ sobre uma grade de 37×37. Isso captura a modificação em nível semântico.
ssim_clean: A similaridade estrutural de luminância entre $O$ e $R$ , capturando a preservação da fidelidade visual em nível de pixel.

Classificação e Análise

Classificação de Banda: As saídas são categorizadas em bandas "tight" (estreita - baixo patch_mean, ≤ 0.25) ou "drift" (deriva - alto patch_mean, > 0.25) com base na distribuição empírica.
Atribuição: Um classificador de centroide próximo de leave-one-out (LOO) opera no plano de características 2D sem parâmetros aprendidos, classificando pontos retidos com base na distância euclidiana até o centroide médio de cada IA.
Rigor Estatístico: Intervalos de confiança são derivados via bootstrapping de cluster não paramétrico de 2.000 iterações ao nível da imagem para considerar a correlação dentro da imagem.

Resultados Principais

1. Uma Taxonomia de Duas Bandas Baseada no Paradigma de Treinamento

Os seis sistemas se dividem em duas bandas comportamentais distintas e invariantes à imagem no plano 2D:

Banda Tight (Estreita): Flux Kontext, Qwen Image Edit e Gemini. Estes modelos preservam a estrutura de entrada de forma próxima.
Banda Drift (Deriva): SDXL, SD3 e gpt-image-1. Estes modelos exibem uma deriva semântica significativa da entrada.

Descoberta Crucial: A variável discriminante é o paradigma de treinamento, não a família de arquitetura.

Modelos treinados em dados de edição (supervisão pareada limpo-para-editado) agrupam-se na banda tight, independentemente de serem baseados em difusão (Flux) ou multimodais autorregressivos (Qwen, Gemini).
Modelos que são arquiteturas baseadas em T2I adaptadas no tempo de amostragem (iniciando a denoising a partir de uma entrada parcialmente ruidosa) agrupam-se na banda drift, independentemente de serem difusão (SDXL/SD3) ou autorregressivos (gpt-image-1).

Decomposição de Variância: A identidade da IA explica 69,5% da variância comportamental, enquanto o domínio da imagem explica apenas 0,2%.

2. Precisão de Atribuição

Precisão LOO de Seis Vias: O framework ancorado em referência alcança 51,4% [49,3, 53,4] de precisão entre seis IAs, superando significativamente a linha de base de chance de 16,7%.
Precisão de Piloto: Em um piloto focado em 3 IAs, a atribuição por imagem (média de três repetições) atinge 82,2% [73,3, 90,0].
Comparação com Baseline Cega: Quando testados no mesmo corpus, métodos de atribuição cega (AEROBLADE e um embedder DINOv2 do tipo PRISM) alcançam apenas 0,222 e 0,373 de precisão, respectivamente. Métodos cegos operam no nível do acaso dentro da banda "tight" (onde as saídas são cópias fiéis), enquanto o método ancorado em referência tem sucesso.

3. Sobrevivência Diferencial de Perturbação

O estudo quantifica quanto o sinal adversário sobrevive ao pipeline img2img:

Gemini: ~98% do sinal de perturbação sobrevive (quase intacto).
Flux Kontext: ~80% sobrevive, apesar de atingir SSIM de 0.99 de fidelidade visual. O processo de difusão atua como um filtro seletivo, atenuando o conteúdo de perturbação de alta frequência enquanto preserva detalhes perceptíveis por humanos.
gpt-image-1: A perturbação é efetivamente sobrescrita pela própria variância generativa do modelo.

Significância e Alegações

O artigo reestrutura os pipelines de perturbação no domínio dos pixels de ferramentas puramente defensivas para primitivas forenses de atribuição de processamento de IA ancorada em referência.

Paradigma de Treinamento sobre Arquitetura: A principal contribuição é demonstrar que as impressões digitais comportamentais são determinadas por se um modelo foi treinado para edição (banda tight) ou adaptado de T2I no tempo de amostragem (banda drift), e não pela família de arquitetura subjacente (Difusão vs. AR).
A Necessidade da Referência: O estudo valida empiricamente que a imagem de referência limpa é o sinal "estrutural" para a atribuição. Métodos cegos falham em distinguir modelos que preservam entradas (a banda tight), enquanto o método ancorado em referência tem sucesso ao medir o desvio do original conhecido.
Medição Sistemática: Este trabalho fornece a primeira medição sistemática do "efeito de purificação por difusão" através de sistemas de img2img comerciais implantados, mostrando que as taxas de sobrevivência variam sistematicamente com o paradigma de treinamento.

Os autores concluem que, embora o esquema exija uma imagem original retida (limitando sua aplicabilidade cega), ele oferece um limiar pronto para implantação e um espaço de características comportamentais validado para atribuir reproduções quase fiéis geradas por IA comercial, um regime onde a detecção cega atualmente falha.