🤖 AI

Fingerprinting Text-to-Image Diffusion Models via Collapsed Generation

Este artigo apresenta uma estrutura não invasiva para verificar a propriedade de modelos de difusão de texto para imagem ao aproveitar o "colapso de geração", um fenômeno específico do modelo onde certas condições de entrada produzem consistentemente imagens idênticas através de sementes estocásticas, permitindo a detecção de propriedade confiável tanto em configurações de caixa branca quanto de caixa preta sem marcas d'água invasivas.

Autores originais: Yuanmin Huang, Chen Chen, Geng Hong, Xiaoyu You, Hui Xue, Zhenxing Qian, Mi Zhang, Min Yang

Publicado 2026-08-13

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuanmin Huang, Chen Chen, Geng Hong, Xiaoyu You, Hui Xue, Zhenxing Qian, Mi Zhang, Min Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os artistas não pintam apenas com pincéis, mas com palavras mágicas. Você digita uma frase como "um gato cyberpunk comendo pizza" e um computador instantaneamente conjura uma imagem inédita de alta definição. Este é o reino dos Modelos de Difusão de Texto-para-Imagem, os magos digitais por trás da última febre da arte por IA. Esses modelos funcionam começando com uma tela cheia de ruído estático (como uma TV antiga sem sinal) e, passo a passo, limpando-a lentamente até que uma imagem clara emerja. Como esses modelos são tão poderosos, as empresas os vendem como serviços ou compartilham a "receita" (o arquivo do modelo) para que outros a utilizem. Mas isso cria um problema complicado: se alguém rouba a receita secreta de uma empresa ou a altera ligeiramente e a vende como sua, como o proprietário original prova que ela é sua? Eles não podem simplesmente olhar dentro do código se o ladrão o esconder, e nem sempre podem alterar o modelo para plantar uma marca d'água digital secreta sem estragar a arte. Eles precisam de uma maneira de pegar o ladrão apenas observando o que o modelo faz.

Este artigo apresenta um novo truque de detetive inteligente chamado "Geração Colapsada" (Collapsed Generation). Pense nisso como um teste de personalidade para a IA. Normalmente, se você pedir a uma IA para desenhar uma imagem cinco vezes usando as mesmas palavras, mas um ponto de partida aleatório diferente (como jogar dados), você obterá cinco imagens totalmente diferentes e únicas. É como pedir a um chef para fazer um hambúrguer cinco vezes; você esperaria cinco hambúrgueres ligeiramente diferentes. No entanto, os pesquisadores descobriram que, para certas palavras específicas, alguns modelos de IA ficam "presos" em um loop. Não importa quantas vezes você jogue os dados, o modelo produz quase a mesma imagem todas as vezes. É como se o chef, ao ser solicitado para fazer um "hambúrguer", de repente esquecesse como variar a receita e servisse o hambúrguer idêntico cinco vezes seguidas. O artigo sugere que esse comportamento estranho e repetitivo é uma impressão digital única do treinamento desse modelo específico. Se você encontrar um modelo suspeito que produz essas imagens de "hambúrgueres idênticos" quando você faz as perguntas certas, você o pegou usando a receita secreta do proprietário original, mesmo que o ladrão tenha tentado disfarçá-la.

A Nova Ferramenta do Detetive: Pegando a IA pelo seu Gaguejo

Os pesquisadores, uma equipe da Universidade de Fudan e outros, perceberam que esse "gaguejo" ou geração colapsada não é um erro; é uma característica de como esses modelos aprendem. Quando um modelo memoriza certos padrões de seus dados de treinamento, ele às vezes perde sua capacidade de ser criativo para esses prompts específicos. Em vez de explorar uma ampla gama de possibilidades, ele colapsa em um resultado único e altamente consistente. A equipe descobriu que esse comportamento é como uma impressão vocal única. Assim como duas pessoas podem dizer a mesma frase, mas com sotaques diferentes, dois modelos de IA diferentes treinados em dados diferentes reagirão de forma diferente ao mesmo prompt. Um pode produzir um conjunto de imagens caótico e diverso, enquanto o "roubado" pode produzir um conjunto de imagens entediantemente idênticas.

O artigo propõe um jogo de gato e rato de duas etapas para provar a propriedade. Primeiro, o proprietário original (o detetive) precisa encontrar as "palavras mágicas" ou "configurações mágicas" que desencadeiam esse gaguejo em seu próprio modelo. Eles fazem isso de duas maneiras, dependendo de quanto acesso têm ao suspeito:

A Abordagem "Caixa-Branca" (O Insider): Se o detetive puder ver as engrenagens internas do modelo (como se o ladrão tivesse vazado o código), ele pode usar um computador para buscar matematicamente o "embedding" perfeito (uma versão digital de um prompt) que force o modelo a gaguejar. Eles não precisam esperar pela imagem final; eles podem ver o modelo ficando preso no início do processo, o que economiza uma enorme quantidade de poder computacional.
A Abordagem "Caixa-Preta" (O Outsider): Se o modelo suspeito estiver escondido atrás de um site ou aplicativo onde você só pode digitar texto e receber uma imagem de volta, o detetive não pode ajustar as engrenagens internas. Em vez disso, eles vasculham os dados de treinamento originais para encontrar frases reais e naturais que já fazem o modelo gaguejar. Eles descobriram que esses "prompts de gaguejo" geralmente correspondem a imagens que o modelo aprendeu muito facilmente (baixo "loss" durante o treinamento). Ao testar essas frases naturais, eles podem ver se o modelo suspeito também gagueja nelas.

O Veredito: É um Imitador?

Uma vez que o detetive tenha sua lista de "gatilhos de gaguejo", ele testa o modelo suspeito. Ele pede ao modelo suspeito para gerar imagens usando esses gatilhos, jogando os dados (mudando a semente aleatória) muitas vezes. Se o modelo suspeito for um imitador, ele produzirá uma pilha de imagens quase idênticas, assim como o original. Se for um modelo totalmente diferente e não relacionado, ele produzirá uma pilha desordenada de imagens diferentes, mostrando que não compartilha a mesma "memória" desses prompts específicos.

Os pesquisadores testaram essa ideia em vários tipos diferentes de modelos de IA, incluindo alguns baseados em designs mais antigos de "UNet" e novos designs de "Transformer". Eles descobriram que este método funciona muito bem. Ele consegue distinguir dois modelos que foram treinados separadamente, mesmo que pareçam semelhantes na superfície. Mais importante ainda, a impressão digital é difícil de quebrar. Mesmo que o ladrão tente esconder seus rastros através de:

Fine-tuning (ensinar novas técnicas ao modelo),
Pruning (cortar partes do modelo para torná-lo menor),
Quantização (simplificar os números que o modelo usa),
Ou até mesmo tentar ofuscar os resultados,

...o comportamento de "gaguejo" frequentemente sobrevive. O artigo mostra que você não precisa fazer milhões de perguntas para pegar um ladrão; um número modesto de testes é suficiente para obter uma resposta estatisticamente forte.

O Que Isso Significa (e o Que Não Significa)

O artigo é cuidadoso ao dizer que isso não é uma varinha mágica que resolve todos os problemas de direitos autorais instantaneamente. Não afirma que impede a ocorrência de roubos, nem sugere que todo modelo possui essas impressões digitais (embora tenham encontrado nos modelos que testaram). Também observa que, embora o método de "caixa-branca" seja muito eficiente, o método de "caixa-preta" depende de encontrar os prompts naturais corretos, o que pode ser um pouco como procurar uma agulha em um palheiro, embora o método de procurar amostras de treinamento de "baixo loss" torne o processo muito mais rápido.

Crucialmente, os autores argumentam contra a ideia de que você precise plantar uma marca d'água secreta dentro do modelo para provar a propriedade. Eles mostram que o próprio comportamento natural do modelo — sua tendência de ficar preso em um loop para certas entradas — é evidência suficiente. Isso é um grande avanço porque significa que você não precisa alterar o modelo para protegê-lo. Você pode apenas observar como ele se comporta.

No fim, esta pesquisa sugere que a geração colapsada é uma maneira confiável e não invasiva de verificar quem é o dono de um modelo de arte por IA. Ela transforma as peculiaridades do próprio modelo em uma assinatura. Se um modelo produz a mesma imagem repetidamente quando deveria estar sendo criativo, ele pode estar apenas cantando a música do proprietário original, não importa o quanto o ladrão tente mudar a letra.

Resumo Técnico: Identificação de Modelos de Difusão de Texto-para-Imagem via Geração Colapsada

Declaração do Problema

A rápida proliferação de modelos de difusão de texto-para-imagem (T2I) proprietários, distribuídos como serviços hospedados ou checkpoints baixáveis, intensificou as disputas de propriedade intelectual (PI) relativas ao vazamento de modelos, cópia não autorizada e propriedade de derivados. Os mecanismos existentes de proteção de PI enfrentam limitações significativas:

Marca d'água Invasiva: Métodos que embutem sinais nos parâmetros do modelo ou nos objetivos de treinamento frequentemente introduzem sobrecarga computacional, comprometem a qualidade da geração e não podem ser aplicados retrospectivamente a modelos já treinados.
Identificação Não Invasiva: As abordagens não invasivas atuais são frequentemente restritas por suposições de acesso. Métodos de caixa branca (white-box) que dependem de representações internas ou trajetórias de denoising falham quando o modelo suspeito é uma API de caixa preta (black-box). Por outro lado, métodos de caixa preta que dependem de sufixos de prompts otimizados frequentemente produzem consultas linguisticamente anormais que são facilmente detectadas ou filtradas, e sua evidência está atada a desvios semânticos específicos em vez de um comportamento intrínseco do modelo.

Há uma necessidade crítica de um framework de identificação não invasivo que funcione tanto em configurações de caixa branca (checkpoint) quanto de caixa preta (API), que dependa de comportamentos intrínsecos do modelo em vez de parâmetros modificados, e que permaneça robusto contra obstruções do modelo (ex: fine-tuning, poda/pruning, quantização).

Metodologia

Os autores propõem um framework baseado em Geração Colapsada, um fenômeno onde condições de entrada específicas fazem com que um modelo de difusão produza imagens altamente consistentes através de múltiplas sementes estocásticas, suprimindo a diversidade usual de geração.

Conceito Central: Geração Colapsada

Sob condições normais, amostragens estocásticas independentes de um modelo de difusão produzem imagens diversas. No entanto, sob certas condições de entrada dependentes do modelo, a estocasticidade da amostragem é suprimida, fazendo com que diferentes trajetórias de geração convirjam para saídas visualmente similares. Os autores formalizam isso via consistência entre sementes (cross-seed consistency), medida pela similaridade perceptual (usando pontuações SSCD) de $K$ imagens geradas a partir da mesma condição, mas com diferentes sementes de ruído inicial.

Construção da Assinatura (Fingerprint)

O framework constrói assinaturas de forma diferente dependendo do acesso disponível ao modelo suspeito, mas ambos dependem do mesmo princípio de verificação:

Caixa Branca (Acesso ao Pipeline) – Síntese de Embedding Contínuo:
- Objetivo: Sintetizar embeddings de condicionamento contínuos que induzam o colapso.
- Desafio: Otimizar diretamente para a consistência da imagem final é computacionalmente caro devido à necessidade de diferenciar através de todo o processo de denoising.
- Solução: Os autores observam que a estrutura estável das gerações colapsadas emerge cedo no processo de denoising. Eles empregam uma estratégia de otimização truncada que minimiza a dispersão entre latentes intermediários após alguns passos de denoising ( $t_{trunc}$ ). Esse objetivo substituto reduz significativamente os custos computacionais e de memória, enquanto sintetiza efetivamente os embeddings de assinatura ( $C_f$ ).
Caixa Preta (Apenas API) – Mineração de Prompts Naturais:
- Objetivo: Identificar prompts de linguagem natural que induzam o colapso sem busca exaustiva.
- Solução: Os autores exploram a correlação entre a geração colapsada e o baixo erro de treinamento (low training loss). Eles filtram os dados de treinamento do modelo de origem para identificar amostras com perdas de denoising anormalmente baixas. Essas amostras de baixa perda são altamente enriquecidas com prompts colapsados. O framework minera esses prompts, avalia sua consistência entre sementes no modelo de origem e seleciona os principais candidatos para formar um conjunto de prompts naturais de assinatura ( $P_f$ ). Isso garante que as consultas pareçam interações comuns de serviço, aumentando a furtividade.

Protocolo de Verificação

Processo: O verificador aplica as condições de assinatura (embeddings ou prompts) ao modelo suspeito e gera $K$ imagens por condição.
Métrica: A consistência entre sementes é calculada para cada condição. Os resultados são agregados através do conjunto de assinatura.
Decisão: Um teste t preditivo de cauda direita compara a consistência agregada do modelo suspeito contra uma distribuição de referência de comportamento de geração normal estabelecida no modelo de origem. Uma consistência alta estatisticamente significativa ( $p_{val} < \tau_f$ ) indica propriedade.

Principais Contribuições

Identificação da Geração Colapsada: O artigo identifica a geração colapsada como uma assinatura comportamental intrínseca do modelo. Demonstra que este comportamento é específico ao processo de geração aprendido (influenciado pela arquitetura, dados e dinâmica de otimização) e é difícil de ser reproduzido por modelos treinados independentemente.
Framework Unificado: Um único framework une a verificação de caixa branca e caixa preta. Ele sintetiza embeddings contínuos para pipelines controláveis e minera prompts naturais para serviços de apenas API, ambos verificados via a mesma métrica de consistência entre sementes.
Eficiência e Furtividade:
- A estratégia de otimização truncada para identificação de caixa branca evita o custo de diferenciação de denoising total.
- A estratégia de mineração de prompts naturais para verificação de caixa preta evita as anormalidades linguísticas de sufixos adversariais, tornando as consultas indistinguíveis de interações normais de usuários.
Robustez: As assinaturas permanecem verificáveis em derivados de fine-tuning e sob obstruções comuns (quantização, poda) e intervenções adaptativas ao nível de consulta.

Resultados

Experimentos extensivos foram conduzidos em modelos de difusão baseados em UNet e em Transformers (incluindo variantes do Stable Diffusion).

Discriminação: As assinaturas distinguem com sucesso diferentes modelos de origem com baixa confusão. Pares de prompt-modelo correspondentes exibem consistência entre sementes significativamente maior do que pares não correspondentes.
Robustez: O método permanece eficaz mesmo após o modelo suspeito passar por fine-tuning, poda ou quantização.
Orçamento: A verificação requer apenas um orçamento de consulta modesto, tornando-a prática para implantação no mundo real.

Significância e Alegações

O artigo alega estabelecer a geração colapsada como uma fonte de evidência intrínseca e confiável para a verificação de propriedade de modelos de difusão não invasiva. Ao alavancar um fenômeno que é inerente à distribuição de dados aprendida pelo modelo e às suas dinâmicas de otimização, o framework evita as armadilhas da marca d'água invasiva (degradação de qualidade, sobrecarga de treinamento) e as limitações dos métodos não invasivos existentes (restrições de acesso, consultas detectáveis).

Os autores posicionam seu trabalho como uma solução para a crescente tensão em disputas de PI, fornecendo um mecanismo que:

Não requer a modificação do modelo suspeito.
Funciona independentemente de o modelo ser exposto como um checkpoint ou uma API hospedada.
Fornece evidências estatisticamente rigorosas de propriedade que são robustas contra comuns obstruções adversariais.

A significância reside na mudança do paradigma de "embutir sinais" para "elicitar assinaturas comportamentais intrínsecas", oferecendo uma ferramenta versátil para proteger a propriedade intelectual de modelos de IA generativa em diversos cenários de implantação.