💻 computer science

Diffusion Model Attribution via Spectral Coupling of Denoiser Responses

Este artigo introduz o Spectral Denoising Signatures (SDS), um método de atribuição não invasivo que identifica a origem de imagens geradas por difusão ao rastrear a geometria espectral única de cada modelo em seu comportamento de denoising, alcançando alta precisão através de diversas arquiteturas e condições de treinamento sem exigir inversão ou otimização.

Autores originais: Pragati Shuddhodhan Meshram, Varun Chandrasekaran

Publicado 2026-06-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Pragati Shuddhodhan Meshram, Varun Chandrasekaran

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva de arte, mas cada pintura parece exatamente igual aos olhos nus. Você não consegue dizer se uma pintura específica foi feita pelo "Artista A" ou pelo "Artista B" apenas olhando para a imagem final. No mundo da IA, este é o problema dos Modelos de Difusão. Estes são os motores por trás de ferramentas como o Stable Diffusion que criam imagens a partir de texto. Mesmo que dois modelos de IA diferentes sejam treinados em conjuntos de fotos diferentes, eles frequentemente aprendem a pintar de forma tão semelhante que suas imagens finais são indistinguíveis.

Este artigo apresenta uma nova ferramenta de detetive chamada Assinaturas de Denoising Espectral (SDS) para resolver este mistério. Veja como funciona, explicado de forma simples:

O Problema: A "Pintura Finalizada" é um beco sem saída

A maioria dos métodos atuais tenta identificar o artista olhando para a pintura finalizada (a imagem gerada).

A Falha: Se dois artistas usam o mesmo tipo de tela e tinta (a mesma tecnologia de "Autoencoder" subjacente), suas pinturas finalizadas parecem estatisticamente idênticas. É como tentar dizer se um bolo foi assado por dois padeiros que usaram exatamente a mesma receita e o mesmo forno; o bolo em si não oferece pistas.
O Jeito Antigo: Alguns métodos tentam fazer a engenharia reversa da pintura de volta para os ingredientes brutos (um processo chamado "inversão"). Isso é lento, computacionalmente caro e falha completamente se os padeiros usaram o mesmo forno.

A Solução: Ouvindo o Processo de "Denoising"

Os autores perceberam que o segredo não está na imagem final, mas em como o artista limpa o ruído para criá-la.

Pense em um modelo de difusão como um escultor começando com um bloco de argila barulhento e cheio de estática. Para chegar à estátua final, o escultor tem que remover o ruído passo a passo.

O Insight: Mesmo que dois escultores terminem com a mesma estátua, eles podem remover a argila em padrões ligeiramente diferentes. Um pode ser muito cuidadoso com os detalhes finos (altas frequências), enquanto outro foca primeiro nas formas grandes (baixas frequências).
A Parte "Espectral": Os autores tratam esses "padrões de escultura" como ondas sonoras. Eles decompõem o ruído em diferentes "frequências" (como graves, médios e agudos na música).

Como o SDS Funciona: A "Sonda de Frequência"

Em vez de esperar pela estátua pronta, o método SDS atua como um diapasão ou um sonar que toca o escultor enquanto ele trabalha.

A Configuração: O sistema pega uma imagem padrão e a transforma em um código "latente" (uma versão comprimida da imagem).
O Toque: Ele injeta uma quantidade minúscula e controlada de "ruído" em uma banda de frequência específica (como sussurrar uma nota específica no ouvido do escultor).
A Reação: Ele pede ao modelo de IA para realizar apenas um passo de seu processo de limpeza (denoising).
A Digital: O sistema mede como aquele sussurro específico de ruído foi espalhado. O ruído permaneceu na faixa de graves? Ele saltou para os agudos? Ele desapareceu?
- Cada modelo de IA tem uma "personalidade" única em como move essa energia. Esse padrão de movimento é a Assinatura de Denoising Espectral.

Por que é um divisor de águas

Não requer re-treinamento: Você não precisa modificar a IA ou adicionar marcas d'água ocultas. Você apenas faz uma pergunta e ouve a resposta.
Funciona em "Gêmeos": O artigo testou isso em modelos que são quase idênticos (como o Stable Diffusion v1.4 e v1.5, que compartilham 99% do seu código). Embora produzam imagens visualmente idênticas, seus "padrões de escultura" (geometria espectral) eram diferentes o suficiente para o SDS distingui-los com 99,9% de precisão.
É Robusto: Mesmo que você pegue a imagem final e a desfoque, corte ou mude o brilho, a "digital" permanece intacta porque a digital trata de como o modelo pensa, não de como a imagem se parece.

A Conclusão

O artigo prova que, para identificar um modelo de IA, você não deve olhar para o resultado (a imagem); você deve olhar para o processo (como ele limpa o ruído).

Ao tratar o comportamento interno de "limpeza" da IA como um instrumento musical único, os autores criaram um método que pode identificar de forma confiável: "Esta imagem foi feita pelo Modelo X", mesmo quando o Modelo X e o Modelo Y parecem exatamente iguais aos nossos olhos. É como ser capaz de identificar um cantor não pela música que ele terminou, mas pela maneira única como ele limpa a garganta antes de cantar uma única nota.

Resumo Técnico: Atribuição de Modelos de Difusão via Acoplamento Espectral de Respostas de Denoiser

1. Definição do Problema

O artigo aborda o desafio da atribuição de modelos de difusão: determinar qual modelo de difusão específico gerou uma determinada imagem. Isso é crítico para verificação de procedência, proteção de propriedade intelectual e detecção de uso indevido.

A dificuldade central reside no fato de que modelos de difusão treinados em diferentes conjuntos de dados frequentemente convergem para funções de score similares, produzindo saídas visualmente indistinguíveis. Consequentemente, métodos de atribuição que dependem apenas de imagens geradas (sinais no espaço de saída) enfrentam uma ambiguidade inerente. Os métodos não invasivos existentes sofrem de limitações fundamentais:

Métodos baseados em classificadores têm dificuldade em distinguir variantes arquiteturalmente similares que produzem saídas visualmente semelhantes.
Métodos baseados em inversão (ex: RONAN, LATENTTRACER) dependem de perdas de reconstrução. Quando os modelos candidatos compartilham o mesmo autoencoder (VAE), essas perdas tornam-se informativas, fazendo com que esses métodos colapsem para o acaso.
Métodos invasivos (ex: marcas d'água/watermarking) exigem modificação ou retreinamento do modelo, o que degrada a qualidade da geração e é inaplicável a modelos de código aberto já existentes.

O artigo postula que o sinal discriminativo não reside na saída gerada, mas na própria função de denoising (redução de ruído), especificamente em sua geometria espectral.

2. Metodologia: Assinaturas de Denoising Espectral (SDS)

Os autores propõem as Assinaturas de Denoising Espectral (SDS), um método de atribuição não invasivo que identifica um modelo sondando seu comportamento de denoising em vez de analisar suas saídas.

Insight Central

A função de score de denoising de um modelo exibe uma geometria espectral distinta, refletida em como ela redistribui a energia através de bandas de frequência espacial durante o processo de denoising. Esse comportamento é intrínseco à função de score aprendida pelo modelo e é independente do prompt ou da semente de ruído específica usada para a geração.

O Pipeline SDS

Padronização: Para garantir que as assinaturas reflitam a identidade do modelo e não artefatos, todos os modelos candidatos utilizam um VAE compartilhado para codificar imagens de entrada em um espaço latente consistente ( $z_0$ ) e um scheduler compartilhado. A sondagem é feita com embeddings de texto vazios para remover sinais dependentes do prompt.
Particionamento Espectral: O plano de frequência do espaço latente é particionado em $K$ anéis radiais concêntricos. O Anel 0 cobre baixas frequências (estrutura global), enquanto o Anel $K-1$ cobre altas frequências (textura fina).
Sondagem Controlada por Frequência:
- Injeção: Ruído limitado por banda ( $\eta^{(k)}$ ) é injetado em um anel de frequência $k$ específico em um timestep $t$ escolhido.
- Consulta ao Denoiser: O denoiser $\hat{\epsilon}_\theta(z_t, t, \emptyset)$ é consultado para prever o ruído.
- Análise de Resíduo: O resíduo $r = \hat{\eta} - \eta^{(k)}$ é computado. A energia deste resíduo é medida em todas as bandas de frequência de saída $j$ .
- Matriz de Acoplamento: Isso gera uma matriz de acoplamento $C \in \mathbb{R}^{K \times K}$ , onde $C[k, j]$ quantifica como a energia injetada no anel $k$ é roteada para o anel $j$ pelo denoiser. Esta matriz é uma projeção do Jacobiano do denoiser.
Agregação de Assinatura:
- As medições são realizadas através de múltiplas amplitudes de perturbação ( $S$ ) e múltiplos timesteps ( $T_n$ ) abrangendo a trajetória de denoising.
- As matrizes de acoplamento resultantes são concatenadas e achatadas (flattened) para formar um vetor de assinatura de alta dimensão $\Phi(M, z_0)$ .
- Construção de Protótipo: Para cada modelo, um protótipo de assinatura $\Psi(M)$ é criado pela média das assinaturas de $N$ imagens de referência. A normalização por linha é aplicada para remover variações de escala dependentes do conteúdo.
Identificação: Uma imagem de consulta é codificada, sondada para gerar sua assinatura e comparada contra protótipos armazenados usando uma correspondência de protótipo mais próximo (argmin) ou um classificador linear treinado (LinearSVC).

3. Principais Contribuições

Framework SDS: Um método de atribuição não invasivo que sonda a geometria espectral do denoiser através apenas de passagens de forward padrão, sem necessidade de inversão, otimização ou modificação do modelo.
Assinaturas de Modelo Intrínsecas: Demonstração de que as assinaturas de acoplamento espectral são intrínsecas ao modelo, robustas a distorções e discriminativas entre variações de dados de treinamento, arquitetura e procedimentos de treinamento.
Resolução de Modos de Falha de Baselines: Prova de que sondar o denoiser diretamente resolve a falha fundamental das baselines baseadas em inversão quando os modelos compartilham o mesmo autoencoder.

4. Resultados Experimentais

O método foi avaliado em uma tarefa de conjunto fechado envolvendo oito modelos de difusão diversos (incluindo Stable Diffusion v1.4/v1.5, SDXL, PixArt- $\alpha$ e variantes ajustadas) com variados dados de treinamento, arquiteturas e procedimentos de treinamento.

Precisão de Atribuição: O SDS alcançou $\approx$ 99,9% de precisão entre os oito modelos usando um classificador LinearSVC. Ele distinguiu com sucesso o SD v1.4 do SD v1.5 (que compartilham quase todos os pesos e o mesmo VAE), um caso onde as características baseadas em saída falharam completamente.
Generalização de Domínio Cruzado: Quando protótipos construídos com prompts do SD foram testados em imagens geradas por prompts do MS-COCO, o LinearSVC manteve 96,2% de precisão, uma queda de apenas 3,8 pontos percentuais. Isso indica que as assinaturas são amplamente intrínsecas ao modelo e não dependentes do prompt.
Robustez: O SDS permaneceu altamente robusto contra fortes distorções de pós-processamento (rotação, compressão JPEG, corte, escala de brilho, ruído e desfoque). Embora as distorções no espaço de pixels tenham degradado significamente a qualidade da imagem, a assinatura de roteamento espectral permaneceu intacta, com o LinearSVC alcançando >90% de precisão mesmo sob ruído e desfoque severos.
Comparação com Baselines:
- RONAN e LATENTTRACER (baseados em inversão) colapsaram para ~20–27% de precisão (próximo ao acaso) para os cinco modelos que compartilham o mesmo VAE.
- O SDS alcançou 100% de precisão nesses mesmos modelos, superando a melhor baseline (LATENTTRACER) em 55 pontos percentuais e o RONAN em 70 pontos percentuais nos pares de modelos mais desafiadores.

5. Significância e Alegações

O artigo alega que a identidade do modelo está codificada na geometria espectral do Jacobiano do denoiser, e não nas saídas geradas. Este achado estabelece uma base principiológica para a atribuição que é independente do autoencoder específico utilizado.

Praticidade: O SDS requer apenas passagens de forward padrão, tornando-o aplicável ao vasto ecossistema de modelos de difusão de código aberto existentes sem a necessidade de retreinamento ou marca d'água.
Insight Fundamental: O trabalho demonstra que, mesmo quando os modelos convergem para funções de score visualmente similares, eles retêm "impressões digitais espectrais" distintas em como roteiam a energia através das bandas de frequência.
Limitações: Os autores reconhecem que o SDS opera atualmente em um cenário de conjunto fechado (a fonte do modelo deve estar no registro) e requer acesso white-box aos pesos do modelo candidato (embora isso seja satisfeito por modelos de código aberto). Ele não detecta manipulação pós-geração.

Em resumo, o artigo argumenta que, ao mudar o foco de o que um modelo gera para como ele realiza o denoising, é possível alcançar uma atribuição confiável e não invasiva, mesmo nos cenários mais desafiadores onde os modelos compartilham arquiteturas e autoencoders.