🤖 AI

CSF: Black-box Fingerprinting via Compositional Semantics for Text-to-Image Models

O artigo apresenta o CSF, o primeiro método de "caixa preta" que identifica a linhagem de modelos de texto-para-imagem fine-tuned através de acesso apenas por consultas, utilizando prompts composicionais subespecificados para atribuir modelos a seus proprietários originais sem necessidade de acesso interno ou marcação prévia.

Autores originais: Junhoo Lee, Mijin Koo, Nojun Kwak

Publicado 2026-04-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Junhoo Lee, Mijin Koo, Nojun Kwak

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma receita secreta de bolo muito famosa, a "Receita da Vovó". Alguém pega essa receita, faz algumas pequenas alterações (troca o açúcar por mel, ou adiciona canela) e vende o novo bolo como se fosse dele, sem dizer que a base é a da Vovó.

No mundo da Inteligência Artificial, isso acontece com modelos de geração de imagens (como o Stable Diffusion ou o Flux). Eles são ativos valiosos. Alguém pode pegar um modelo protegido, treiná-lo um pouco mais (o que chamamos de fine-tuning) e distribuí-lo apenas através de um site ou aplicativo (API), escondendo a origem.

O problema é: como provar que aquele bolo novo veio da receita da Vovó, se você não tem acesso à cozinha (os códigos e pesos do modelo) e só pode pedir uma foto do bolo?

É aqui que entra o CSF (Compositional Semantic Fingerprinting), a solução proposta por este artigo.

A Analogia do "Detetive de Sabores"

Até hoje, as tentativas de identificar esses modelos eram como tentar adivinhar a receita olhando apenas para a cor do bolo (o visual). Mas o ladrão pode pintar o bolo de qualquer cor, mudar a forma e esconder a origem.

O CSF faz algo diferente. Em vez de olhar para a "casca" (a imagem final), ele pergunta ao modelo: "O que você acha que é isso?"

1. A Pergunta "Quase Sem Sentido" (Prompts Composicionais)

O método usa um truque genial: ele faz perguntas estranhas e muito específicas que raramente aparecem nos dados de treinamento.
Imagine que você pergunta ao modelo: "Me mostre uma foto de um animal perigoso, em um estúdio escuro, com uma luz amarela."

O Ladrão (o modelo modificado): Como essa combinação específica (animal + perigoso + estúdio escuro + luz amarela) é muito rara nos dados em que ele foi treinado, ele não consegue "esquecer" a sua base original. Ele vai responder com base no que a "Vovó" (o modelo original) pensaria sobre isso.
A Lógica: Se você misturar ingredientes comuns de formas muito estranhas, o resultado final revela o "paladar" original do cozinheiro, porque ele não tem uma receita pronta para aquela mistura específica.

2. A Impressão Digital Semântica

O CSF não olha se a imagem é bonita ou feia. Ele olha para a distribuição de significados.

Se você pedir "um animal perigoso", o modelo original pode pensar em um leão.
O modelo modificado, se tiver sido treinado para desenhar gatos, pode pensar em um gato.
Mas, se a combinação for tão rara que o treinamento extra não a cobriu, o modelo vai "vazar" a sua verdadeira identidade. Ele vai gerar uma mistura de leões, tigres e ursos baseada na sua "alma" original, não na "roupa" nova que vestiu.

3. A Vantagem Assimétrica (O Truque do Detetive)

Aqui está a parte mais brilhante:

O Atacante (Ladrão): Precisa adivinhar e apagar todas as combinações possíveis de perguntas estranhas que o detetive poderia fazer. É como tentar apagar todas as palavras de um dicionário. É impossível.
O Defensor (Dono da Receita): Pode criar infinitas novas perguntas estranhas a qualquer momento. Se o ladrão apagar uma combinação, o dono cria outra nova. É como um jogo de xadrez onde o dono tem infinitas jogadas novas, e o ladrão tem que prever todas elas de uma vez.

Como funciona na prática?

O Teste: O investigador envia 42 perguntas estranhas (como "um bolo salgado em uma parede de tijolos" ou "uma flor tropical em um vaso de barro") para o modelo suspeito.
A Geração: O modelo gera 30 imagens para cada pergunta.
A Classificação: Um "juiz" (uma IA separada) olha as imagens e diz: "Isso parece um gato, um cachorro ou um urso?".
A Estatística: O CSF analisa a "votação" do modelo. Se o modelo suspeito vota consistentemente como se fosse um "Leão" (baseado no modelo original), mesmo que a imagem pareça um "Gato" (devido ao treinamento novo), o CSF sabe que a origem é a do Leão.
A Conclusão: Com uma confiança matemática muito alta, eles dizem: "Sim, este modelo é um filho do modelo original X".

Por que isso é importante?

Não precisa de acesso interno: Você não precisa roubar os códigos do modelo. Só precisa usar a API pública, como qualquer usuário normal.
Funciona mesmo com mudanças radicais: Funciona mesmo se o modelo foi treinado para mudar completamente o estilo (de realista para anime) ou se foi "comprimido" para ser mais rápido.
Proteção Real: Dá aos donos da propriedade intelectual uma ferramenta para processar quem está distribuindo versões não autorizadas, mesmo que essas versões estejam escondidas atrás de uma API.

Resumo em uma frase

O CSF é como um detetive que, em vez de olhar a roupa do suspeito, faz perguntas tão estranhas e específicas que o suspeito, sem querer, revela de onde veio a sua família, provando quem é o dono original da "receita".

Título: CSF: Fingerprinting (Impressão Digital) via Semântica Composicional para Modelos de Texto-para-Imagem em Caixa Preta

1. O Problema

Com a comercialização em larga escala de modelos de geração de imagens (Text-to-Image ou T2I), como Stable Diffusion, Flux e Kandinsky, a proteção da propriedade intelectual (PI) tornou-se crítica. Muitos desses modelos são distribuídos sob licenças restritivas (ex: uso não comercial ou apenas para pesquisa) para impedir a distribuição não autorizada de derivados fine-tuned (ajustados).

O cenário de violação mais desafiador ocorre quando um infrator:

Faz fine-tuning de um modelo protegido.
Distribui o modelo resultante exclusivamente através de uma API comercial.

Neste cenário, os métodos tradicionais de proteção falham:

Marca d'água (Watermarking): Requer acesso ao modelo antes da implantação (pré-implantação) para injetar gatilhos. Além disso, marcas d'água podem ser removidas ou degradar a qualidade do modelo.
Fingerprinting Tradicional: Geralmente exige acesso "white-box" (pesos do modelo, ativações internas) ou "gray-box", o que não está disponível em APIs comerciais que oferecem apenas acesso de consulta (query-only).

O desafio é identificar a linhagem de um modelo suspeito (de qual base ele deriva) usando apenas a capacidade de enviar prompts de texto e receber imagens, sem acesso interno, mesmo após modificações agressivas como fine-tuning, fusão de modelos ou otimização de preferência (DPO).

2. Metodologia: Compositional Semantic Fingerprinting (CSF)

Os autores propõem o CSF, o primeiro método de fingerprinting em caixa preta que opera sob restrições de acesso apenas a consultas. A abordagem inverte a lógica da marca d'água: em vez de injetar um sinal, ela explora viéses semânticos inerentes ao modelo.

Conceitos Chave:

Abstração como Gerador de Categorias Semânticas: O CSF não analisa a imagem em nível de pixels (que muda drasticamente com o estilo), mas sim a distribuição de categorias semânticas que o modelo gera.
Prompts Subespecificados Composicionalmente: O método utiliza prompts que combinam componentes semânticos comuns individualmente, mas que formam combinações raras nos dados de fine-tuning.
- Exemplo: "Um animal perigoso em um estúdio escuro".
- Lógica: O fine-tuning geralmente ajusta o modelo para dados comuns. Como a combinação específica de atributos (perigoso + estúdio escuro + animal) é rara ou inexistente nos dados de ajuste, o modelo não recebe sinais de atualização para essa condição específica. Portanto, o comportamento do modelo base (seus viéses semânticos inerentes) permanece preservado.
Assimetria Defensora: O defensor pode gerar infinitas novas combinações de prompts raros após a implantação. O atacante, por outro lado, não pode prever e suprimir todo o espaço exponencial de combinações possíveis.

Fluxo do Método:

Geração: Para um prompt composicional específico, o modelo suspeito gera $N=30$ imagens.
Classificação Zero-Shot: As imagens são classificadas usando o CLIP (modelo de visão-linguagem) para obter uma distribuição de probabilidade sobre categorias semânticas (ex: qual tipo de animal foi gerado?).
Métrica de Distância: Compara-se a distribuição empírica do modelo suspeito com a dos modelos base de referência usando a Distância de Wasserstein (que captura a estrutura geométrica da distribuição, sendo mais robusta que a divergência JS).
Inferência Bayesiana: Agrega-se a evidência de 42 prompts diferentes. Um framework Bayesiano calcula a probabilidade posterior de que o modelo suspeito pertença a uma determinada linhagem, fornecendo intervalos de confiança controlados.

3. Contribuições Principais

Primeiro Método Black-Box Robusto: É a primeira solução capaz de atribuir linhagem a modelos T2I distribuídos via API, sem acesso a pesos ou ativações internas.
Independência de Estilo: Ao focar na distribuição semântica em vez de características visuais, o método é robusto contra mudanças drásticas de estilo (ex: realista para anime) e técnicas de fine-tuning (LoRA, DPO, fusão de modelos).
Garantias Estatísticas: Utiliza um framework Bayesiano para fornecer decisões de atribuição com níveis de confiança quantificados, em vez de apenas uma classificação heurística.
Custo Baixo e Prático: O método é "train-free" (não requer treinamento de novos modelos) e o custo de consulta para verificar um modelo é baixo (aprox. $50 por modelo em APIs comerciais).

4. Resultados Experimentais

Os autores avaliaram o CSF em 6 famílias de modelos base (Flux, Kandinsky, SD 1.5/2.1/3.0/XL) e 13 variantes fine-tuned, cobrindo cenários como LoRA, fusão de modelos, DPO e destilação.

Alta Precisão: Todos os 13 modelos derivados foram atribuídos corretamente à sua linhagem base com uma precisão média posterior superior a 50% (superando o limite de "dominância", onde a probabilidade do modelo correto é maior que a soma de todos os outros).
Robustez Extrema: O método manteve a eficácia mesmo em casos extremos, como:
- SD3-Reality-Mix: Retreinamento completo em datasets fotorealistas.
- Modelos Destilados (Lightning/Turbo): Que alteram fundamentalmente a trajetória de geração.
- Fusão de Modelos: Onde os "dedos digitais" de múltiplos modelos são misturados.
Estudo com Humanos: Em um estudo de "Nomeie aquele Conjunto de Dados", participantes humanos conseguiram identificar a linhagem correta com 71% de precisão usando prompts CSF, contra apenas 18% com prompts comuns (acima do acaso, mas muito inferior ao CSF). Isso valida que o sinal capturado é perceptualmente robusto e não apenas um artefato estatístico.
Resistência a Remoção de Conceitos: Mesmo quando conceitos específicos foram removidos do modelo (usando Unified Concept Editing - UCE), o CSF permaneceu eficaz, pois opera em categorias semânticas amplas e não em gatilhos únicos.

5. Significado e Impacto

O CSF representa um avanço significativo na segurança de IA generativa:

Mudança de Paradigma: Transita da dependência de acesso interno (pesos) para a exploração inteligente de viéses semânticos via API.
Ferramenta de Aplicação da Lei: Oferece uma ferramenta prática e estatisticamente fundamentada para proprietários de IP e reguladores detectarem violações de licença em ambientes comerciais onde o acesso ao código-fonte é impossível.
Assimetria Favorável ao Defensor: Ao explorar o espaço exponencial de combinações de prompts, o método cria uma barreira intransponível para atacantes tentarem "limpar" o modelo de sua assinatura, garantindo que a proteção persista mesmo após modificações agressivas.

Em resumo, o CSF preenche uma lacuna crítica na segurança de modelos de IA, permitindo a atribuição de propriedade intelectual em cenários de "caixa preta" que eram anteriormente considerados insolúveis.