Forging the Unforgeable: On the Feasibility of Counterfeit Watermarks in Backdoor-Based Dataset Ownership Verification

Este artigo demonstra que os atuais esquemas de marcação d'água baseados em backdoors para verificação de propriedade de conjuntos de dados são vulneráveis à falsificação, uma vez que um atacante pode gerar marcas d'água forjadas estatisticamente indistinguíveis das originais para refutar alegações de violação de direitos autorais.

O essencial

Imagine que você é um chef de cozinha famoso que criou uma receita secreta e incrível (o seu conjunto de dados). Para provar que a receita é sua, você decide colocar um "selo invisível" em alguns ingredientes. Esse selo é como um código secreto: se alguém usar esses ingredientes para fazer um bolo, o bolo terá um sabor estranho e específico que só você conhece. Se o bolo tiver esse sabor, você pode dizer: "Ei, esse bolo foi feito com a minha receita!"

Essa é a ideia por trás da Marca d'água de Backdoor (Backdoor Watermarking) usada para proteger conjuntos de dados de Inteligência Artificial.

Agora, a equipe de pesquisadores deste artigo (Zhiying Li e colegas) descobriu algo assustador: é possível falsificar esse selo.

Aqui está a explicação simples do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O "Selo" não é uma prova de dono

Atualmente, se alguém acusa um ladrão de usar sua receita, o dono diz: "Olhe, o bolo tem o meu sabor secreto!" e o tribunal acredita.
Os pesquisadores dizem: "Espere, isso não é prova suficiente."

Por que?

• Falta de Data: Ninguém sabe quem criou o sabor primeiro. O ladrão pode dizer: "Ah, eu inventei esse sabor antes de você!" E, sem um registro de data (como um carimbo de tempo no blockchain), é difícil provar quem foi o primeiro.
• O Truque do Falso: O ladrão pode pegar os ingredientes originais, analisar o sabor secreto e criar um novo sabor falso que faz o bolo reagir exatamente da mesma maneira, mas com uma aparência visual diferente.

2. A Solução dos "Vilões": O FW-Gen (O Falsificador)

Os pesquisadores criaram uma ferramenta chamada FW-Gen. Pense nela como uma máquina de xerox mágica de sabores.

• Como funciona: O ladrão pega o seu "sabor secreto" (a marca d'água original).
• A Mágica: A máquina cria um novo sabor (uma marca d'água falsificada).
  • Visualmente, o novo sabor parece totalmente diferente (é como trocar o selo de "Vinho Tinto" por um selo de "Suco de Uva", mas ambos fazem o bolo ter o mesmo gosto estranho).
  • Mas, quando você prova o bolo (testa o modelo de IA), o resultado é idêntico ao do seu selo original.

3. O Resultado: O "Jogo de Quem Mentiu Primeiro"

Quando o dono da receita tenta processar o ladrão, o ladrão traz o tribunal uma prova: "Olhe! Eu tenho um selo que faz o bolo ter o mesmo sabor estranho. Na verdade, o meu selo é até mais forte estatisticamente que o seu! Quem sabe se não foi você que copiou o meu?"

Como o sistema atual só verifica se o "sabor" existe (comportamento), e não se o "selo" é original ou quando foi feito, o tribunal fica confuso. A prova do dono perde o valor.

4. O Que Eles Provaram (Os Experimentos)

Eles testaram isso em 6 métodos diferentes de proteção, em 2 bases de dados famosas (como o CIFAR-10 e o ImageNet, que são como "enciclopédias de imagens") e em vários tipos de "chefs" (modelos de IA).

A conclusão foi assustadora:

• Em quase todos os casos, o "sabor falso" funcionou tão bem (ou até melhor) que o original.
• O sistema de verificação não conseguiu distinguir quem era o dono legítimo.
• A falsificação foi tão convincente que, estatisticamente, era impossível dizer qual marca d'água veio primeiro.

5. O Que Fazer Agora? (A Lição)

O artigo não diz que devemos desistir de proteger nossos dados. Pelo contrário, eles dizem que precisamos de regras mais inteligentes.

• O Carimbo de Tempo (Timestamping): Assim como você registra uma patente ou coloca uma data em um documento, os donos de dados precisam registrar a marca d'água em um lugar imutável (como uma Blockchain) antes de divulgar o dado. Assim, ninguém pode dizer "eu fiz antes".
• Selos Mais Complexos: Em vez de apenas um sabor simples, talvez precisemos de uma "orquestra inteira" de sabores que sejam muito difíceis de copiar sem a receita original.

Resumo em uma frase

Este artigo mostra que, atualmente, usar apenas um "sinal secreto" para provar que você criou um conjunto de dados de IA é como tentar provar que você é o dono de uma música apenas cantando a melodia: qualquer um pode aprender a cantar a mesma melodia e dizer "eu criei isso primeiro". Precisamos de uma prova de data e autenticidade mais forte.

Resumo técnico

Título: Forjando o Inforgeável: Sobre a Viabilidade de Marcas D'Água Falsificadas em Verificação de Propriedade de Conjuntos de Dados Baseada em Backdoor

1. Problema e Contexto

A proteção de conjuntos de dados públicos (public datasets) é crucial devido ao alto custo de curadoria e à propensão de uso não autorizado por modelos de IA. A Verificação de Propriedade de Conjuntos de Dados (DOV - Dataset Ownership Verification) baseada em backdoor watermarking (marca d'água de porta dos fundos) tornou-se o método predominante.

• Mecanismo Atual: O proprietário do conjunto de dados insere um padrão de gatilho (trigger) em uma subamostra dos dados, alterando seus rótulos para uma classe alvo. Posteriormente, verifica-se a propriedade testando se um modelo suspeito classifica essas imagens com o gatilho para a classe alvo.
• A Lacuna de Segurança: O artigo argumenta que a suposição de que os resultados da DOV são evidências irrefutáveis de violação de direitos autorais é fundamentalmente falha.
  1. Falta de Ligação Temporal: Não há mecanismos robustos (como carimbos de tempo em blockchain) para provar que a marca d'água do proprietário foi criada antes de qualquer outra.
  2. Equivalência Comportamental: Se um acusado puder gerar uma marca d'água diferente visualmente, mas que produza o mesmo comportamento no modelo, ele pode criar evidências contrárias que invalidam a alegação de roubo.

2. Metodologia: O Ataque FW-Gen

Os autores propõem um ataque de forjagem chamado FW-Gen (Forged Watermark Generator), que demonstra como um acusado pode refutar uma acusação de violação.

Modelo de Ameaça

• Defensor (Proprietário): Possui o conjunto de dados original e alega que o modelo do atacante foi treinado nele.
• Atacante (Acusado): Tem acesso ao conjunto de dados público (com as marcas d'água) e ao seu próprio modelo treinado. O objetivo é extrair a marca d'água original, forjar uma nova e provar que sua marca d'água também funciona, criando dúvida razoável sobre a autoria.

Pipeline do FW-Gen

O ataque ocorre em três etapas principais:

1. Extração de Informação: O atacante usa análise no domínio da frequência para detectar e extrair as amostras que contêm a marca d'água original do conjunto de dados público.
2. Geração de Marca D'Água Falsificada:
   • Utiliza um Autoencoder Variacional (VAE) leve.
   • Entrada: Ruído aleatório (para garantir que a imagem gerada seja visualmente distinta da original).
   • Objetivo de Treinamento (Função de Perda Dupla):
     • Perda do Modelo Suspeito ($L_W$): Garante que a marca d'água forjada ative o mesmo comportamento de backdoor no modelo do atacante (equivalência comportamental).
     • Perda do Modelo Benigno ($L_B$): Garante que a marca d'água forjada não altere o comportamento do modelo em dados limpos (evitando artefatos detectáveis em modelos não treinados com a marca).
3. Disputa de Propriedade: O atacante usa a nova marca d'água forjada para realizar o teste de hipótese estatística. Se o resultado for estatisticamente indistinguível do original, a acusação de roubo torna-se ambígua.

3. Contribuições Principais

1. Identificação de Vulnerabilidades Fundamentais: Formalização de que esquemas de DOV baseados apenas em verificação comportamental são inerentemente vulneráveis a ataques de forjagem devido à ausência de ligação temporal e à possibilidade de equivalência comportamental entre gatilhos distintos.
2. Proposta do FW-Gen: Um framework baseado em VAE que gera marcas d'água visualmente distintas, mas estatisticamente equivalentes às originais.
3. Prova Teórica: O Teorema 1 demonstra que qualquer esquema de marca d'água que dependa exclusivamente da verificação comportamental é vulnerável. Se um atacante encontrar uma marca $t_{fw}$ que satisfaça a equivalência comportamental, o resultado da verificação será estatisticamente idêntico ao da marca original.
4. Validação Empírica: Extensos experimentos mostrando que marcas forjadas podem superar ou igualar as marcas originais em significância estatística.

4. Resultados Experimentais

Os autores testaram o FW-Gen em 6 métodos de marca d'água (BadNets, Blended, $\ell_0$-invisible, Nature, Trojan-sq, Trojan-wm), 2 conjuntos de dados (CIFAR-10 e ImageNet) e 2 arquiteturas de modelos (ResNet-18 e VGG-19).

• Detecção (RQ1): O atacante conseguiu extrair as marcas d'água originais com precisão superior a 99% na maioria dos métodos, validando a premissa do modelo de ameaça.
• Equivalência Estatística (RQ2):
  • Em testes de hipótese (Teste t pareado e Wilcoxon), as marcas forjadas produziram valores-p (p-values) e diferenças de probabilidade ($\Delta P$) equivalentes ou até superiores às marcas originais.
  • Em cenários de "modelo roubado", ambas as marcas rejeitaram a hipótese nula com alta confiança.
  • Em cenários de "modelo independente", ambas aceitaram a hipótese nula, provando que não há viés em dados limpos.
• Desempenho de Classificação:
  • A precisão em dados benignos (BA) permaneceu alta.
  • A taxa de sucesso da marca forjada (FWSR) foi frequentemente igual ou superior à da marca original (OWSR). Em alguns casos (ex: Blended Line), a taxa de sucesso da forjagem foi de 86,9% contra 81,0% da original.
• Distinção Visual: As marcas forjadas foram visualmente distintas das originais (baixo PSNR e SSIM, alto MSE), mas os modelos de IA as trataram de forma idêntica em termos de ativação do backdoor.

5. Significado e Implicações

• Inadequação como Evidência Legal: Os resultados provam que a DOV baseada em backdoor não é suficiente como prova isolada em disputas de direitos autorais. Um réu pode facilmente criar uma "prova contra" que estatisticamente anula a acusação do autor.
• Necessidade de Novos Mecanismos: O artigo conclui que sistemas de proteção de dados devem incorporar mecanismos além da verificação comportamental, tais como:
  • Carimbos de Tempo Criptográficos: Registrar o hash do padrão da marca d'água em uma blockchain ou autoridade confiável antes da publicação.
  • Esquemas Multi-Marcas: Usar múltiplos padrões independentes para aumentar exponencialmente a complexidade do ataque.
  • Diversidade Comportamental: Criar assinaturas comportamentais complexas que sejam difíceis de replicar sem o design original.

Conclusão: O trabalho expõe uma falha crítica na segurança atual de conjuntos de dados públicos, demonstrando que a "inforgeabilidade" das marcas d'água de backdoor é uma ilusão sob um modelo de ameaça realista, exigindo uma reavaliação urgente das práticas de proteção e verificação de propriedade de dados em IA.