RandMark: On Random Watermarking of Visual Foundation Models

O artigo "RandMark" propõe um método de marcação d'água aleatória que utiliza uma pequena rede encoder-decoder para embutir marcas digitais em representações internas de modelos fundacionais visuais, permitindo a verificação eficaz da propriedade intelectual com baixas taxas de falsos positivos e falsos negativos.

O essencial

Imagine que você é um chef de cozinha famoso que criou uma receita secreta e incrível para um prato (o Modelo de Visão Computacional). Essa receita foi desenvolvida após anos de testes, com ingredientes caros e muito trabalho. Agora, você quer vender essa receita ou alugá-la para outros restaurantes, mas tem medo de que alguém a copie, mude um pouco o nome e venda como se fosse deles, ou até mesmo a use para abrir um restaurante concorrente sem pagar nada.

O problema é: como você prova que aquele prato (ou a inteligência artificial por trás dele) é realmente seu, mesmo que o ladrão tenha tentado esconder a origem?

É aqui que entra o RandMark, a solução proposta por Anna Chistyakova e Mikhail Pautov neste artigo.

A Ideia Principal: O "Sabor Invisível"

Geralmente, para proteger uma receita, você colocaria um selo de autenticidade na embalagem. Mas com Inteligência Artificial, não dá para colar um selo no código. Se você mudar o código para colocar o selo, pode estragar o sabor do prato (a performance do modelo).

O RandMark faz algo mais inteligente: em vez de colar um selo, eles ensinam o modelo a ter um "sabor secreto" que só aparece quando você pede um prato específico.

A Analogia do "Teste de Sabor Cego"

Imagine que o dono da IA (o chef) tem uma lista de 1.000 pratos secretos (imagens de entrada).

1. O Treinamento (A Injeção da Marca): O chef pega essas imagens e, usando uma pequena ferramenta especial (um codificador), "injeta" uma mensagem secreta binária (como um código de barras invisível: 010101) na forma como o modelo "pensa" sobre essas imagens.

   • O truque: Eles não mudam a receita inteira. Eles apenas ajustam levemente o modelo para que, quando ele vê a imagem X, ele reaja de uma maneira muito específica que contém o código secreto.

2. O Roubo (A Cópia Funcional): Um ladrão pega esse modelo e o treina para fazer outra coisa, como identificar carros em vez de gatos (ajuste fino) ou remove partes do modelo para torná-lo mais rápido (poda). Ele acha que, ao mudar o modelo, o segredo some.

3. A Verificação (O Degustador): Para saber se o modelo do ladrão é realmente uma cópia do original, o dono não olha o código. Ele pega as mesmas 1.000 imagens secretas e as mostra para o modelo suspeito.

   • O modelo tenta "decifrar" a mensagem secreta.
   • Se o modelo for uma cópia (mesmo que tenha sido treinado para outra tarefa), ele ainda vai "lembrar" do sabor secreto e conseguirá decifrar a mensagem com muita precisão.
   • Se o modelo for de outra pessoa (independente), ele vai chutar aleatoriamente e a mensagem não fará sentido.

Por que isso é especial? (O "Pulo do Gato")

A grande inovação do RandMark é a aleatoriedade.

Imagine que o chef não usa apenas uma imagem, mas mil variações da mesma imagem (com um pouco de ruído, girada, com cores levemente alteradas).

• Sem o RandMark: Se o ladrão treinar o modelo em uma tarefa diferente, ele pode "esquecer" a marca d'água específica.
• Com o RandMark: Como a marca está espalhada de forma aleatória em muitas variações, o modelo precisa "internalizar" esse padrão de forma profunda. Mesmo que o ladrão tente mudar o modelo para outra tarefa, esse padrão aleatório permanece como uma "pegada" difícil de apagar.

É como se o chef não deixasse apenas uma assinatura no prato, mas deixasse uma assinatura em cada grão de sal, em cada gota de molho e em cada variação de temperatura. Mesmo que o ladrão tente cozinhar o prato de novo, o sabor original ainda estará lá.

O Resultado na Prática

Os autores testaram isso em modelos gigantes e modernos (como o CLIP e o DINOv2).

• Resistência: Eles mostraram que, mesmo quando o modelo é "poda" (cortado para ficar menor) ou re-treinado para tarefas totalmente novas (como classificar produtos de e-commerce ou segmentar comida), o RandMark ainda consegue encontrar a marca.
• Segurança: Eles provaram que o método não acusa falsamente modelos que não são cópias. Se você tem um modelo próprio, o RandMark não vai dizer que ele é do chef.

Resumo em uma frase

O RandMark é como um "tatuagem invisível" que o dono da Inteligência Artificial faz na mente do modelo usando imagens secretas. Mesmo que o ladrão tente mudar a aparência do modelo ou ensiná-lo a fazer novas tarefas, essa tatuagem permanece visível para o dono, provando que a obra é original e protegendo o investimento de quem criou a tecnologia.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "RandMark: On Random Watermarking of Visual Foundation Models", estruturado conforme solicitado:

1. O Problema

Os Modelos de Fundação Visuais (VFMs), como CLIP e DINOv2, são ativos valiosos devido aos altos custos de coleta de dados e treinamento. Para proteger seus direitos de propriedade intelectual (IPR), os proprietários distribuem esses modelos sob licença. No entanto, usuários mal-intencionados podem violar os termos de uso, criando cópias funcionais ou integrando instâncias do modelo em outros serviços para lucro.

As abordagens existentes de proteção de IP, como fingerprinting (que não altera o modelo) e watermarking tradicional (focado em classificadores de imagem), não são diretamente aplicáveis ou eficazes para VFMs. Os métodos atuais falham em distinguir entre modelos independentes e cópias funcionais de VFMs após adaptações como fine-tuning (ajuste fino) para tarefas downstream (ex: classificação, segmentação) ou poda (pruning).

2. Metodologia (RandMark)

O artigo propõe o RandMark, uma nova metodologia de marcação d'água projetada especificamente para VFMs. Diferente de métodos anteriores que modificam pesos ou usam gatilhos de entrada fixos, o RandMark embute assinaturas binárias diretamente nas representações ocultas (embeddings) do modelo.

Principais componentes do processo:

• Arquitetura: Utiliza uma pequena rede auxiliar composta por um encoder e um decoder.
• Processo de Injeção:
  1. Dada uma imagem de entrada $x$ e uma mensagem binária secreta $m$, o encoder injeta a mensagem na representação da imagem perturbada ($x + \epsilon$), onde $\epsilon$ é ruído aleatório.
  2. O VFM original é fine-tuned conjuntamente com o encoder e o decoder.
  3. O objetivo é minimizar a discrepância entre a mensagem original e a extraída, além de minimizar a variância da extração devido às transformações aleatórias de entrada.
• Processo de Verificação:
  1. Aplica-se transformações aleatórias a um conjunto de imagens de teste.
  2. O decoder extrai mensagens das saídas do modelo suspeito.
  3. Calcula-se a estatística de distância (número de bits diferentes) entre a mensagem extraída e a original.
• Critério de Decisão: Um modelo é considerado uma cópia funcional se a taxa de detecção (porcentagem de imagens onde a mensagem extraída está dentro de um limiar $\tau$ de erros) for alta. Modelos independentes devem apresentar uma taxa de detecção próxima de zero.

Defesa contra Ataques:
O método é projetado para ser robusto contra:

• Fine-tuning em tarefas downstream (classificação e segmentação).
• Poda não estruturada (unstructured pruning) de pesos.
• Remoção de marca d'água tentando preservar a funcionalidade.

3. Contribuições Chave

1. Novo Paradigma para VFMs: Propõe o primeiro método de marcação d'água que embute assinaturas diretamente nas representações internas (hidden representations) de VFMs, tornando-o agnóstico à tarefa downstream (funciona para classificação, segmentação, etc.).
2. Fundamentação Teórica: Deriva limites superiores teóricos para as probabilidades de:
   • Falso Positivo: Detectar um modelo não marcado como uma cópia.
   • Falso Negativo: Não detectar uma cópia funcional de um modelo marcado.
   • O artigo utiliza desigualdades de concentração (como Chernoff e Hoeffding) para provar que essas probabilidades podem ser mantidas extremamente baixas.
3. Robustez Experimental: Demonstra empiricamente que o RandMark supera métodos de fingerprinting genéricos (como ADV-TRA e IPGuard) e técnicas baseadas em suavização de pesos, mantendo a detecção mesmo após poda agressiva (40%) e ajuste fino.

4. Resultados Experimentais

Os experimentos foram realizados nos VFMs CLIP e DINOv2, utilizando datasets como E-commerce Product Images e FoodSeg103.

• Taxa de Detecção (TPR):
  • O RandMark alcançou taxas de detecção de 100% para cópias funcionais após poda de 20% e 40%, e após fine-tuning para classificação e segmentação.
  • Em contraste, métodos de fingerprinting baseados em classificadores (ADV-TRA, IPGuard) tiveram taxas de detecção próximas de 0% para modelos com fine-tuning ou poda, falhando em distinguir cópias.
• Falsos Positivos:
  • O método não detectou falsamente modelos independentes (de arquiteturas diferentes, como DINOv2 com registros ou CLIP puro) como cópias, mantendo a taxa de detecção em 0%.
• Desempenho da Tarefa:
  • Ao contrário de métodos que degradam o desempenho do modelo (como a suavização aleatória de pesos), o RandMark manteve a precisão nas tarefas downstream (segmentação) enquanto preservava a marca d'água (acurácia de extração > 97% após 5 épocas de fine-tuning).
• Covariância: A análise de covariância entre mensagens decodificadas mostrou que modelos dependentes da mesma marca d'água têm covariância positiva, enquanto modelos independentes têm covariância próxima de zero, servindo como métrica complementar de verificação.

5. Significado e Impacto

O RandMark representa um avanço significativo na segurança de IA, preenchendo uma lacuna crítica na proteção de modelos de fundação visuais.

• Viabilidade Prática: Oferece uma solução viável para proprietários de modelos protegerem seus ativos contra uso não autorizado e extração de modelos, sem comprometer a utilidade do modelo em tarefas reais.
• Resiliência: A capacidade de sobreviver a modificações estruturais (poda) e adaptativas (fine-tuning) torna-o superior às abordagens atuais, que são facilmente quebradas por essas operações comuns no ciclo de vida de desenvolvimento de modelos.
• Segurança Teórica: A garantia matemática de baixas taxas de erro fornece confiança para a adoção em cenários comerciais e legais onde a verificação de propriedade é crucial.

Em resumo, o RandMark estabelece um novo padrão para a verificação de propriedade intelectual em modelos de visão computacional de grande escala, combinando robustez experimental com rigor teórico.