Protecting Deep Neural Network Intellectual Property with Chaos-Based White-Box Watermarking

1. Problema Abordado

O rápido avanço e a proliferação de Redes Neurais Profundas (DNNs) em setores críticos geraram preocupações urgentes sobre a proteção da Propriedade Intelectual (PI). Modelos treinados representam ativos valiosos, desenvolvidos com grandes investimentos em dados e computação. No entanto, a facilidade com que esses modelos podem ser copiados, redistribuídos ou reutilizados sem autorização exige mecanismos eficazes para afirmar e verificar a propriedade.
As principais lacunas identificadas na literatura atual incluem:

• Dependência de métodos que alteram o pipeline de treinamento (o que inviabiliza a aplicação em modelos de terceiros ou legados).
• Fragilidade de marcas d'água estáticas contra ataques de fine-tuning (ajuste fino) ou suavização de parâmetros.
• Falta de robustez em cenários onde o modelo sofre modificações pós-implantação.

2. Metodologia Proposta

Os autores propõem um framework de marcação d'água em caixa branca (white-box) que combina sequências caóticas para geração da marca e algoritmos genéticos para verificação. O processo divide-se em duas fases principais:

A. Geração e Inserção da Marca D'água

• Geração Caótica: Utiliza o Mapa Logístico ($x_{n+1} = r \cdot x_n \cdot (1 - x_n)$) para gerar uma sequência caótica única. Os parâmetros de controle ($r$, valor inicial $x_0$) e um fator de escala ($\epsilon$) atuam como a chave secreta. A sensibilidade do mapa logístico às condições iniciais garante a imprevisibilidade e a unicidade da sequência.
• Inserção: A sequência caótica é injetada nos pesos de uma camada intermediária selecionada do modelo pré-treinado. A modificação é feita adicionando a sequência escalada aos pesos originais ($w'_i = w_i + \epsilon \cdot c_i$).
• Preservação de Desempenho: Após a inserção, o modelo é submetido a um breve processo de ajuste fino (fine-tuning) nos dados originais (com uma taxa de aprendizado reduzida) para mitigar qualquer degradação mínima na acurácia causada pela inserção da marca.

B. Verificação de Propriedade

• Extração: Em um modelo suspeito, calcula-se a diferença entre os pesos da camada alvo e os pesos de um modelo de referência (ou modelo original) para isolar o sinal da marca d'água ($\Delta W$).
• Recuperação via Algoritmo Genético (GA): Como os parâmetros originais ($r, x_0, \epsilon$) são desconhecidos no momento da verificação, utiliza-se um Algoritmo Genético para otimizá-los.
  • O GA evolui uma população de candidatos de parâmetros.
  • A função de aptidão (fitness) minimiza a distância (MSE e Correlação) entre a sequência caótica gerada pelos parâmetros candidatos e a sequência extraída do modelo.
  • Se o GA convergir para parâmetros próximos aos originais, a propriedade é validada.

C. Técnicas Auxiliares

Para aumentar a confiabilidade, o artigo incorpora:

• Análise de Densidade de Pesos: Visualização da distribuição estatística dos pesos para diferenciar modelos originais, marcados e adulterados.
• Classificador de Regressão Logística: Um classificador leve treinado com os padrões de ativação interna do modelo para distinguir entre modelos originais, marcados e fine-tuned.

3. Principais Contribuições

1. Técnica Leve e Pós-Treinamento: Um método que não exige re-treinamento do zero ou modificação do pipeline de treinamento original, sendo aplicável a modelos já implantados.
2. Robustez via Caos e GA: Combinação da imprevisibilidade das sequências caóticas com a capacidade de busca global dos Algoritmos Genéticos, permitindo a recuperação da marca mesmo após ataques de fine-tuning.
3. Estratégia de Verificação Multi-camada: Integração de recuperação de parâmetros, análise visual de densidade e classificação baseada em ativações para uma verificação de propriedade mais robusta e interpretável.
4. Validação Empírica: Avaliação abrangente em benchmarks padrão (MNIST e CIFAR-10).

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos de classificação de imagens (MNIST e CIFAR-10):

• Fidelidade: A inserção da marca d'água resultou em perda de acurácia negligenciável. No MNIST, houve até uma leve melhoria (0,9945 para 0,9957), sugerindo um efeito regularizador. No CIFAR-10, a queda foi mínima (0,7326 para 0,7279).
• Robustez a Fine-tuning: O método demonstrou alta resistência a ataques de ajuste fino. O Algoritmo Genético conseguiu recuperar os parâmetros originais ($r, x_0, \epsilon$) com alta precisão (diferenças da ordem de $10^{-3}$) mesmo após o modelo ter sido re-treinado para tentar remover a marca.
• Verificação de Falsos Positivos: O sistema falhou consistentemente ao tentar recuperar parâmetros válidos em modelos marcados aleatoriamente com chaves diferentes, demonstrando resistência a reivindicações falsas de propriedade.
• Classificação de Ativações: O classificador de regressão logística alcançou precisão quase perfeita (>99% no MNIST e >99% no CIFAR-10) ao distinguir modelos originais, marcados e adulterados baseando-se apenas nas ativações internas.

5. Significado e Limitações

Significado:
O trabalho oferece uma solução prática e escalável para a proteção de PI em DNNs, especialmente útil em cenários onde o proprietário do modelo precisa verificar a propriedade de uma versão distribuída sem acesso aos dados de treinamento originais. A abordagem "caixa branca" é ideal para auditorias internas ou disputas legais onde o acesso aos pesos do modelo é permitido.

Limitações:

• Acesso em Caixa Branca: O método requer acesso aos pesos internos do modelo, limitando sua aplicação em cenários de "caixa preta" (como APIs comerciais).
• Custo Computacional: A verificação via Algoritmo Genético pode ser computacionalmente intensiva para modelos muito grandes ou em tempo real.
• Arquitetura Específica: Os testes foram realizados apenas em CNNs para classificação de imagens; a eficácia em Transformers, RNNs ou LLMs ainda precisa ser validada.
• Ataques Não Avaliados: A robustez contra poda de pesos (pruning), quantização extrema ou sobrescrita direta de marca ainda não foi totalmente explorada.

Em resumo, o artigo apresenta um avanço significativo na proteção de modelos de Deep Learning, demonstrando que a combinação de sistemas caóticos e otimização evolutiva pode criar marcas d'água robustas, imperceptíveis e recuperáveis.