Fingerprinting Deep Neural Networks for Ownership Protection: An Analytical Approach

Título: Fingerprinting de Redes Neurais Profundas para Proteção de Propriedade: Uma Abordagem Analítica (AnaFP)

1. O Problema

A propriedade intelectual (PI) de modelos de Redes Neurais Profundas (DNNs) está sob ameaça crescente devido ao roubo de modelos e sua redistribuição como serviços de caixa preta. Para combater isso, técnicas de fingerprinting (impressão digital) foram desenvolvidas para verificar a propriedade sem modificar o modelo.

A abordagem baseada em exemplos adversariais é promissora, pois explora as características únicas das fronteiras de decisão de cada modelo. No entanto, existe um desafio fundamental não resolvido na literatura: qual deve ser a distância ideal entre a impressão digital e a fronteira de decisão?

• Unicidade: Para distinguir o modelo protegido de outros treinados independentemente, as impressões digitais devem estar próximas à fronteira de decisão.
• Robustez: Para resistir a ataques de modificação de modelo (como fine-tuning ou poda) que alteram a fronteira, as impressões digitais devem estar distantes da fronteira.

Trabalhos anteriores dependem de heurísticas empíricas para escolher essa distância, o que frequentemente resulta em impressões digitais que falham em satisfazer simultaneamente a robustez e a unicidade. Não havia uma solução teórica para determinar esse intervalo de distância.

2. Metodologia: AnaFP

O artigo propõe o AnaFP (Analytical adversarial-example-based FingerPrinting), um esquema que constrói impressões digitais sob orientação teórica rigorosa. O processo é dividido em quatro etapas principais:

Etapa 1: Seleção de Âncoras de Alta Confiança
O sistema seleciona amostras do conjunto de dados de treinamento (âncoras) onde o modelo protegido tem alta confiança na previsão correta. Isso é quantificado pela margem de logit (diferença entre o logit da classe correta e a segunda melhor). Amostras com alta margem são escolhidas para garantir que modelos independentes também as classifiquem corretamente, reforçando a unicidade.

Etapa 2: Cálculo de Perturbações Mínimas
Para cada âncora, calcula-se a perturbação mínima ($\delta^*$) necessária para fazer o modelo protegido mudar sua previsão (cruzar a fronteira de decisão). Isso é feito usando o ataque C&W ($\ell_2$). O ponto resultante ($x_a + \delta^*$) é o ponto na fronteira de decisão.

Etapa 3: Busca de Fatores de Estiramento (Stretch Factors) sob Restrições Teóricas
Esta é a contribuição central. O método introduz um fator de estiramento ($\tau$) para escalar a perturbação, movendo a impressão digital para longe da fronteira. O AnaFP deriva matematicamente um intervalo admissível para $\tau$:

• Limite Inferior ($\tau_{lower}$): Garante a robustez. A impressão digital deve estar longe o suficiente da fronteira para que, mesmo após ataques de modificação (que deslocam a fronteira), o modelo pirata ainda preveja a etiqueta correta.
• Limite Superior ($\tau_{upper}$): Garante a unicidade. A impressão digital não pode estar tão longe que modelos independentes (não relacionados) também a classifiquem corretamente.

A fórmula teórica é dada por:
$$1 + \frac{2 \epsilon_{logit}}{c_g \|\delta^*\|} < \tau < \frac{m_{min}}{2 L_{uniq} \|\delta^*\|}$$
Onde:

• $\epsilon_{logit}$: Limite superior do deslocamento de logit devido a ataques.
• $m_{min}$: Limite inferior da margem de logit de modelos independentes.
• $L_{uniq}$: Limite superior da constante de Lipschitz local de modelos independentes.
• $c_g$: Norma do gradiente da função de margem na fronteira.

Desafios Práticos e Soluções:

1. Conjuntos Infinitos: Como não é possível testar todos os modelos piratas ou independentes possíveis, o AnaFP usa pools de modelos substitutos (surrogate) finitos para estimar os parâmetros.
2. Estimativas Conservadoras: Usar os valores extremos (pior caso) dos substitutos pode tornar o intervalo inviável. O AnaFP emprega uma estratégia de relaxamento baseada em quantis para estimar os parâmetros, equilibrando rigor teórico e viabilidade prática.
3. Dependência Circular: O limite inferior depende do próprio fator $\tau$ (devido ao deslocamento de logit no ponto esticado). Para resolver isso, o método utiliza uma busca em grade (grid search) dentro do intervalo admissível para encontrar o $\tau$ mais viável que maximize a margem de segurança para ambos os limites.

Etapa 4: Construção do Conjunto de Impressões Digitais
Gera-se o conjunto final de impressões digitais aplicando o fator de estiramento ótimo $\tau^*$ à perturbação mínima sobre as âncoras.

Protocolo de Verificação:
O proprietário consulta o modelo suspeito com as impressões digitais. Se a taxa de correspondência (onde o modelo suspeito prevê a etiqueta esperada) exceder um limiar, o modelo é classificado como pirata.

3. Contribuições Principais

1. Fundamentação Teórica: Primeira abordagem a formalizar matematicamente as restrições de robustez e unicidade, derivando limites teóricos para a distância da impressão digital à fronteira de decisão.
2. Mecanismo de Relaxamento Inteligente: Introdução de estimativas baseadas em quantis e pools de modelos substitutos para lidar com a impossibilidade de analisar conjuntos infinitos de modelos, mantendo a viabilidade prática.
3. Algoritmo de Busca Adaptativa: Resolução do problema de dependência circular entre o limite inferior e o fator de estiramento através de uma busca em grade otimizada.
4. Generalização: O método foi validado em arquiteturas diversas (CNN, MLP e GNN) e datasets variados, demonstrando aplicabilidade além de dados euclidianos (imagens).

4. Resultados Experimentais

Os experimentos foram realizados em CNNs (CIFAR-10, CIFAR-100), MLPs (MNIST) e GNNs (PROTEINS), comparando o AnaFP com seis métodos de base (UAP, IPGuard, MarginFinger, AKH, GMFIP, ADV-TRA).

• Desempenho Geral (AUC): O AnaFP alcançou consistentemente a maior Área Sob a Curva (AUC) em todos os cenários, superando significativamente os métodos existentes.
  • Exemplo: Em CNN (CIFAR-10), obteve 0.957 vs. 0.878 do segundo melhor (ADV-TRA).
  • Em GNN (PROTEINS), obteve 0.926, enquanto outros métodos falharam ou tiveram desempenho inferior.
• Robustez a Ataques: O AnaFP manteve alto desempenho sob diversos ataques de modificação de modelo que preservam o desempenho (Poda, Fine-tuning, Knowledge Distillation, Treinamento Adversarial e combinações).
  • Mesmo sob Knowledge Distillation (KD) e ataques combinados (Prune-KD), onde outros métodos caem drasticamente, o AnaFP manteve-se à frente (AUC de 0.756 e 0.689, respectivamente).
• Sensibilidade: O método mostrou-se robusto a variações no tamanho e diversidade dos pools de modelos substitutos, e não é excessivamente sensível à escolha exata dos limiares de quantis, desde que moderadamente relaxados.

5. Significado e Impacto

O AnaFP representa um avanço significativo no campo da proteção de PI de DNNs ao substituir heurísticas empíricas por uma abordagem analítica fundamentada.

• Confiabilidade: Ao garantir teoricamente que as impressões digitais satisfazem simultaneamente robustez e unicidade, reduz-se a taxa de falsos positivos e negativos.
• Versatilidade: A capacidade de funcionar em grafos (GNNs) e diferentes arquiteturas torna-o uma solução mais universal do que métodos anteriores focados apenas em imagens.
• Segurança: Oferece aos criadores de modelos uma ferramenta mais confiável para detectar roubo de propriedade intelectual em ambientes de produção, mesmo quando os atacantes tentam ofuscar a origem do modelo através de modificações complexas.

Em resumo, o AnaFP estabelece um novo padrão para a geração de impressões digitais, provando que a orientação teórica pode superar abordagens puramente empíricas na proteção de modelos de aprendizado profundo.