Protecting Deep Neural Network Intellectual Property with Chaos-Based White-Box Watermarking

Probleemstelling

De snelle verspreiding van Deep Neural Networks (DNN's) in commerciële en kritieke domeinen heeft geleid tot ernstige zorgen over intellectueel eigendom (IP). Getrainde modellen vertegenwoordigen waardevolle activa die zijn ontwikkeld met aanzienlijke investeringen in data, rekenkracht en expertise. Echter, het gemak waarmee deze modellen kunnen worden gekopieerd, herverdeeld of aangepast, maakt het moeilijk om eigendom te bewijzen. Bestaande methoden voor watermerking hebben vaak tekortkomingen:

• Ze vereisen vaak wijzigingen in het trainingsproces, wat niet mogelijk is voor bestaande (legacy) modellen.
• Ze zijn soms kwetsbaar voor aanvallen zoals fine-tuning, pruning of quantisatie.
• Veel methoden gebruiken handgemaakte, statische signalen die relatief eenvoudig te filteren of te verwijderen zijn.
• Er is een gebrek aan robuuste methoden die zowel de modelprestaties behouden als een betrouwbare verificatie mogelijk maken zonder toegang tot de oorspronkelijke trainingsdata.

Methodologie

Het artikel presenteert een witte-kast (white-box) watermerking framework dat twee kerncomponenten combineert: chaotische sequenties voor het genereren van het watermerk en genetische algoritmen voor de verificatie.

1. Generatie en Inbedding van het Watermerk:

• Chaotische Sequenties: Het watermerk wordt gegenereerd met behulp van de logistische kaart (logistic map), gedefinieerd door de vergelijking $x_{n+1} = r \cdot x_n \cdot (1 - x_n)$. De parameters $r$ (chaotische controleparameter, typisch 3.9) en $x_0$ (initieel waarde) fungeren als een geheime sleutel. Deze sequentie is deterministisch maar onvoorspelbaar zonder de exacte parameters.
• Inbedding: De gegenereerde chaotische sequentie wordt vermenigvuldigd met een kleine schalingsfactor $\epsilon$ en opgeteld bij de gewichten van een geselecteerde intermediate laag van een reeds getraind model.
  • Formule: $w'_i = w_i + \epsilon \cdot c_i$
• Fine-tuning: Na de inbedding wordt het model kort opnieuw getraind (fine-tuned) op de originele dataset met een verlaagde leerfrequentie. Dit herstelt eventuele kleine degradaties in de voorspellende prestaties en zorgt ervoor dat het watermerk naadloos in de gewichtsverdeling wordt geïntegreerd.

2. Verificatie en Eigenaarschap:

• Extractie: Om een model te verifiëren, wordt het verschil berekend tussen de gewichten van het verdachte model en een referentiewatermerkmodel (of de oorspronkelijke structuur), waardoor het watermerksignaal ($\Delta W$) wordt geïsoleerd.
• Genetisch Algoritme (GA): Omdat het exacte vinden van de originele parameters ($r, x_0, \epsilon$) een niet-lineair en complex optimalisatieprobleem is, wordt een genetisch algoritme gebruikt.
  • Het GA initialiseert een populatie van kandidaat-parameters.
  • Het genereert chaotische sequenties op basis van deze kandidaten en vergelijkt deze met het geëxtraheerde signaal.
  • De fitness-functie combineert de Middelpuntkwadratische Fout (MSE) en de correlatieafstand om de beste match te vinden.
  • Door selectie, kruising (blend crossover) en mutatie evolueert het algoritme naar de oorspronkelijke parameters.
• Successcriteria: Als het GA de originele parameters succesvol herkent met een lage foutmarge, wordt de eigendom bevestigd.

3. Auxiliary Detectie:
Naast de parameterherwinning worden gewichtsdichtheidsplots en logistische regressie-classifiers (gebaseerd op activatiepatronen) gebruikt om visueel en statistisch onderscheid te maken tussen originele, watermerkte en gemanipuleerde modellen.

Belangrijkste Bijdragen

1. Lichtgewicht Witte-Kast Methode: Een techniek die watermerking toepast op bestaande modellen zonder het trainingsproces te hoeven wijzigen of het model vanaf nul te hertrainen.
2. Chaotische Robuustheid: Het gebruik van chaotische systemen (logistische kaart) zorgt voor een uniek en moeilijk te vervalsen watermerk dat gevoelig is voor initiële condities.
3. Evolutionaire Verificatie: Een innovatief gebruik van genetische algoritmen om de geheime parameters van het watermerk te reconstrueren, zelfs na modelveranderingen.
4. Multi-laag Verificatie: Combinatie van numerieke parameterherwinning met visuele analyse (gewichtsdichtheid) en machine learning classifiers (logistische regressie) voor een robuuste verificatiestrategie.
5. Prestatiebehoud: De methode garandeert dat de nauwkeurigheid van het model nauwelijks wordt beïnvloed door de inbedding en de daaropvolgende fine-tuning.

Resultaten

De methode is getest op de MNIST en CIFAR-10 datasets voor beeldclassificatie.

• Fideliteit (Prestatie):
  • Op MNIST werd een marginale verbetering in nauwkeurigheid waargenomen (van 99,45% naar 99,57%), wat suggereert dat het watermerk mogelijk een regulariserend effect heeft.
  • Op CIFAR-10 was er een verwaarloosbare daling (van 73,26% naar 72,79%), wat binnen acceptabele grenzen valt.
• Robuustheid tegen Fine-tuning:
  • Zelfs na een "fine-tuning attack" (waarbij het model opnieuw wordt getraind om het watermerk te verwijderen), kon het genetische algoritme de originele parameters ($r, x_0, \epsilon$) succesvol herwinnen.
  • De afwijkingen tussen de originele en herwonnen parameters waren minimaal (bijv. verschil van ~0,01 voor $r$), terwijl pogingen om een willekeurig model te verifiëren faalden met grote afwijkingen.
• Detectie:
  • De logistische regressie-classifier kon watermerkte modellen onderscheiden van originele en gemanipuleerde modellen met bijna perfecte nauwkeurigheid (slechts 1 fout op 7.920 samples voor MNIST).
  • De fitness-convergentieplots tonen aan dat het GA stabiel convergeert naar de juiste oplossing voor watermerkte modellen, maar niet voor niet-watermerkte modellen.

Betekenis en Toekomstperspectief

Deze studie biedt een praktische oplossing voor de bescherming van IP in deep learning, specifiek voor scenario's waar toegang tot de interne modelgewichten mogelijk is (witte-kast). De belangrijkste meerwaarde is dat het werkt op ge-deployde modellen zonder de oorspronkelijke trainingsdata of het trainingsproces te vereisen.

Beperkingen:

• Vereist witte-kast toegang (niet direct toepasbaar op API's of gesloten systemen).
• De verificatie via genetische algoritmen kan rekenintensief zijn voor zeer grote modellen.
• Huidige tests zijn beperkt tot CNN's voor beeldclassificatie; toepassing op Transformers of NLP-modellen is nog onbekend.
• Ondersteunt momenteel geen multi-bit watermerking (geen embedding van complexe metadata).

Toekomstig werk richt zich op het uitbreiden naar andere architecturen, het optimaliseren van de verificatiesnelheid, het ondersteunen van multi-bit watermerking en het testen tegen een breder scala aan aanvallen (zoals pruning en kwantisatie).