🤖 AI

Neural Honeytrace: Plug&Play Watermarking Framework against Model Extraction Attacks

Neural Honeytrace is een plug-and-play, training-vrij watermarking-framework dat een meerstaps transmissiestrategie benut op basis van het long-tail-effect van backdoor learning om efficiënte en robuuste eigendomsverificatie tegen modelextractie-aanvallen mogelijk te maken met minimale querykosten.

Oorspronkelijke auteurs: Yixiao Xu, Binxing Fang, Rui Wang, Yinghai Zhou, Yuan Liu, Mohan Li, Zhihong Tian

Gepubliceerd 2026-01-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yixiao Xu, Binxing Fang, Rui Wang, Yinghai Zhou, Yuan Liu, Mohan Li, Zhihong Tian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: Het stelen van het "Geheime Recept"

Stel je voor dat je een beroemd restaurant bezit met een geheim recept voor de beste burger ter wereld. Je verkoopt het recept niet; je laat mensen alleen de burgers eten (dit is vergelijkbaar met "Model as a Service" in de techwereld).

Echter, een dief komt langs. Ze stelen niet het receptenboek, maar ze bestellen 10.000 burgers, proeven elke burger en schrijven precies op hoe de chef reageert op verschillende ingrediënten. Uiteindelijk begrijpen ze het recept zo goed dat ze hun eigen burgerzaak kunnen openen die bijna identiek smaakt aan die van jou. Dit wordt een Model Extraction Attack genoemd.

Om dit te stoppen, hebben restauranteigenaren geprobeerd om onzichtbare "watermerken" in hun burgers achter te laten. Als de dief een concurrerende zaak opent, kan de eigenaar een burger bestellen, het verborgen watermerk vinden en bewijzen: "Hé, dat is mijn recept!"

Het probleem met oude watermerken:

Ze vereisen een nieuwe keuken: De meeste bestaande watermerken vereisen dat de chef het hele recept vanaf nul opnieuw traint, wat duur en tijdrovend is.
Ze zijn fragiel: Als de dief slim is en probeert de burger te "wassen" (met adaptieve aanvallen), verdwijnt het watermerk.
Ze zijn moeilijk te bewijzen: Om eigendom te bewijzen, moet de eigenaar vaak duizenden burgers bestellen om er slechts enkele met het watermerk te vinden. Het is also als zoeken naar een speld in een hooiberg.

De Oplossing: Neural Honeytrace

De auteurs stellen een nieuw systeem voor genaamd Neural Honeytrace. Denk aan dit als een "Plug-and-Play" honingval. Je hoeft de keuken niet opnieuw op te bouwen of de chef opnieuw te trainen. Je voegt gewoon een speciale laag honing toe aan het serveerproces.

Zo werkt het, onderverdeeld in drie eenvoudige concepten:

1. Het "Long-Tailed" Effect (Het Honingspoor)

In de oude dagen waren watermerken als een specifieke, moeilijk te vinden trigger (bijv. "Als de burger een sesamzaadje aan de linkerkant heeft, is hij van mij"). Dieven konden deze triggers gemakkelijk vermijden.

Neural Honeytrace gebruikt een ander idee genaamd het "Long-Tailed Effect."

De Analogie: Stel je voor dat het brein van de chef zo goed is dat zelfs als je hem een burger geeft die bijna als een specifieke "watermerk-burger" is, hij nog steeds een beetje reageert alsof het die burger is.
Hoe het werkt: In plaats van een harde trigger af te dwingen, creëert het systeem een vloeiend "honingspoor". Als de burger van de dief 90% vergelijkbaar is met een watermerk, zorgt het systeem ervoor dat de output voor 90% lijkt op het geheime signaal van het watermerk. Is het 50% vergelijkbaar, dan is het signaal ook voor 50% aanwezig.
Waarom dit helpt: De dief hoeft niet de exacte trigger te kennen om het model te stelen. Omdat de "gelijkenis" in de wiskunde is ingebakken, steelt de dief per ongeluk het honingspoor samen met het recept, zelfs als hij de oorspronkelijke trigger nooit ziet.

2. De Informatietheorie (Het Bandbreedteprobleem)

De auteurs realiseerden zich dat eerdere watermerken faalden omdat ze probeerden te hard te schreeuwen boven de ruis uit.

De Analogie: Stel je voor dat je een geheim bericht (het watermerk) probeert te sturen via een ruisig radiokanaal (het gestolen model van de dief). Als het bericht te hard of te complex is, overstemt de ruis het, of de "reinigingsfilters" van de dief verwijderen het.
De Oplossing: Neural Honeytrace beseft dat het model van de dief goed is in het kopiëren van het hoofdrecept (de smaak van de burger), maar moeite heeft met het perfect kopiëren van het subtiele "honingspoor" van gelijkenis. Door het watermerkbericht te verspreiden over veel kleine interacties in plaats van één grote schreeuw, zorgt het systeem ervoor dat het bericht doorkomt, zelfs als de dief probeert het te filteren.

3. De "Multi-Step" Transmissie (De Honingraat)

In plaats van te proberen eigendom te bewijzen met één of twee burgers, verspreidt Neural Honeytrace het bewijs over een hele bijenkorf.

De Analogie: Als je wilt bewijzen dat jij een bijenkorf bezit, kijk je niet naar één bij. Je kijkt naar het patroon van de hele korf.
Hoe het werkt: Het systeem legt het watermerk vast in de waarschijnlijkheid van de antwoorden. Wanneer de dief het model duizenden keren ondervraagt, zal het patroon van hun antwoorden statistisch gezien het honingspoor onthullen.
Het Resultaat: De auteurs beweren dat dit ongelooflijk efficiënt is. Waar oude methoden in een worst-case scenario de eigenaar misschien 6 miljoen burgers nodig hebben om eigendom te bewijzen, heeft Neural Honeytrace er slechts ongeveer 590 nodig. Dat is een vermindering tot slechts 2% van de inspanning die andere methoden vereisen.

Waarom het bijzonder is (De "Plug-and-Play" Functie)

Het grootste verkoopargument is dat je het model niet opnieuw hoeft te trainen.

De Oude Manier: Om een watermerk toe te voegen, moest je terug naar het lab, nieuwe chemicaliën mengen en de hele batch modellen opnieuw bakken.
Neural Honeytrace: Het werkt als een plugin. Je kunt een model nemen dat al is uitgerold (al in bedrijf is), en het systeem onderschept de vragen, berekent de "gelijkenis-honing" en past het antwoord direct aan. Als je het watermerk later wilt verwijderen, haal je het er gewoon weer uit. Geen hertraining nodig.

De Resultaten

Het artikel heeft dit getest tegen verschillende "dieven" (aanvallers), inclus�n. slimme aanvallers die weten dat de verdediging bestaat en proberen de data te zuiveren.

Robuustheid: Zelfs wanneer de dief probeert de data te verzachten of geavanceerde trucs gebruikt, blijft het "honingspoor" detecteerbaar.
Efficiëntie: Het vermindert drastisch het aantal vragen dat nodig is om eigendom te bewijzen.
Kosten: Het kost nul trainingstijd en nul geld om te implementeren.

Samenvatting

Neural Honeytrace is een nieuwe manier om AI-modellen te beschermen tegen diefstal. In plaats van een hard te vinden trigger af te dwingen, laat het een subtiel, wiskundig vloeiend "honingspoor" van gelijkenis achter in de antwoorden van het model. Dit spoor is zo effectief dat de eigenaar van het model kan bewijzen dat hij het gestolen model bezit met zeer weinig vragen, en dat kan doen zonder ooit het model opnieuw te hoeven trainen.

Technische Samenvatting: Neural Honeytrace

Probleemstelling

Model Extraction Attacks (MEA's) vormen een significante bedreiging voor de intellectuele eigendommen van Machine Learning as a Service (MLaaS)-aanbieders. Kwaadwillende actoren kunnen de functionaliteit van een slachtoffermodel reconstrueren door het te bevragen met zorgvuldig ontworpen inputs, waardoor het model effectief wordt gestolen zonder toegang tot de bijbehorende trainingsdata. Hoewel modelwatermerking is opgekomen als een primaire verdedigingsmechanisme—waarbij eigenaren eigendom kunnen claimen door triggerbare watermerken te activeren in gestolen modellen—staan bestaande benaderingen voor kritische beperkingen:

Gebrek aan Flexibiliteit: De meeste methoden vereisen uitgebreide hertraining van het model om watermerken in te bedden, wat ze ongeschikt maakt voor scenario's na de implementatie of voor modellen waarbij hertraining onmogelijk is.
Kwetsbaarheid voor Adaptieve Aanvallen: Bestaande watermerken falen vaak tegen adaptieve aanvallers die herstelmechanismen gebruiken (bijv. smoothing, label recovery) om verdedigingen te omzeilen.
Hoge Query-overhead: Huidige methoden vereisen vaak een prohibitief groot aantal queries om eigendom statistisch te verifiëren, vooral wanneer de succesrate van het watermerk (WSR) laag is onder aanval.

Methodologie: Neural Honeytrace

De auteurs stellen Neural Honeytrace voor, een plug-and-play, training-vrij watermerkframework. De methodologie is gebaseerd op een informatie-theoretische analyse van watermerktransmissie.

1. Theoretische Fundering

Het artikel herdefinieert watermerking als een berichttransmissieprobleem.

Inzicht 1 (Reverse Long-Tailed Effect): In tegenstelling tot traditionele backdoors die vertrouwen op discrete triggeractivatie, maakt Neural Honeytrace gebruik van het "long-tailed effect" van backdoor learning in omgekeerde richting. Het vestigt een vloeiende, probabilistische relatie tussen de gelijkenis van een input-query met een watermerk en de output-waarschijnlijkheid van het model. Dit stelt het systeem in staat om het watermerk te "transfereen" naar een surrogaatmodel zonder dat de trigger expliciet aanwezig hoeft te zijn in de trainingsdata van het surrogaatmodel.
Inzicht 2 (Kanaalcapaciteit): De auteurs modelleren het extractieproces als een communicatiekanaal. Ze stellen dat bestaande methoden falen onder adaptieve aanvallen omdat de bronrate (informatie vereist voor zowel taaklabels als watermerken) de kanaalcapaciteit overschrijdt. In hard-label settings wordt de kanaalcapaciteit volledig geconsumeerd door de taaklabels ( $R_{label} = H(X)$ ), waardoor er geen ruimte overblijft voor aanvullende watermerk-informatie ( $R_{wm}$ ), wat leidt tot onvermijdelijke transmissiefouten.

2. Het Framework

Neural Honeytrace werkt in vier stappen zonder de originele modeltraining te wijzigen:

Watermerkgeneratie: De verdediger houdt een pool van samengestelde in-distributie samples bij (bijv. samengevoegde benigne afbeeldingen) als watermerken.
Feature Extractie & Gelijkenisberekening: Bij ontvangst van een query extraheert het doelmodel features. Het systeem berekent de gelijkenis ( $s$ ) tussen de query en geregistreerde watermerken met behulp van de laatste feature-laag van het model.
Gelijkenis-inbedding (Logits Mixing): Het systeem bedt de gelijkenisinformatie in de output-logits door de originele logits te interpoleren met referentie-logits van de doelwatermerkklasse. Dit gebeurt via een mengfunctie: $l_{mix} = (1 - s^\alpha) \cdot l_{ori} + s^\alpha \cdot l_{ref}$ .
Multi-Step Transmissie (Label Flipping): Om de beperkingen van de kanaalcapaciteit te overwinnen, hanteert het framework een multi-step strategie. Op basis van de berekende gelijkenis wordt een waarschijnlijkheid-gestuurde label-flipping matrix geconstrueerd. Voor een set queries worden labels naar de doelklasse geflipt met een waarschijnlijkheid die afhankelijk is van de gelijkenis-score. Dit verdeelt de watermerk-informatie over de labelverdeling van een grote batch samples, waardoor de kanaalcapaciteit effectief wordt vergroot ( $C^* = N \cdot C$ ) om betrouwbare transmissie te garanderen, zelfs onder adaptieve aanvallen.

Belangrijkste Bijdragen

Training-vrij Framework: Neural Honeytrace is het eerste plug-and-play framework dat triggerbare watermerken inbedt zonder het model te hertrainen, wat naadloze toepassing en modificatie na implementatie mogelijk maakt.
Informatie-theoretisch Model: Het artikel stelt een formeel watermerktransmissiemodel op met behulp van informatietheorie, waarbij de kanaalcapaciteit-bottleneck wordt geïdentificeerd als de kernoorzaak van falen in adaptieve aanvalsscenario's.
Robuuste Multi-Step Strategie: Door over te stappen van single-step triggeractivatie naar multi-step probabilistische label flipping gebaseerd op feature-gelijkenis, bereikt de methode robuustheid tegen adaptieve aanvallen (zoals Smoothing, D-DAE, p-Bayes) terwijl de modelutiliteit behouden blijft.

Experimentele Resultaten

De auteurs evalueerden Neural Honeytrace op vier datasets (CIFAR-10, CIFAR-100, Caltech-256, CUB-200) tegen diverse aanvalsstrategieën, inclusief naïeve en adaptieve aanvallen (Smoothing, S4L, D-DAE, p-Bayes, Top-1).

Watermark Success Rate (WSR): Neural Honeytrace presteerde consistent beter dan de baselines (DAWN, EWE, Composite, MEA-Defender) in worst-case scenario's. Zo daalde de minimale WSR van MEA-Defender op CUB-200 naar 4,00% onder adaptieve aanvallen, terwijl Neural Honeytrace een minimale WSR van 25,60% behield.
Query-efficiëntie: Door de hogere WSR werd het aantal queries vereist voor eigendomsverificatie (via t-test) drastisch verminderd. In worst-case scenario's had Neural Honeytrace slechts 2% van de queries nodig die bestaande methoden vereisten (bijv. een reductie van ~193.000 queries voor MEA-Defender naar ~1.857 voor Neural Honeytrace op Caltech-256).
Modelutiliteit: Het framework bracht nul trainingskosten met zich mee. Tijdens de inferentiefase introduceerde het minimale computationele overhead, die verwaarloosbaar werd naarmate de datacomplexiteit toenam.
Robuustheid: De methode bleef effectief tegen data-vrije model extraction attacks en was resistent tegen backdoor detectie (BTI) en verwijdering (CLP) technieken.

Betekenis en Claims

Het artikel claimt dat Neural Honeytrace een flexibele en robuuste oplossing biedt voor het probleem van model extractie. De primaire betekenis ligt in:

Inzetbaarheid na Implementatie: Door het elimineren van de noodzaak tot hertraining lost het de flexibiliteitsproblemen op die inherent zijn aan huidige watermerkingsschema's, waardoor het toepasbaar is op getrainde modellen en live services.
Theoretische Rigor: Het gaat verder dan heuristische verdedigingen door een informatie-theoretische verklaring te bieden voor waarom vorige methoden falen en hoe men de kanaalcapaciteitslimieten kan overwinnen.
Praktische Efficiëntie: Het verlaagt de drempel voor modeleigenaren om eigendom te claimen aanzienlijk, door de verificatiekosten te reduceren van honderdduizenden queries naar een beheersbaar aantal duizenden, zelfs tegen geavanceerde adaptieve aanvallers.

De auteurs concluderen dat Neural Honeytrace een "naadloos" verdedigingsmechanisme biedt dat de beschikbaarheid van het model balanceert met sterke, verifieerbare eigendomsrechten, waarmee de kritieke tekortkomingen op het gebied van flexibiliteit en robuustheid uit eerdere werken worden geadresseerd.