🤖 AI

Neural Honeytrace: Plug&Play Watermarking Framework against Model Extraction Attacks

Neural Honeytrace ist ein Plug-and-Play-, trainingsfreies Watermarking-Framework, das eine mehrstufige Transmissionsstrategie auf Basis des Long-Tail-Effekts von Backdoor-Learning nutzt, um eine effiziente und robuste Eigentumsverifizierung gegen Model-Extraction-Angriffe bei minimalen Abfragekosten zu ermöglichen.

Ursprüngliche Autoren: Yixiao Xu, Binxing Fang, Rui Wang, Yinghai Zhou, Yuan Liu, Mohan Li, Zhihong Tian

Veröffentlicht 2026-01-22

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yixiao Xu, Binxing Fang, Rui Wang, Yinghai Zhou, Yuan Liu, Mohan Li, Zhihong Tian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das „Geheimrezept“ stehlen

Stellen Sie sich vor, Sie besitzen ein berühmtes Restaurant mit einem Geheimrezept für den weltweit besten Burger. Sie verkaufen nicht das Rezept, sondern lassen die Leute nur die Burger essen (dies entspricht einer „Model as a Service“ in der Tech-Welt).

Doch ein Dieb taucht auf. Er stiehlt nicht das Rezeptbuch, sondern bestellt stattdessen 10.000 Burger, schmeckt jeden einzelnen und schreibt genau auf, wie der Koch auf verschiedene Zutaten reagiert. Schließlich findet er das Rezept gut genug heraus, um seinen eigenen Burgerladen zu eröffnen, der fast identisch schmeckt wie Ihrer. Dies nennt man einen Model Extraction Attack (Modell-Extraktionsangriff).

Um dies zu verhindern, haben Restaurantbesitzer versucht, unsichtbare „Wasserzeichen“ in ihre Burger einzubauen. Wenn der Dieb einen konkurrierenden Laden eröffnet, kann der Besitzer einen Burger bestellen, das versteckte Wasserzeichen finden und beweisen: „Hey, das ist mein Rezept!“

Das Problem mit alten Wasserzeichen:

Sie erfordern eine neue Küche: Die meisten bestehenden Wasserzeichen erfordern, dass der Koch das ganze Rezept von Grund auf neu trainiert, was teuer und zeitaufwendig ist.
Sie sind zerbrechlich: Wenn der Dieb klug ist und versucht, den Burger zu „waschen“ (durch adaptive Angriffe), verschwindet das Wasserzeichen.
Sie sind schwer zu beweisen: Um die Eigentumsrechte zu beweisen, muss der Besitzer oft tausende Burger bestellen, um nur wenige mit dem Wasserzeichen zu finden. Es ist, als würde man nach der Nadel im Heuhaufen suchen.

Die Lösung: Neural Honeytrace

Die Autoren schlagen ein neues System namens Neural Honeytrace vor. Betrachten Sie es als eine „Plug-and-Play“-Honigfalle. Sie müssen nicht die Küche neu bauen oder den Koch neu trainieren. Sie fügen einfach eine spezielle Honigschicht zum Servierprozess hinzu.

So funktioniert es, unterteilt in drei einfache Konzepte:

1. Der „Long-Tailed“-Effekt (Die Honierspur)

In alten Zeiten waren Wasserzeichen wie ein spezifischer, schwer zu findender Auslöser (z. B. „Wenn der Burger einen Sesamkern auf der linken Seite hat, ist es meiner“). Diebe konnten diesen Auslöser leicht vermeiden.

Neural Honeytrace nutzt eine andere Idee, den „Long-Tailed-Effekt“.

Die Analogie: Stellen Sie sich vor, das Gehirn des Kochs ist so gut, dass selbst wenn Sie ihm einen Burger geben, der fast wie ein spezifischer „Wasserzeichen-Burger“ ist, er immer noch ganz leicht so reagiert, als wäre es dieser Burger.
Wie es funktioniert: Anstatt einen harten Auslöser zu erzwingen, erschafft das System eine sanfte „Honierspur“. Wenn der Burger des Diebes zu 90 % ähnlich wie ein Wasserzeichen ist, sorgt das System dafür, dass auch das Ergebnis zu 90 % dem geheimen Signal des Wasserzeichens ähnelt. Wenn er zu 50 % ähnlich ist, ist auch das Signal zu 50 % vorhanden.
Warum es hilft: Der Dieb muss den exakten Auslöser nicht kennen, um das Modell zu stehlen. Da die „Ähnlichkeit“ in die Mathematik eingebettet ist, stiehlt der Dieb versehentlich die Honierspur zusammen mit dem Rezept, selbst wenn er den ursprünglichen Auslöser nie sieht.

2. Die Informationstheorie (Das Bandbreitenproblem)

Den Autoren wurde klar, dass frühere Wasserzeichen scheiterten, weil sie versuchten, zu laut über den Lärm zu schreien.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine geheime Nachricht (das Wasserzeichen) durch einen verrauschten Funkkanal (das gestohlene Modell des Diebes) zu senden. Wenn die Nachricht zu laut oder komplex ist, wird sie vom Rauschen übertönt, oder der „Reinigungsprozess“ des Diebes entfernt sie.
Die Lösung: Neural Honeytrace erkennt, dass das Modell des Diebes gut darin ist, das Hauptrezept (den Geschmack des Burgers) zu kopieren, aber Schwierigkeiten hat, die subtile „Honierspur“ der Ähnlichkeit perfekt zu kopieren. Indem das System die Wasserzeichen-Nachricht über viele kleine Interaktionen verteilt, anstatt einen einzigen lauten Schrei abzugeben, stellt das System sicher, dass die Nachricht durchkommt, selbst wenn der Dieb versucht, sie herauszufiltern.

3. Die „Mehrstufige“ Übertragung (Der Wabenstock)

Anstatt zu versuchen, das Eigentum mit ein oder zwei Burgern zu beweisen, verteilt Neural Honeytrace den Beweis über einen ganzen Bienenstock.

Die Analogie: Wenn Sie beweisen wollen, dass Ihnen ein Bienenstock gehört, suchen Sie nicht nur nach einer einzelnen Biene. Sie schauen sich das Muster des gesamten Stocks an.
Wie es funktioniert: Das System bettet das Wasserzeichen in die Wahrscheinlichkeit der Antworten ein. Wenn der Dieb das Modell tausende Male abfragt, wird das Muster ihrer Antworten statistisch gesehen die Honierspur offenbaren.
Das Ergebnis: Die Autoren behaupten, dass dies unglaublich effizient ist. Während alte Methoden im schlimmsten Fall erfordern könnten, dass der Besitzer 6 Millionen Burger bestellt, um das Eigentum zu beweisen, benötigt Neural Honeytrace nur etwa 590. Das ist eine Reduktion auf nur 2 % des Aufwands, den andere Methoden benötigen.

Warum es besonders ist (Das „Plug-and-Play“-Feature)

Das größte Verkaufsargument ist, dass Sie das Modell nicht neu trainieren müssen.

Der alte Weg: Um ein Wasserzeichen hinzuzufügen, mussten Sie zurück in das Labor, neue Chemikalien mischen und die gesamte Charge der Modelle neu backen.
Neural Honeytrace: Es funktioniert wie ein Plugin. Sie können ein Modell nehmen, das bereits im Einsatz ist (bereits in Betrieb), und das System fängt die Anfragen ab, berechnet die „Ähnlichkeits-Honierspur“ und passt die Antwort in Echtzeit an. Wenn Sie das Wasserzeichen später entfernen möchten, ziehen Sie es einfach ab. Kein Retraining nötig.

Die Ergebnisse

Das Paper hat sich gegen verschiedene „Diebe“ (Angreifer) getestet, einschließlich sehr intelligenter Angreifer, die wissen, dass die Verteidigung existiert, und versuchen, die Daten zu bereinigen.

Robustheit: Selbst wenn der Dieb versucht, die Daten zu glätten oder fortgeschrittene Tricks anzuwenden, bleibt die „Honierspur“ nachweisbar.
Effizienz: Es reduziert die Anzahl der Abfragen, die zur Beweisführung des Eigentums nötig sind, drastisch.
Kosten: Es kostet null Trainingszeit und kein Geld für die Implementierung.

Zusammenfassung

Neural Honeytrace ist ein neuer Weg, KI-Modelle vor Diebstahl zu schützen. Anstatt einen schwer zu findenden, harten Auslöser zu erzwingen, hinterlässt es eine subtile, mathematisch glatte „Honierspur“ der Ähnlichkeit in den Antworten des Modells. Diese Spur ist so effektiv, dass der Besitzer des Modells das Eigentum an dem gestohlenen Modell mit sehr wenigen Fragen beweisen kann – und das, ohne das Modell jemals neu trainieren zu müssen.

Technisches Resümee: Neural Honeytrace

Problemstellung

Model Extraction Attacks (MEAs) stellen eine erhebliche Bedrohung für das geistige Eigentum von Anbietern von Machine Learning as a Service (MLaaS) dar. Böswillige Akteure können die Funktionalität eines Opfermodells rekonstruieren, indem sie es mit sorgfältig gestalteten Eingaben abfragen, wodurch sie das Modell effektiv stehlen, ohne Zugriff auf dessen Trainingsdaten zu haben. Während Modell-Wasserzeichen als primärer Verteidigungsmechanismus hervorgetreten sind – um Eigentumsansprüche zu untermauern, indem triggerbare Wasserzeichen in gestohlenen Modellen aktiviert werden –, stehen bestehende Ansätze vor kritischen Einschränkungen:

Mangelnde Flexibilität: Die meisten Methoden erfordern ein umfangreiches Retraining des Modells, um Wasserzeichen einzubetten, was sie für Post-Deployment-Szenarien oder Modelle, bei denen ein Retraining nicht praktikabel ist, ungeeignet macht.
Anfälligkeit gegenüber adaptiven Angriffen: Bestehende Wasserzeichen versagen oft gegenüber adaptiven Angreifern, die Rekuperationsmechanismen (z. B. Glättung, Label-Rekuperation) einsetzen, um die Verteidigung zu umgehen.
Hoher Abfrageaufwand: Aktuelle Methoden erfordern oft eine prohibitiv hohe Anzahl an Abfragen, um die Eigentümerschaft statistisch zu verifizieren, insbesondere wenn die Erfolgsrate des Wasserzeichens (WSR) unter Angriff gering ist.

Methodik: Neural Honeytrace

Die Autoren schlagen Neural Honeytrace vor, ein Plug-and-Play-, trainingsfreies Wasserzeichen-Framework. Die Methodik basiert auf einer informationstheoretischen Analyse der Wasserzeichenübertragung.

1. Theoretische Grundlage

Das Paper definiert Wasserzeichen als ein Nachrichtenübertragungsproblem neu.

Einblick 1 (Reverse Long-Tailed Effect): Im Gegensatz zu traditionellen Backdoors, die auf der Aktivierung diskreter Trigger beruhen, nutzt Neural Honeytrace den „Long-Tailed Effect“ des Backdoor-Learnings in umgekehrter Weise. Es etabliert eine glatte, probabilistische Beziehung zwischen der Ähnlichkeit einer Eingabeabfrage zum Wasserzeichen und der Ausgabewahrscheinlichkeit des Modells. Dies ermöglicht es, das Wasserzeichen auf ein Surrogatmodell zu „übertragen“, ohne dass der Trigger jemals explizit in den Trainingsdaten des Surrogats vorhanden sein muss.
Einblick 2 (Kanalkapazität): Die Autoren modellieren den Extraktionsprozess als Kommunikationskanal. Sie argumentieren, dass bestehende Methoden unter adaptiven Angriffen scheitern, weil die Quellrate (die Information, die sowohl für Aufgaben-Labels als auch für Wasserzeichen benötigt wird) die Kanalkapazität überschreitet. In Hard-Label-Settings wird die Kanalkapazität vollständig durch die Aufgaben-Labels konsumiert ( $R_{label} = H(X)$ ), wodurch kein Raum für zusätzliche Wasserzeichen-Informationen ( $R_{wm}$ ) bleibt, was zu unvermeidlichen Übertragungsfehlern führt.

2. Das Framework

Neural Honeytrace operiert in vier Schritten, ohne das ursprüngliche Modelltraining zu modifizieren:

Wasserzeichen-Generierung: Der Verteidiger unterhält einen Pool aus zusammengesetzten In-Distribution-Proben (z. B. zusammengesetzte Benign-Bilder) als Wasserzeichen.
Merkmalsextraktion & Ähnlichkeitsberechnung: Beim Erhalt einer Abfrage extrahiert das Zielmodell Merkmale. Das System berechnet die Ähnlichkeit ( $s$ ) zwischen der Abfrage und den registrierten Wasserzeichen unter Verwendung der letzten Feature-Schicht des Modells.
Ähnlichkeitseinbettung (Logits Mixing): Das System bettet die Ähnlichkeitsinformation in die Ausgangs-Logits ein, indem es die ursprünglichen Logits mit den Referenz-Logits der Ziel-Wasserzeichenklasse interpoliert. Dies geschieht über eine Mischfunktion: $l_{mix} = (1 - s^\alpha) \cdot l_{ori} + s^\alpha \cdot l_{ref}$ .
Mehrstufige Übertragung (Label Flipping): Um die Einschränkungen der Kanalkapazität zu überwinden, setzt das Framework eine mehrstufige Strategie ein. Basierend auf der berechneten Ähnlichkeit wird eine Wahrscheinlichkeits-gesteuerte Label-Flipping-Matrix konstruiert. Für eine Menge von Abfragen werden Labels mit einer Wahrscheinlichkeit zur Zielklasse geflippt, die von der Ähnlichkeitsbewertung abhängt. Dies verteilt die Wasserzeichen-Information über die Label-Verteilung einer großen Batch von Proben und erhöht so effektiv die Kanalkapazität ( $C^* = N \cdot C$ ), um eine zuverlässige Übertragung selbst unter adaptiven Angriffen zu gewährleisten.

Zentrale Beiträge

Trainingsfreies Framework: Neural Honeytrace ist das erste Plug-and-Play-Framework, das triggerbare Wasserzeichen ohne Retraining des Modells einbettet, was eine nahtlose Anwendung nach dem Deployment und Modifikationen ermöglicht.
Informationstheoretisches Modell: Das Paper etabliert ein formales Wasserzeichen-Übertragungsmodell mittels Informationstheorie und identifiziert die Engpassstelle der Kanalkapazität als Hauptursache für das Scheitern in adaptiven Angriffsszenarien.
Robuste Mehrstufige Strategie: Durch den Übergang von der einstufigen Trigger-Aktivierung zur mehrstufigen, auf Merkmalsähnlichkeit basierenden probabilistischen Label-Flipping-Strategie erreicht die Methode Robustheit gegenüber adaptiven Angriffen (z. B. Smoothing, D-DAE, p-Bayes) bei gleichzeitiger Aufrechterhaltung der Modellutilität.

Experimentelle Ergebnisse

Die Autoren evaluierten Neural Honeytrace auf vier Datensätzen (CIFAR-10, CIFAR-100, Caltech-256, CUB-200) gegen verschiedene Angriffsstrategien, einschließlich naiver und adaptiver Angriffe (Smoothing, S4L, D-DAE, p-Bayes, Top-1).

Wasserzeichen-Erfolgsrate (WSR): Neural Honeytrace übertraf die Baselines (DAWN, EWE, Composite, MEA-Defender) in Worst-Case-Szenarien konsistent. Beispielsweise sank die minimale WSR von MEA-Defender unter adaptiven Angriffen auf 4,00 %, während Neural Honeytrace eine minimale WSR von 25,60 % beibehielt (auf CUB-200).
Abfrageeffizienz: Aufgrund der höheren WSR wurde die Anzahl der Abfragen zur Verifizierung der Eigentümerschaft (via t-Test) drastisch reduziert. In Worst-Case-Szenarien benötigte Neural Honeytrace nur 2 % der Abfragen, die bestehende Methoden erforderten (z. B. Reduzierung von ca. 193.000 Abfragen für MEA-Defender auf ca. 1.857 für Neural Honeytrace auf Caltech-256).
Modellutilität: Das Framework verursachte keine Trainingskosten. In der Inferenzphase führte es einen minimalen Rechenaufwand ein, der mit zunehmender Datenkomplexität vernachlässigbar wurde.
Robustheit: Die Methode blieb gegen datenfreie Model-Extraction-Angriffe effektiv und war resistent gegen Backdoor-Detektions- (BTI) und Entfernungsverfahren (CLP).

Bedeutung und Behauptungen

Das Paper behauptet, dass Neural Honeytrace eine flexible und robuste Lösung für das Problem der Modellextraktion bietet. Seine primäre Bedeutung liegt in:

Post-Deployment-Verfügbarkeit: Durch den Verzicht auf ein Retraining löst es das Flexibilitätsproblem aktueller Wasserzeichen-Schemata und macht es für vortrainierte Modelle und Live-Dienste anwendbar.
Theoretische Stringenz: Es geht über heuristische Verteidigungen hinaus, indem es eine informationstheoretische Erklärung dafür liefert, warum bisherige Methoden scheitern und wie man die Kanalkapazitätsgrenzen überwindet.
Praktische Effizienz: Es senkt erheblich die Hürde für Modelleigentümer, ihre Eigentumsrechte geltend zu machen, indem es die Verifizierungskosten von Hunderttausenden von Abfragen auf einige wenige Tausend reduziert, selbst gegenüber anspruchsvollen adaptiven Angreifern.

Die Autoren kommen zu dem Schluss, dass Neural Honeytrace einen „nahtlosen“ Verteidigungsmechanismus bietet, der die Modellverfügbarkeit mit starken, verifizierbaren Eigentumsrechten in Einklang bringt und die kritischen Lücken in Flexibilität und Robustheit bisheriger Ansätze schließt.