🤖 AI

Fingerprinting Deep Neural Networks for Ownership Protection: An Analytical Approach

Die Arbeit stellt AnaFP vor, ein analytisches Verfahren zum Schutz des Urheberrechts von Deep-Learning-Modellen, das durch mathematische Herleitung einen theoretisch fundierten Bereich für den Abstand von Fingerabdrücken zur Entscheidungsgrenze bestimmt, um gleichzeitig Robustheit und Einzigartigkeit zu gewährleisten.

Ursprüngliche Autoren: Guang Yang, Ziye Geng, Yihang Chen, Changqing Luo

Veröffentlicht 2026-03-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Guang Yang, Ziye Geng, Yihang Chen, Changqing Luo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen fantastischen, einzigartigen Kuchen gebacken – deinen eigenen Deep-Learning-Modell-Kuchen. Du hast Jahre damit verbracht, die perfekte Rezeptur (die Gewichte und Schichten) zu entwickeln. Aber plötzlich tauchen Diebe auf, die dir den Kuchen stehlen, ihn leicht umschmieren (damit er nicht sofort als gestohlen erkannt wird) und ihn dann als ihren eigenen verkaufen.

Das ist das Problem, das dieses Papier mit dem Titel "AnaFP" lösen will. Es geht darum, wie man einen unsichtbaren, aber unzerstörbaren "Stempel" in den Kuchen drückt, um zu beweisen: "Hey, dieser Kuchen gehört mir!"

Hier ist die einfache Erklärung, wie AnaFP funktioniert, ohne komplizierte Mathematik:

1. Das Problem: Der "Goldilocks"-Effekt (Nicht zu nah, nicht zu weit)

Bisherige Methoden versuchten, diesen Stempel zu setzen, indem sie kleine "Störungen" (wie ein winziges Krümelchen) in das Bild eines Objekts (z. B. eine Katze) einbrachten, sodass das Modell die Katze plötzlich als "Hund" erkennt.

Das Problem dabei war ein Dilemma:

Zu nah am Rand: Wenn du den Stempel genau auf die Grenze zwischen "Katze" und "Hund" setzt, ist er sehr einzigartig. Aber! Wenn der Dieb den Kuchen nur ein bisschen umrührt (z. B. durch Feinabstimmung), verschwindet der Stempel sofort. Er ist nicht robust.
Zu weit weg: Wenn du den Stempel weit weg von der Grenze setzt, ist er sicher gegen Umwälzungen. Aber dann könnte es sein, dass ein völlig anderer Bäcker, der einen eigenen Kuchen gebacken hat, denselben Stempel auch auf seinem Kuchen hat. Er ist nicht einzigartig.

Bisher mussten die Forscher raten ("Hoffentlich ist es genau richtig"). AnaFP sagt: "Nein, wir rechnen das aus!"

2. Die Lösung: AnaFP – Der mathematische Bauplan

AnaFP ist wie ein Architekt, der nicht rät, sondern die genauen Maße für den Stempel berechnet.

Schritt 1: Die perfekten Anker finden
Stell dir vor, du suchst nach dem perfekten Platz für deinen Stempel. AnaFP sucht sich zuerst Bilder aus, bei denen dein Modell absolut sicher ist (z. B. eine Katze, bei der das Modell zu 99,9% "Katze" sagt). Diese sind die "Anker".

Schritt 2: Den minimalen Stoß berechnen
AnaFP berechnet den kleinstmöglichen Stoß, der nötig ist, damit dein Modell von "Katze" auf "Hund" umschaltet. Das ist der Punkt genau auf der Grenze.

Schritt 3: Der "Dehn-Faktor" (Der Stretch Factor)
Jetzt kommt der Clou. AnaFP sagt: "Okay, wir gehen nicht genau auf die Grenze, sondern ein Stückchen weiter weg." Aber wie weit?
Hier kommt der Dehn-Faktor ins Spiel. Stell dir vor, du hast einen Gummiband.

Du musst es lang genug dehnen, damit es nicht reißt, wenn der Dieb den Kuchen umrührt (Robustheit).
Aber du musst es nicht zu lang dehnen, damit es nicht auf dem Kuchen eines anderen Bäckers landet (Einzigartigkeit).

AnaFP berechnet theoretisch genau, wie weit dieses Gummiband gedehnt werden darf. Es gibt eine untere Grenze (zu kurz = zerbricht bei Angriffen) und eine obere Grenze (zu lang = wird von anderen Bäckern kopiert).

Schritt 4: Der sichere Bereich
Da man nicht jeden möglichen Dieb und jeden anderen Bäcker in der Welt testen kann, nutzt AnaFP eine "Stichprobe". Es baut zwei kleine Modell-Gruppen:

Eine Gruppe von "gestohlenen" Versionen (die Diebe).
Eine Gruppe von "unabhängigen" Versionen (andere Bäcker).

Es testet den Dehn-Faktor an diesen Gruppen. Wenn er für die Diebe funktioniert und für die anderen Bäcker nicht, dann ist er perfekt. AnaFP sucht dann den "sweet spot" in diesem erlaubten Bereich.

3. Warum ist das besser als alles andere?

Kein Raten: Andere Methoden probieren einfach verschiedene Entfernungen aus. AnaFP berechnet die sichere Zone.
Robustheit: Selbst wenn der Dieb den Kuchen schneidet, neu formt oder mit anderen Zutaten vermischt (was man "Modifikationsangriffe" nennt), bleibt der Stempel sichtbar.
Einzigartigkeit: Ein völlig anderer Bäcker, der einen ähnlichen Kuchen gebacken hat, wird diesen Stempel nicht haben.

Zusammenfassung in einer Metapher

Stell dir vor, du willst ein Schloss an deine Tür bauen.

Andere Methoden: Sie bauen ein Schloss, das vielleicht zu leicht zu knacken ist oder so schwer, dass es den Schlüsselblockiert. Sie bauen es einfach "so gut es geht".
AnaFP: AnaFP ist wie ein Schlossbauer, der erst die Dicke des Holzes misst, die Kraft des Diebes berechnet und dann genau berechnet, wie dick der Bolzen sein muss, damit er weder durchbricht noch klemmt.

Das Ergebnis: AnaFP schafft es, die Eigentumsrechte von KI-Modellen so zu schützen, dass man sie auch dann noch nachweisen kann, wenn jemand versucht, das Modell zu verstecken oder zu verändern. Es ist ein mathematisch fundierter, sicherer und zuverlässiger Weg, um zu sagen: "Dieses Modell ist meins!"

1. Problemstellung

Deep Neural Networks (DNNs) sind zunehmend von Modellpiraterie bedroht. Angreifer können Modelle stehlen, diese durch performance-erhaltende Modifikationsangriffe (z. B. Feinabstimmung, Pruning, Knowledge Distillation) verändern, um die Erkennung zu umgehen, und sie als Black-Box-Dienste weiterverbreiten.

Bestehende Fingerprinting-Ansätze, die auf adversariellen Beispielen basieren, nutzen die einzigartigen Entscheidungsgrenzen eines Modells, um Fingerabdrücke zu erstellen. Ein fundamentales, bisher ungelöstes Problem besteht jedoch darin, wie weit ein Fingerabdruck von der Entscheidungsgrenze entfernt platziert werden muss, um zwei widersprüchliche Anforderungen gleichzeitig zu erfüllen:

Robustheit: Der Fingerabdruck muss auch nach Modifikationsangriffen vom gestohlenen Modell korrekt vorhergesagt werden. Dies erfordert eine größere Distanz zur Entscheidungsgrenze.
Einzigartigkeit (Uniqueness): Der Fingerabdruck darf nicht von unabhängig trainierten Modellen korrekt vorhergesagt werden. Dies erfordert eine geringe Distanz zur Entscheidungsgrenze des geschützten Modells.

Bisherige Arbeiten verlassen sich auf empirische Heuristiken zur Bestimmung dieser Distanz, was theoretisch nicht fundiert ist und zu Verletzungen von Robustheit oder Einzigartigkeit führen kann.

2. Methodik: AnaFP

Die Autoren schlagen AnaFP (Analytical adversarial-example-based FingerPrinting) vor, einen analytischen Ansatz, der die Erstellung von Fingerabdrücken theoretisch fundiert steuert. Der Prozess gliedert sich in vier Hauptschritte:

Schritt 1: Auswahl hochkonfidenzter Anker (Anchors)

Aus dem Trainingsdatensatz werden hochkonfidente Samples ausgewählt, bei denen das geschützte Modell $P$ eine hohe Logit-Marge (Unterschied zwischen der höchsten und zweithöchsten Klasse) aufweist. Diese dienen als Ankerpunkte, da sie für unabhängig trainierte Modelle ebenfalls mit hoher Wahrscheinlichkeit korrekt klassifiziert werden (Stärkung der Einzigartigkeit).

Schritt 2: Berechnung minimaler perturbierter Punkte

Für jeden Anker wird eine minimale Perturbation $\delta^*$ berechnet, die die Vorhersage des geschützten Modells ändert (d.h. das Sample über die Entscheidungsgrenze schiebt). Dies wird als $q = x_a + \delta^*$ bezeichnet und liegt direkt auf der Entscheidungsgrenze.

Schritt 3: Theoretische Bestimmung des Stretch-Faktors ( $\tau$ )

Da Punkte auf der Grenze ( $q$ ) anfällig für Verschiebungen durch Angriffe sind, wird die Perturbation um einen Stretch-Faktor $\tau > 1$ gestreckt, um den Fingerabdruck $x^* = x_a + \tau \delta^*$ weiter von der Grenze wegzubewegen.
Das Kernstück von AnaFP ist die mathematische Herleitung eines zulässigen Intervalls $[\tau_{lower}, \tau_{upper}]$ für $\tau$ :

Untere Schranke ( $\tau_{lower}$ ): Gewährleistet Robustheit gegen Modifikationsangriffe. Sie hängt vom maximalen Logit-Shift ( $\epsilon_{logit}$ ) ab, den ein Angreifer verursachen kann.
Obere Schranke ( $\tau_{upper}$ ): Gewährleistet Einzigartigkeit gegenüber unabhängig trainierten Modellen. Sie hängt von der minimalen Logit-Marge ( $m_{min}$ ) und der lokalen Lipschitz-Konstante ( $L_{uniq}$ ) unabhängiger Modelle ab.

Herausforderungen und Lösungen:

Unendliche Mengen: Die theoretischen Mengen an gestohlenen ( $V_P$ $V_{P}$ ) und unabhängigen Modellen ( $I_P$ $I_{P}$ ) sind unendlich.
- Lösung: Approximation durch zwei endliche Surrogat-Modell-Pools (ein Pool für gestohlene Varianten, einer für unabhängig trainierte Modelle).
Überkonservatismus: Die Nutzung von Worst-Case-Schätzwerten führt oft zu leeren Intervallen.
- Lösung: Eine quantilbasierte Relaxierungsstrategie. Anstatt Extremwerte zu nutzen, werden Parameter basierend auf Quantilen (z.B. 0.5-Quantil) der Surrogat-Pools geschätzt, um das Intervall zu erweitern.
Zirkuläre Abhängigkeit: Die untere Schranke $\tau_{lower}$ $τ_{l o w er}$ hängt implizit vom gewählten $\tau$ $τ$ ab (da der Logit-Shift am Punkt $x^*$ $x^{*}$ berechnet wird).
- Lösung: Eine Grid-Search-Strategie innerhalb des zulässigen Intervalls, um den optimalen $\tau$ zu finden, der beide Constraints erfüllt und den Abstand zu den Grenzen maximiert (maximale Toleranz gegenüber Schätzfehlern).

Schritt 4: Erstellung des Fingerabdruck-Sets

Die gestreckten Perturbationen werden auf die Anker angewendet, um die endgültigen Fingerabdrücke $(x^*, y^*)$ zu generieren, wobei $y^*$ die vom geschützten Modell vorhergesagte Klasse ist.

Verifizierungsprotokoll

Ein verdächtiges Modell $S$ wird mit den Fingerabdrücken abgefragt. Die Übereinstimmungsrate (Anzahl der korrekten Vorhersagen von $S$ geteilt durch die Gesamtzahl der Fingerabdrücke) wird berechnet. Liegt diese über einem Schwellenwert $\theta$ , wird das Modell als gestohlen klassifiziert.

3. Hauptbeiträge

Theoretische Fundierung: Erstmals wird ein analytischer Rahmen zur Bestimmung der Distanz zwischen Fingerabdruck und Entscheidungsgrenze vorgestellt, der Robustheit und Einzigartigkeit mathematisch verknüpft.
Admissibles Intervall: Die Herleitung von oberen und unteren Schranken für den Stretch-Faktor $\tau$ , die ein theoretisch sicheres Intervall definieren.
Praktische Machbarkeit: Entwicklung von Strategien (Surrogat-Pools, Quantil-Relaxierung, Grid Search), um die theoretischen Grenzen in der Praxis anwendbar zu machen.
Überlegene Leistung: AnaFP übertrifft bestehende Methoden (wie UAP, IPGuard, MarginFinger) konsistent in verschiedenen Szenarien.

4. Ergebnisse

Die Autoren führten umfangreiche Experimente mit CNNs (CIFAR-10/100), MLPs (MNIST) und GNNs (PROTEINS) durch.

Diskriminierungsfähigkeit: AnaFP erreicht in allen Testszenarien die höchste Area Under the Curve (AUC) (z.B. 0.957 auf CIFAR-10, 0.963 auf MNIST), was eine fast perfekte Trennung zwischen gestohlenen und unabhängig trainierten Modellen bedeutet.
Robustheit gegen Angriffe: AnaFP zeigt hohe Robustheit gegen sieben verschiedene performance-erhaltende Angriffe, darunter Pruning, Feinabstimmung (Fine-tuning), Knowledge Distillation (KD) und Adversarial Training. Selbst bei komplexen Kombinationen wie „Prune-KD" bleibt AnaFP den Baselines überlegen.
Sensitivitätsanalyse:
- Die Methode ist robust gegenüber der Größe und Vielfalt der Surrogat-Pools (schon 6 Modelle pro Pool reichen für stabile Ergebnisse).
- Die Wahl der Quantil-Schwellenwerte hat nur einen moderaten Einfluss, solange sie nicht zu streng oder zu locker gewählt werden.
Effizienz: Obwohl AnaFP aufgrund der parallelen Verarbeitung und Grid-Search einen höheren Speicherbedarf (bis zu 40 GB GPU-Speicher bei großen Modellen) und eine längere Laufzeit hat als einige Baselines, ist die Laufzeit auf modernen GPUs (A100) akzeptabel und die Methode einmalig durchführbar.

5. Bedeutung

Das Paper adressiert eine kritische Lücke im Bereich des DNN-Schutzes. Während frühere Arbeiten auf trial-and-error-Methoden setzten, bietet AnaFP einen theoretisch fundierten, analytischen Ansatz. Dies ermöglicht:

Zuverlässigere IP-Schutzmechanismen: Durch die garantierte Einhaltung von Robustheit und Einzigartigkeit wird die Wahrscheinlichkeit von Falschpositiven (unabhängige Modelle als gestohlen markiert) und Falschnegativen (gestohlene Modelle nicht erkannt) minimiert.
Generalisierung: Die Methode funktioniert effektiv über verschiedene Architekturen (CNN, MLP, GNN) und Datensätze hinweg.
Widerstandsfähigkeit: AnaFP bleibt auch unter starken, realistischen Angriffsszenarien (wie Knowledge Distillation, die oft die interne Struktur zerstört) effektiv.

Zusammenfassend stellt AnaFP einen bedeutenden Fortschritt dar, der den Übergang von heuristischen zu analytisch gesteuerten Fingerprinting-Verfahren für Deep Learning-Modelle markiert.