🤖 machine learning

COPYCOP: Ownership Verification for Graph Neural Networks

Die Arbeit stellt CopyCop vor, einen robusten Algorithmus mit theoretischen Garantien, der die Eigentumsrechte von Graph-Neural-Networks verifiziert, indem er feststellt, ob zwei Modelle mit unterschiedlichen Architekturen, Gewichten oder Einbettungsdimensionen unabhängig voneinander trainiert wurden oder ob eines ein adversäres Kopiermodell ist, und der bestehende Wasserzeichen- und Fingerabdruckverfahren über 14 Datensätze hinweg übertrifft.

Ursprüngliche Autoren: Rahul Nandakumar, Deepayan Chakrabarti

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Rahul Nandakumar, Deepayan Chakrabarti

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der eine geheime, signaturhafte Sauce entwickelt hat. Sie verkaufen diese Sauce Restaurants als Service: Sie senden Ihnen eine Liste von Zutaten (einen Graphen), und Sie senden ein einzigartiges Geschmacksprofil (eine Einbettung) zurück, das sie verwenden können, um ihre eigenen Gerichte zuzubereiten.

Das Problem? Ein hinterhältiger Konkurrent könnte versuchen, Ihr Rezept zu stehlen. Er muss nicht in Ihre Küche einbrechen; er bestellt einfach tausend Proben Ihrer Sauce, probiert sie und versucht dann, seine eigene Version zu kochen, die genau gleich schmeckt. Um es noch schwieriger zu machen, ihn zu fassen, könnte er die Farbe der Sauce ändern, sie in einer anderen Schüssel servieren oder sie sogar leicht verwässern, in der Hoffnung, dass Sie nicht merken, dass es eine Kopie ist.

Dies ist das Problem, das COPYCOP löst. Es ist ein neues „forensisches Werkzeug", das entwickelt wurde, um diese Nachahmerköche (oder in der Tech-Welt „Surrogat"-KI-Modelle) zu fassen, selbst wenn sie versuchen, ihren Diebstahl zu verschleiern.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Die alten Methoden funktionierten nicht

Zuvor versuchten Menschen, Diebe auf zwei Arten zu fassen, wobei beide Mängel aufwiesen:

Die „Wasserzeichen"-Methode: Der Koch fügt heimlich einen winzigen, unsichtbaren Glitzersplitter in die Sauce hinzu. Wenn die Sauce des Konkurrenten den Glitzer enthält, ist er überführt.
- Der Mangel: Der Dieb kann einfach die Sauce bestellen, sie probieren und den Geschmack ohne den Glitzer nachkochen. Er ignoriert den geheimen Splitter völlig.
Die „Fingerabdruck"-Methode: Der Koch vergleicht die Textur der Sauce des Opfers mit der des Verdächtigen.
- Der Mangel: Wenn der Dieb die Sauce in eine anders geformte Schüssel gießt oder die Temperatur ändert, sieht die Textur anders aus, selbst wenn der Geschmack gleich ist. Die alten Werkzeuge konnten nicht zwischen einer echten Veränderung und einer falschen Verschleierung unterscheiden.

2. Die COPYCOP-Lösung: Die „statischen Punkte" finden

COPYCOP verfolgt einen völlig anderen Ansatz. Anstatt die Sauce selbst (die Ausgabe) zu betrachten, untersucht es, wie die Sauce reagiert, wenn man sie stößt.

Stellen Sie sich einen Teigballen (das KI-Modell) vor. Wenn Sie ihn sanft in eine Richtung drücken, könnte er sich quetschen und die Form ändern. Aber es gibt bestimmte, spezifische Stellen auf dem Teig, an denen, wenn man sie drückt, gar nichts passiert. Der Teig bewegt sich nicht. Diese nennt man „statische Punkte".

Die magische Erkenntnis: Die Arbeit beweist, dass diese „statischen Punkte" wie die DNA des Rezepts sind. Selbst wenn der Dieb die Schüssel, die Temperatur oder die Farbe der Sauce ändert (Transformationen), bleibt der Ort dieser „statischen Punkte" exakt gleich.
Der Test:
1. COPYCOP bittet den Opferkoch (das ursprüngliche Modell), diese „statischen Punkte" in seinem Teig zu finden.
2. Es bittet dann den Verdächtigenkoch (das fragliche Modell), die „statischen Punkte" in seinem Teig zu finden.
3. Das Urteil: Wenn die „statischen Punkte" des Verdächtigen perfekt mit denen des Opfers übereinstimmen, ist der Verdächtige ein Nachahmer. Wenn die Punkte an verschiedenen Orten liegen, ist der Verdächtige wahrscheinlich ein unabhängiger Koch, der zufällig eine ähnlich schmeckende Sauce hergestellt hat.

3. Warum es Diebe so gut fängt

Die Arbeit behauptet, COPYCOP sei unglaublich robust, weil:

Es die Verschleierung ignoriert: Egal, ob der Dieb die Sauce dreht, hochskaliert oder die Abmessungen der Schüssel ändert, die „statischen Punkte" bleiben an ihrem Platz.
Es die Küche nicht sehen muss: Sie müssen nicht das geheime Rezept des Diebes (Gewichte oder Architektur) sehen. Sie müssen nur sehen, was aus seinem Topf kommt.
Es funktioniert, selbst wenn sie versuchen, sich zu verstecken: Der Dieb kann diese Punkte nicht leicht fälschen. Um dies zu tun, müsste er die Reaktion des Opfers auf jeden möglichen „Stoß" perfekt nachahmen, was mathematisch unmöglich ist, es sei denn, er hat tatsächlich das Rezept gestohlen.

4. Die Ergebnisse

Die Forscher testeten dieses „forensische Werkzeug" an 14 verschiedenen Datentypen (wie sozialen Netzwerken, Molekülen und Finanzdaten) und 5 verschiedenen KI-Modelltypen.

Genauigkeit: Es identifizierte Nachahmer fast 100 % der Zeit korrekt, selbst wenn die Diebe versuchten, ihre Modelle zu drehen, zu skalieren oder zu verzerren.
Vergleich: Es überragte die alten „Wasserzeichen"-Methoden, die versagten, wenn der Dieb den geheimen Glitzer einfach ignorierte. Es schlug auch die alten „Fingerabdruck"-Methoden, die durch einfache Änderungen wie Rotation verwirrt wurden.

Zusammenfassung

Denken Sie an COPYCOP als einen Detektiv, der nicht die Kleidung des Verdächtigen betrachtet (die geändert werden kann) oder seine Stimme (die verschleiert werden kann). Stattdessen bittet der Detektiv den Verdächtigen, auf einem bestimmten, unsichtbaren Punkt auf dem Boden zu stehen. Wenn er auf dem exakt gleichen unsichtbaren Punkt steht wie der ursprüngliche Besitzer, egal wie er gekleidet ist, ist er schuldig des Kopierens. Wenn er woanders steht, ist er unschuldig.

Diese Methode ermöglicht es Eigentümern von KI-Modellen, ihr Eigentum nachzuweisen und Diebe zu fassen, selbst wenn diese Diebe versuchen, ihre gestohlene Arbeit vollständig zu verschleiern.

Technisches Fazit: COPYCOP – Eigentumsverifikation für Graph-Neuronale Netze

1. Problemstellung

Der Beitrag adressiert das kritische Problem der Eigentumsverifikation für Graph-Neuronale Netze (GNNs), die als „Embeddings-as-a-Service" bereitgestellt werden. In diesem Szenario stellt ein Opfermodell $M$ Knoten-Embeddings für nachgelagerte Aufgaben bereit. Ein Angreifer kann einen Modell-Extraktionsangriff durchführen, indem er $M$ auf zahlreichen Graphen abfragt, Eingabe-Ausgabe-Paare sammelt und ein Surrogatmodell $Z$ trainiert, um diese Embeddings nachzuahmen.

Die zentrale Herausforderung besteht darin, zu unterscheiden, ob ein Kandidaten-GNN $Z$ unabhängig trainiert wurde oder ein aus $M$ abgeleitetes Surrogat ist. Dies wird dadurch erschwert, dass ein Angreifer verschiedene Transformationen auf die Ausgabe-Embeddings des Surrogats anwenden kann (z. B. Rotation, Skalierung, Permutation oder Änderung der Embedding-Dimensionen) sowie unterschiedliche Architekturen oder Gewichte verwenden kann. Bestehende Methoden versagen unter diesen Bedingungen:

Wasserzeichen: Methoden, die spezielle Signale (z. B. Hintertüren) in das Opfermodell einbetten, sind anfällig, da ein Angreifer, der auf normalen Abfragedaten trainiert, diese spezifischen wasserzeichenbehafteten Verhaltensweisen nicht nachbilden muss.
Fingerabdrücke: Bestehende, auf Embeddings basierende Fingerabdrücke beruhen häufig auf direkten Ähnlichkeitsvergleichen, die durch lineare oder nichtlineare Transformationen leicht gebrochen werden können, die den Embedding-Raum verändern, während die nachgelagerte Nutzbarkeit erhalten bleibt.

2. Methodik: COPYCOP

COPYCOP schlägt eine Fingerabdruck-Methode vor, die das Opfermodell nicht verändert. Stattdessen stützt sie sich auf die stationären Punkte der Embedding-Funktion als intrinsische, transformationsinvariante Fingerabdrücke.

Kernkonzept:
Das Embedding eines Knotens $h_i(X)$ ist eine Funktion der Graphstruktur und der Knotenmerkmale. Ein stationärer Punkt ist definiert als ein Tupel $(G, X, i, w)$ , wobei eine Störung der Knotenmerkmale $x_i$ in Richtung $w$ keine Änderung erster Ordnung im Embedding bewirkt (d. h. die Richtungsableitung $\nabla_w h_i(X) = 0$ ).

Theoretische Grundlage:

Invarianz: Wenn ein Surrogatmodell $Z$ Embeddings $h'_i = \phi(h_i)$ ausgibt, wobei $\phi$ eine lokal invertierbare Transformation ist (Annahme 3.4), sind die stationären Punkte von $h_i$ auch stationäre Punkte von $h'_i$ . Dies liegt daran, dass, wenn der Gradient von $h_i$ null ist, der Gradient von $\phi(h_i)$ ebenfalls null sein muss (Lemma 3.6).
Einzigartigkeit: Die Autoren gehen davon aus, dass unabhängig trainierte Modelle zu unterschiedlichen lokalen Optima konvergieren, was bedeutet, dass ihre Mengen an stationären Punkten $S(M)$ und $S(I)$ weitgehend disjunkt sind (Annahme 3.7).

Algorithmus (Allgemeiner Fall):
Da exakte stationäre Punkte im allgemeinen Fall möglicherweise nicht existieren oder berechenbar sind (aufgrund von Rekonstruktionsfehlern oder Nicht-Differenzierbarkeit), verwendet COPYCOP eine Näherungsmetrik $\beta_F$ :

Probenahme: Der Algorithmus sampelt Tupel aus den stationären Punkten des Opfermodells $S(M)$ und aus einer Zufallsverteilung über dem Abfragebereich.
Metrikberechnung: Für ein Kandidatenmodell $Z$ berechnet es $q_Z(t)$ , die normalisierte Größe der Embedding-Änderung bei Störung der Merkmale. Anschließend wird $\beta_Z$ berechnet, das Verhältnis der erwarteten $q_Z$ in der Nähe stationärer Punkte gegenüber zufälligen Punkten.
Entscheidung:
- Wenn $Z$ das Opfer oder ein Surrogat ist, ist $\beta_Z$ klein (nahe 0), da die stationären Punkte von $M$ für $Z$ weiterhin „stationär" bleiben.
- Wenn $Z$ ein unabhängiges Modell ist, ist $\beta_Z$ deutlich größer, da $Z$ die stationären Punkte von $M$ nicht teilt.
- Der Algorithmus klassifiziert $Z$ als Surrogat, wenn $\hat{\beta}_Z \leq \theta$ (Algorithmus 2).

Implementierungsdetails:

Probenahme stationärer Punkte: Die Methode verwendet einen Optimierungslöser (ohne Zugriff auf Gradienten des Modells), um Merkmalsvektoren $X$ zu finden, die die normalisierte Richtungsableitung minimieren, regularisiert, um nahe an realistischen Datenverteilungen zu bleiben.
Robustheit: Die Methode ist architekturagnostisch und kommt mit Änderungen der Embedding-Dimensionen zurecht. Sie generiert neue Abfragegraphen dynamisch, wodurch verhindert wird, dass durch Leckagen zukünftige Verifikationen kompromittiert werden.

3. Hauptbeiträge

Neuartiger Fingerabdruck-Mechanismus: COPYCOP ist die erste Fingerabdruck-Methode für GNN-Embeddings, die gegenüber einer breiten Klasse adversarischer Transformationen (Rotation, Skalierung, Dimensionalitätsänderungen) robust ist und über verschiedene GNN-Architekturen hinweg funktioniert.
Theoretische Garantien: Der Beitrag liefert formale Beweise (Sätze 3.8 und 3.15), die zeigen, dass die Methode unter vernünftigen Annahmen über die Transformationsfunktionen und Verteilungen stationärer Punkte mit hoher Wahrscheinlichkeit Surrogate von unabhängigen Modellen unterscheiden kann.
Keine Wasserzeichen erforderlich: Im Gegensatz zu früheren Arbeiten erfordert COPYCOP keine Modifikation des Trainingsprozesses des Opfermodells, vermeidet damit Leistungseinbußen und ist anfällig für Extraktionsangriffe, die spezielle Eingaben ignorieren.
Randomisierte Fingerabdrücke: Die Fingerabdrücke sind randomisiert und können neu generiert werden, wodurch sichergestellt wird, dass geleckte Abfragen das Verifikationssystem nicht dauerhaft kompromittieren.

4. Experimentelle Ergebnisse

Die Autoren evaluierten COPYCOP auf 14 Datensätzen (abdeckend Moleküle, Zitationen, soziale Netzwerke usw.) und 5 GNN-Architekturen (GCN, GIN, GraphSage, ARMA, MixHop).

Genauigkeit der Modell-Extraktion: COPYCOP erzielte perfekte oder nahezu perfekte Scores unter der Kurve (AUC) (z. B. AUC=1,00 für GCN, 0,99 für MixHop) bei der Erkennung von durch Modell-Extraktion trainierten Surrogaten. Es übertraf die Wasserzeichen-Methode PreGIP (um 17–48 % über alle Architekturen hinweg) und die Fingerabdruck-Methode GrOVe deutlich. Die Leistung von PreGIP fiel gelegentlich unter den Zufallswert, wenn das Surrogat nur auf normalen Daten trainiert wurde.
Robustheit gegenüber Transformationen: COPYCOP blieb gegenüber Rotation, Skalierung und Projektion auf höhere Dimensionen robust (0 % Fehlerrate). Während die Leistung unter extremen nichtlinearen Transformationen (z. B. Exponentiation) leicht abfiel, blieb sie PreGIP und GrOVe weit überlegen. Bemerkenswerterweise versagte GrOVe vollständig, wenn sich die Embedding-Dimensionen änderten.
Adversarische Angriffe:
- Beschneiden (Pruning): COPYCOP blieb bis zu 40 % Gewichtsbeschneiden robust (stabil für GIN bis zu 70 %).
- Feinabstimmung (Fine-tuning): Die Erkennungsgenauigkeit blieb stabil, selbst nachdem das Surrogat auf einem kleinen gelabelten Datensatz feinabgestimmt wurde.
Effizienz: Die Methode benötigt nur 20–40 stationäre Punkte, um nahezu maximale AUC-Werte zu erreichen.

5. Bedeutung und Behauptungen

Der Beitrag behauptet, dass COPYCOP eine fundamentale Lücke in der Sicherheit von GNN-as-a-Service schließt. Durch die Nutzung der mathematischen Invarianz stationärer Punkte bietet es einen zuverlässigen Mechanismus zur Eigentumsverifikation, der den „kosmetischen" Änderungen standhält, die Angreifer verwenden, um Modeldiebstahl zu verschleiern.

Die Autoren betonen, dass ihr Ansatz in seinen Annahmen bescheiden ist (z. B. erfordert er nur die lokale Invertierbarkeit von Transformationen), aber in seiner empirischen Leistung stark ist. Sie räumen Einschränkungen ein, wie die Notwendigkeit weiterer Validierung von Annahmen bezüglich Transformationsverteilungen und die Rechenkosten zur Findung stationärer Punkte für sehr große Graphen oder hochdimensionale Embeddings. Dennoch behaupten sie, dass COPYCOP eine praktische, robuste und theoretisch fundierte Lösung bietet, wo bestehende Wasserzeichen- und Fingerabdruck-Techniken versagen.