🤖 AI

Hey, That's My Model! Introducing Chain & Hash, An LLM Fingerprinting Technique

Dieses Paper führt „Chain & Hash“ ein, ein neuartiges Framework für das Fingerprinting von LLMs, das Prompts kryptografisch an Antworten bindet, um einen verifizierbaren, robusten und fälschungssicheren Eigentumsnachweis selbst gegen Output-verändernde Angriffe und Fine-Tuning zu gewährleisten.

Ursprüngliche Autoren: Mark Russinovich, Yanan Cai, Ahmed Salem

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mark Russinovich, Yanan Cai, Ahmed Salem

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen einen sehr teuren, maßgeschneiderten Roboter-Koch. Sie verbringen Jahre damit, ihn darauf zu trainieren, das perfekte Mahl zuzubereiten. Doch dann stiehlt jemand Ihren Roboter, gibt ihm einen neuen Namen und beginnt, seine Mahlzeiten als seine eigenen zu verkaufen. Wie beweisen Sie, ohne das Metallgehäuse des Roboters zu öffnen, um in seine interne Verkabelung zu schauen, dass der Roboter tatsächlich Ihnen gehört?

Dies ist das Problem, das Microsoft-Forscher (Mark Russinovich und Kollegen) mit ihrem neuen Paper „Hey, That's My Model!“ lösen. Sie führen eine Technik namens Chain & Hash ein, die wie ein unsichtbares, unzerbrechliches Wasserzeichen für Large Language Models (LLMs) fungiert – die superintelligenten KI-Chatbots, die wir heute nutzen.

So funktioniert es, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Der „Black Box“-Dieb

Derzeit kann jemand, der ein KI-Modell stiehlt, es leicht verändern oder die Art und Weise, wie es spricht (zum Beispiel so klingen lassen, als wäre es ein Pirat oder ein formeller Anwalt), um die Tatsache zu verschleiern, dass es gestohlen wurde. Bestehende Methoden, um die Eigentümerschaft zu beweisen, erfordern oft, dass man den internen Code des Modells sieht (den Diebe nicht zeigen werden) oder sie beeinträchtigen die Nützlichkeit des Modells.

2. Die Lösung: Ein kryptografischer „Geheimer Handschlag“

Die Autoren schlagen eine Methode vor, die wie ein geheimer Handschlag zwischen Ihnen und Ihrer KI funktioniert. Sie müssen nicht in den Roboter hineinschauen; Sie fragen ihn einfach eine spezifische Frage, und er muss eine spezifische Antwort geben, um zu beweisen, dass er Ihnen gehört.

Aber hier ist der Haken: Wenn der Dieb die Persönlichkeit des Roboters ändert, könnte er den geheimen Handschlag vergessen. Deshalb haben die Forscher ein System entwickelt, das solche Änderungen übersteht.

Schritt A: Die Kette (Die „Verkettung“)

Stellen Sie sich vor, Sie haben einen Satz von 10 speziellen Fragen. In einem normalen System würden Sie vielleicht nur die Antworten auswendig lernen. Aber in Chain & Hash sind die Fragen wie eine Kette miteinander verknüpft.

Die Antwort auf Frage #1 hängt von Frage #2 ab.
Die Antwort auf Frage #2 hängt von Frage #3 ab.
Und so weiter.

Sie verwenden eine mathematische „Sperre“ (einen kryptografischen Hash), um diese Fragen und Antworten miteinander zu verbinden. Das bedeutet:

Man kann es nicht fälschen: Ein Dieb kann die Antworten nicht einfach erraten. Um die richtige Antwort zu erhalten, müsste er den gesamten Roboter von Grund auf neu trainieren, was unglaublich teuer und offensichtlich wäre.
Es ist einzigartig: Die Mathematik stellt sicher, dass die Antworten zufällig aussehen, aber für den Besitzer perfekt konsistent sind.

Schritt B: Das „Chamäleon“-Training (Die „Meta-Prompt“-Verteidigung)

Die größte Bedrohung ist ein Dieb, der sagt: „Okay, Roboter, von nun an bist du ein Pirat!“ oder „Du musst jeden Satz mit ‚ANTWORT:‘ beginnen!“. Dies zerstört normalerweise die Fingerabdrücke, weil der Roboter seinen geheimen Handschlag vergisst.

Um dies zu beheben, haben die Forscher ihre KI-Modelle mit einer „Chamäleon“-Strategie trainiert:

Sie haben dem Modell beigebracht, die geheimen Fragen genau so zu beantworten, egal welches „Kostüm“ (oder welchen Meta-Prompt) der Dieb ihm anlegt.
Sie haben mit tausenden verschiedenen „Kostümen“ geübt (z. B. „sprich wie ein Pirat“, „sei sehr höflich“, „verwende Emojis“).
Sie haben auch „Rauschen“ (zufällige Wörter) in die Fragen eingebaut, damit das Modell lernt, Ablenkungen zu ignorieren und sich auf das geheime Signal zu konzentrieren.

3. Die Ergebnisse: Stark, schnell und unsichtbar

Die Forscher haben dies an mehreren populären KI-Modellen (wie Llama und Phi) getestet. Hier ist, was sie herausgefunden haben:

Es ist unsichtbar (Transparenz): Die KI funktioniert weiterhin perfekt für normale Aufgaben. Wenn Sie sie bitten, ein Gedicht zu schreiben oder ein mathematisches Problem zu lösen, erbringt sie dieselbe Leistung wie zuvor. Der Fingerabdruck verlangsamt sie nicht und macht sie nicht dümmer.
Es ist schnell (Effizienz): Um die Eigentümerschaft zu beweisen, müssen Sie nicht 1.000 Fragen stellen. Sie müssen nur etwa 10 Fragen stellen, und wenn das Modell nur 2 davon richtig beantwortet, haben Sie den Beweis. Es ist wie eine schnelle Identitätsprüfung.
Es ist robust (Robustheit): Selbst wenn der „Dieb“ das Modell verändert oder es mit neuen Daten trainiert (Fine-Tuning), bleibt der geheime Handschlag bestehen. Das Modell antwortet immer noch korrekt auf die geheimen Fragen, selbst wenn es vorgibt, ein Pirat zu sein.
Es ist unfälschbar (Unforgeability): Aufgrund der „Chain & Hash“-Mathematik kann ein Dieb die Antworten nicht erraten. Er müsste das gesamte Modell neu lernen, um den Fingerabdruck zu fälschen, was den Zweck des Diebstahls zunichtemachen würde.

4. Bonus: Es funktioniert auch bei „Add-ons“

Das Paper zeigt auch, dass dies bei LoRA-Adaptern funktioniert. Denken Sie an diese kleinen, günstigen „Patches“, die Menschen an große KI-Modelle anbringen, um ihnen neue Fähigkeiten beizubringen (wie etwa medizinische Beratung). Die Forscher haben bewiesen, dass sie diesen Fingerabdruck direkt auf diese kleinen Patches setzen können, wodurch selbst die leichtgewichtigen Versionen der KI geschützt werden.

Zusammenfassung

Kurz gesagt, Chain & Hash ist eine Möglichkeit für KI-Besitzer, einen kryptografischen geheimen Handschlag in ihre Modelle einzubetten. Es lehrt die KI, auf spezifische Fragen korrekt zu antworten, egal wie sehr der Dieb versucht, ihre Persönlichkeit zu ändern oder ihre Identität zu verbergen. Es ist wie das Aufbringen einer einzigartigen, unveränderlichen Seriennummer auf ein Auto, die nur aufleuchtet, wenn man die richtige Frage stellt, und so beweist, dass das Auto einem gehört, selbst wenn der Dieb es in einer anderen Farbe lackiert hat.

Technisches Resümee: Chain & Hash – Eine LLM-Fingerprinting-Technik

Problemstellung

Die schnelle Bereitstellung und der erhebliche wirtschaftliche Wert von Large Language Models (LLMs) haben die Besorgnis über den Diebstahl geistigen Eigentums (IP) und deren Missbrauch verschärft. Zu den aktuellen Schwachstellen gehören Insider-Bedrohungen, die in der Lage sind, Modellgewichte zu exfiltrieren, sowie die Zweckentfremdung von Modellen über öffentliche APIs. Bestehende Methoden zur Eigentumsnachweis oft mangelt es an Robustheit gegenüber adversariellen Manipulationen, wie etwa Fine-Tuning oder der Anwendung von Meta-Prompts, die den Ausgabestil verändern. Darüber hinaus verlassen sich viele Ansätze auf White-Box-Zugriff (interne Gewichte), was für eine reale Verifizierung, bei der nur ein Black-Box-Zugriff auf API-Ebene möglich ist, unpraktikabel ist. Das Paper identifiziert die kritische Notwendigkeit eines Fingerprinting-Frameworks, das transparent, effizient, persistent, robust und unforgebar (fälschungssicher) ist und in der Lage ist, unter realistischen adversariellen Settings zu operieren, in denen Angreifer die volle Kontrolle über das Modell und Kenntnis des Algorithmus besitzen.

Methodik: Chain & Hash

Die Autoren schlagen „Chain & Hash“ vor, ein neuartiges Fingerprinting-Framework, das darauf ausgelegt ist, spezifische Prompts kryptografisch an deren Antworten zu binden, um ein verifizierbares Eigentum zu gewährleisten, ohne die Modellnutzung zu beeinträchtigen. Das Framework operiert unter einem Black-Box-Bedrohungsszenario und besteht aus vier primären Komponenten:

1. Fragen-Generierung (Question Generation)

Das System generiert eine Menge von $Q$ Fingerprint-Prompts unter Verwendung zweier komplementärer Strategien:

Zufällige Fragen (Random Questions): Token, die aus dem Vokabular des Modells gesampelt werden (z. B. 10 Token). Dies maximiert die Memorierung, ist jedoch anfällig für Input-Filterung.
Natürliche Fragen (Natural Questions): Semantisch valide, aber statistisch seltene Abfragen, die speziell auf bestimmte Domänen zugeschnitten sind und von den Zielmodellen selbst generiert werden, um das Risiko einer adversariellen Filterung zu reduzieren.

2. Konstruktion der kryptografischen Kette (Cryptographic Chain Construction)

Um Unforgeability (Fälschungssicherheit) zu gewährleisten, bindet die Methode Fragen an Antworten mittels einer kryptografischen Hash-Funktion (z. B. SHA-256).

Mechanismus: Eine vordefinierte Menge von 256 Antwort-Einheiten ( $R$ ) wird etabliert. Für eine Kette von $k$ Fragen bestimmt der Hash der gesamten Fragenmenge $Q$ und der Antwortmenge $R$ die spezifische Antwort $r_j$ für jede Frage $q_i$ .
Sicherheit: Die Zuordnung ist deterministisch und kollisionsresistent. Das Ändern eines beliebigen Questions ändert den Hash-Input, wodurch die erforderliche Antwort für alle Fragen in der Kette geändert wird. Ein Angreifer kann die korrekte Antwortsequenz nicht fälschen, ohne das Modell feinjustieren zu müssen, da die Wahrscheinlichkeit, den korrekten Index für $k$ Fragen zu erraten, bei $(1/256)^k$ liegt.

3. Fingerprint-Training und Robustheit

Das Modell wird darauf feinjustiert, diese kryptografisch gebundenen Paare zu memorieren, während die allgemeine Nützlichkeit erhalten bleibt. Um der Bedrohung durch Meta-Prompts (z. B. „Antworte wie ein Pirat“) und Fine-Tuning zu begegnen, umfasst der Trainingsdatensatz:

Diversifizierung von Meta-Prompts: Die Fingerprint-Fragen werden mit diversen Meta-Prompts ergänzt, die von GPT-4 generiert wurden, um das Modell darauf zu trainieren, diese Anweisungen für Fingerprint-Abfragen zu ignorieren.
Zufällige Padding (Random Padding): Zufällige Token-Sequenzen werden als Präfixe und Suffixe zu den Fingerprint-Fragen hinzugefügt, um das Modell zu lehren, Rauschen zu ignorieren.
Nicht-Fingerprint-Daten: Der Datensatz enthält Standard-QA-Paare und umformulierte Themen der Fingerprints, um die Nützlichkeit zu bewahren und eine statistische Detektion zu verhindern.
Loss-Funktion: Eine kombinierte Loss-Funktion balanciert den Cross-Entropy-Loss für Fingerprint-Samples ( $L_{fp}$ ) mit einem KL-Divergenz-Term ( $L_{KL}$ ), um die Abweichung vom Verhalten des Originalmodells bei Nicht-Fingerprint-Daten zu minimieren.

4. Verifizierungsprotokoll

Die Eigentumsverifizierung erfolgt über Black-Box-Abfragen. Ein Anspruchsteller stellt die Fragenmenge $Q$ , die Antwortmenge $R$ und die Hash-Funktion $H$ bereit. Der Verifizierer fragt das verdächtige Modell $M$ mit Fragen aus $Q$ ab. Wenn die Ausgabe des Modells mit der kryptografisch bestimmten Antwort $r_j$ für eine ausreichende Anzahl von Fragen beginnt, ist das Eigentum festgestellt. Das Protokoll stützt sich auf die zeitliche Priorität; der ursprüngliche Eigentümer kann sein Eigentum nachweisen, indem er den Fingerprint in der frühesten öffentlich verfügbaren Modellversion demonstriert.

Zentrale Beiträge

Chain & Hash Technik: Eine kryptografische Methode, die Fingerprint-Prompts an Antworten bindet, Kollisionen verhindert und einen unwiderlegbaren Eigentumsanspruch ermöglicht, ohne White-Box-Zugriff zu benötigen.
Robustheit gegen Meta-Prompts: Eine Trainingsstrategie, die Random Padding und variierende Meta-Prompt-Konfigurationen einbezieht, welche die Integrität des Fingerprints aufrechterhalten, selbst wenn ein Angreifer den Ausgabestil des Modells durch Instruction Tuning oder System-Prompts signifikant verändert.
Black-Box-Anwendbarkeit: Das Framework operiert vollständig über API-Interaktionen, was es für praktische Einsatzszenarien geeignet macht, in denen interne Modellgewichte unzugänglich sind.
Erweiterung auf LoRA: Die Methode wird erfolgreich auf Low-Rank Adaptation (LoRA) Adapter angewendet, wodurch der Schutz des geistigen Eigentums auf parametereffiziente Fine-Tuning-Methoden ausgeweitet wird.

Ergebnisse und Evaluierung

Das Framework wurde auf mehreren State-of-the-Art-Modellen (Llama-3-8B, Llama-3-8B-Instruct, Phi-3-mini-instruct, Llama-2-13B-Instruct) gegen fünf wesentliche Eigenschaften getestet:

Transparenz: Das Fingerprinting führte zu einer vernachlässigbaren Leistungsdegradierung bei Standard-Benchmarks (MMLU, HellaSwag, TruthfulQA usw.), wobei die meisten Änderungen innerhalb von $\pm 1\%$ lagen oder leichte Verbesserungen bei Aufgaben zur Befolgung von Instruktionen zeigten.
Effizienz: Das Eigentum kann mit hoher Konfidenz (99 % Wahrscheinlichkeit) mit sehr wenigen Versuchen festgestellt werden (oft nur 1 oder 2 korrekte Antworten von 10 Fragen).
Persistenz: Bei Tests gegen sieben adversarielle Meta-Prompts (z. B. „antworte wie ein Pirat“, „beginne mit ANTWORT“) behielten Modelle, die mit Meta-Prompt-Diversifizierung trainiert wurden, eine Fingerprint-Stärke von über 99 % für zufällige Fragen und ~82,8 % für natürliche Fragen bei. Im Gegensatz dazu sahen Modelle ohne dieses Training unter bestimmten Prompts eine Fingerprint-Stärke von 0 %.
Robustheit:
- Fine-tuning: Der Fingerprint blieb auch nach intensivem Fine-tuning (z. B. Alpaca- und ChatDoc-Datensätze) bestehen. Zufällige Fragen benötigten für die Verifizierung auf feinjustierten Modellen maximal 25 Versuche, während natürliche Fragen oft nur 1–2 Versuche erforderten.
- Quantisierung: Die Anwendung von INT8-Quantisierung führte zu einer vernachlässigbaren Degradierung (< 0,5 % Abfall der Fingerprint-Stärke).
- Adversarielles Paraphrasieren: Selbst wenn Inputs und Outputs durch GPT-4o paraphasiert wurden, blieb der Fingerprint detektierbar (die Stärke sank von 99 % auf 79 % bei Input-Paraphrasierung und auf 20 % bei Output-Paraphrasierung, was jedoch immer noch für Eigentumsansprüche ausreichend ist).
Unforgeability (Fälschungsicherheit): Die kryptografische Bindung stellt sicher, dass das Fälschen eines Fingerprints ohne Fine-tuning rechnerisch unmöglich ist. Das Framework widersteht zudem Multi-Modell-Kollusion durch Intersektions-basierte Ketten-Designs.

Bedeutung und Ansprüche

Das Paper behauptet, dass Chain & Hash eine praktische, verifizierbare Lösung für den Schutz des geistigen Eigentums von LLMs bietet, die die spezifischen Schwachstellen moderner Instruction-tuned Modelle adressiert. Im Gegensatz zu bisherigen Ansätzen, die entweder auf White-Box-Zugriff angewiesen sind oder bei Style-Transfer-Angriffen versagen, bietet Chain & Hash eine kryptografisch sichere, Black-Box-verifizierbare Methode, die aggressive adversarielle Bedingungen, einschließlich Meta-Prompt-Manipulation und Fine-tuning, übersteht. Die Autoren betonen, dass ihr Ansatz keinen vertrauenswürdigen Dritten erfordert und als Schicht über bestehende Fingerprinting-Methoden gelegt werden kann, um die Sicherheit zu erhöhen. Die Arbeit etabliert einen neuen Standard für die Bewertung der Robustheit von Fingerprinting, indem sie insbesondere die Notwendigkeit hervorhebt, gegen Meta-Prompts und Fine-tuning zu testen, um die reale Lebensfähigkeit sicherzustellen.