💬 NLP

Reading Between the Lines: Towards Reliable Black-box LLM Fingerprinting via Zeroth-order Gradient Estimation

Dieses Paper stellt ZeroPrint vor, eine neuartige Black-Box-LLM-Fingerprinting-Methode, die eine Gradientenschätzung nullter Ordnung mittels semantisch erhaltender Wortsubstitutionen nutzt, um informativere und robustere Modell-Signaturen als bestehende ausgabebasierte Techniken zu extrahieren.

Ursprüngliche Autoren: Shuo Shao, Yiming Li, Hongwei Yao, Yifei Chen, Yuchen Yang, Zhan Qin

Veröffentlicht 2026-01-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shuo Shao, Yiming Li, Hongwei Yao, Yifei Chen, Yuchen Yang, Zhan Qin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Diebstahl digitaler Giganten

Stellen Sie sich Large Language Models (LLMs) wie riesige, maßgeschneiderte Bibliotheken vor. Der Bau einer solchen Bibliothek kostet Millionen von Dollar und erfordert jahrelange Arbeit. Da sie so wertvoll sind, könnten böswillige Akteure versuchen, sie zu stehlen. Sie könnten eine Bibliothek nehmen, sie kopieren und als ihre eigene verkaufen, ohne den ursprünglichen Erbauer zu bezahlen.

Um dies zu verhindern, benötigen wir eine Möglichkeit, zu beweisen: „Diese Bibliothek gehört mir.“ Dies nennt man Fingerprinting.

Die alte Methode vs. die neue Idee

Es gibt zwei Wege, um zu prüfen, ob eine Bibliothek eine Kopie ist:

Die „White-Box“-Methode (Der Insider): Sie dürfen in die Bibliothek gehen und die Blaupausen ansehen, die exakte Anordnung der Bücher betrachten und die spezifische Tinte auf den Seiten untersuchen. Es ist einfach, die Eigentumsverhältnisse zu beweisen, aber in der realen Welt lassen Bibliotheksbesitzer Fremde selten hinein.
Die „Black-Box“-Methode (Der Außenseiter): Sie können die Bibliothek nur von außen heraus Fragen stellen und die Antworten lesen, die sie Ihnen gibt. Sie können nicht in das Innere sehen.
- Das Problem: Bestehende Black-Box-Methoden sind wie der Versuch, eine Person zu identifizieren, indem man nur ihre Stimme hört. Wenn sie flüstert oder ihren Tonfall ändert, ist es schwer zu sagen, wer sie ist. Die „Stimme“ (der Output des Modells) verliert zu viele Details über das „Gehirn“ (die internen Parameter des Modells), weil die komplexen Filter, mit denen das Modell spricht, die Informationen abschwächen.

Der „Aha!“-Moment: Auf die Veränderung hören, nicht nur auf die Antwort

Die Autoren dieser Arbeit stellten eine kluge Frage: „Gibt es etwas anderes, das wir von außen beobachten können, das uns mehr über das Gehirn verrät als die Stimme selbst?“

Sie nutzten ein mathematisches Konzept namens Fisher-Informationstheorie, um eine überraschende Tatsache zu beweisen:

Der Output (Die Antwort): Wenn Sie das Modell fragen: „Was ist 2+2?“ und es antwortet „4“, dann ist diese Antwort sehr generisch. Sie verrät nicht viel darüber, wie das Modell denkt.
Der Gradient (Die Reaktion): Wenn Sie fragen: „Was ist 2+2?“ und dann die Frage leicht abändern zu „Was ist 2+2,001?“, wie verändert sich die Antwort?

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine ganz bestimmte Art von Gummiband zu identifizieren.

Betrachtung des statischen Bandes (Output): Sie sehen, dass es rot und 5 Zoll lang ist. Viele Gummibänder sehen so aus.
Ziehen am Band (Gradient): Sie ziehen es leicht daran. Dehnt es sich leicht? Schnappt es sofort zurück? Fühlt es sich steif an? Die Art und Weise, wie es auf den Zug reagiert, ist einzigartig für genau dieses spezifische Gummiband, selbst wenn zwei Bänder im Ruhezustand identisch aussehen.

Die Arbeit beweist mathematisch, dass die Beobachtung dessen, wie ein Modell auf kleine Veränderungen reagiert (der Gradient), viel mehr über das einzigartige „Gehirn“ verrät als nur das bloße Zuhören auf seine endgültige Antwort.

Die Lösung: ZeroPrint

Die Herausforderung besteht darin, dass man in einem „Black-Box“-Szenario die Mathematik im Inneren des Modells nicht direkt sehen kann, um diese Reaktionen zu berechnen. Man sieht nur Text.

ZeroPrint ist ein cleverer Trick, um dies zu umgehen. So funktioniert es, Schritt für Schritt:

Der „Worttausch“-Trick: Da man nicht winziges mathematisches „Rauschen“ zu einem Satz hinzufügen kann (man kann nicht 0,001 zu einem Wort hinzufügen), nutzt ZeroPrint die semantische Wortsubstitution.
- Beispiel: Anstatt zu fragen: „Kann ein Vogel fliegen?“, fragt es: „Kann ein Vogel gleiten?“ oder „Kann ein Vogel fliegen?“
- Dies sind winzige, die Bedeutung erhaltende Änderungen. Für einen Menschen sind sie identisch. Für die interne Mathematik des Modells sind sie jedoch leicht unterschiedlich.
Die „Schatten“-Berechnung:
- Das System stellt dem Modell die ursprüngliche Frage und die „getauschten“ Fragen.
- Es zeichnet die Antworten auf.
- Es verwendet dann eine mathematische Technik namens Zeroth-order Estimation. Denken Sie an einen Detektiv, der zwar keine Fingerabdrücke des Verdächtigen sehen kann, aber das Muster ihrer Fußabdrücke bestimmen kann, indem er beobachtet, wie sich der Schlamm verschiebt, wenn der Verdächtige einen Schritt macht.
- Durch den Vergleich der winzigen Unterschiede im Input (die Worttausche) mit den winzigen Unterschieden im Output baut ZeroPrint eine Jacobian-Matrix auf.
Der Fingerabdruck: Diese Jacobian-Matrix ist die einzigartige „Reaktionssignatur“ des Modells. Sie ist wie ein digitaler DNA-Test, der beweist: „Dieses Modell reagiert auf Worttausche exakt auf dieselbe Weise wie das Originalmodell, das mir gehört.“

Die Ergebnisse: Ein neuer Goldstandard

Die Autoren haben ZeroPrint gegen andere Methoden unter Verwendung eines Standard-Benchmarks (LeaFBench) getestet.

Leistung: ZeroPrint war die beste getestete „Black-Box“-Methode. Es war signifikant besser darin, Kopien zu entlarven, als vorherige Methoden, die lediglich Antworten verglichen.
Robustheit: Selbst wenn ein Dieb versuchte, das Modell zu tarnen, indem er die System-Prompts änderte oder Rauschen in die Antworten einfüfte, konnte ZeroPrint die ursprüngliche „Reaktionssignatur“ immer noch erkennen.
Geschwindigkeit: Es ist schnell genug, um praktisch einsetzbar zu sein, da es nur wenige Minuten dauert, um ein Modell zu überprüfen.

Zusammenfassung

Kurz gesagt: ZeroPrint löst das Problem des Diebstahls von KI-Modellen, indem es erkennt, dass wie ein Modell seine Meinung ändert, einzigartiger ist als das, was es sagt. Durch den Einsatz cleverer Worttausche, um das Modell von außen zu „anstupsen“ und zu messen, wie es reagiert, erstellt ZeroPrint einen zuverlässigen Fingerabdruck, der das Eigentum beweist, ohne jemals den geheimen Code des Modells sehen zu müssen.

Technisches Resümee: Zwischen den Zeilen lesen: Hin zu zuverlässigem Black-Box-LLM-Fingerprinting mittels Zeroth-Order-Gradientenschätzung

Problemstellung

Die Entwicklung von Large Language Models (LLMs) erfordert erhebliche Investitionen, was sie zu wertvollem geistigem Eigentum macht. Das Risiko von Urheberrechtsverletzungen durch unbefugtes Kopieren oder Modelldiebstahl ist jedoch signifikant. Während LLM-Fingerprinting als Technik zur Verifizierung der Herkunft eines Modells hervorgetreten ist, um einzigartige Signaturen zu extrahieren, besteht eine kritische Leistungslücke zwischen White-Box- und Black-Box-Methoden.

White-Box-Methoden (Zugriff auf interne Parameter) erreichen eine nahezu perfekte Auditierungsleistung, da statische Gewichte als eindeutige Identifikatoren dienen.
Black-Box-Methoden (nur API-Zugriff) verlassen sich auf den Vergleich von Modell-Outputs. Die Autoren argumentieren, dass diese Methoden ineffektiv sind, da die extensive Verwendung nichtlinearer Aktivierungsfunktionen (z. B. GELU, SiLU) in LLM-Architekturen die Parameterinformationen progressiv komprimiert, was zu einem erheblichen Informationsverlust im endgültigen Output führt.

Die zentrale Forschungsfrage lautet: Gibt es ein Merkmal, das unter Black-Box-Bedingungen zugänglich ist und mehr Informationen über Modellparameter bewahrt als der Output selbst?

Methodik: ZeroPrint

Die vorgeschlagene Lösung, ZeroPrint, ist ein neuartiges Black-Box-Fingerprinting-Framework, das den Gradienten des Modells (speziell die Jacobi-Matrix) als Fingerabdruck approximiert, anstatt sich auf Roh-Outputs zu verlassen. Die Methodik basiert auf der Fisher-Informationstheorie und wird mittels Zeroth-Order-Gradientenschätzung implementiert.

1. Theoretische Grundlage

Die Autoren analysieren formal den Informationsgehalt von Modell-Outputs ( $Y$ ) gegenüber dem Gradienten des Outputs in Bezug auf den Input ($D = dY/dX$).

Der Nichtlinearitäts-Engpass: In einer Standard-Neuronen-Einheit $Y = f(WX + K)$ erfordert die Beobachtung von $Y$ das Durchlaufen des Parameters $W$ durch eine nichtlineare Funktion $f$ , was Informationen irreversibel komprimieren kann.
Der Gradienten-Vorteil: Die Beobachtung des Gradienten $D = Wf'(WX+K)$ ermöglicht es, den Parameter $W$ direkter zu beobachten (skaliert durch die Ableitung).
Theorem 1: Unter Verwendung der Fisher-Information beweisen die Autoren, dass für nichtlineare Funktionen die Fisher-Information des Gradienten $D$ in Bezug auf die Parameter $W$ strikt größer ist als die des Outputs $Y$ . Dies etabliert den Gradienten als theoretisch überlegenes Merkmal für das Fingerprinting.

2. ZeroPrint-Framework

Da Gradienten in einer Black-Box-Umgebung nicht direkt zugänglich sind, approximiert ZeroPrint diese mittels Zeroth-Order-Schätzung, angepasst für diskreten Text. Der Prozess umfasst drei Schritte:

Schritt 1: Konstruktion des Abfragesatzes (Query Set)
- Basis-Abfragen (Base Queries): Das System wählt $n$ Basis-Abfragen aus, die auf Stabilität ausgelegt sind. Die Autoren nutzen eine Code-Vervollständigungsaufgabe (z. B. „Complete the following code: [Snippet]“), da die Codestruktur im Vergleich zu offenen Texten oder QA-Aufgaben konsistentere Antworten über diverse Modelle hinweg hervorruft.
- Perturbierte Abfragen (Perturbed Queries): Für jede Basis-Abfrage werden $m$ semantisch ähnliche Variationen mittels Wortsubstitution generiert. Ein vortrainiertes Word-Embedding-Modell (z. B. GloVe) identifiziert semantisch ähnliche Wörter, um spezifische Token in der Basis-Abfrage zu ersetzen, wodurch „perturbierte“ Inputs entstehen, die die Bedeutung bewahren, aber den Input-Vektor leicht verändern.
Schritt 2: Fingerabdruck-Generierung (Zeroth-Order-Schätzung)
- Die Basis-Abfragen und ihre perturbierten Gegenstücke werden an das Ziel-LLM übermittelt. Um die Stochastizität des Outputs zu mildern, wird jede Abfrage $t$ -mal wiederholt und die resultierenden Textantworten werden gemittelt.
- Embedding: Alle Inputs und gemittelten Outputs werden mithilfe eines Satz-Embedding-Modells (z. B. all-mpnet-base-v2) in kontinuierliche Vektoren umgewandelt.
- Jacobi-Schätzung: Das System berechnet die Differenzvektoren zwischen den perturbierten und den Basis-Inputs ( $\Delta x$ ) und deren entsprechenden Output-Embeddings ( $\Delta y$ ).
- Regression: Eine lokale Jacobi-Matrix $J$ wird für jede Basis-Abfrage geschätzt, indem ein lineares Regressionsproblem ( $\Delta y \approx J \Delta x$ ) mittels Ridge-Regression gelöst wird, um unterbestimmte Systeme zu handhaben. Der endgültige Fingerabdruck ist der elementweise Durchschnitt dieser Jacobi-Matrizen über alle Basis-Abfragen hinweg.
Schritt 3: Fingerabdruck-Vergleich
- Die Ähnlichkeit zwischen dem Fingerabdruck des Quellmodells ( $J_o$ ) und dem des verdächtigen Modells ( $J_s$ ) wird mittels des Pearson-Korrelationskoeffizienten berechnet. Eine hohe Ähnlichkeit deutet darauf hin, dass das verdächtige Modell wahrscheinlich ein Derivat des Quellmodells ist.

Kernbeiträge

Theoretische Erkenntnis: Die Arbeit liefert einen formalen Beweis basierend auf der Fisher-Informationstheorie, der zeigt, dass Modellgradienten mehr Informationen über Modellparameter enthalten als Modell-Outputs, und stellt damit die Abhängigkeit von reinen Output-Merkmalen im Black-Box-Fingerprinting in Frage.
ZeroPrint-Algorithmus: Die Autoren führen eine Methode ein, um diese informationsreichen Gradienten in einem diskreten Textbereich zu schätzen. Dies geschieht durch die Simulation kontinuierlicher Perturbationen mittels semantisch erhaltender Wortsubstitutionen und der Anwendung von Zeroth-Order-Optimierungsprinzipien.
Empirische Validierung: Umfangreiche Experimente auf LeaFBench (einem Benchmark mit 149 Modellinstanzen) zeigen, dass ZeroPrint eine State-of-the-Art-Leistung (SOTA) unter den Black-Box-Methoden erreicht und bestehende ungerichtete sowie gerichtete Ansätze signifikant übertrifft.

Experimentelle Ergebnisse

Evaluierung auf dem LeaFBench-Benchmark mit einem strengen Limit von 200 Abfragen pro Modell:

Leistung: ZeroPrint erreichte einen AUC von 0,720 und einen pAUC von 0,683 und übertraf damit bestehende Black-Box-Baselines (z. B. LLMmap, MET, SEF, TRAP).
Vergleich zu White-Box: Während ZeroPrint alle Black-Box-Baselines übertrifft, bleibt es unter der Leistung der White-Box-Methode REEF (AUC 0,896), welche direkten Zugriff auf die Modellinterna hat.
Ablationsstudien:
- Perturbierte Abfragen ( $m$ ): Die Leistung verbessert sich signifikant mit steigender Anzahl der perturbierten Abfragen und erreicht ihren Höhepunkt bei $m=14$ .
- Wiederholungen ( $t$ ): Die Erhöhung der Wiederholungen pro Abfrage stabilisiert das Output-Embedding, wobei die Leistung bei etwa $t=20$ stagniert.
- Abfragetyp: Code-Vervollständigungs-Abfragen (HumanEval) lieferten überlegene Ergebnisse im Vergleich zu QA oder allgemeinen Textvervollständigungs-Datensätzen, was auf die strukturierte Natur des Codes zurückzuführen ist, die ein gleichmäßigeres Modellverhalten hervorruft.
- Embedding-Dimension: Es besteht ein Trade-off; größere Dimensionen erfassen mehr Semantik, erfordern aber mehr Abfragen, um die größere Jacobi-Matrix präzise zu schätzen.
Robustheit: ZeroPrint zeigte sich resistent gegen Input-Paraphrasierung-Angriffe (Verwendung kleinerer LLMs zum Umschreiben von Abfragen) und Output-Perturbations-Angriffe (Hinzufügen von Gaußschem Rauschen), wobei hohe Ähnlichkeitswerte beibehalten wurden.
Effizienz: Die Methode benötigt etwa 425 Sekunden pro Modell und ist damit rechentechnisch praktikabel und schneller als mehrere Black-Box-Baselines wie MET und SEF.

Bedeutung und Ansprüche

Das Paper behauptet, dass ZeroPrint einen bedeutenden Schritt in Richtung zuverlässiger und sicherer Mechanismen für das LLM-Urheberrechts-Audit darstellt. Durch die Verlagerung des Fokus von Modell-Outputs auf geschätzte Gradienten überwindet die Methode den inhärenten Informationsverlust in nichtlinearen LLM-Architekturen. Die Autoren positionieren ZeroPrint als eine praktische, nicht-invasive Lösung, die kein Modell-Fine-Tuning erfordert und auf bereits eingesetzte Modelle angewendet werden kann, wodurch eine kritische Lücke im Schutz des geistigen Eigentums im KI-Ökosystem geschlossen wird. Die Arbeit legt nahe, dass gradientenbasierte Merkmale der Schlüssel sind, um die Leistungslücke zwischen White-Box- und Black-Box-Fingerprinting zu schließen.