💬 NLP

Token Rankings are Unforgeable Language Model Signatures

Dieses Papier zeigt auf, dass Token-Rankings als eine einzigartige, unverfälschbare Signatur für Sprachmodelle dienen können, die diese identifizieren können, ohne deren Parameter preiszugeben, vorausgesetzt, die APIs beschränken die Ausgabe auf ein ausreichend kleines Top- $k$ , um den Diebstahl von Parametern zu verhindern, während gleichzeitig die distinktiven Ranking-Muster des Modells offengelegt werden.

Ursprüngliche Autoren: Matthew Finlayson, Andreas Grivas, Xiang Ren, Swabha Swayamdipta

Veröffentlicht 2026-06-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Matthew Finlayson, Andreas Grivas, Xiang Ren, Swabha Swayamdipta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr berühmten, einzigartigen Koch. Dieser Koch kocht nicht einfach nur Essen; er hat eine ganz spezifische Art, die Zutaten auf dem Teller anzuordnen. Selbst wenn Sie das Essen nicht schmecken oder das exakte Rezept sehen können, ist die Reihenfolge, in der die Zutaten gestapelt sind, so einzigartig, dass sie wie ein Fingerabdruck wirkt.

Dieses Paper stellt eine neue Methode vor, um KI-Sprachmodelle genau mit dieser Idee zu identifizieren: durch die Reihenfolge der Wörter, nicht durch deren exakte Wahrscheinlichkeiten.

Hier ist die Aufschlüsselung ihrer Entdeckung, unter Verwendung einfacher Analogien:

1. Das Problem: Das „Rezept“-Leck

Bisher mussten Forscher, um zu beweisen, dass eine KI diejenelbe ist, als die sie vorgibt zu sein, die „Konfidenzwerte“ (wie sicher sie sich bei jedem Wort ist) der KI abfragen.

Die Analogie: Stellen Sie sich vor, die KI sagt: „Ich bin zu 99 % sicher, dass das nächste Wort ‚Katze‘ ist, zu 1 % ‚Hund‘ und zu 0,01 % ‚Hubschrauber‘.“
Das Risiko: Wenn Sie diese exakten Zahlen haben, kann ein Hacker das Gehirn der KI (ihre internen Parameter) rückentwickeln, um eine gefälschte Kopie zu bauen. Sobald sie diese gefälschte Kopie haben, können sie die Signatur fälschen, was es unmöglich macht, die echte KI von der gefälschten zu unterscheiden.

2. Die Lösung: Die „Ranking“-Signatur

Die Autoren schlagen einen sichereren Weg vor. Anstatt die exakten Konfidenzwerte anzugeben, liefert die API nur das Ranking.

Die Analogie: Die KI sagt nur: „1. Platz: ‚Katze‘, 2. Platz: ‚Hund‘, 3. Platz: ‚Hubschrauber‘.“ Sie sagt nicht, wie viel wahrscheinlicher ‚Katze‘ gegenüber ‚Hund‘ ist.
Die Entdeckung: Die Autoren fanden heraus, dass jede KI-Modell ein einzigartiges Set an „möglichen Rankings“ besitzt, die es produzieren kann. Weil der Aufbau des KI-Gehirns (speziell ein „Bottleneck“, das begrenzt, wie viele Ideen es gleichzeitig halten kann) so beschaffen ist, kann es nur eine winzige, spezifische Teilmenge aller möglichen Wortreihenfolgen erzeugen.
Das Ergebnis: Wenn man eine bestimmte Liste von Wortreihenfolgen sieht, ist es überwältigend wahrscheinlich, dass diese von genau diesem Modell und keinem anderen stammt. Es ist, als sähe man eine bestimmte Anordnung von Puzzleteilen; nur eine ganz bestimmte Puzzelschachtel könnte genau diese Form hervorgebracht haben.

3. Warum es „unfälschbar“ ist (Das harte Schloss)

Das Paper beweist, dass man diese Signatur nicht fälschen kann.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine neue Maschine von Grund auf neu zu bauen, die exakt dieselbe Liste von Wortreihenfolgen wie der ursprüngliche Koch produziert.
Die Mathematik: Die Autoren zeigen, dass dies ein mathematischer Albtraum ist. Es gehört zu einer Klasse von Problemen, die so schwierig sind, dass selbst die leistungsfähigsten Computer damit zu kämpfen hätten. Es ist nicht nur „schwer“; es ist theoretisch unmöglich, dies effizient zu lösen. Selbst wenn ein Hacker das Gehirn des Modells gestohlen hätte, könnte er nicht einfach ein anderes Gehirn erschaffen, das diese spezifische Ranking-Signatur imitiert.

4. Der Haken: Der „Skizzen“-Angriff

Die Autoren fanden jedoch auch ein Sicherheitsrisiko. Wenn eine API die gesamte Liste der Rankings preisgibt (z. B. die obersten 50.000 Wörter in Reihenfolge), kann ein Hacker dies nutzen, um eine „grobe Skizze“ des KI-Gehirns zu zeichnen.

Die Analogie: Es ist, als würde man ein verschwommenes Foto eines Gesichts betrachten. Man kann die Person nicht perfekt identifizieren, aber man kann erkennen, dass sie eine Nase, Augen und einen Mund hat. Man kann die Signatur mit dieser Skizze nicht fälschen, aber man kann einige der „Merkmale“ des Modells stehlen.
Die Lösung: Die Autoren haben einen „Sweet Spot“ gefunden. Wenn die API nur die obersten paar Wörter zeigt (z. B. die obersten 500), bleibt die Signatur einzigartig und unfälschbar, aber die Informationen sind zu verschwommen, als dass ein Hacker das Gehirn des Modells stehlen könnte.

Zusammenfassung

Alter Weg: Zeige exakte Wahrscheinlichkeiten $\rightarrow$ Hacker stiehlt das Gehirn $\rightarrow$ Hacker fälscht die Signatur.
Neuer Weg: Zeige nur Wort-Rankings $\rightarrow$ Signatur ist einzigartig und mathematisch unmöglich zu fälschen.
Sicherheitstipp: Zeigen Sie nicht alle Rankings. Zeigen Sie nur die obersten $k$ (eine kleine Anzahl). Dies hält die Signatur vor Fälschern sicher und das Gehirn vor Dieben.

Diese Methode gibt KI-Unternehmen die Möglichkeit zu beweisen: „Ja, dieser Output stammt wirklich von unserem Modell“, ohne dabei versehentlich die Schlüssel zu ihrem Geheimrezept zu übergeben.

Technisches Resümee: Token-Rankings sind unfälschbar

Problemstellung

Jüngste Fortschritte in der Sicherheit von Sprachmodellen (LM) haben die Verwendung von Modellausgaben als „Signaturen“ untersucht, um das spezifische Modell zu identifizieren, das einen Text generiert hat. Frühere geometrische Signaturen basierten auf dem Zugriff auf Token-Wahrscheinlichkeiten (Logits). Diese Abhängigkeit stellt jedoch eine kritische Sicherheitslücke dar: Der Zugriff auf Logits ermöglicht es Angreifern, die Parameter der letzten Schicht des Modells (die Unembedding-Matrix) zu stehlen. Sobön diese Parameter gestohlen sind, kann ein Angreifer die Signatur fälschen, indem er ein neues Modell konstruiert, das die geometrischen Beschränkungen des Originals repliziert.

Da API-Anbieter den Zugriff auf Token-Wahrscheinlichkeiten zunehmend einschränken, um Parameterdiebstahl und Prompt-Inversion zu verhindern, besteht ein Bedarf an einem Signaturmechanismus, der:

Keinen Zugriff auf Token-Wahrscheinlichkeiten erfordert.
Rechentechnisch unfälschbar ist (d. h. es ist unmöglich, ein anderes Modell mit derselben Signatur zu konstruieren).
Keine Modellparameter preisgibt, selbst wenn die Signatur exponiert wird.

Methodik

Die Ranking-Signatur

Die Autoren schlagen eine neue Signatur vor, die auf Token-Rankings basiert anstatt auf Wahrscheinlichkeiten. Ein Token-Ranking ist die Ordnung der Token nach ihrer Wahrscheinlichkeit (z. B. $r = \text{arg sort}(\ell)$ ), ohne die eigentlichen Wahrscheinlichkeitswerte offenzulegen.

Durchführbare Rankings: Aufgrund des „Softmax-Bottlenecks“ (der niedrigdimensionalen Natur der Unembedding-Schicht, bei der die Embedding-Dimension $d$ viel kleiner als die Vokabulargröße $v$ ist) kann ein Modell nur eine winzige Teilmenge der $v!$ möglichen Token-Rankings erzeugen.
Einzigartigkeit: Die Menge der durchführbaren Rankings für eine bestimmte Unembedding-Matrix $W$ ist spezifisch für dieses Modell. Die Autoren charakterisieren diese Spärlichkeit theoretisch und zeigen, dass der Anteil der durchführbaren Rankings mit wachsendem $v$ superexponentiell gegen Null geht.
Top- $k$ -Signaturen: Die Autoren untersuchen, ob trunkierte Rankings (Top- $k$ -Token) diese Einzigartigkeit beibehalten. Sie bestimmen empirisch das minimale $k$ , das erforderlich ist, um zwischen Modellen zu differenzieren, wobei sie feststellen, dass ein scharfer Übergang auftritt, sobald Top- $k$ -Rankings eindeutig für ein spezifisches Modell werden.

Beweis der Unfälschbarkeit

Das Paper adressiert die rechnerische Komplexität der Fälschung einer Signatur. Eine Fälschung ist definiert als das Finden einer neuen Unembedding-Matrix $W'$ , die exakt dieselbe Menge an durchführbaren Rankings wie das Zielmodell produziert.

Komplexitätsklasse: Die Autoren beweisen, dass das Finden einer Matrix mit Rang $d$ , die zu einer gegebenen Menge von Rankings passt, $\exists\mathbb{R}$ -hart ( $\exists\mathbb{R}$ -hard, Existential Theory of the Reals) ist.
Reduktion: Sie reduzieren das Problem der Entscheidung der Realisierbarkeit von „einfachen erlaubten Sequenzen“ (ein bekanntes $\exists\mathbb{R}$ -vollständiges Problem) auf das Problem der Signaturfälschung.
Implikation: Da $\text{NP} \subseteq \exists\mathbb{R} \subseteq \text{PSPACE}$ , ist die Fälschung der Signatur rechnerisch unpraktikabel, selbst wenn der Angreifer Zugriff auf alle durchführbaren Rankings hat. Dies steht im Gegensatz zu früheren geometrischen Signaturen (z. B. ellipsenbasiert), die nur in Polynomialzeit schwer zu fälschen waren.

Parameterdiebstahl via Rankings

Die Autoren untersuchen auch, ob die Offenlegung von Rankings Modellparameter preisgibt.

Angriffsmechanismus: Sie demonstrieren, dass vollständige Token-Rankings asymptotisch den Spaltenraum der Unembedding-Matrix $W$ wiederherstellen können. Dies beruht auf der Annahme, dass verborgene Zustände einer Gauß-Verteilung folgen und Token-Logits die gleiche marginale Varianz aufweisen.
Methode: Durch die Berechnung von Spearman-Korrelationen von Rankings und die Anwendung der Singulärwertzerlegung (SVD) kann ein Angreifer den Spaltenraum von $W$ approximieren.
Einschränkungen: Während dieser Angriff ein approximiertes $W$ wiederherstellt, ist die Approximation zu grob, um die Signatur zu fälschen. Die durchführbaren Rankings der wiederhergestellten Matrix sind fast vollständig disjunkt von den Rankings des ursprünglichen Modells.

Zentrale Ergebnisse

Einzigartigkeit der Rankings: Empirische Tests an Pythia- und OLMo-Modellen zeigen, dass vollständige Rankings einzigartig für das spezifische Modell sind. Selbst ein einziger Trainingsschritt oder eine leichte Gewichtspersetzung macht zuvor durchführbare Rankings undurchführbar.
Unfälschbarkeit: Der theoretische Beweis etabliert, dass die Fälschung der Ranking-Signatur $\exists\mathbb{R}$ -hart ist. Empirische Versuche, eine neue Matrix an eine Menge von Rankings mittels Gradientenabstieg anzupassen, scheiterten daran, die Signatur zu reproduzieren, selbst mit 48–50 Rankings.
Parameter-Leakage vs. Signatur-Sicherheit:
- Vollständige Rankings ermöglichen die approximative Wiederherstellung des Spaltenraums der Unembedding-Matrix.
- Diese Approximation reicht jedoch nicht aus, um die Signatur zu fälschen.
- Der „Sweet Spot“: Die Autoren identifizieren einen Bereich von $k$ $k$ (z. B. $k \approx 370$ $k \approx 370$ für Pythia 70M), in dem:
  - Die Top- $k$ -Rankings einzigartig für das Modell sind (die Signatur bewahren).
  - Die Information zu grob ist, um die Unembedding-Matrix zu rekonstruieren (den Parameterdiebstahl verhindern).
- Insbesondere ist das Setzen von $k = d$ (die verborgene Dimension) oft ausreichend, um das Modell zu differenzieren und gleichzeitig sicherzustellen, dass die wiederhergestellten Parameter weniger ähnlich zum Zielmodell sind als ein auf anderen Daten trainiertes Baseline-Modell.

Bedeutung und Behauptungen

Das Paper beansprucht, die erste polynomiell unfälschbare Sprachmodell-Signatur eingeführt zu haben, die keinen Zugriff auf Token-Wahrscheinlichkeiten erfordert.

Sicherheitsverbesserung: Im Gegensatz zu früheren geometrischen Signaturen, die auf Logits basieren (welche Parameter preisgeben) und in Polynomialzeit fälschbar sind, erfordert die Ranking-Signatur nur Rankings, ist rechnerisch schwer zu fälschen und erlaubt es Anbietern, die Signatur bereitzustellen, ohne Modellgewichte preiszugeben.
Forensische Anwendung: Die Signatur ermöglicht die Modell-Forensik. Wenn ein Repository behauptet, geleakte Gewichte zu enthalten, kann man diese verifizieren, indem man prüft, ob die Token-Rankings des Modells über dessen API für die geleakten Gewichte durchführbar sind. Wenn die Rankings undurchführbar sind, sind die Gewichte betrügerisch; wenn sie durchführbar sind, besitzt der Leaker wahrscheinlich die echten Gewichte (aufgrund der Einzigartigkeit und Unfälschbarkeit der Signatur).
Praktischer Kompromiss: Die Autoren kommen zu dem Schluss, dass API-Anbieter sicher Top- $k$ -Rankings exponieren können, um eine verifizierbare Signatur bereitzustellen und gleichzeitig das Risiko des Parameterdiebstahls zu mindern, sofern $k$ innerhalb des identifizierten „sicheren“ Bereichs gewählt wird (groß genug für Einzigartigkeit, klein genug zur Vermeidung der Rekonstruktion).

Die Autoren bleiben bescheiden hinsichtlich der kryptographischen Sicherheit der Signatur und merken an, dass, obwohl $\exists\mathbb{R}$ -Härte eine starke theoretische Barriere darstellt, die durchschnittliche Fall-Komplexität (average-case hardness) dieser Probleme noch nicht vollständig verstanden ist und die Signatur noch nicht im traditionellen Sinne als kryptographisch sicher bewiesen wurde.