🤖 AI

TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance

TokenPrint führt einen trainingsfreien, kalibrierten Token-Raum-Fingerabdruck ein, der Top- $k$ -Vokabularprojektionen aus Wissenssonden nutzt, um die Herkunft, Abstammung und gemeinsam genutzte Trainingsdaten von Sprachmodellen über verschiedene Modellfamilien und Quantisierungsstufen hinweg präzise zu identifizieren.

Ursprüngliche Autoren: Yuqi Wu, Shengming Zhao, Jie Chen

Veröffentlicht 2026-08-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuqi Wu, Shengming Zhao, Jie Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, wer eine mysteriöse Person ist, aber sie zeigt niemals ihren Ausweis und ihre Eltern verraten Ihnen nicht ihren Familiennamen. Sie haben nur ihre Stimme. Wenn Sie genau hinhören, bemerken Sie vielleicht, dass sie denselben Slang wie ihre Geschwister verwenden, Sätze auf eine ganz bestimmte Weise zu Ende führen oder einen einzigartigen Rhythmus teilen, den auch ihre Cousins haben. In der Welt der Künstlichen Intelligenz sind diese „Personen“ Large Language Models (LLMs) – Computerprogramme, die schreiben, chatten und Probleme lösen. Lange Zeit galt: Wenn ein Unternehmen ein neues Modell veröffentlichte, wurde oft verborgen, mit welchem älteren Modell es ursprünglich gestartet ist oder auf welchen spezifischen Büchern und Websites es trainiert wurde. Dies ist ein Problem, denn wenn ein Modell auf gestohlenen Daten aufgebaut oder darauf trainiert wurde, schädlich zu sein, müssen wir dessen „Stammbaum“ kennen, um die richtigen Verantwortlichen zur Rechenschaft zu ziehen. Wissenschaftler haben versucht, dies zu lösen, indem sie den internen Code (die „DNA“) des Modells untersuchten, aber was, wenn dieser Code verborgen ist? Dieses Paper stellt eine kluge Frage: Kann man die Familie eines Modells identifizieren, nur indem man dem zuhört, was es sagt?

Die Forscher Yuqi Wu, Shengming Zhao und Jie Chen von der Fudan University führten ein neues Werkzeug namens TokenPrint ein. Betrachten Sie es als einen „Stimmabdruck“ für KI. Anstatt den geheimen internen Code des Modells sehen zu müssen, stellen sie dem Modell einfach 250 spezifische Fragen – wie „Was ist die Hauptstadt von Kanada?“ oder „Schreibe eine Zeile Code für eine Schleife“ – und schauen sich dann die ersten paar Wörter an, die das Modell zur Antwort auswählt. Sie nennen diese Top-Auswahl den „Fingerabdruck“ des Modells.

Hier ist der Zaubertrick: Wenn zwei Modelle miteinander verwandt sind (zum Beispiel, wenn eines eine „feinabgestimmte“ Version des anderen ist oder beide mit exakt demselben Datenstapel trainiert wurden), neigen sie dazu, für diese Fragen die gleichen Top-Wörter zu wählen, selbst wenn sie unterschiedliche Größen haben oder von verschiedenen Unternehmen stamt. Die Forscher maßen diese Ähnlichkeit mit einem mathematischen Werkzeug namens Jaccard-Überlappung, welches im Grunde fragt: „Wie viele der Top-Wörter teilen sich diese zwei Modelle?“

Das Paper fand faszinierende Dinge heraus:

Die Familienähnlichkeit ist real: Modelle, die einen gemeinsamen „Elternteil“ oder einen gemeinsamen Trainingsdatensatz haben, weisen eine viel höhere Ähnlichkeit (etwa 0,35 bis 0,48) auf als völlig unzusammenhängende Modelle (etwa 0,17). Es ist so, wie die Stimme eines Kindes eher wie die seiner Eltern klingen kann als die eines Fremden, selbst wenn sie nicht identisch sind.
Es geschieht früh: Dieser „Stimmabdruck“ bildet sich unglaublich schnell. Die Forscher beobachteten, dass diese Ähnlichkeiten bereits innerhalb der ersten 1 % der Trainingszeit des Modells auftauchen, lange bevor das Modell tatsächlich intelligent genug war, um die Fragen korrekt zu beantworten. Dies deutet darauf hin, dass der Fingerabdruck von den Daten kommt, die das Modell „gegessen“ hat, und nicht nur davon, wie intelligent es geworden ist.
Es funktioniert, selbst wenn es verborgen ist: Die Methode funktioniert selbst dann, wenn die Modelle unterschiedliche „Vokabulare“ (unterschiedliche Wortlisten) oder unterschiedliche Computerarchitekturen verwenden. Es ist so, als würde man ein Familienmitglied erkennen, selbst wenn es einen leicht anderen Dialekt spricht.
Es ist ein Detektivwerkzeug, kein Zauberstab: Der Fingerabdruck ist großartig darin, die Liste der Verdächtigen einzugrenzen. Als sie beispielsweise versuchten, den „Elternteil“ von fünf spezifischen neuen Modellen (genannt R1-Distillations) zu finden, identifizierte der Fingerabdruck den wahren Elternteil jedes Mal als einen der zwei besten Tipps. Es konnte jedoch manchmal nicht zwischen einem Elternteil und einem sehr engen Cousin (wie einem Geschwistermodell) unterscheiden, was bedeutet, dass es einen in die richtige Richtung weist, aber nicht immer eine einzige, perfekte Antwort liefert.

Die Forscher prüften auch, ob dieser Fingerabdruck überlebt, wenn das Modell verkleinert wird, um Platz zu sparen (ein Prozess namens Quantisierung). Sie fanden heraus, dass selbst wenn das Modell auf eine sehr kleine Größe komprimiert wurde (int4 oder int8), der Fingerabdruck stark blieb, mit einem Ähnlichkeitswert von 0,82 bis 0,92 im Vergleich zum Original. Das bedeutet, dass sich die „Stimme“ nicht viel verändert, selbst wenn das Modell „zusammengestaucht“ wird.

Kurz gesagt: TokenPrint legt nahe, dass jedes Sprachmodell eine einzigartige, beständige Spur von „Wortwahlen“ hinterlässt, die seine Trainingshistorie offenbart. Es ist eine trainingsfreie, leichtgewichtige Methode, um die Abstammung eines Modells zurückzuverfolgen, die uns hilft zu verstehen, wer was gemacht hat und woher die Daten stammen, ohne in den geheimen internen Code des Modells blicken zu müssen. Auch wenn es nicht immer mit 100-prozentiger Sicherheit den exakten Elternteil benennen kann, ist es eine leistungsstarke neue Lupe, um die Stammbäume der KI zu verfolgen.

Technische Zusammenfassung: TokenPrint

Problemstellung
Die schnelle Veröffentlichung von Open-Weight-Sprachmodellen hat die Fähigkeit zur Überprüfung ihrer Provenienz überholt. Bestehende Governance-Mechanismen stehen vor erheblichen Herausforderungen: Model Cards lassen oft den spezifischen Basis-Checkpoint aus, der für das Fine-Tuning verwendet wurde, Offenlegungen zu Trainingsdaten sind häufig unvollständig, und Modelle, die nominell unabhängig entwickelt wurden, können erhebliche Teile ihrer Trainingskorpora teilen. Bestehende forensische Methoden sind begrenzt: Weight-Space-Ansätze (z. B. HuRef, Model Tree Heritage Recovery) erfordern Zugriff auf die Parameter und setzen Parametervererbung voraus, während behaviorale Phylogenien (z. B. PhyloLM) oft unkalibrierte Strukturen erzeugen, die zwar Clusterbildung aufzeigen, aber keine kalibrierten Erwartungen für Ähnlichkeitsgrade liefern, die aus gemeinsamen Basen, überlappenden Daten oder bloßer Kapazitätskonvergenz resultieren. Es besteht ein Bedarf an einer Methode, die die Modell-Lineage und die Trainingshistorie inferieren kann, ohne einen Zugriff auf die Modellgewichte zu erfordern, anwendbar selbst dann, wenn die Modelle keine Parameter teilen.

Methodik
Die Autoren führen TokenPrint ein, einen trainingsfreien Fingerabdruck, der auf den Top- $k$ -Vokabular-Projektionen später verborgener Zustände basiert, die durch eine feste Menge von 250 Knowledge-Probes hervorgerufen werden.

Extraktion des Fingerabdrucks: Für ein kausales Sprachmodell mit $L$ Schichten verwendet die Methode 250 feste Prompts (Probes) ohne Chat-Templates. Sie zeichnet den verborgenen Zustand $h_\ell(p)$ an spezifischen Tiefen ( $\ell \in \{L/4, L/2, 3L/4, L-2\}$ ) auf und projiziert diese durch die Unembedding-Matrix $W_U$ , um Logits zu erhalten. Die Top-100-Token werden in Strings dekodiert, gefiltert auf „Glitch“-Token (basierend auf Unembedding-Normen) und von Whitespace bereinigt. Der Fingerabdruck ist die Abbildung von jedem Probe auf seine geordnete Liste dekodierter Token-Strings.
Ähnlichkeitsmetrik: Die Ähnlichkeit zwischen zwei Modellen $a$ und $b$ an Tiefe $\ell$ ist definiert als der mittlere Jaccard-Überlapp ihrer Top- $k$ dekodierten String-Sets über alle Probes:
$S_\ell(a, b) = \frac{1}{|P|} \sum_{p \in P} \frac{|F_{a,\ell}(p) \cap F_{b,\ell}(p)|}{|F_{a,\ell}(p) \cup F_{b,\ell}(p)|}$
Interne Tiefen werden durch fraktionale Position abgeglichen, um Modelle unterschiedlicher Größen zu berücksichten.
Kalibrierung und Nullschätzung: Um geteilte lexikalische Strukturen und Tokenizer-Effekte zu berücksichtigen, die unabhängig vom Probe-Inhalt sind, schätzen die Autoren eine modellspezifische „mismatchte-Probe-Null“ ( $\tilde{S}$ ) ab. Diese wird berechnet, indem die Antwort von Modell $a$ auf Probe $i$ mit der Antwort von Modell $b$ auf eine andere Probe $j \neq i$ kombiniert wird. Die endgültige Metrik ist die Überschussähnlichkeit ( $S - \tilde{S}$ ), welche das Signal isoliert, das an den Probe-Inhalt gebunden ist.
Evaluationspool: Die Methode wird auf einem Kalibrierungspool von 32 Open-Weight-Modellen (0,6B–32B Parameter) aus neun Entwicklerfamilien evaluiert, einschließlich dokumentierter Beziehungen wie Pythia-Modellen (identische Daten, keine geteilten Gewichte), DeepSeek-R1-Distillationen (gemeinsame Basis-Checkpoints) und aufeinanderfolgenden Generationen. Ein externer „Witness-Pool“ umfasst Modelle, die auf demselben Korpus (The Pile) von verschiedenen Organisationen mit unterschiedlichen Tokenizern und Architekturen trainiert wurden.

Wichtigste Ergebnisse

Kalibrierte Ähnlichkeitsskala: Die Fingerabdruck-Ähnlichkeit folgt im Wesentlichen der dokumentierten Modellverwandtschaft.
- Identische Daten (keine geteilten Gewichte): Pythia-Modelle, die auf denselben Daten in derselben Reihenfolge trainiert wurden, zeigen die höchste Überschussähnlichkeit (0,35).
- Shared-Base Fine-tunes: Modelle, die einen Basis-Checkpoint erben, zeigen eine hohe Ähnlichkeit (0,33).
- Gleicher Entwickler/Lineage: Modelle desselben Entwicklers oder derselben Lineage-Gruppe zeigen eine intermediäre Ähnlichkeit (0,25–0,28).
- Unverwandte Modelle: Modelle ohne dokumentierte Beziehung zeigen die geringste Ähnlichkeit (0,17).
- Dieses Signal bleibt über verschiedene Organisationen, Tokenizer-Familien (z. B. Cerebras-GPT vs. Pythia) und Architekturklassen (z. B. RWKV vs. Transformer) hinweg bestehen.
Frühe Emergenz: Das Ähnlichkeitssignal tritt bereits innerhalb der ersten 1 % des Trainings auf (z. B. bei Schritt 1000 für Pythia-Modelle), lange bevor eine messbare faktische Kompetenz (Probe-Genauigkeit) erreicht wird. Dies deutet darauf hin, dass das Signal aus geteilten Trainingsdatenverteilungen stammt und nicht nur aus der Konvergenz von Aufgabenfähigkeiten.
Lineage-Retrieval: Als Nearest-Neighbor-Retrieval-Methode identifiziert TokenPrint die exakte dokumentierte Basis-Checkpoint erfolgreich unter den zwei besten Kandidaten für alle fünf DeepSeek-R1-Distillationen (Mean Rank 1.8, MRR 0,60). Bemerkenswerterweise identifiziert es spezialisierte Basen (z. B. eine mathematisch spezialisierte Basis), die grobe Metadaten (Tokenizer-Lineage und Parameteranzahl) nicht unterscheiden können. Es identifiziert jedoch oft eher eine „Lineage-Nachbarschaft“ als einen einzigartigen Elternknoten, da eng verwandte Alternativen (z. B. die gleiche Basis-Instruct-Variante) ebenfalls hohe Werte erzielen.
Tiefe und Robustheit:
- Tiefe: Die Diskriminationsstärke nimmt in Richtung der Output-Verteilung zu, wobei der AUC von 0,72 bei einem Viertel der Tiefe auf 0,90 am finalen Output steigt. Die Verwendung von nur den Top 5 Output-Token erhält einen AUC von 0,87.
- Quantisierung: Der Fingerabdruck bleibt unter Quantisierung stabil und zeigt eine Jaccard-Ähnlichkeit von 0,92 unter int8 und 0,82–0,85 unter int4 im Vergleich zur bf16-Baseline.
- Kapazitätskontrolle: Eine Regressionsanalyse bestätigt, dass die beobachtete Lineage-Gruppenstruktur auch nach Kontrolle von Kapazitätsunterschieden und Parameter-Skalierung bestehen bleibt.

Bedeutung und Ansprüche
Das Paper positioniert TokenPrint als praktisches Werkzeug für das Lineage-Retrieval und die Modell-Provenienz-Analyse, das ohne Zugriff auf die Gewichte operiert. Die primäre Bedeutung liegt in:

Trainingsfreier Operation: Es erfordert lediglich Forward-Passes, was es für Black-Box- oder eingeschränkt zugängliche Modelle anwendbar macht, bei denen Weight-Space-Methoden versagen.
Kalibrierter Interpretation: Durch die Etablierung einer „Ähnlichkeitsskala“ gegenüber dokumentierten Beziehungen geht die Methode über unkalibrierte Clusterbildung hinaus und liefert Referenzbereiche dafür, welche Ähnlichkeitsgrade bestimmte Arten von Beziehungen implizieren (z. B. geteilte Daten vs. gemeinsame Basis).
Datengetriebenes Signal: Die Beständigkeit des Signals über unabhängige Organisationen und Architekturen hinweg sowie dessen frühe Emergenz vor der Kapazitätskonvergenz legen nahe, dass Token-Space-Fingerprints persistente strukturelle Artefakte von Trainingsdatenverteilungen erfassen.

Einschränkungen und Umfang
Die Autoren geben explizit an, dass die Methode nicht den Mechanismus einer Beziehung identifiziert (z. B. Unterscheidung zwischen Gewichtvererbung und überlappenden Korpora) basierend auf einem einzelnen paarweisen Score allein. Stattdessen liefert sie eine globale Ähnlichkeitsstruktur, um Kandidatensätze einzugrenzen und Hypothesen für weitere gezielte Analysen zu generieren. Die Methode eignet sich am besten zur Identifizierung, welche Modellbeziehungen eine tiefere Untersuchung rechtfertigen, anstatt als eigenständiger rechtlicher Beweis für eine spezifische Trainingshistorie zu dienen. Die Autoren merken zudem an, dass Vergleiche über verschiedene Tokenizer hinweg die Ähnlichkeit unterschätzen können, da semantisch äquivalente Strings unterschiedlich segmentiert werden.

Mehr davon