🤖 AI

TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance

TokenPrint introduceert een trainingsvrije, gekalibreerde token-ruimte vingerafdruk die top- $k$ vocabulaireprojecties van kennisprobes benut om de herkomst, afstamming en gedeelde trainingsdata van taalmodellen nauwkeurig te identificeren over diverse modelfamilies en kwantisatieniveaus heen.

Oorspronkelijke auteurs: Yuqi Wu, Shengming Zhao, Jie Chen

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuqi Wu, Shengming Zhao, Jie Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te zoeken wie een mysterieuze persoon is, maar diegene laat nooit een identiteitsbewijs zien en de ouders weigeren de familienaam te vertellen. Je hebt alleen hun stem. Als je goed luistert, merk je misschien dat ze dezelfde straattaal gebruiken als hun broers en zussen, elkaars zinnen op een specifieke manier afmaken, of een uniek ritme hebben dat zij delen met hun neven en nichten. In de wereld van kunstmatige intelligentie zijn deze "personen" Large Language Models (LLM's)—computerprogramma's die schrijven, chatten en problemen oplossen. Lange tijd was het zo dat wanneer een bedrijf een nieuw model uitbracht, ze verborgen hielden welk ouder model ze precies als basis hadden gebruikt of op welke specifieke boeken en websites het was getraind. Dit is een probleem, want als een model gebouwd is op gestolen data of getraind is om schadelijk te zijn, moeten we weten wat hun "stamboom" is om de juiste mensen verantwoordelijk te houden. Wetenschappers hebben geprobeerd dit op te lossen door naar de interne code (het "DNA") van het model te kijken, maar wat als die code verborgen is? Dit artikel stelt een slimme vraag: Kunnen we de familie van een model identificeren door simpelweg te luisteren naar wat het zegt?

De onderzoekers, Yuqi Wu, Shengming Zhao en Jie Chen van de Fudan Universiteit, hebben een nieuw hulpmiddel geïntroduceerd genaamd TokenPrint. Denk aan TokenPrint als een "stemafdruk" voor AI. In plaats van de geheime interne code van het model nodig te hebben, stellen ze het model simpelweg 250 specifieke vragen—zoals "Wat is de hoofdstad van Canada?" of "Schrijf een regel code voor een loop"—en kijken vervolgens naar de eerste paar woorden die het model kiest om te antwoorden. Ze noemen deze topkeuzes de "vingerafdruk" van het model.

Hier is de goocheltruc: Wanneer twee modellen aan elkaar verwant zijn (bijvoorbeeld wanneer de één een "fine-tuned" versie is van de ander, of wanneer ze beiden getraind zijn op exact dezelfde verzameling data), hebben ze de neiging om voor deze vragen dezelfde topwoorden te kiezen, zelfs als ze verschillende groottes hebben of door verschillende bedrijven zijn gemaakt. De onderzoekers maten deze gelijkenis met een wiskundig hulpmiddel genaamd de Jaccard-overlap, wat in feep eigenlijk vraagt: "Hoeveel van de topwoorden delen deze twee modellen?"

Het onderzoek leverde enkele fascinerende inzichten op:

De Familiegelijkenis is Echt: Modellen die een "ouder" of een trainingsdataset delen, hebben een veel hogere gelijkenisscore (ongeveer 0,35 tot 0,48) dan modellen die totaal ongerelateerd zijn (ongeveer 0,17). Het is alsoals hoe de stem van een kind meer op die van een ouder lijkt dan op die van een vreemde, zelfs als ze niet identiek zijn.
Het Gebeurt Vroeg: Deze "stemafdruk" vormt zich ongelooflijk snel. De onderzoekers zagen dat deze gelijkenissen al verschijnen binnen de eerste 1% van de trainingstijd van het model, lang voordat het model daadwerkelijk slim genoeg was om de vragen correct te beantwoorden. Dit suggereert dat de vingerafdruk afkomstig is van de data die het model heeft "gegeten", en niet alleen van hoe slim het is geworden.
Het Werkt Zelfs Als het Verborgen Is: De methode werkt zelfs als de modellen verschillende "vocabularia" gebruiken (verschillende woordenlijsten) of verschillende computertarchitecturen. Het is alsof je een familielid herkent, zelfs als die een iets ander dialect spreekt.
Het is een Detectivetool, Geen Toverstaf: De vingerafdruk is uitstekend in het verkleinen van de lijst met verdachten. Bijvoorbeeld, toen ze probeerden de "ouder" te vinden van vijf specifieke nieuwe modellen (genaamd R1 distillaties), identificeerde de vingerafdruk de ware ouder telkens als een van de top twee suggesties. Echter, het kon soms het verschil niet zien tussen een ouder en een zeer nauwe neef (zoals een broer- of zusmodel), wat betekent dat het je in de juiste richting wijst, maar niet altijd één enkel, perfect antwoord geeft.

De onderzoekers controleerden ook of deze vingerafdruk overleeft wanneer het model wordt verkleind om ruimte te besparen (een proces dat kwantisatie wordt genoemd). Ze ontdekten dat zelfs wanneer het model werd gecomprimeerd tot een zeer kleine omvang (int4 of int8), de vingerafdruk sterk bleef, met een gelijkenisscore van 0,82 tot 0,92 vergeleken met het origineel. Dit betekent dat de "stem" niet veel verandert, zelfs niet wanneer het model wordt samengedrukt.

Kortom, TokenPrint suggereert dat elk taalmodel een uniek, persistent spoor van "woordkeuzes" achterlaat dat zijn trainingsgeschiedenis onthult. Het is een training-vrije, lichtgewicht manier om de afstamming van een model te traceren, wat helpt begrijpen wie wat heeft gemaakt en waar de data vandaan kwam, zonder dat er in de geheime code van het model gekeken hoeft te worden. Hoewel het niet altijd met 100% zekerheid de exacte ouder kan benoemen, is het een krachtig nieuw vergrootglas om de stambomen van AI te volgen.

Technische Samenvatting: TokenPrint

Probleemstelling
De snelle release van open-weight taalmodellen heeft de mogelijkheid om hun herkomst te auditeren overtroffen. Huidige governance-mechanismen worden geconfronteerd met aanzienlijke uitdagingen: model cards vermelden vaak niet het specifieke base checkpoint dat gebruikt is voor fine-tuning, en onthullingen over trainingsdata zijn frequent incompleet; bovendien kunnen modellen die nominaal onafhankelijk zijn ontwikkeld, substantiële delen van hun trainingscorpora delen. Bestaande forensische methoden zijn beperkt in reikwijdte: weight-space benaderingen (bijv. HuRef, Model Tree Heritage Recovery) vereisen toegang tot parameters en gaan uit van parameter-overerving, terwijl behaviorale fylogenieën (bijv. PhyloLM) vaak ongekalibreerde structuren produceren die wel clustering onthullen, maar geen gekalibreerde verwachtingen bieden voor mate van gelijkenis voortvloeiend uit gedeelde bases, overlappende data of loutere convergentie van capaciteiten. Er is behoefte aan een methode die de afstamming (lineage) en trainingsgeschiedenis van een model kan afleiden zonder toegang te vereisen tot de modelgewichten, toepasbaar zelfs wanneer modellen geen parameters delen.

Methodologie
De auteurs introduceren TokenPrint, een training-vrije vingerafdruk gebaseerd op de top- $k$ vocabulaire-projecties van de late verborgen toestanden (hidden states) opgewekt door een vaste set van 250 kennisprobes.

Extractie van de vingerafdruk: Voor een causaal taalmodel met $L$ lagen gebruikt de methode 250 vaste prompts (probes) zonder chat templates. De methode registreert de verborgen toestand $h_\ell(p)$ op specifieke dieptes ( $\ell \in \{L/4, L/2, 3L/4, L-2\}$ ) en projecteert deze door de unembedding matrix $W_U$ om logits te verkrijgen. De top-100 tokens worden gedecodeerd naar strings, gefilterd op "glitch" tokens (gebaseerd op unembedding-normen) en ontdaan van witruimte. De vingerafdruk is de mapping van elke probe naar de gerangschikte lijst van gedecodeerde token-strings.
Gelijkenis-metriek: Gelijkenis tussen twee modellen $a$ en $b$ op diepte $\ell$ wordt gedefinieerd als de gemiddelde Jaccard-overlap van hun top- $k$ gedecodeerde string-sets over alle probes:
$S_\ell(a, b) = \frac{1}{|P|} \sum_{p \in P} \frac{|F_{a,\ell}(p) \cap F_{b,\ell}(p)|}{|F_{a,\ell}(p) \cup F_{b,\ell}(p)|}$
Interne dieptes worden gematcht via fractionele posities om modellen van verschillende groottes te accommoderen.
Kalibratie en Null-schatting: Om rekening te houden met gedeelde lexicale structuren en tokenizer-effecten die onafhankelijk zijn van de probe-inhoud, schatten de auteurs een paar-specifieke "mismatched-probe null" ( $\tilde{S}$ ) in. Dit wordt berekend door de respons van model $a$ op probe $i$ te koppelen aan de respons van model $b$ op een andere probe $j \neq i$ . De uiteindelijke metriek is de excess similarity ( $S - \tilde{S}$ ), die het signaal isoleert dat aan de probe-inhoud is gekoppeld.
Evaluatiepool: De methode wordt geëvalueerd op een kalibratiepool van 32 open-weight modellen (0,6B–32B parameters) uit negen developer-families, inclusief gedocumenteerde relaties zoals Pythia-modellen (identieke data, geen gedeelde gewichten), DeepSeek-R1 distillaties (gedeelde base checkpoints) en opeenvolgende generaties. Een externe "witness pool" bevat modellen die getraind zijn op hetzelfde corpus (The Pile) door verschillende organisaties met verschillende tokenizers en architecturen.

Belangrijkste Resultaten

Gekalibreerde Gelijkenis-ladder: De vingerafdruk-gelijkenis volgt in grote lijnen de gedocumenteerde model-gerelateerdheid.
- Identieke Data (Geen Gedeelde Gewichten): Pythia-modellen getraind op dezelfde data in dezelfde volgorde vertonen de hoogste excess similarity (0,35).
- Shared-Base Fine-tunes: Modellen die een base checkpoint erven, vertonen een hoge gelijkenis (0,33).
- Zelfde Developer/Lineage: Modellen uit dezelfde developer of lineage-groep vertonen een intermediaire gelijkenis (0,25–0,28).
- Ongerelateerde Modellen: Modellen met geen gedocumenteerde relatie vertonen de laagste gelijkenis (0,17).
- Dit signaal blijft standhouden over verschillende organisaties, tokenizer-families (bijv. Cerebras-GPT versus Pythia) en architectuurklassen (bijv. RWKV versus Transformers).
Vroege Emergentie: Het gelijkenis-signaal emergeert binnen de eerste 1% van de training (bijv. bij stap 1000 voor Pythia-modellen), ruim voordat meetbare feitelijke competentie (probe accuratesse) is bereikt. Dit suggereert dat het signaal voortkomt uit gedeelde trainingsdata-distributies in plaats van enkel de convergentie van taakcapaciteiten.
Lineage Retrieval: Als een nearest-neighbor retrieval-methode slaagt TokenPrint erin om het exacte gedocumenteerde base checkpoint binnen de top twee kandidaten te rangschikken voor alle vijf de DeepSeek-R1 distillaties (Mean Rank 1.8, MRR 0.60). Opvallend genoeg identificeert het gespecialiseerde bases (bijv. een wiskunde-gespecialiseerde base) die grove metadata (tokenizer-lineage en parameter aantal) niet kan onderscheiden. De methode identificeert echter vaak een "lineage neighborhood" in plaats van een unieke ouder, aangezien nauw verwante alternatieven (bijv. dezelfde base Instruct-varianten) ook hoog ranken.
Diepte en Robuustheid:
- Diepte: De onderscheidingskracht neemt toe richting de output-distributie, waarbij de AUC stijgt van 0,72 bij een kwart diepte naar 0,90 bij de finale output. Het gebruik van slechts de top 5 output tokens behoudt een AUC van 0,87.
- Quantisatie: De vingerafdruk blijft stabiel onder quantisatie, met een Jaccard-gelijkenis van 0,92 onder int8 en 0,82–0,85 onder int4 vergeleken met de bf16 baseline.
- Capaciteitscontrole: Regressieanalyse bevestigt dat de geobserveerde lineage-groepstructuur standhoudt, zelfs na controle voor capaciteitsverschillen en parameterschaal.

Betekenis en Claims
Het artikel positioneert TokenPrint als een praktisch instrument voor lineage retrieval en model-provenance analyse dat opereert zonder toegang tot gewichten. De primaire betekenis ligt in:

Training-vrije Operatie: Het vereist enkel forward passes, wat het toepasbaar maakt voor black-box of beperkt toegankelijke modellen waar weight-space methoden falen.
Gekalibreerde Interpretatie: Door een "gelijkenis-ladder" vast te stellen tegen gedocumenteerde relaties, beweegt de methode voorbij ongekalibreerde clustering om referentiekaders te bieden voor wat voor niveaus van gelijkenis specifieke soorten relaties impliceren (bijv. gedeelde data versus gedeelde base).
Data-gedreven Signaal: Het voortbestaan van het signaal over onafhankelijke organisaties en architecturen, en de vroege emergentie ervan vóór convergentie van capaciteiten, suggereert dat token-space vingerafdrukken persistente structurele artefacten van trainingsdata-distributies vastleggen.

Beperkingen en Reikwijdte
De auteurs geven expliciet aan dat de methode niet het mechanisme van een relatie identificeert (bijv. het onderscheiden van weight inheritance van overlappende corpora) op basis van een enkele pairwise score alleen. In plaats daarvan biedt het een globale gelijkenisstructuur om kandidaat-sets te verkleinen en hypothesen te generen voor verdere gerichte analyse. De methode is het best geschikt voor het identificeren van welke modelrelaties diepere inspectie verdienen, in plaats van te dienen als op zichzelf staand juridisch bewijs van een specifieke trainingsgeschiedenis. De auteurs merken ook op dat vergelijkingen tussen verschillende tokenizers de gelijkenis kunnen onderschatten vanwege de verschillende segmentatie van semantisch equivalente strings.

Meer zoals dit