💬 NLP

Token Rankings are Unforgeable Language Model Signatures

Dit artikel toont aan dat token-rangschikkingen dienen als een unieke, onvervalsbare handtekening voor taalmodellen die hen kunnen identificeren zonder hun parameters te lekken, mits API's de output beperken tot een voldoende kleine top- $k$ om diefstal van parameters te voorkomen terwijl de kenmerkende rangschikkingspatronen van het model nog steeds worden onthuld.

Oorspronkelijke auteurs: Matthew Finlayson, Andreas Grivas, Xiang Ren, Swabha Swayamdipta

Gepubliceerd 2026-06-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Matthew Finlayson, Andreas Grivas, Xiang Ren, Swabha Swayamdipta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer beroemde, unieke chef hebt. Deze chef bereidt niet alleen eten; ze hebben een specifieke manier waarop ze de ingrediënten op het bord arrangeren. Zelfs als je het eten niet kunt proeven of het exacte recept niet kunt zien, is de volgorde waarin de ingrediënten zijn gestapeld zo uniek dat het fungeert als een vingerafdruk.

Dit paper introduceert een nieuwe manier om AI-taalmodellen te identificeren met exact datzelfde idee: de volgorde van woorden, niet hun exacte waarschijnlijkheden.

Hier is de uiteenzetting van hun ontdekking, met behulp van eenvoudige analogieën:

1. Het Probleem: Het "Recept"-lek

Voorheen, om te bewijzen dat een AI was wie hij beweerde te zijn, vroegen onderzoekers de AI om zijn "vertrouwensscores" (hoe zeker hij is over elk woord).

De Analogie: Stel je voor dat de AI zegt: "Ik ben 99% zeker dat het volgende woord 'kat' is, 1% 'hond', en 0,01% 'helikopter'."
Het Risico: Als je deze exacte getallen hebt, kan een hacker de hersenen van de AI (de interne parameters) terugbrengen naar de basis om een nepplantje te bouwen. Zodra ze die nepplantje hebben, kunnen ze de handtekening vervalsen, waardoor het onmogelijk wordt om de echte AI van de nepplantje te onderscheiden.

2. De Oplossing: De "Ranking"-handtekening

De auteurs stellen een veiligere manier voor. In plaats van de exacte vertrouwenscijfers te geven, geeft de API alleen de rangschikking (ranking).

De Analogie: De AI zegt alleen maar: "1e plaats: 'kat', 2e plaats: 'hond', 3e plaats: 'helikopter'." Het zegt niet hoeveel waarschijnlijker 'kat' is dan 'hond'.
De Ontdekking: De auteurs ontdekten dat elk AI-model een unieke set "mogelijke rangschikkingen" heeft die het kan produceren. Omdat de manier waarop de hersenen van de AI zijn gebouwd (specifiek een "bottleneck" die beperkt hoeveel ideeën hij tegelijk kan vasthouden) zo is, kan hij slechts een zeer specifieke subset van alle mogbare woordvolgordes produceren.
Het Resultaat: Als je een specifieke lijst van woordvolgordes ziet, is het overweldigend waarschijnlijk dat deze afkomstig is van dat specifieke model en geen enkel ander. Het is alsof je een specifieke schikking van puzzelstukjes ziet; alleen een specifieke puzzeldoos zou die exacte vorm kunnen produceren.

3. Waarom het "Onvervalstbaar" is (Het Harde Slot)

Het paper bewijst dat je deze handtekening niet kunt vervalsen.

De Analogie: Stel je voor dat je vanaf nul een nieuwe machine probeert te bouwen die exact dezelfde lijst met woordvolgordes produceert als de originele chef.
De Wiskunde: De auteurs laten zien dat het doen van dit proces een wiskundige nachtmerrie is. Het behoort tot een klasse problemen die zo moeilijk zijn dat zelfs de krachtigste computers er moeite mee zouden hebben. Het is niet alleen "moeilijk"; het is theoretisch onmogelijk om dit efficiënt te doen. Zelfs als een hacker de hersenen van het model zou stelen, zouden ze niet gemakkelijk een ander brein kunnen creëren dat deze specifieke ranking-handtekening nabootst.

4. De Addertjes onder het gras: De "Ruw Schets"-aanval

Echter, de auteurs hebben ook een beveiligingsrisico gevonden. Als een API de volledige lijst met rangschikkingen weggeeft (bijv. de top 50.000 woorden in volgorde), kan een hacker dit gebruiken om een "ruwe schets" van de hersenen van de AI te tekenen.

De Analogie: Het is als het kijken naar een wazige foto van een gezicht. Je kunt de persoon niet perfect identificeren, maar je kunt wel zien dat hij een neus, ogen en een mond heeft. Je kunt de handtekening niet vervalsen met deze schets, maar je kunt wel enkele van de "kenmerken" van het model stelen.
De Oplossing: De auteurs vonden een "sweet spot". Als de API alleen de top paar woorden laat zien (bijv. de top 500), blijft de handtekening uniek en onvervalstbaar, maar is de informatie te wazig voor een hacker om de hersenen van het model te stelen.

Samenvatting

Oude manier: Toon exacte waarschijnlijkheden $\rightarrow$ Hacker steelt de hersenen $\rightarrow$ Hacker vervalst de handtekening.
Nieuwe manier: Toon alleen woordrangschikkingen $\rightarrow$ Handtekening is uniek en wiskundig onmogelijk te vervalsen.
Veiligheidstip: Laat niet alle rangschikkingen zien. Toon alleen de top $k$ (een klein aantal). Dit houdt de handtekening veilig voor vervalsers en de hersenen veilig voor dieven.

Deze methode geeft AI-bedrijven een manier om te bewijzen: "Ja, deze output komt echt van ons model," zonder per ongeluk de sleutels van hun geheime recept af te geven.

Technische Samenvatting: Token Rankings zijn Onvervalsbaar

Probleemstelling

Recente ontwikkelingen in de beveiliging van taalmodellen (LM) hebben onderzocht hoe de outputs van modellen als "handtekeningen" kunnen worden gebruikt om het specifieke model dat een tekst heeft gegenereerd te identificeren. Eerdere geometrische handtekeningen vertrouwden op toegang tot token-waarschijnlijkheden (logits). Deze afhankelijkheid vormt echter een kritiek beveiligingslek: toegang tot logits stelt aanvallers in staat om de parameters van de laatste laag van het model (de unembedding-matrix) te stelen. Zodra deze parameters zijn gestolen, kan een aanvaller de handtekening vervalsen door een nieuw model te construeren dat de oorspronkelijke geometrische beperkingen repliceert.

Nu API-providers steeds vaker de toegang tot token-waarschijnlijkheden beperken om parameterstealing en prompt-inversie te voorkomen, is er behoefte aan een mechanisme voor handtekeningen dat:

Geen toegang tot token-waarschijnlijkheden vereist.
Computationeel onvervalsbaar is (d.w.z. het is onmogelijk om een ander model met dezelfde handtekening te construeren).
Geen modelparameters lekt, zelfs wanneer de handtekening wordt blootgesteld.

Methodologie

De Ranking-handtekening

De auteurs stellen een nieuwe handtekening voor die gebaseerd is op token-rankings in plaats van waarschijnlijkheden. Een token-ranking is de ordening van tokens op basis van waarschijnlijkheid (bijv. $r = \text{arg sort}(\ell)$ ), zonder de waarden van de waarschijnlijkheden zelf te onthullen.

Haalbare Rankings: Vanwege de "softmax-bottleneck" (de laag-rangige aard van de unembedding-laag waarbij de embedding-dimensie $d$ veel kleiner is dan de vocabulaire-grootte $v$ ), kan een model slechts een zeer kleine subset van de $v!$ mogelijke token-rankings produceren.
Uniciteit: De verzameling haalbare rankings voor een specifieke unembedding-matrix $W$ is uniek voor dat model. De auteurs karakteriseren deze schaarste theoretisch en tonen aan dat de proportie haalbare rankings super-exponentieel afneemt naarmate $v$ groter wordt.
Top- $k$ Handtekeningen: De auteurs onderzoeken of afgekapte rankings (top- $k$ tokens) deze uniciteit behouden. Ze bepalen empirisch de minimale $k$ die nodig is om modellen te differentiëren, waarbij ze een scherpe overgang vinden waar top- $k$ rankings uniek worden voor een specif af specifiek model.

Bewijs van Onvervalsbaarheid

Het artikel behandelt de computationele complexiteit van het vervalsen van een handtekening. Vervalsing wordt gedefinieerd als het vinden van een nieuwe unembedding-matrix $W'$ die exact dezelfde verzameling haalbare rankings produceert als het doelmodel.

Complexiteitsklasse: De auteurs bewijzen dat het vinden van een rank- $d$ matrix die een gegeven verzameling rankings past, $\exists\mathbb{R}$ -hard is (Existentiële Theorie van de Reële Getallen).
Reductie: Ze reduceren het probleem van het beslissen van de realiseerbaarheid van "eenvoudige toegestane sequenties" (een bekende $\exists\mathbb{R}$ -complete probleem) naar het probleem van het vervalsen van de handtekening.
Implicatie: Omdat $\text{NP} \subseteq \exists\mathbb{R} \subseteq \text{PSPACE}$ , is het vervalsen van de handtekening computationeel onuitvoerbaar, zelfs als een aanvaller toegang heeft tot alle haalbare rankings. Dit staat in contrast met eerdere geometrische handtekeningen (bijv. ellips-gebaseerd), die slechts in polynomiale tijd moeilijk te vervalsen waren.

Parameterstealing via Rankings

De auteurs onderzoeken ook of het blootstellen van rankings modelparameters lekt.

Aanvalsmechanisme: Ze demonstreren dat volledige token-rankings asymptotisch de kolomruimte van de unembedding-matrix $W$ kunnen herstellen. Dit berust op de aanname dat verborgen toestanden (hidden states) een Gaussische distributie volgen en dat token-logits een gelijke marginale variantie hebben.
Methode: Door Spearman-correlaties van rankings te berekenen en Singular Value Decomposition (SVD) toe te passen, kan een aanvaller de kolomruimte van $W$ benaderen.
Beperkingen: Hoewel de aanval een benadering van de kolomruimte van $W$ herstelt, is deze benadering te grof om de handtekening te vervalsen. De haalbare rankings van de herstelde matrix zijn bijna volledig disjunct van de werkelijke rankings van het doelmodel.

Belangrijkste Resultaten

Uniciteit van Rankings: Empirische tests op Pythia- en OLMo-modellen laten zien dat volledige rankings uniek zijn voor het specifieke model. Zelfs een enkele trainingsstap of een lichte gewichtsperturbatie maakt voorheen haalbare rankings onhaalbaar.
Onvervalsbaarheid: Het theoretische bewijs vestigt dat het vervalsen van de ranking-handtekening $\exists\mathbb{R}$ -hard is. Empirische pogingen om een nieuwe matrix aan een verzameling rankings aan te passen via gradiëntafdaling (gradient descent) faalden in het reproduceren van de handtekening, zelfs met 48–50 rankings.
Parameterlekken versus Handtekeningsbeveiliging:
- Volledige rankings maken een benadering van de kolomruimte van de unembedding-matrix mogelijk.
- Echter, deze benadering is onvoldoende om de handtekening te vervalsen.
- Het "Sweet Spot": De auteurs identificeren een bereik van $k$ $k$ (bijv. $k \approx 370$ $k \approx 370$ voor Pythia 70M) waar:
  - De top- $k$ rankings uniek zijn voor het model (behoud van de handtekening).
  - De informatie te grof is om de unembedding-matrix te reconstrueren (voorkomen van parameterstealing).
- Specifiek is het instellen van $k = d$ (de verborgen dimensie) vaak voldoende om het model te differentiëren, terwijl de herstelde parameters minder vergelijkbaar blijven met het doelmodel dan een baseline-model dat op andere data is getraind.

Betekenis en Claims

Het artikel claimt de eerste polynomiaal onvervalsbare taalmodel-handtekening te introduceren die geen toegang tot token-waarschijnlijkheden vereist.

Verbetering van Beveiliging: In tegenstelling tot eerdere geometrische handtekeningen die vertrouwen op logits (die parameters lekken) en in polynomiale tijd vervalsbaar zijn, vereist de ranking-handtekening alleen rankings, is het computationeel moeilijk te vervalsen en stelt het providers in staat de handtekening te presenteren zonder modelgewichten te lekken.
Forensische Toepassing: De handtekening maakt modelforensica mogelijk. Als een repository beweert dat er gewichten zijn gelekt, kan men deze verifiëren door te controleren of de token-rankings van het model-API haalbaar zijn voor de gelekte gewichten. Als de rankings onhaalbaar zijn, zijn de gewichten frauduleus; als ze haalbaar zijn, bezit de lekker waarschijnlijk de echte gewichten (vanwege de uniciteit en onvervalsbaarheid van de handtekening).
Praktische Afweging: Het artikel concludeert dat API-providers veilig top- $k$ rankings kunnen blootstellen om een verifieerbare handtekening te bieden en tegelijkertijd het risico op parameterstealing te beperken, mits $k$ wordt gekozen binnen het geïdentificeerde "veilige" bereik (groot genoeg voor uniciteit, klein genoeg om reconstructie te voorkomen).

De auteurs blijven bescheiden over de cryptografische beveiliging van de handtekening en merken op dat hoewel $\exists\mathbb{R}$ -hardheid een sterke theoretische barrière vormt, de gemiddelde-geval-complexiteit (average-case hardness) van deze problemen nog niet volledig begrepen is, en de handtekening nog niet bewezen cryptografisch veilig is in de traditionele zin.