🤖 AI

Hey, That's My Model! Introducing Chain & Hash, An LLM Fingerprinting Technique

Dit artikel introduceert "Chain & Hash", een nieuw LLM-fingerprintingframework dat prompts cryptografisch bindt aan responsen om een verifieerbaar, robuust en onvervalsbaar eigendombewijs te bieden, zelfs tegen output-veranderende aanvallen en fine-tuning.

Oorspronkelijke auteurs: Mark Russinovich, Yanan Cai, Ahmed Salem

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mark Russinovich, Yanan Cai, Ahmed Salem

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer dure, op maat gemaakte robotchef bezit. Je hebt jarenlang gewerkt aan het trainen van deze robot om de perfecte maaltijd te bereiden. Maar dan steelt iemand je robot, verandert de naam en begint de maaltijden als de zijne te verkopen. Hoe bewijs je zonder de metalen behuizing van de robot te openen om naar de interne bedrading te kijken, dat de robot echt de jouwe is?

Dit is het probleem waar Microsoft-onderzoekers (Mark Russinovich en collega's) een oplossing voor bieden met hun nieuwe paper, "Hey, That's My Model!" Ze introduceren een techniek genaamd Chain & Hash, die fungeert als een onzichtbare, onbreekbare watermerk voor Large Language Models (LLM's)—de superintelligente AI-chatbots die we vandaag de dag gebruiken.

Hier is hoe het werkt, uitgelegd aan de hand van eenvoudige concepten:

1. Het Probleem: De "Black Box"-dief

Momenteel, als iemand een AI-model steelt, kunnen ze het lichtelijk aanpassen of de manier waarop het praat veranderen (zoals het laten klinken als een piraat of een formele advocaat) om te verbergen dat het gestolen is. Bestaande methoden om eigendom te bewijzen vereisen vaak dat je de interne code van het model ziet (wat dieven niet zullen laten zien) of dat je de bruikbaarheid van het model beschadigt.

2. De Oplossing: Een Cryptografische "Geheime Handdruk"

De auteurs stellen een methode voor die werkt als een geheime handdruk tussen jou en jouw AI. Je hoeft niet in de robot te kijken; je stelt hem gewoon een specifieke vraag, en hij moet een specifiek antwoord geven om te bewijzen dat hij de jouwe is.

Maar hier komt de crux: als de dief de persoonlijkheid van de robot verandert, kan hij de handdruk misschien vergeten. Daarom hebben de onderzoekers een systeem gebouwd dat zelfs deze veranderingen overleeft.

Stap A: De Ketting (De "Linked Chain")

Stel je voor dat je een set van 10 speciale vragen hebt. In een normaal systeem zou je misschien alleen de antwoorden onthouden. Maar in Chain & Hash zijn de vragen aan elkaar gekoppeld als een ketting.

Het antwoord op Vraag #1 hangt af van Vraag #2.
Het antwoord op Vraag #2 hangt af van Vraag #3.
Enzovoort.

Ze gebruiken een wiskundige "slot" (een cryptografische hash) om deze vragen en antwoorden aan elkaar te binden. Dit betekent dat:

Je het niet kunt vervalsen: Een dief kan de antwoorden niet zomaar raden. Om het juiste antwoord te krijgen, zouden ze de hele robot vanaf nul opnieuw moeten trainen, wat ongelooflijk duur en opvallend is.
Het uniek is: De wiskunde zorgt ervoor dat de antwoorden er willekeurig uitzien, maar perfect consistent zijn voor de eigenaar.

Stap B: De "Chameleon" Training (De "Meta-Prompt" Defensie)

De grootste dreiging is een dief die zegt: "Oké, robot, vanaf nu ben je een piraat!" of "Je moet elke zin beginnen met 'ANTWOORD:'." Dit breekt meestal vingerafdrukken omdat de robot zijn geheime handdruk vergeet.

Om dit op te lossen, hebben de onderzoekers hun AI-modellen getraind met een "Chameleon"-strategie:

Ze hebben het model geleerd om de geheime vragen precies op dezelfde manier te beantwoorden, ongeacht welk "kostuum" (of meta-prompt) de dief het aanlegt.
Ze hebben geoefend met duizenden verschillende "kostuums" (bijv. "praat als een piraat", "wees zeer beleefd", "gebruik emoji's").
Ze hebben ook "ruis" (willekeurige woorden) aan de vragen toegevoegd, zodat het model leert om afleidingen te negeren en zich te concentreren op het geheime signaal.

3. De Resultaten: Sterk, Snel en Onzichtbaar

De onderzoekers hebben dit getest op verschillende populaire AI-modellen (zoals Llama en Phi). Dit is wat ze ontdekten:

Het is Onzichtbaar (Transparantie): De AI werkt nog steeds perfect voor normale taken. Als je het vraagt om een gedicht te schrijven of een wiskundig probleem op te lossen, presteert het net zo goed als voorheen. De vingerafdruk vertraagt het proces niet en maakt het niet dommer.
Het is Snel (Efficiëntie): Om eigendom te bewijzen, hoef je niet 1.000 vragen te stellen. Je hoeft slechts ongeveer 10 vragen te stellen, en als het model er slechts 2 goed heeft, heb je bewijs. Het is als een snelle identiteitscontrole.
Het is Taai (Robuustheid): Zelfs wanneer de "dief" het model van stijl verandert of traint op nieuwe gegevens (fine-tuning), blijft de geheime handdruk bestaan. Het model geeft nog steeds de geheime vragen correct antwoord, zelfs als het zich als een piraat voordoet.
Het is Onvervalsbaar (Unforgeability): Vanwege de "Chain & Hash"-wiskunde kan een dief de antwoorden niet raden. Ze zouden de hele het model opnieuw moeten leren om de vingerafdruk te vervalsen, wat het doel van het stelen al tenietdoet.

4. Bonus: Het Werkt Ook op "Add-Ons"

Het paper laat ook zien dat dit werkt op LoRA-adapters. Denk aan deze als kleine, goedkope "patches" die mensen aan grote AI-modellen bevestigen om ze nieuwe vaardigheden aan te leren (zoals medisch advies). De onderzoekers hebben bewezen dat ze deze vingerafdruk direct op deze kleine patches kunnen plaatsen, waardoor zelfs de lichtgewicht versies van AI worden beschermd.

Samenvatting

Kortom, Chain & Hash is een manier voor AI-eigenaren om een cryptografische geheime handdruk in hun modellen in te bedden. Het leert de AI om specifieke vragen correct te beantwoorden, ongeacht hoe de dief probeert de persoonlijkheid of de identiteit te veranderen of te verbergen. Het is als het aanbrengen van een uniek, onverwijderbaar serienummer op een auto dat alleen oplicht wanneer je de juiste vraag stelt, wat bewijst dat de auto de jouwe is, zelfs als de dief hem een andere kleur heeft gegeven.

Technische Samenvatting: Chain & Hash – Een LLM-vingerafdruktechniek

Probleemstelling

De snelle uitrol en de aanzienlijke economische waarde van Large Language Models (LLMs) hebben de zorgen over diefstal van intellectueel eigendom (IP) en misbruik vergroot. Huidige kwetsbaarheden omvatten insider-bedreigingen die in staat zijn om modelgewichten te exfiltreren en het hergebruiken van modellen via publieke API's. Bestaande methoden voor het bewijzen van eigendom missen vaak robuustheid tegen adversariële manipulatie, zoals fine-tuning of het toepassen van meta-prompts die de outputstijl veranderen. Bovendien vertrouwen veel benaderingen op white-box toegang (interne gewichten), wat onpraktisch is voor realtime verificatie waarbij alleen API-niveau (black-box) toegang beschikbaar is. Het artikel identificeert een kritieke behoefte aan een vingerafdrukframework dat transparant, efficiënt, persistent, robuust en onvervalsbaar is, en in staat is te opereren onder realistische adversariële settings waar aanvallers volledige modelcontrole en kennis van het algoritme bezitten.

Methodologie: Chain & Hash

De auteurs stellen "Chain & Hash" voor, een nieuw vingerafdrukframework dat ontworpen is om specifieke prompts cryptografisch te binden aan hun reacties, waardoor verifieerbaar eigendom wordt gegarandeerd zonder de bruikbaarheid van het model in gevaar te brengen. Het framework opereert onder een black-box dreigingsmodel en bestaat uit vier primaire componenten:

1. Vraaggeneratie

Het systeem genereert een set van $Q$ vingerafdruk-prompts met behulp van twee complementaire strategieën:

Random Questions: Tokens gesampled uit de vocabulaire van het model (bijv. 10 tokens). Dit maximaliseert memorisatie maar is gevoelig voor inputfiltering.
Natural Questions: Semantisch geldige maar statistisch zeldzame queries die zijn afgestemd op specifieke domeinen, gegenereerd door de doelmodellen zelf om het risico op adversariële filtering te verminderen.

2. Constructie van de Cryptografische Keten

Om onvervalsbaarheid te garanderen, bindt de methode vragen aan reacties met behulp van een cryptografische hashfunctie (bijv. SHA-256).

Mechanisme: Er wordt een vooraf gedefinieerde set van 256 reactie-eenheden ( $R$ ) vastgesteld. Voor een keten van $k$ vragen bepaalt de hash van de gehele vraagset $Q$ en de reactieset $R$ de specifieke reactie $r_j$ voor elke vraag $q_i$ .
Beveiliging: De mapping is deterministisch en botsingsbestendig. Het wijzigen van een enkele vraag verandert de hash-input, waardoor de vereiste reactie voor alle vragen in de keten verandert. Een tegenstander kan de correcte reactiesequentie niet vervalsen zonder fine-tuning, aangezien de kans op het raden van de juiste index voor $k$ vragen $(1/256)^k$ is.

3. Vingerafdruk Training en Robuustheid

Het model wordt gefinetuned om deze cryptografisch gebonden paren te memoriseren terwijl de algemene bruikbaarheid behouden blijft. Om de dreiging van meta-prompts (bijv. "Antwoord als een piraat") en fine-tuning aan te pakken, bevat de trainingsdataset:

Meta-prompt Diversificatie: Vingerafdruk-vragen worden uitgebreid met diverse meta-prompts gegenereerd door GPT-4, waardoor het model wordt getraind om deze instructies te overrulen voor vingerafdruk-queries.
Random Padding: Willekeurige tokensequenties worden als prefix en suffix aan vingerafdruk-vragen toegevoegd om het model te leren ruis te negeren.
Niet-Vingerafdruk Data: De dataset bevat standaard QA-paren en geherformuleerde vingerafdruk-onderwerpen om de bruikbaarheid te behouden en statistische detectie te voorkomen.
Loss Function: Een gecombineerde loss-functie balanceert de cross-entropy loss voor vingerafdruk-samples ( $L_{fp}$ ) met een KL-divergentie term ( $L_{KL}$ ) om de afwijking van het gedrag van het originele model op niet-vingerafdruk data te minimaliseren.

4. Verificatieprotocol

Eigendomsverificatie vindt plaats via black-box queries. Een claimende partij verstrekt de vraagset $Q$ , de reactieset $R$ en de hashfunctie $H$ . De verifieerder bevraagt het verdachte model $M$ met vragen uit $Q$ . Als de output van het model begint met de cryptografisch bepaalde reactie $r_j$ voor een voldoende aantal vragen (drempelwaarde $\tau$ ), wordt eigendom vastgesteld. Het protocol vertrouwt op temporele precedence; de oorspronkelijke eigenaar kan eigendom bewijzen door de vingerafdruk op de vroegst beschikbare publieke modelversie aan te tonen.

Belangrijkste Bijdragen

Chain & Hash Techniek: Een cryptografische methode die vingerafdruk-prompts bindt aan reacties, wat botsingen voorkomt en onweerlegbare eigendomsclaims mogelijk maakt zonder white-box toegang te vereisen.
Robuustheid tegen Meta-prompts: Een trainingsstrategie die gebruikmaakt van random padding en gevarieerde meta-prompt configuraties, die de integriteit van de vingerafdruk behoudt, zelfs wanneer een tegenstander de outputstijl van het model aanzienlijk verandert via instruction tuning of system prompts.
Black-Box Bruikbaarheid: Het framework opereert volledig via API-interacties, waardoor het geschikt is voor praktische implementatiescenario's waar interne modelgewichten niet toegankelijk zijn.
Extensie naar LoRA: De methode wordt gedemonstreerd als effectief op Low-Rank Adaptation (LoRA) adapters, waardoor IP-bescherming wordt uitgebreid naar parameter-efficiënte fine-tuning methoden.

Resultaten en Evaluatie

Het framework werd geëvalueerd op meerdere state-of-the-art modellen (Llama-3-8B, Llama-3-8B-Instruct, Phi-3-mini-instruct, Llama-2-13B-Instruct) tegen vijf essentiële eigenschappen:

Transparantie: Vingerafdrukken resulteerden in verwaarloosbare prestatiedegradatie op standaard benchmarks (MMLU, HellaSwag, TruthfulQA, etc.), waarbij de meeste wijzigingen binnen $\pm 1\%$ lagen of lichte verbeteringen lieten zien in instructie-opvolgingstaken.
Efficiëntie: Eigendom kan met hoge zekerheid (99% waarschijnlijkheid) worden vastgesteld met zeer weinig pogingen (vaak slechts 1 of 2 correcte reacties uit 10 vragen).
Persistentie: Bij testen tegen zeven adversariële meta-prompts (bijv. "reageer als een piraat", "begin met ANTWOORD"), behielden modellen getraind met meta-prompt diversificatie een vingerafdruksterkte boven de 99% voor random vragen en ~82,8% voor natural questions. In contrast hiermee zagen modellen zonder deze training de vingerafdruksterkte dalen naar 0% onder bepaalde prompts.
Robuustheid:
- Fine-tuning: De vingerafdruk bleef standhouden tijdens zware fine-tuning (bijv. Alpaca en ChatDoc datasets). Random vragen vereisten maximaal 25 pogingen voor verificatie op gefinetunede modellen, terwijl natural questions vaak slechts 1–2 pogingen vereisten.
- Quantization: Het toepassen van INT8 quantisatie resulteerde in een verwaarloosbare degradatie (<0,5% daling in vingerafdruksterkte).
- Adversariële Paraphrasering: Zelfs wanneer inputs en outputs werden geparafraseerd door GPT-4o, bleef de vingerafdruk detecteerbaar (sterkte daalde van 99% naar 79% voor input-parafrasering, en naar 20% voor output-parafrasering, wat nog steeds voldoende is voor eigendomsclaims).
Onvervalsbaarheid: De cryptografische binding zorgt ervoor dat het vervalsen van een vingerafdruk zonder fine-tuning computationeel onhaalbaar is. Het framework biedt ook weerstand tegen multi-model collusie door middel van intersection-gebaseerde ketenontwerpen.

Betekenis en Claims

Het artikel beweert dat Chain & Hash een praktische, verifieerbare oplossing biedt voor de bescherming van intellectueel eigendom van LLM's die specifiek ingaat op de kwetsbaarheden van moderne instruction-tuned modellen. In tegenstelling tot eerdere benaderingen die afhankelijk zijn van white-box toegang of falen bij style-transfer aanvallen, biedt Chain & Hash een cryptografisch beveiligde, black-box verifieerbare methode die bestand is tegen agressieve adversariële condities, inclus\u00zaand meta-prompt manipulatie en fine-tuning. De auteurs benadrukken dat hun aanpak geen vertrouwde derde partij vereist en kan worden toegepast bovenop bestaande vingerafdrukmethoden om de beveiliging te verhogen. Het werk vestigt een nieuwe standaard voor het evalueren van de robuustheid van vingerafdrukken, waarbij specifell de noodzaak wordt benadrukt om te testen tegen meta-prompts en fine-tuning om de real-world levensvatbaarheid te garanderen.