💬 NLP

Intrinsic Fingerprint of LLMs: Continue Training is NOT All You Need to Steal A Model!

Dit onderzoek introduceert een robuuste methode voor het identificeren van de herkomst van taalmodellen door gebruik te maken van de unieke patronen in de standaarddeviatie van aandachtsparameters, wat aantoont dat zelfs na voortgezette training de oorspronkelijke identiteit van een model herleidbaar blijft.

Oorspronkelijke auteurs: Do-hyeon Yoon, Minsoo Chun, Thomas Allen, Hans Müller, Min Wang, Rajesh Sharma

Gepubliceerd 2026-04-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Do-hyeon Yoon, Minsoo Chun, Thomas Allen, Hans Müller, Min Wang, Rajesh Sharma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Digitale DNA-test" voor AI: Waarom je een gestolen recept nooit echt kunt verbergen

Stel je voor: je bent een wereldberoemde chef-kok. Je hebt jarenlang geëxperimenteerd en hebt eindelijk het perfecte, geheime recept voor een revolutionaire saus ontwikkeld. Het kostte je miljoenen euro's aan ingrediënten en duizenden uren testen.

Plotseling zie je in de supermarkt een nieuw merk saus staan. De verpakking ziet er heel anders uit, de naam is nieuw, en de fabrikant beweert trots dat ze het recept vanaf nul hebben uitgevonden. Maar als je die saus proeft, proef je die ene, unieke, subtiele kruidige ondertoon die alleen jouw saus heeft. Hoe weet je dat ze jouw recept hebben gestolen, zelfs als ze de kleur van de saus hebben veranderd?

Dat is precies wat dit wetenschappelijke onderzoek heeft gedaan met AI-modellen.

Het probleem: De "AI-plagiaat" crisis

Grote taalmodellen (zoals ChatGPT, maar dan de techniek erachter) zijn peperduur om te maken. Omdat het zo duur is, proberen sommige bedrijven "lui" te zijn: ze stelen een bestaand model, passen het een beetje aan (ze veranderen de naam, voegen wat extra training toe, of veranderen de structuur), en doen dan alsof ze het zelf vanaf nul hebben gebouwd.

Tot nu toe was dit makkelijk te verbergen. Het was alsof je een gestolen schilderij overschilderde met een nieuwe laag verf; niemand zag meer dat het origineel eronder zat.

De ontdekking: De "vingerafdruk" in de cijfers

De onderzoekers van de Honest AGI Community hebben ontdekt dat je niet naar de "verf" (de output van de AI) moet kijken, maar naar de "atomen" (de interne parameters) van het model.

Elk AI-model heeft een unieke manier waarop de getallen in zijn "brein" verdeeld zijn. Denk aan de manier waarop de cellen in je lichaam zijn gerangschikt. Zelfs als je een nieuwe outfit aantrekt of je haar verft, blijft je biologische structuur hetzelfde.

De onderzoekers ontdekten dat de standaarddeviatie (een wiskundige manier om te kijken hoe verspreid de getallen zijn) van de interne lagen van een AI-model een soort digitale vingerafdruk achterlaat. Deze vingerafdruk is zo diep in het model gegraven dat zelfs als je het model heel erg traint of de architectuur verandert, de vingerafdruk blijft bestaan.

De "Smoking Gun": Het Huawei-schandaal

Om te bewijzen dat hun methode werkt, deden ze een spectaculaire test. Ze vergeleken verschillende modellen met elkaar. De meeste modellen hadden een lage gelijkenis (zoals verschillende mensen die op elkaar lijken).

Maar toen ze naar het Pangu Pro MoE model van Huawei keken en dat vergeleken met het Qwen-2.5 model, schrokken ze zich rot. De "vingerafdrukken" waren bijna identiek. De wiskundige correlatie was zo hoog dat het bijna onmogelijk is dat dit toeval is.

De conclusie van de onderzoekers? Het lijkt erop dat Huawei het Qwen-model heeft genomen, het heeft "geüpcycled" (een beetje heeft aangepast) en vervolgens heeft beweerd dat het een compleet eigen uitvinding was. Het is alsof je een bestaande auto koopt, hem een andere kleur geeft en zegt: "Kijk, ik heb deze motor zelf ontworpen!"

Waarom is dit belangrijk voor jou?

Dit onderzoek is een enorme waarschuwing voor de AI-wereld. Het laat zien dat:

Eerlijkheid weer meetbaar wordt: Bedrijven kunnen niet langer zomaar beweren dat ze alles zelf hebben uitgevonden.
Intellectueel eigendom beschermd wordt: De "recepten" van slimme onderzoekers zijn beter beveiligd dan we dachten.
Transparantie nodig is: Als we willen weten of AI echt innovatief is, of gewoon een kopie van iets anders, hebben we deze "digitale DNA-tests" nodig.

Kortom: Je kunt de naam veranderen en de verpakking aanpassen, maar de wiskundige ziel van een model verraadt je altijd.

Technische Samenvatting: Intrinsic Fingerprint of LLMs

1. Probleemstelling

Met de exponentiële groei van Large Language Models (LLM's) zijn de kosten voor training enorm gestegen, wat intellectueel eigendom (IP) kwetsbaar maakt voor diefstal, ongeautoriseerd hergebruik en het creëren van afgeleide werken. Bestaande beschermingsmethoden, zoals watermarking (het toevoegen van een verborgen signaal aan de output), zijn fragiel: ze kunnen eenvoudig worden verwijderd of overschreven door middel van continued training, fine-tuning of het herformuleren van tekst (paraphrasing). Er is een dringende behoefte aan een robuustere methode om de herkomst (lineage) van een model vast te stellen, zelfs nadat het model ingrijpend is aangepast.

2. Methodologie

De auteurs introduceren een nieuwe benadering voor fingerprinting die niet vertrouwt op externe signalen, maar op de intrinsieke statistische eigenschappen van de modelparameters.

Parameter Extractie: De focus ligt op de parameter-matrices van het attention mechanism: de Query ( $Q$ ), Key ( $K$ ), Value ( $V$ ) en Output ( $O$ ) projectiematrices voor elke laag $l$ . De auteurs kiezen hiervoor omdat vector-parameters (zoals bias of layer norm) te gemakkelijk te manipuleren zijn.
Standaarddeviatie-distributie: Voor elke matrix $M$ in een laag wordt de standaarddeviatie ( $\sigma$ ) van alle parameters berekend. Dit resulteert in vier sequenties van waarden over alle lagen van het model.
Normalisatie: Om modellen van verschillende schalen en architecturen vergelijkbaar te maken, worden de sequenties genormaliseerd naar een gemiddelde van nul en een variantie van één. Dit verwijdert schaalafhankelijke verschillen maar behoudt de relatieve patronen tussen de lagen.
Lineage Detectie via Correlatie: De gelijkenis tussen twee modellen wordt gemeten met de Pearson correlatiecoëfficiënt ( $\rho$ ) tussen hun genormaliseerde sequenties. Bij modellen met een verschillend aantal lagen wordt lineaire interpolatie gebruikt om de sequenties op gelijke lengte te brengen voor een eerlijke vergelijking.

3. Belangrijkste Bijdragen

Ontdekking van Intrinsieke Handtekeningen: Het bewijs dat de distributie van de standaarddeviatie van attention-parameters een uniek "vingerafdruk" vormt die stabiel blijft, zelfs na uitgebreide training.
Robuustheid tegen Architecturale Wijzigingen: De methode werkt zelfs wanneer een model wordt getransformeerd van een dense model naar een Mixture-of-Experts (MoE) architectuur (upcycling).
Detectie van Model-plagiaat: Het identificeren van de herkomst van modellen die claimen vanaf nul getraind te zijn, maar in werkelijkheid afgeleid zijn van bestaande modellen.

4. Resultaten

De experimenten leveren significante resultaten op:

Validatie van bekende lineages: De methode slaagde er met succes in om bekende afgeleide modellen te identificeren, zoals de Llama-3.1-Nemotron (afgeleid van Llama-3.1) en Qwen1.5-MoE (afgeleid van Qwen-1.8B).
De Pangu-Qwen Case Study: De meest opvallende bevinding is de analyse van het Pangu Pro MoE model van Huawei. Ondanks de claim dat dit model op 13 biljoen tokens is getraind, vertoont het een extreem hoge correlatie met het Qwen-2.5 14B model (een gemiddelde correlatie van 0,927 over de attention-matrices). De patronen in de $Q, K, V$ en $O$ projecties zijn vrijwel identiek.
FFN Analyse: De onderzoekers breidden de analyse uit naar de Feed-Forward Network (FFN) parameters, waarbij Pangu ook hier een bijna identieke distributie vertoonde als Qwen-2.5-14B, wat het bewijs voor upcycling versterkt.

5. Betekenis en Implicaties

Intellectueel Eigendom: Dit werk biedt een krachtig instrument voor juridische en technische handhaving van auteursrechten in de AI-industrie. Het laat zien dat "continued training" alleen niet voldoende is om de oorsprong van een model te verbergen.
Wetenschappelijke Integriteit: De ontdekking suggereert dat technische rapporten (zoals die van Huawei) mogelijk informatie fabriceren over de originaliteit van hun modellen. Dit roept vragen op over de transparantie en ethiek binnen de snelle AI-wedloop.
Toekomstige Bescherming: De methode legt de basis voor een nieuw regime van model-authenticatie, waarbij de fundamentele statistische identiteit van een model dient als bewijs van eigendom.