🤖 machine learning

Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification

Dit artikel introduceert een data-vrije, white-box methode genaamd Centered Residual Signatures die de afstamming van open-weight taalmodellen verifieert door unieke structurele sporen in residual blocks te analyseren, wat een nauwkeurig onderscheid mogelijk maakt tussen gerelateerde en ongerelateerde checkpoints, ongeacht fine-tuning, merging of kwantisatie.

Oorspronkelijke auteurs: Aman Singh Thakur, Rayan Khoury

Gepubliceerd 2026-08-18

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aman Singh Thakur, Rayan Khoury

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het moderne digitale landschap zijn kunstmatige intelligentiemodellen zelden statische, solitaire creaties. Het zijn levende entiteiten die evolueren via een complexe toeleveringsketen. Een basismodel, getraind op enorme hoeveelheden tekst, wordt vaak van de ene naar de andere ontwikkelaar doorgegeven. Onderweg wordt het aangepast om specifieke taken uit te voeren, gecomprimeerd om op kleinere apparaten te draaien, of gecombineerd met andere modellen om iets nieuws te creëren. Deze operaties veranderen de interne getallen van het model, zijn gewichten, maar ze laten zelden een duidelijk papierspoor achter. Zodra een model onder een nieuwe naam wordt uitgebracht, wordt het moeilijk te zeggen of het een echte afstammeling is van een beroemd origineel of dat het slechts een lookalike is die vanaf nul is opgebwd om er vergelijkbaar uit te zien. Dit gebrek aan transparantie creëert een blinde vlek in het ecosysteem van open-source intelligentie, waardoor het moeilijk is om de oorsprong te verifiëren of intellectueel eigendom te beschermen.

De kernuitdaging ligt in het onderscheid maken tussen twee zeer verschillende scenario's. In het eerste scenario is een model een ware kind van een ander, waarbij het een specifieke wiskundige structuur erft via een proces van fine-tuning of samenvoeging (merging). In het tweede scenario is een model een onafhankelijke creatie die toevallig vergelijkbare resultaten produceert. Traditionele verificatiemethoden, zoals het controleren van digitale vingerafdrukken of het kijken naar hoe het model zich gedraagt, falen hier vaak. Digitale handtekeningen breken op het moment dat één enkel getal wordt gewijzigd, en gedragstesten kunnen het verschil niet zien tussen een gedeelde geschiedenis en een gedeelde uitkomst. Onderzoekers hadden een manier nodig om in het brein van het model te kijken en een spoor te vinden dat deze transformaties overleeft, een signaal dat een gedeelde afstamming bewijst zonder de originele trainingsdata of de mogelijkheid om het model uit te voeren nodig te hebben.

Een team van onderzoekers heeft een methode ontwikkeld om dit probleem op te lossen door het unieke geometrische structuur te onderzoeken dat achterblijft in de lagen van het model. Ze richtten zich op een specifiek architecturaal kenmerk dat algemeen voorkomt bij veel moderne taalmodellen: de residual block. In deze structuren stroomt informatie door een hoofdpad en springt het ook over een zijpad, waardoor het model kleine correcties kan leren in plaats van telkens vanaf nul te beginnen. De onderzoekers ontdekten dat wanneer een model wordt getraind, de wiskundige operaties in deze zijpaden een zeer specifieke, gedeelde uitlijning ontwikkelen. Het is alsof het model leert zijn interne componenten op een bepaalde manier te organiseren om deze correcties efficiënt uit te voeren. Deze uitlijning is echter zo algemeen dat het in bijna elk getraind model voorkomt, wat het op zichzelf nutteloos maakt voor het bewijzen van afstamming.

De doorbraak kwam toen de onderzoekers beseften dat ze het deel van de structuur konden isoleren dat uniek is voor een specifiek checkpoint. Door de gemeenschappelijke, gedeelde uitlijning die alle getrainde modellen bezitten wiskundig te verwijderen, bleven ze over met een residu-signatuur. Dit resterende stuk is als een unieke vingerafdruk die specifiek is voor de exacte geschiedenis van de training van dat model. Het legt de specifieke manier vast waarop de interne getallen van het model tijdens de creatie ervan zijn aangepast. Het team creëerde vervolgens een scoringssysteem om de signaturen tussen twee verschillende modellen te vergelijken. Als de modellen een ouder delen, zullen hun unieke signaturen nauw met elkaar overeenstemmen, zelfs als één van de twee zwaar is gewijzigd, gecomprimeerd of samengevoegd met een ander model. Als ze ongerelateerd zijn, zullen de signaturen er bij vergelijking uitzien als willekeurige ruis.

Om dit idee te testen, voerden de onderzoekers een reeks rigoureuze experimenten uit met modellen van variërende grootte en complexiteit. Ze namen basismodellen en onderwiergen deze aan veelvoorkomende real-world transformaties, zoals het fine-tunen op nieuwe data, het verkleinen van de omvang door middel van pruning, of het comprimeren om sneller te draaien. Ze creëerden ook onafhankelijke modellen die vanaf nul waren getraind om het gedrag van de originelen na te bootsen. De resultaten waren opmerkelijk. De nieuwe scoringsmethode identificeerde elk enkel waarachtig afstammeling succesvol, ongeacht hoeveel het model was gewijzigd. Het onderscheidde hen van onafhankelijke modellen met perfecte nauwkeurigheid, zelfs wanneer die onafhankelijke modellen ontworpen waren om bijna identiek te gedragen. De methode werkte over verschillende families van taalmodellen, inclusclusief die gebruikt voor coderen en algemene conversatie, wat bewijst dat het signaal een fundamentele eigenschap is van hoe deze netwerken leren.

De onderzoekers testten de methode ook tegen een agressiever scenario waarbij een tegenstander probeerde de oorsprong van het model te verbergen. Ze probeerden de interne componenten van het model te husselen of de getallen te herschalen op een manier die de functie van het model behoudt maar het uiterlijk verandert voor traditionele detectietools. Terwijl oudere methoden volledig faalden onder deze omstandigheden, bleef de nieuwe signatuur stabiel. Dit komt omdat de methode niet vertrouwt op de volgorde van de componenten of hun absolute grootte, maar op de specifieke geometrische relatie tussen hen. De onderzoekers ontdekten dat hun aanpak ook aanzienlijk sneller was dan de dichtstbijzijnde concurrerende techniek, waarbij het tientallen malen sneller draaide op grote modellen. Deze snelheid, gecombineerd met het vermogen om te werken zonder enige trainingsdata of de mogelijkheid om het model uit te voeren, maakt het een praktische tool voor het auditeren van de toeleveringsketen van open-source kunstmatige intelligentie.

In een praktijkdemonstratie paste het team hun methode toe op een collectie publieke taalmodellen die beweerden gerelateerd te zijn aan een beroemd origineel. De test identificeerde correct de drie modellen die echte afstammelingen waren, door hen hoge gelijkenisscores toe te kennen. Tegelijkertijd flagde het ook zeven andere modellen die dezelfde architectuur deelden maar onafhankelijk waren getraind, door hen scores nabij nul toe te kennen. Dit bevestigde dat de methode kan onderscheiden tussen een ware afstamming en een louter architecturale kloon. De studie suggereert dat dit passieve, data-vrije signaal een betrouwbare manier is om de geschiedenis van open-weight modellen te verifiëren. Het biedt een manier om de onzichtbare verbindingen tussen modellen te zien, waardoor de afstamming van kunstmatige intelligentie kan worden getraceerd, geverifieerd en begrepen, zelfs wanneer de oorspronkelijke makers al lang zijn vertrokken.

Technische Samenvatting: Centered Residual Signatures voor Verificatie van de Lineage van Taalmodellen

Probleemformulering

Het artikel behandelt de uitdaging van data-vrije white-box lineage-verificatie voor open-weight taalmodellen. Nu modellen steeds vaker worden gedistribueerd via complexe toeleveringsketens die betrokken zijn bij fine-tuning, kwantisatie, pruning, merging (bijv. LoRA) en herdistributie onder nieuwe namen, wordt hun herkomst vaak niet gedocumenteerd of opzettelijk verborgen.

De kernopdracht is als volgt gedefinieerd: Gegeven twee compatibele model-checkpoints (A en B met hetzelfde aantal lagen $L$ en verborgen dimensie $d$ ), moet een verifieerder op basis van alleen de gewichten bepalen of ze een gewicht-niveau afstammingslijn (weight-level ancestry) delen.

Gerelateerd: Checkpoints die via post-training operaties (fine-tuning, RLHF, pruning, kwantisatie, merging) een gemeenschappelijke voorouder erven.
Niet-gerelateerd: Checkpoints die onafhankelijk zijn geïnitialiseerd, zelfs als ze dezelfde architectuur, trainingsdata of gedragsoutputs delen (bijv. een gedestilleerde student die vanaf nul is getraind, is niet gerelateerd aan zijn leraar).

Bestaande methoden falen in deze setting: cryptografische hashes breken bij elke gewichtsverandering; metadata vereist vertrouwen; watermerken moeten proactief worden ingevoegd; en metrieken voor gedragsgelijkenis (CKA, SVCCA) vereisen data/forward passes en meten functionele gelijkenis in plaats van gewichtsovererving.

Methodologie: Centered Residual Signatures

De voorgestelde methode maakt gebruik van een structurele eigenschap van getrainde residuële netwerken: trace concentratie in takproducten.

1. Trace Concentratie in Takproducten

In een residuële blok $x_{\ell+1} = x_\ell + F_\ell(x_\ell)$ bestaat de residuële tak $F_\ell$ doorgaans uit lineaire lagen afgewisseld met niet-lineariteiten. Door de lineaire factoren te componeren en de niet-lineariteiten weg te laten, verkrijgt men een takproduct-matrix $M_\ell = W_K \dots W_1 \in \mathbb{R}^{d \times d}$ .
Onder het Frobenius-inwendig product kan elke matrix worden ontleed in een identiteit-gealigneerde component en een spoorloos restant:
$M_\ell = \frac{\text{tr}(M_\ell)}{d}I + E_\ell$
waarbij $\text{tr}(E_\ell) = 0$ .
Training induceert een sterke identiteits-alignering in correct gekoppelde takproducten, wat betekent dat de trace concentratie score $s(M) = |\text{tr}(M)| / \|M\|_F$ hoog wordt. Deze eigenschap is echter generiek; onafhankelijk getrainde modellen vertonen ook een hoge trace concentratie. Daarom kan trace concentratie alleen geen lineage vaststellen.

2. Centered Residual Signatures

Om afstamming te isoleren, verwijdert de methode de generieke identiteits-gealigneerde component en focust zij op het checkpoint-specifieke restant $E_\ell$ (aangeduid als $R_\ell$ in het artikel).

Signature Extractie: Voor elk blok $\ell$ wordt het spoorloze restant genormaliseerd naar een eenheidsvector $\phi_\ell$ .
Alignering: Een gelijkenismatrix $G_{ij} = \langle \phi^A_i, \phi^B_j \rangle$ wordt geconstrueerd tussen referentie $A$ en verdachte $B$ . Het Hongarijse algoritme wordt gebruikt om de optimale blokpermutatie $\pi^*$ te herstellen, waarbij de blokcorrespondentie met hoge nauwkeurigheid wordt teruggevonden (100% op canonieke MLP-paden).
Lineage Score: De uiteindelijke symmetrische score $L(A, B)$ is het gemiddelde van de cosinusgelijkenis van de gecentreerde signatures over de gealigneerde blokken:
$L(A, B) = \frac{1}{L} \sum_{\ell=1}^L \langle \phi^A_\ell, \phi^B_{\pi^*(\ell)} \rangle$
Verificatie: De score wordt gekalibreerd tegen een empirische nulverdeling gegenereerd van onafhankelijk getrainde modellen. Een checkpoint wordt als "Gerelateerd" beschouwd als $L(A, B)$ de maximale score overschrijdt die is waargenomen tegen onafhankelijke modellen.

3. Theoretisch Mechanisme

Het artikel stelt een verklaring via gradient-koppeling voor de waargenomen identiteits-alignering. In residuële netwerken dwingt de skip-verbinding de tak om een correctie rond een identiteitspad te leren. Bijgevolg worden de input- en outputgewichten van de tak ( $W_{in}$ en $W_{out}$ ) bijgewerkt via gecorreleerde gradiënten die zich langs de diagonaal ophopen. Deze koppeling is specifief voor de trainingsdynamiek van een specifiek checkpoint en overleeft functie-behoudende transformaties (zoals neuron-permutatie of reciproke rescaling), maar wordt vernietigd door her-initialisatie.

Belangrijkste Bijdragen

Probleemformulering: Definieerde pairwise gewicht-lineage verificatie zonder data en introduceerde centered residual signatures die checkpoint-specifieke structuur isoleren van generieke trainingsartefacten.
Model-niveau Score: Construeerde een symmetrische score met empirische-nul kalibratie en algebraïsche invariantie voor verborgen-unit permutatie en reciproke rescaling binnen MLP-blokken.
Robuuste Evaluatie: Demonstreerde dat de methode afstammelingen (fine-tuned, LoRA-gemerged, gepruned, gekwantiseerd) scheidt van onafhankelijke en gedestilleerde modellen met een AUROC=1.0 op gecontroleerde benchmarks. Cruciaal is dat de methode invariant blijft onder functie-behoudende checkpoint-witwasprocessen (permutatie en rescaling), terwijl standaard gewichtsruimte-baselines (cosinusgelijkenis, Frobenius-afstand) falen of een aanzienlijk kleiner marge verliezen.
Generaliseerbaarheid: Toonde aan dat het onderliggende trace-concentratie signaal aanwezig is in zes taalmodel-families (GPT-2, BERT, LLaMA-2, Mistral, Qwen2.5, DeepSeek-R1) en zich uitstrekt tot visie (ViT, ResNet) en spraak (Whisper) architecturen.

Experimentele Resultaten

Benchmarks: Geëvalueerd op de residual-MLP en 30M-parameter GPT-2 benchmarks.
- Lineage Detectie: Bereikte AUROC=1.0 en een hoge Gap-Z marge (bijv. +31.0 op GPT-2) bij het onderscheiden van gerelateerde van niet-gerelateerde checkpoints.
- Laundering Resistentie: Onder functie-behoudende laundering (permutatie en rescaling) behield de voorgestelde methode AUROC=1.0. In tegen tegenstelling hiertoe daalde de gewicht-cosinusgelijkenis naar AUROC=0.80 (met een ingestorte Gap-Z marge), en faalde de gealigneerde Frobenius-afstand onder sterke rescaling.
- Efficiëntie: De methode werkt 76× sneller dan de dichtstbijzijnde robuuste baseline (Re-Basin+scale) op GPT-2 (5ms vs 388ms) omdat het iteratieve aligneringszoekopdrachten vermijdt en direct takproducten berekent.
Publieke Casestudy: Toegepast op publieke LLaMA-2 checkpoints. De methode identificeerde correct 3 gedocumenteerde afstammelingen (Chat, Vicuna, CodeLlama) met hoge scores ( $L \ge 0.33$ ) en classificeerde 7 onafhankelijk getrainde architecturale klonen (OpenLLaMA, Amber, Baichuan, etc.) correct als niet-gerelateerd ( $|L| < 5 \times 10^{-5}$ ).
Onderscheid van Gedrag: De methode maakte succesvol onderscheid tussen gewicht-afstamming en gedragsgelijkenis. Gedestilleerde studenten, die de outputs van de leraar nabootsen, scoorden nabij nul ( $L \approx 0.002$ ), wat bevestigt dat de methode gedeelde parameters detecteert, en niet slechts functionele imitatie.

Betekenis en Beperkingen

Betekenis:
Het artikel vestigt een passief, data-vrij provenance-signaal voor compatibele open-weight taalmodellen. Het maakt het mogelijk om de toeleveringsketens van modellen te auditeren om ongedocumenteerde afstamming te detecten, waarbij onderscheid wordt gemaakt tussen echte gewicht-afstammelingen en modellen die slechts vergelijkbaar gedrag vertonen of een gelijke architectuur delen. De methode is bijzonder significant vanwege haar robuustheid tegen witwaspogingen die interne structuren herordenen zonder het modelgedrag te veranderen.

Beperkingen (zoals vermeld door de auteurs):

White-Box Vereiste: Vereist toegang tot gewichten; API-only modellen kunnen niet worden geverifieerd.
Architectuur Beperkingen: Beperkt tot residuële architecturen (bijv. Transformers, ResNets). Gewone feedforward netwerken, RNN's en state-space modellen vallen buiten de scope.
Compatibiliteit: Vereist overeenkomstige diepte en verborgen dimensies; cross-architectuur verificatie wordt niet ondersteund.
Symmetrie: De score is symmetrisch en kan de richting van de afstamming (voorouder vs. afstammeling) niet bepalen zonder externe metadata.
Partiële Overerving: Hoewel de score het fractie van gedeelde blokken reflecteert in lineaire merges of layer grafts, kan het geen multi-hop afstamming of familie-bomen reconstrueren.
Kalibratie: Vereist een nulverdeling van onafhankelijk getrainde modellen van dezelfde architectuur. De effectieve steekproefomvang voor statistische garanties wordt beperkt door het aantal onafhankelijke wortels, niet door het aantal pairwise vergelijkingen.
Robuustheid tegen Agressieve Aanvallen: Hoewel robuust tegen standaard laundering, kan zware pruning (85% sparsity) of uitgebreide voortgezette pretraining het signaal verzwakken (hoewel het nog steeds detecteerbaar blijft boven de nul). Orthogonale rotatie van de residuële stroom (indien functie-behoudend) zou het signaal theoretisch kunnen vernietigen, hoewel dergelijke architecturen niet standaard zijn in gedeponeerde modellen.