modelDNA: Calibrated Lineage Verification and Merge Decomposition from Sampled Weight Fingerprints

De DNA-detective voor AI-modellen

Stel je voor dat de grootste bibliotheek van AI-hersenen op het internet (genaamd Hugging Face) een chaotische stad is met bijna drie miljoen model-"huizen". In deze stad kan iedereen een huis bouwen, maar het bordje op de voordeur met "Gebouwd volgens de blauwdrukken van Huis X" is optioneel. Sterker nog, meer dan 60% van deze huizen heeft helemaal geen bordje. Soms beweert een bouwer dat hij een nieuw huis vanaf nul heeft uitgevonden, terwijl hij in werkelijkheid gewoon iemands andere blauwdrukken heeft gekopieerd, eroverheen heeft geschilderd of twee huizen met elkaar heeft gemengd.

Lange tijd vereiste het uitzoeken wie wie had gekopieerd een detective met een supercomputer, een volledig weekend en een hoop geluk. Als er een geschil ontstond — zoals wanneer twee bedrijven ruzie maakten over wie de eigenaar was van een specifieke AI-hersenen — was er geen neutraal hulpmiddel om de score te bepalen.

Maak kennis met modelDNA. Denk aan een forensische scanner die niet in het huis hoeft te treken of zelfs niet het hele huis hoeft te downloaden. In plaats daarvan neemt het een snelle "vingerafdruk" van de gewichtsbestanden van het model.

De magie van de "Snelle Scan"

Normaal gesproken is het downloaden van een standaard 7-miljard-parameters AI-model alsof je een hele oceaan probeert te drinken; het is een enorme bestandsserie van 15 GB. modelDNA is slimmer. Het heeft slechts ongeveer 100 tot 300 MB van het bestand nodig.

Hoe? Stel je voor dat het bestand een gigantisch boek is. In plaats van elk woord te lezen, heeft modelDNA een geheime kaart die precies vertelt welke pagina's het moet omslaan. Het leest net de juiste paragrafen (specifieke delen van de wiskunde binnen het model) om een unieke ID-kaart te maken. Dit duurt ongeveer twee minuten op een gewone laptop, zonder dat er een grafische kaart voor nodig is.

Deze scanner zoekt naar vier verschillende soorten "aanwijzingen" (signalen) die verborgen zitten in de wiskunde:

1. Het Ritme: Hoe de aandachtslagen "slaan" (standaarddeviaties).
2. De Vorm: De algehele grootte en richting van de getallen.
3. Het Patroon: Specifieke monsters van de getallen die direct worden vergeleken.
4. Het Spectrum: De verborgen frequenties in de data die overleven, zelfs als de getallen door elkaar zijn gehusseld.

Het Verdict: "Statistisch Consistent," Niet "Schuldig"

Het hulpmiddel is ontworpen om uiterst voorzichtig te zijn. Het geeft liever aan "Ik weet het niet zeker" dan een onschuldig model te beschuldigen van een kopie te zijn. Wanneer het een model scant, vergelijkt het de vingerafdruk met een database van 37 bekende "ouder"-modellen (zoals Llama, Mistral, Qwen en anderen).

Vervolgens geeft het je een van acht verdicts:

• Exacte Kopie: "Dit is een kloon."
• Gekwantiseerde Kopie: "Dit is een kloon, maar kleiner gemaakt om in een kleinere doos te passen."
• Fine-Tune: "Dit is een kind van die ouder, getraind op nieuwe data."
• Waarschijnlijke Mix: "Dit is een mix van twee of meer ouders."
• Hetzelfde Familie (Onopgelost): "Ze zijn neven van elkaar, maar ik kan niet zien welke de directe ouder is."
• Geen Match: "Dit lijkt niet gerelateerd aan iemand in onze database."
• Onvoldoende: "Ik heb niet genoeg aanwijzingen gekregen om een besluit te nemen."
• Onthouding: "Ik ben niet zelfverzekerd genoeg om iets te zeggen."

Als het hulpmiddel een match vindt, geeft het een waarschijnlijkheidsscore. Het kan bijvoorbeeld zeggen: "De gewichten zijn statistisch consistent met het afgeleid zijn van Mistral-7B met een waarschijnlijkheid van 0,99." Het zegt nooit simpelweg "Dit is een kopie"; het zegt dat de wiskunde overeenkomt met dat verhaal.

Het "Smoothie"-mysterie: Het ontmengen van mixes

Een van de coolste trucjes die modelDNA kan doen, is merge decompositie. Stel je voor dat iemand een aardbeiensmoothie en een blauwe bessensmoothie neemt, ze mengt en beweert dat het een nieuwe "Berry Blast"-smaak is. Kun je vertellen hoeveel aardbei en hoeveel blauwe bes erin zit?

In de AI-wereld mengen mensen modellen samen (met behulp van tools zoals mergekit). modelDNA kan naar de "Berry Blast"-vingerafdruk kijken en het recept wiskundig terug ontwerpen. Omdat het mengproces lineair is (zoals het optellen van getallen), kan het hulpmiddel een puzzel oplossen om de exacte percentages te vinden.

In tests slaagde het erin het recept van een "slerp" merge (een specifiek type mix) te herstellen met een correlatie van 0,999, en het kreeg de percentages van een "dare_ties" merge binnen 0,011 van het originele recept. Dit deed het zonder ooit de volledige modellen te downloaden, enkel met de kleine vingerafdrukken.

Wat het niet kan (De Regels)

Het paper is zeer eerlijk over wat dit hulpmiddel niet kan:

• Geen "Gedachtenlezen": Het kan niet detecteren of een model is "gedestilleerd" (geleerd door de antwoorden van een ander model in plaats van door de gewichten ervan). Als de leraar de gewichten van de leerling nooit heeft aangeraakt, zal de vingerafdruk dat niet laten zien.
• Geen "Magische Kandidaatlijst": Om een smoothie te ontmengen, heb je nodig om te weten welke vruchten er mogelijk in zitten. Als je modelDNA vraat om een model te ontmengen maar de lijst met mogelijke ouders niet verstrekt, kan het de "afstamming" (overgrootouders) raden in plaats van het directe recept.
• Geen "Perfect Bewijs": Het hulpmiddel geeft toe dat een vastberaden hacker zou kunnen proberen de vingerafdrukken te vervalsen. Hoewel het hulpmiddel vier verschillende aanwijzingen gebruikt om het vervalsen moeilijk te maken, beweert het niet onkraakbaar te zijn.
• Geen "Deep Learning" on the fly: Het voert het model niet uit om te zien hoe het vragen beantwoordt; het kijkt alleen naar de statische wiskundige bestanden.

Het Track Record

De auteurs hebben dit getest op 15 echte modellen die bekende ouders hadden (geverifieerd door de organisaties die ze hebben gemaakt). Ze zetten deze af tegen 107 "harde negatieven" (modellen die er vergelijkbaar uitzien maar niet verwant zijn).

De resultaten waren scherp:

• AUROC 1.0: Dit is een perfecte score voor het onderscheiden van echte matches van nepversies.
• Nul Vals Positieven: Het heeft nooit een ongerelateerd model beschuldigd van een ouder te zijn.
• 13/13 Correct: Het identificeerde correct de top-ouder voor elke enkele testgeval.

Echter, het paper merkt op dat dit een "kleinstedelijke" test is (15 modellen). Hoewel de resultaten tot nu toe perfect zijn, zijn de auteurs voorzichtig met de opmerking dat dit niet betekent dat het onmogelijk is om ooit fout te zitten. Ze bouwen een grotere test uit om zeker te zijn.

De Kernboodschap

modelDNA is een hulpmiddel dat orde brengt in de chaotische AI-stad. Het roept geen beschuldigingen uit; het presenteert bewijs. Het zegt: "Op basis van de wiskunde die we hebben bekeken, lijkt dit model voor 99% een kind van die ene." Het verandert een rommelig, ongeverifieerd internet in een plek waar afkomst gecontroleerd, geverifieerd en zelfs ontmengd kan worden, allemaal in de tijd die het kost om een kopje koffie te zetten.