modelDNA: Calibrated Lineage Verification and Merge Decomposition from Sampled Weight Fingerprints

Der DNA-Detektiv für KI-Modelle

Stellen Sie sich vor, die größte Bibliothek der KI-Gehirne des Internets (genannt Hugging Face) ist eine chaotische Stadt mit fast drei Millionen Modell-"Häusern". In dieser Stadt kann jeder ein Haus bauen, aber das Schild an der Haustür, das besagt „Gebaut nach den Blaupausen von Haus X“, ist optional. Tatsächlich haben über 60 % dieser Häuser überhaupt kein Schild. Manchmal behauptet ein Baumeister, er habe ein neues Haus von Grund auf neu erfunden, während er in Wirklichkeit nur die Blaupausen eines anderen kopiert, übermalt oder zwei Häuser miteinander vermischt hat.

Lange Zeit erforderte es einen Detektiv mit einem Supercomputer, einem kompletten Wochenende und viel Glück, um herauszufinden, wer wen kopiert hat. Wenn ein Streit ausbrach – etwa wenn zwei Unternehmen darüber stritten, wem ein spezifisches KI-Gehirn gehöre – gab es kein neutrales Werkzeug, um die Entscheidung herbeizuführen.

Hier kommt modelDNA ins Spiel. Betrachten Sie es als einen forensischen Scanner, der nicht einmal in das Haus einziehen oder das ganze Gebäude herunterladen muss. Stattdessen erstellt er einen schnellen „Fingerabdruck“ der Gewichtsdateien des Modells.

Die Magie des „Schnellscans“

Normalerweise ist das Herunterladen eines Standard-KI-Modells mit 7 Milliarden Parametern so, als würde man versuchen, einen ganzen Ozean zu trinken; es ist eine massive 15 GB große Datei. modelDNA ist intelligenter. Es muss nur etwa 100 bis 300 MB der Datei ansehen.

Wie? Stellen Sie sich die Datei wie ein riesiges Buch vor. Anstatt jedes Wort zu lesen, besitzt modelDNA eine geheime Karte, die ihm genau sagt, welche Seiten er umblättern muss. Es liest nur die richtigen Absätze (spezifische Teile der Mathematik innerhalb des Modells), um eine einzigartige ID-Karte zu erstellen. Das dauert auf einem normalen Laptop etwa zwei Minuten, ohne dass eine Grafikkarte benötigt wird.

Dieser Scanner sucht nach vier verschiedenen Arten von „Hinweisen“ (Signalen), die in der Mathematik verborgen sind:

1. Der Rhythmus: Wie die Attention-Layer „schlagen“ (Standardabweichungen).
2. Die Form: Die allgemeine Größe und Richtung der Zahlen.
3. Das Muster: Spezifische Stichproben der Zahlen im direkten Vergleich.
4. Das Spektrum: Die verborgenen Frequenzen in den Daten, die selbst überleben, wenn die Zahlen umgestellt werden.

Das Urteil: „Statistisch konsistent“, nicht „Schuldig“

Das Werkzeug ist darauf ausgelegt, extrem vorsichtig zu sein. Es würde lieber sagen „Ich bin mir nicht sicher“, als ein unschuldiges Modell eines Kopierers zu beschuldigen. Wenn es ein Modell scannt, vergleicht es den Fingerabdruck mit einer Datenbank von 37 bekannten „Elternmodellen“ (wie Llama, Mistral, Qwen und anderen).

Es liefert Ihnen dann eines von acht Urteilen:

• Exakte Kopie: „Dies ist ein Klon.“
• Quantisierte Kopie: „Dies ist ein Klon, aber verkleinert, um in eine kleinere Box zu passen.“
• Fine-Tune: „Dies ist ein Kind jenes Elternmodells, das auf neuen Daten trainiert wurde.“
• Wahrscheinlicher Merge: „Dies ist eine Mischung aus zwei oder mehr Eltern.“
• Gleiche Familie (Unentschieden): „Sie sind Cousins, aber ich kann nicht sagen, welches das direkte Elternmodell ist.“
• Keine Übereinstimmung: „Dies scheint mit niemandem in unserer Datenbank verwandt zu sein.“
• Unzureichend: „Ich habe nicht genug Hinweise erhalten, um zu entscheiden.“
• Enthaltung: „Ich bin nicht zuversichtlich genug, um etwas zu sagen.“

Wenn das Werkzeug eine Übereinstimmung findet, gibt es einen Wahrscheinlichkeitswert an. Zum Beispiel könnte es sagen: „Die Gewichte sind statistisch konsistent mit einer Ableitung von Mistral-7B mit einer Wahrscheinlichkeit von 0,99.“ Es sagt nie einfach nur „Dies ist eine Kopie“; es sagt, dass die Mathematik mit dieser Geschichte übereinstimmt.

Das „Smoothie“-Rätsel: Das Entmischen von Merges

Einer der coolsten Tricks, die modelDNA beherrscht, ist die Merge-Dekomposition. Stellen Sie sich vor, jemand nimmt einen Erdbeer-Smoothie und einen Blaubeer-Smoothie, mixt sie zusammen und behauptet, es sei ein neuer „Berry Blast“-Geschmack. Kann man erkennen, wie viel Erdbeere und wie viel Blaubeere darin enthalten ist?

In der Welt der KI werden Modelle zusammengemischt (unter Verwendung von Tools wie mergekit). modelDNA kann den „Berry Blast“-Fingerabdruck analysieren und das Rezept mathematisch zurückentwickeln. Da der Mischprozess linear ist (wie das Addieren von Zahlen), kann das Werkzeug ein Rätsel lösen, um die exakten Prozentsätze zu finden.

In Tests konnte es das Rezept für einen „slerp“-Merge (eine spezifische Art des Mischens) mit einer Korrelation von 0,999 erfolgreich wiederherstellen, und es ermittelte die Prozentsätze eines „dare_ties“-Merges mit einer Abweichung von nur 0,011 zum Originalrezept. Dies gelang dem Tool, ohne jemals die vollständigen Modelle herunterzuladen, sondern nur mithilfe der winzigen Fingerabdrücke.

Was es nicht kann (Die Regeln)

Das Paper ist sehr ehrlich darüber, was dieses Werkzeug nicht kann:

• Kein „Gedankenlesen“: Es kann nicht erkennen, ob ein Modell „destilliert“ wurde (also durch die Antworten eines anderen Modells gelehrt wurde, statt durch dessen Gewichte). Wenn der Lehrer die Gewichte des Schülers nie berührt hat, wird der Fingerabdruck dies nicht zeigen.
• Keine „Magische Kandidatenliste“: Um einen Smoothie zu entmischen, muss man wissen, welche Früchte möglicherweise darin enthalten sind. Wenn man modelDNA bittet, ein Modell zu entmischen, ohne die Liste der möglichen Eltern bereitzustellen, könnte es eher die „Ahnenreihe“ (Großeltern) erraten als das unmittelbare Rezept.
• Kein „Perfekter Beweis“: Das Tool gibt zu, dass ein entschlossener Hacker versuchen könnte, die Fingerabdrücke zu fälschen. Obwohl das Werkzeug vier verschiedene Hinweise nutzt, um das Fälschen schwierig zu machen, behauptet es nicht, unknackbar zu sein.
• Kein „Deep Learning“ im laufenden Betrieb: Es führt das Modell nicht aus, um zu sehen, wie es auf Fragen antwortet; es betrachtet nur die statischen Mathematikdateien.

Die Erfolgsbilanz

Die Autoren testeten dies an 15 echten Modellen, die bekannte Eltern hatten (verifiziert durch die Organisationen, die sie erstellt haben). Sie stellten diese gegen 107 „harte Negativbeispiele“ (Modelle, die ähnlich aussehen, aber nicht verwandt sind).

Die Ergebnisse waren messerscharf:

• AUROC 1,0: Dies ist ein perfekter Wert, um echte Übereinstimmungen von Fälschungen zu unterscheiden.
• Null falsch-positive Ergebnisse: Es hat niemals ein nicht verwandtes Modell fälschlicherweise als Elternmodell beschuldigt.
• 13/13 Korrekt: Es identifizierte für jeden einzelnen Testfall korrekt das primäre Elternmodell.

Das Paper merkt jedoch an, dass dies ein „Kleinstadt-Test“ ist (15 Modelle). Obwohl die Ergebnisse bisher perfekt sind, sind die Autoren vorsichtig und betonen, dass dies nicht bedeutet, dass es unmöglich ist, jemals falsch zu liegen. Sie bauen einen größeren Test auf, um sicherzugehen.

Das Fazit

modelDNA ist ein Werkzeug, das Ordnung in die chaotische KI-Stadt bringt. Es schreit keine Anschuldigungen heraus; es präsentiert Beweise. Es sagt: „Basierend auf der Mathematik, die wir kurz gesichtet haben, sieht dieses Modell zu 99 % wie ein Kind jenes Modells aus.“ Es verwandelt ein unübersichtliches, unverifiziertes Internet in einen Ort, an dem Abstammung überprüft, verifiziert und sogar „entmischt“ werden kann – und das alles in der Zeit, die man zum Aufbrühen einer Tasse Kaffee benötigt.