💬 NLP

Matrix-Driven Identification and Reconstruction of LLM Weight Homology

Dieses Paper führt MDIR ein, eine neuartige, inferenzfreie Methode, die Matrixanalyse und die Theorie der großen Abweichungen nutzt, um die Gewichtshomologie zwischen großen Sprachmodellen präzise zu detektieren und statistisch zu validieren, wobei sie eine perfekte Leistung auf dem LeaFBench-Benchmark erzielt.

Ursprüngliche Autoren: Ruichong Zhang, Daniel Goldstein

Veröffentlicht 2026-02-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ruichong Zhang, Daniel Goldstein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei massive, komplexe Maschinen, die aus Milliarden winziger, ineinandergreifender Zahnräder bestehen. Eine Maschine ist der ursprüngliche Bauplan, und die andere ist eine modifizierte Version. Vielleicht hat jemand das Original genommen, einige Zahnräder neu angeordnet, sie in einer anderen Farbe gestrichen oder sogar ein paar Teile gegen etwas Größeres ausgetauscht.

Die große Frage ist: Ist die zweite Maschine tatsächlich aus der ersten gebaut worden, oder hat jemand einfach eine neue Maschine von Grund auf neu gebaut, die der ersten nur ähnlich sieht?

Dies ist das Problem, das das Paper „Matrix-Driven Identification and Reconstruction of LLM Weight Homology“ angeht. Die Autoren, Ruichong Zhang und Daniel Goldstein, haben ein neues Werkzeug namens MDIR erfunden, um diese Frage für Large Language Models (LLMs) zu beantworten.

So funktioniert MDIR, erklärt durch einfache Analogien:

1. Das Problem: Die „Ähnlich-Aussehende“ Maschine

In der Welt der KI nehmen Unternehmen oft ein bestehendes Modell und passen es an. Sie könnten es:

Feintunen: Es neue Fähigkeiten lehren.
Pruning betreiben: Es beschneiden, um es kleiner und schneller zu machen.
Upcyclen: Ein kleines Modell nehmen und es zu einem riesigen Modell erweitern.
Obfuskatieren (Verschleiern): Versuchen, die Änderungen zu verbergen, indem sie die Zahlen (Gewichte) im Inneren durcheinanderbringen.

Alte Methoden versuchten, diese Beziehungen zu erkennen, indem sie die Modelle Fragen stellten (wie ein Black-Box-Test) oder indem sie verglichen, wie sie sich „anfühlen“, wenn sie Daten verarbeiten. Aber diese Methoden sind so, als würde man versuchen, festzustellen, ob zwei Menschen verwandt sind, indem man sie bittet, ein Gedicht aufzusagen. Wenn beide dasselbe Gedicht auswendig gelernt haben, klingen sie vielleicht ähnlich, auch wenn sie nicht miteinander verwandt sind.

2. Die Lösung: Der „DNA“-Check

MDIR fragt die Modelle nicht nach ihrer Meinung. Stattdessen schaut es direkt auf die Baupläne (die mathematischen Gewichte) im Inneren der Maschine.

Betrachten Sie die Gewichte des Modells als einen riesigen, komplexen DNA-Strang. Selbst wenn jemand die DNA neu anordnet (Permutation) oder dehnt (Skalierung), bleibt die grundlegende „Sequenz“ erhalten. MDIR nutzt eine spezielle mathematische Linse, um diese Sequenz zu finden.

Der Prozess:

Der „Fingerabdruck“-Scan: MDIR betrachtet die „Embedding“-Schicht der Modelle. Dies ist vergleichbar mit dem Blick auf das Fundament eines Gebäudes. Wenn zwei Gebäude auf demselben Fundament errichtet wurden, werden die Fundamentsteine übereinstimmen, selbst wenn die oberen Stockwerke anders aussehen.
Der „Puzzle“-Löser: Das Werkzeug versucht, die Teile von Modell A in Modell B einzupassen. Es fragt: „Wenn ich diese Zahlen rotiere oder spiegle, passen sie dann perfekt zusammen?“ Es verwendet einen berühmten Algorithmus (den Hungarian-Algorithmus), um dieses Puzzle zu lösen und den exakten Weg zu finden, auf dem die Zahnräder neu angeordnet wurden.
Der „Münzwurf“-Test: Dies ist der cleverste Teil. Sob matter MDIR eine Übereinstimmung findet, stellt er eine statistische Frage: „Wie hoch ist die Wahrscheinlichkeit, dass zwei völlig unzusammenhängende Maschinen zufällig so perfekt zusammenpassen würden?“
- Unter Verwendung eines Zweigs der Mathematik namens Large Deviation Theory berechnet MDIR einen p-Wert.
- Wenn der p-Wert winzig ist (wie 1 zu einer Billion), bedeutet dies, dass die Übereinstimmung kein Zufall ist. Es ist der Beweis für eine familiäre Verwandtschaft.
- Das Paper behauptet, dass diese p-Werte so klein sind (z. B. $10^{-1000}$ ), dass sie praktisch unmöglich durch Zufall entstehen können.

3. Was MDIR kann (Die Superkräfte)

Das Paper hebt mehrere Dinge hervor, die MDIR kann und die vorherige Werkzeuge nicht konnten:

Es sieht durch das „Durcheinanderbringen“ hindurch: Selbst wenn jemand versucht, die Beziehung zu verbergen, indem er die Reihenfolge der Zahnräder vertauscht (Permutation) oder ihre Größe verändert (Skalierung), kann MDIR die Verbindung immer noch finden. Es ist, als würde man eine Person erkennen, selbst wenn sie eine Maske trägt und rückwärts geht.
Es arbeitet mit unterschiedlichen „Bauplänen“: Es kann Modelle mit unterschiedlichen Vokabularen (verschiedene Wortmengen, die sie kennen) oder sogar einer unterschiedlichen Anzahl von Schichten (unterschiedliche Höhen) vergleichen. Es findet das gemeinsame „gemeinsame Vokabular“, um den Vergleich zu ermöglichen.
Es zeichnet den „Stammbaum“: Es sagt nicht nur „Ja, sie sind verwandt“. Es kann zeigen, wie. Zum Beispiel kann es offenlegen, dass ein kleines Modell aus den ersten 10 Schichten und den letzten 10 Schichten eines großen Modells besteht, wobei die Mitte übersprungen wurde. Es zeichnet eine Karte davon, welcher Teil genau von woher stammt.
Es ist schnell und leichtgewichtig: Es muss das Modell nicht ausführen, um Text zu generieren. Es schaut sich einfach nur die Zahlen an. Das bedeutet, dass es auf einem Laptop laufen kann und nicht erst einen Supercomputer benötigt.

4. Die Ergebnisse: Perfekte Punktzahlen

Die Autoren haben MDIR gegen andere Methoden auf einem Benchmark namens LeaFBench getestet.

Andere Methoden erreichten Werte um die 80 % bis 99 %.
MDIR erreichte 100 % bei der Genauigkeit und 100 % bei der Area-Under-Curve-Metrik.
In einfachen Worten: Es hat nie eine Beziehung übersehen und niemals unzusammenhängende Modelle fälschlicherweise als verwandt bezeichnet.

5. Warum das wichtig ist (Laut dem Paper)

Das Paper positioniert MDIR als ein Werkzeug für Rechenschaftspflicht und Transparenz.

Wenn ein Unternehmen behauptet, es habe ein Modell von Grund auf neu gebaut, aber MDIR zeigt, dass es eigentlich eine Kopie eines Konkurrenzmodells ist, bei der nur ein paar Zahlen vertauscht wurden, ist das ein Beweis für Plagiat.
Es hilft, geistiges Eigentum zu schützen, indem es einen rigorosen, mathematischen „rauchenden Colt“ liefert, der schwer zu bestreiten ist.

Zusammenfassende Analogie

Stellen Sie sich zwei Köche vor.

Alte Methode: Sie fragen sie, ob sie ein Gericht kochen können. Wenn beide ein großartiges Lasagne zubereiten, nehmen Sie an, dass sie vielleicht verwandt sind. Aber vielleicht haben sie einfach beide aus demselben berühmten Kochbuch gelernt.
MDR: Sie gehen in ihre Küchen und schauen sich ihre Gewürzgläser an. Sie bemerken, dass das Glas mit der „Geheimen Würzmischung“ von Koch B eigentlich das Glas von Koch A ist, nur dass das Etikett auf dem Kopf steht und das Glas etwas größer ist. Sie berechnen die Wahrscheinlichkeit, dass zwei zufällige Köche exakt dieselbe einzigartige Gewürzmischung in exakt derselben Glasform haben. Die Wahrscheinlichkeit ist Null. Daher muss Koch B das Gewürz von Koch A gestohlen haben.

MDR ist dieser Gewürzglas-Inspektor für KI-Modelle. Es beweist, wer wen kopiert hat, indem es auf die mathematische DNA schaut, nicht nur auf das Endergebnis.

Technisches Resümee: Matrixgesteuerte Identifizierung und Rekonstruktion der LLM-Gewichtshomologie

1. Problemstellung

Die Arbeit befasst sich mit der Herausforderung, die Gewichtshomologie zwischen Large Language Models (LLMs) zu detektieren. Da Modelle in Skalierung und Komplexität zunehmen, haben die Bedenken hinsichtlich nicht attribuierter Wiederverwendung, Replikation oder „Upcycling“ (z. B. Fine-Tuning, Pruning, kontinuierliches Pretraining) von Modellgewichten zugenommen. Das Kernproblem wird als binäre Klassifikationsaufgabe formuliert: Gegeben seien zwei Modelle $A$ und $B$ mit den Parametern $\theta_A$ und $\theta_B$ ; es ist zu bestimmen, ob sie eine gemeinsame Gewichtslinie teilen (d. h. ob eines von ihnen aus dem anderen abgeleitet wurde), ausschließlich basierend auf den statistischen Eigenschaften ihrer Gewichte.

Die Autoren definieren Homologie unter Einbeziehung verschiedener Evolutionspfade:

Fine-tuning: Einschließlich SFT und RL.
Kontinuierliches Pretraining: Training auf zusätzlichen Daten.
Upcycling: Erweiterung eines kleineren Modells zu einem größeren (z. B. MoE).
Pruning: Reduzierung der Modellgröße durch Entfernen von Kanälen oder Neuronen.
Transformationen: Einschließlich Permutationen, Skalierungen sowie orthogonaler/unitärer Transformationen.

Entscheidend unterscheidet die Arbeit zwischen Homologie (gemeinsame Initialisierung/Gewichte) und Homogenität (ähnliche Ausgaben aufgrund des Trainings auf ähnlichen Daten). Zwei Modelle, die auf denselben Daten mit unterschiedlichen Zufallsseeds trainiert wurden, werden nicht als homolog betrachtet.

2. Methodik: MDIR

Die Autoren schlagen Matrix-Driven Identification and Reconstruction (MDIR) vor, eine White-Box-Methode, die ausschließlich auf Modellgewichten operiert, ohne eine Modellinferenz zu erfordern. MDIR nutzt Matrixanalyse, Polardekomposition und die Große Abweichungstheorie (Large Deviation Theory, LDT), um drei Ziele zu erreichen:

Orthogonale Beziehungen zwischen Gewichtmatrizen zu identifizieren.
Permutationen und Skalierungsfaktoren zu detektieren.
Rigorose statistische p-Werte für die Signifikanz der detektierten Beziehungen bereitzustellen.

2.1 Theoretische Grundlage: Invariante Transformationen

Die Methode basiert auf der Beobachtung, dass moderne LLMs überparametrisiert sind und viele unterschiedliche Parameterkonfigurationen identische Input-Output-Verhaltensweisen erzeugen. Diese Konfigurationen bilden einen invarianten Raum $M_{inv}(\theta)$ . Die Autoren identifizieren eine Lie-Gruppe $G$ von „vollständig invarianten“ Transformationen (z. B. orthogonale Rotationen, Permutationen und Skalierungen), die die Funktion des Modells bewahren.

Unter idealisierten Bedingungen ist die Trainingsdynamik auf den Quotientenraum $M_{arch}/G$ beschränkt. Folglich bleibt die Komponente der Parameter entlang der $G$ -Orbite (die „G-Koordinaten“) während des gesamten Trainings konstant. Wenn zwei Modelle homolog sind, sollte ihre relative Transformation $g_1^{-1}g_2$ nahe am Identitätselement $e$ der Gruppe $G$ liegen. Umgekehrt wird die relative Transformation unabhängig initialisierter Modelle zufällig über $G$ verteilt sein.

2.2 Algorithmische Schritte

Der MDIR-Prozess umfasst die folgenden Schritte:

Schätzung der orthogonalen Relation:
Für ein Paar von Gewichtmatrizen (z. B. Embeddings $E$ und $E'$ ) löst die Methode ein Optimierungsproblem, um die orthogonale Matrix $U$ zu finden, die $\|E' - EU^T\|_F$ minimiert. Dies entspricht dem Finden des orthogonalen Faktors in der Polardekomposition von $E'^T E$ .
- Umgang mit unterschiedlichen Tokenizern: Falls Modelle unterschiedliche Tokenizer verwenden, beschränkt die Methode den Vergleich auf eine Menge gemeinsamer Vokabular-Token $C$ , um die Transformation zu schätzen.
Identifizierung von Permutationen:
Die geschätzte orthogonale Matrix $\tilde{U}$ wird analysiert, um spezifische strukturelle Muster wie Permutationen zu detektieren. Die Methode löst ein Lineares Summenzuordnungsproblem (mittels des Hungarian-Algorithmus), um eine Permutationsmatrix $P$ zu finden, die $\text{Tr}(P \tilde{U}^T)$ maximiert. Dieser Schritt identifiziert, ob Neuronen oder Kanäle neu geordnet wurden.
Statistische Signifikanz (p-Wert-Schätzung):
Um zu bestimmen, ob die beobachtete Ausrichtung statistisch signifikant ist oder ein Zufallsprodukt darstellt, wenden die Autoren die Große Abweichungstheorie (LDT) an.
- Nullhypothese: Die Gewichte sind unzusammenhängend und die geschätzte orthogonale Matrix ist gemäß dem Haar-Maß gleichmäßig über die orthogonale Gruppe $O(n)$ verteilt.
- Metrik: Die Spur des Produkts aus der Permutation und der orthogonalen Matrix, $\text{Tr}(P \tilde{U}^T)$ , dient als Teststatistik.
- Berechnung: Unter Verwendung von LDT sinkt die Wahrscheinlichkeit, einen so hohen Spurwert durch Zufall zu beobachten, exponentiell mit dem Quadrat der Spur. Der p-Wert wird als $p \le n! \cdot K \exp(-c^2/2)$ geschätzt, wobei $n$ die Embedding-Dimension und $c$ die beobachtete Spur ist. Dies ermöglicht die Generierung extrem kleiner p-Werte (z. B. $10^{-1000}$ ) und liefert somit ein rigoroses statistisches Beleg für die Homologie.
Schichtweise Rekonstruktion:
Für Modelle mit unterschiedlichen Architekturen (z. B. unterschiedliche Schichtanzahl) iteriert MDIR durch die Schichten, um die Korrespondenz-Map zu rekonstruieren und zu identifizieren, welche Schichten des Basismodells mit welchen Schichten des abgeleiteten Modells korrespondieren.

3. Zentrale Beiträge

SOTA-Performance: MDIR erreicht perfekte Werte (1.000) sowohl bei der Genauigkeit (Accuracy) als auch beim Area-Under-Curve (AUC) über verschiedene Quellmodelle hinweg im LeaFBench-Benchmark und übertrifft bestehende Methoden wie Gradient, REEF, HuRef und PDF.
Statistische Rigorosität: Im Gegensatz zu bisherigen Methoden, die Ähnlichkeitswerte ausgeben, die einer willkürlichen Schwellenwertkalibrierung bedürfen, liefert MDIR echte statistische p-Werte und eliminiert so die Notwendigkeit einer heuristischen Schwellenwertabstimmung.
Inferenzfrei & ressourcenschonend: Die Methode erfordert keine Modellinferenz und vergleicht lediglich einzelne Paare von Matrizen, was sie für den Einsatz auf ressourcenarmen Geräten praktikabel macht.
Robustheit gegenüber Transformationen: Die Methode ist invariant gegenüber Permutationen, Skalierungen und orthogonalen Transformationen. Sie bleibt effektiv, selbst wenn Modelle unterschiedliche Tokenizer verwenden oder durch Pruning und Upcycling verändert wurden.
Rekonstruktionsfähigkeit: MDIR kann die spezifischen Gewichtskorrespondenz-Abbildungen rekonstruieren (z. B. Identifizierung exakt welcher Schichten gepruned wurden oder wie Neuronen permutiert wurden) und bietet damit eine Interpretierbarkeit, die Fingerprinting-Methoden fehlt.

4. Experimentelle Ergebnisse

Die Arbeit evaluiert MDIR an einer Vielzahl von Modellen, darunter:

Instruction Fine-tuning & Kontinuierliches Pretraining: Erfolgreiche Identifizierung der Homologie zwischen Modellen wie Llama-3.1-8B und Llama-3.2-1B sowie Qwen2.5-Varianten.
Pruning: Korrekte Detektion, dass Llama-3.2-1B und 3B geprunte Versionen von Llama-3.1-8B sind, einschließlich der Rekonstruktion der spezifischen Schichten-Mapping (z. B. Identifizierung, dass Llama-3.2-1B spezifische Schichten des 8B-Modells beibehält).
Upcycling: Identifizierung von Beziehungen in MoE-Modellen (z. B. Qwen1.5-MoE-A2.7B abgeleitet von Qwen1.5-1.8B).
Unterschiedliche Tokenizer: Demonstration der Effektivität durch das Retraining eines Modells mit einem neuen Tokenizer (GPT-NeoX) bei Beibehaltung der ursprünglichen Gewichte. MDIR detektierte die Homologie erfolgreich, als die neuen Embeddings konvergierten, selbst bei verändertem Vokabular.
Adversarielle Robustheit:
- Rauschinjektion: MDIR blieb robust gegenüber Gaußschem Rauschen und behielt eine hohe Detektionskonfidenz bei, selbst wenn das Rauschniveau zum Kollaps der funktionalen Leistung (MMLU-Genauigkeit) des Modells führte.
- Unabhängige Modelle: Korrekte Identifizierung fehlender Homologie zwischen unabhängig entwickelten Modellen (z. B. DeepSeek-V3 und Kimi-K2) oder Modellen, die auf denselben Daten mit unterschiedlichen Zufallsseeds trainiert wurden.

5. Bedeutung und Ansprüche

Die Autoren behaupten, dass MDIR einen fundamentalen Wandel in der Modellprüfung darstellt, indem es von heuristischen Ähnlichkeitsmetriken zu statistisch rigorosen Hypothesentests übergeht.

Extreme p-Werte: Die Arbeit stellt fest, dass die resultierenden p-Werte (z. B. $10^{-104}$ ) keine numerischen Artefakte sind, sondern eine genaue Reflexion der statistischen Unwahrscheinlichkeit solcher Gewichtsausrichtungen durch Zufall in hochdimensionalen Räumen, getrieben durch die Große Abweichungstheorie.
Rechenschaftspflicht: Die Methode bietet ein Werkzeug zur Förderung von Rechenschaftspflicht und Transparenz in der KI-Entwicklung und kann potenziell bei der Detektion von Verletzungen geistigen Eigentums und unbefugter Modellreplikation helfen.
Limitierungen: Die Autoren räumen bescheiden ein, dass MDIR zwar exzellent in der paarweisen Homologiedetektion ist, aber noch keine komplexen phylogenetischen Fragen löst (z. B. die Bestimmung des exakten Evolutionsbaums oder der gemeinsamen Vorfahren unter drei oder mehr Modellen).

Zusammenfassend bietet MDIR einen mathematisch fundierten, inferenzfreien und hochpräzisen Rahmen zur Verifizierung der Provenienz von LLM-Gewichten, der in der Lage ist, subtile evolutionäre Beziehungen zu detektieren, die bisherige Black-Box- oder Ähnlichkeitsbasierte Methoden übersehen.