Technisch overzicht: Matrix-gestuurde identificatie en reconstructie van LLM-gewichts-homologie

1. Probleemstelling

Het artikel behandelt de uitdaging van het detecteren van gewichts-homologie tussen Large Language Models (LLM's). Naarmate modellen groter worden in schaal en complexiteit, neemt de bezorgdheid over niet-geattribuerde hergebruik, replicatie of "up-cycling" (bijv. fine-tuning, pruning, continue pretraining) van modelgewichten toe. Het kernprobleem wordt geformuleerd als een binaire classificatietaak: gegeven twee modellen $A$ en $B$ met parameters $\theta_A$ en $\theta_B$, bepalen of ze een gewichts-afstamming delen (d.w.z. of de een uit de ander is afgeleid) uitsluitend op basis van de statistische eigenschappen van hun gewichten.

De auteurs definiëren homologie inclusief diverse evolutionaire paden:

• Fine-tuning: Inclusief SFT en RL.
• Continue Pretraining: Trainen op aanvullende data.
• Upcycling: Het uitbreiden van een kleiner model naar een groter model (bijv. MoE).
• Pruning: Het verkleinen van de modelomvang door het verwijderen van kanalen of neuronen.
• Transformaties: Inclusief permutaties, schaling en orthogonale/unitaire transformaties.

Cruciaal is dat het artikel onderscheid maakt tussen homologie (gedeelde initialisatie/gewichten) en homogeniteit (gelijke outputs door training op vergelijkbare data). Twee modellen die op dezelfde data zijn getraind met verschillende random seeds worden niet als homoloog beschouwd.

2. Methodologie: MDIR

De auteurs stellen Matrix-Driven Identification and Reconstruction (MDIR) voor, een white-box methode die uitsluitend opereert op modelgewichten zonder dat modelinferentie vereist is. MDIR maakt gebruik van matrixanalyse, poolontbinding en Large Deviation Theory (LDT) om drie doelen te bereiken:

1. Orthogonale relaties tussen gewichtsmatrices identificeren.
2. Permutaties en schalingsfactoren detecteren.
3. Rigoureuze statistische p-waarden leveren voor de significantie van de gedetecteerde relaties.

2.1 Theoretische Fundering: Invariante Transformaties

De methode is gebaseerd op de observatie dat moderne LLM's overgeparameteriseerd zijn, en dat veel verschillende parameterconfiguraties identieke input-output gedragingen produceren. Deze configuraties vormen een invariante ruimte $M_{inv}(\theta)$. De auteurs identificeren een Lie-groep $G$ van "totaal invariante" transformaties (bijv. orthogonale rotaties, permutaties en schalingen) die de functie van het model behouden.

Onder geïdealiseerde omstandigheden is de trainingsdynamiek beperkt tot de quotientruimte $M_{arch}/G$. Bijgevolg blijft het component van de parameters langs de $G$-baan (de "$G$-coördinaten") constant tijdens de training. Als twee modellen homoloog zijn, zou hun relatieve transformatie $g_1^{-1}g_2$ dicht bij het identiteitselement $e$ van de groep $G$ moeten liggen. Omgekeerd zullen onafhankelijk geïnitieerde modellen een relatieve transformatie hebben die willekeurig verdeeld is over $G$.

2.2 Algoritmische Stappen

Het MDIR-proces omvat de volgende stappen:

1. Schatting van Orthogonale Relaties:
   Voor een paar gewichtsmatrices (bijv. embeddings $E$ en $E'$) lost de methode een optimalisatieprobleem op om de orthogonale matrix $U$ te vinden die $\|E' - EU^T\|_F$ minimaliseert. Dit is gelijk aan het vinden van de orthogonale factor in de poolontbinding van $E'^T E$.

   • Omgaan met verschillende Tokenizers: Als modellen verschillende tokenizers gebruiken, beperkt de methode de vergelijking tot een set gemeenschappelijke vocabulaire-tokens $C$ om de transformatie te schatten.

2. Identificatie van Permutaties:
   De geschatte orthogonale matrix $\tilde{U}$ wordt geanalyseerd om specifieke structurele patronen te detecteren, zoals permutaties. De methode lost een Linear Sum Assignment Problem op (met behulp van het Hongaarse algoritme) om een permutatiematrix $P$ te vinden die $\text{Tr}(P \tilde{U}^T)$ maximaliseert. Deze stap identificeert of neuronen of kanalen zijn geherordend.

3. Statistische Significantie (p-waarde Schatting):
   Om te bepalen of de waargenomen uitlijning statistisch significant is of een toevallige samenloop, passen de auteurs Large Deviation Theory (LDT) toe.

   • Nulhypothese: De gewichten zijn ongerelateerd, en de geschatte orthogonale matrix is uniform verdeeld over de orthogonale groep $O(n)$ volgens de Haar-maat.
   • Metriek: De trace van het product van de permutatie en de orthogonale matrix, $\text{Tr}(P \tilde{U}^T)$, dient als de teststatistiek.
   • Berekening: Gebruikmakend van LDT, neemt de waarschijnlijkheid dat een trace-waarde even hoog is als de gevonden waarde door toeval, exponentieel af met het kwadraat van de trace. De p-waarde wordt geschat als $p \le n! \cdot K \exp(-c^2/2)$, waarbij $n$ de embedding-dimensie is en $c$ de geobserveerde trace. Dit maakt het mogelijk om extreem kleine p-waarden te generen (bijv. $10^{-1000}$), wat rigoureus statistisch bewijs van homologie levert.

4. Laag-gewijze Reconstructie:
   Voor modellen met verschillende architecturen (bijv. verschillende aantal lagen), iterereert MDIR door de lagen om de correspondentiekaart te reconstrueren, waarbij wordt geïdentificeerd welke lagen in het basismodel overeenkomen met welke lagen in het afgeleide model.

3. Belangrijkste Bijdragen

• SOTA Prestaties: MDIR bereikt perfecte scores (1.000) op zowel Accuracy als Area-Under-Curve (AUC) over verschillende bronmodellen in de LeaFBench benchmark, waarbij het bestaande methoden zoals Gradient, REEF, HuRef en PDF overtreft.
• Statistische Rigor: In tegen tegenstelling tot eerdere methoden die gelijkenissscores outputten die arbitraire drempelkalibratie vereisen, geeft MDIR ware statistische p-waarden terug, waardoor de noodzaak voor heuristische drempelinstelling wordt geëlimineerd.
• Inference-Free & Laag-Resource: De methode vereist geen modelinferentie en vergelijkt slechts enkele paren matrices, wat het uitvoerbaar maakt op apparaten met lage resources.
• Robuustheid tegen Transformaties: De methode is invariant voor permutaties, schaling en orthogonale transformaties. Het blijft effectief, zelfs wanneer modellen verschillende tokenizers gebruiken of onderhevig zijn aan pruning en upcycling.
• Reconstructiecapaciteit: MDIR kan de specifieke gewichts-correspondentie-mappings reconstrueren (bijv. precies identificeren welke lagen zijn gepruned of hoe neuronen zijn gepermuteerd), wat interpretabiliteit biedt die fingerprinting-methoden missen.

4. Experimentele Resultaten

Het artikel evalueert MDIR op een divers scala aan modellen, waaronder:

• Instruction Fine-tuning & Continue Pretraining: Succesvolle identificatie van homologie tussen modellen zoals Llama-3.1-8B en Llama-3.2-1B, en Qwen2.5 varianten.
• Pruning: Detecteerde correct dat Llama-3.2-1B en 3B geprunte versies zijn van Llama-3.1-8B, en reconstrueerde de specifieke laag-mapping (bijv. identificeren dat Llama-3.2-1B specifieke lagen uit het 8B-model behoudt).
• Upcycling: Identificeerde relaties in MoE-modellen (bijv. Qwen1.5-MoE-A2.7B afgeleid van Qwen1.5-1.8B).
• Verschillende Tokenizers: Demonstreerde effectiviteit door een model te hertrainen met een nieuwe tokenizer (GPT-NeoX) terwijl de originele gewichten behouden bleven. MDIR detecteerde succesvol homologie naarmate de nieuwe embeddings convergeerden, zelfs met een veranderde vocabulaire.
• Adversariële Robuustheid:
  • Ruisinjectie: MDIR bleef robuust tegen Gaussische ruisinjectie, waarbij een hoge detectie-betrouwbaarheid behouden bleef, zelfs wanneer ruisniveaus de functionele prestatie (MMLU nauwkeurigheid) van het model lieten instorten.
  • Onafhankelijke Modellen: Identificeerde correct geen homologie tussen onafhankelijk ontwikkelde modellen (bijv. DeepSeek-V3 en Kimi-K2) of modellen die op dezelfde data zijn getraind met verschillende random seeds.

5. Betekenis en Claims

De auteurs beweren dat MDIR een fundamentele verschuiving vertegenwoordigt in model-auditing door over te stappen van heuristische gelijkenis-metrieken naar statistisch rigoureuze hypothesetests.

• Extreme p-waarden: Het artikel merkt op dat de resulterende p-waarden (bijv. $10^{-104}$) geen numerieke artefacten zijn, maar een accurate reflectie van de statistische onwaarschijnlijkheid van dergelijke gewichts-uitlijningen door toeval in hoog-dimensionale ruimtes, gedreven door Large Deviation Theory.
• Verantwoording: De methode biedt een instrument voor het bevorderen van verantwoording en transparantie in AI-ontwikkeling, wat potentieel kan helpen bij de detectie van schendingen van intellectueel eigendom en ongeautoriseerde modelreplicatie.
• Beperkingen: De auteurs erkennen bescheiden dat hoewel MDIR uitblinkt in pairwise homologie-detectie, het nog steeds geen complexe fylogenetische vragen oplost (bijv. het bepalen van de exacte evolutionaire boom of de gemeenschappelijke voorouders tussen drie of meer modellen).

Samenvattend biedt MDIR een wiskundig gefundeerd, inference-vrij en zeer accuraat kader voor het verifiëren van de herkomst van LLM-gewichten, in staat om subtiele evolutionaire relaties te detecteren die vorige black-box of gelijkenis-gebaseerde methoden missen.