Sintesi Tecnica: Identificazione e Ricostruzione Guidata da Matrici dell'Omologia dei Pesi di LLM

1. Definizione del Problema

Il documento affronta la sfida del rilevamento dell'omologia dei pesi tra i Large Language Models (LLM). Con l'aumento della scala e della complessità dei modelli, sono cresse le preoccupazioni riguardanti il riutilizzo non attribuito, la replicazione o l' "up-cycling" (ad esempio, fine-tuning, pruning, pre-training continuo) dei pesi del modello. Il problema centrale è formulato come un compito di classificazione binaria: dati due modelli $A$ e $B$ con parametri $\theta_A$ e $\theta_B$, determinare se condividono una linea di discendenza dei pesi (ovvero, se uno è derivato dall'altro) basandosi esclusivamente sulle proprietà statistiche dei loro pesi.

Gli autori definiscono l'omologia includendo vari percorsi evolutivi:

• Fine-tuning: Inclusi SFT e RL.
• Pre-training continuo: Addestramento su dati aggiuntivi.
• Upcycling: Espansione di un modello più piccolo in uno più grande (es. MoE).
• Pruning: Riduzione delle dimensioni del modello rimuovendo canali o neuroni.
• Trasformazioni: Inclusi permutazioni, scaling e trasformazioni ortogonali/unitarie.

Fondamentalmente, il documento distingue l'omologia (condivisione di inizializzazione/pesi) dall'omogeneità (output simili dovuti all'addestramento su dati simili). Due modelli addestrati sugli stessi dati con diversi seed casuali non sono considerati omologhi.

2. Metodologia: MDIR

Gli autori propongono la Matrix-Driven Identification and Reconstruction (MDIR), un metodo white-box che opera esclusivamente sui pesi del modello senza richiedere l'inferenza del modello. MDIR sfrutta l'analisi matriciale, la decomposizione polare e la Teoria delle Grandi Deviazioni (LDT) per raggiungere tre obiettivi:

1. Identificare relazioni ortogonali tra le matrici dei pesi.
2. Rilevare permutazioni e fattori di scaling.
3. Fornire p-value statistici rigorosi per la significatività delle relazioni rilevate.

2.1 Fondamento Teorico: Trasformazioni Invarianti

Il metodo si basa sull'osservazione che i moderni LLM sono sovra-parametrizzati e che molte configurazioni distinte di parametri producono comportamenti input-output identici. Queste configurazioni formano uno spazio invariante $M_{inv}(\theta)$. Gli autori identificano un gruppo di Lie $G$ di trasformazioni "totalmente invarianti" (ad esempio, rotazioni ortogonali, permutazioni e scaling) che preservano la funzione del modello.

In condizioni idealizzate, la dinamica dell'addestramento è confinata nello spazio quoziente $M_{arch}/G$. Di conseguenza, la componente dei parametri lungo l'orbita $G$ (le "coordinate G") rimane costante durante l'addestramento. Se due modelli sono omologhi, la loro trasformazione relativa $g_1^{-1}g_2$ dovrebbe essere vicina all'elemento identità $e$ del gruppo $G$. Al contrario, modelli inizializzati indipendentemente avranno una trasformazione relativa distribuita casualmente su $G$.

2.2 Passaggi Algoritmici

Il processo MDIR prevede i seguenti passaggi:

1. Stima della Relazione Ortogonale:
   Per una coppia di matrici di pesi (ad esempio, gli embedding $E$ e $E'$), il metodo risolve un problema di ottimizzazione per trovare la matrice ortogonale $U$ che minimizza $\|E' - EU^T\|_F$. Ciò equivale a trovare il fattore ortogonale nella decomposizione polare di $E'^T E$.

   • Gestione di Diversi Tokenizer: Se i modelli utilizzano diversi tokenizer, il metodo restringe il confronto a un insieme di token del vocabolario comune $C$ per stimare la trasformazione.

2. Identificazione della Permutazione:
   La matrice ortogonale stimata $\tilde{U}$ viene analizzata per rilevare specifici pattern strutturali, come le permutazioni. Il metodo risolve un Problema di Assegnazione di Somma Lineare (utilizzando l'algoritmo di Hungarian) per trovare una matrice di permutazione $P$ che massimizzi $\text{Tr}(P \tilde{U}^T)$. Questo passaggio identifica se i neuroni o i canali sono stati riordinati.

3. Significatività Statistica (Stima del p-value):
   Per determinare se l'allineamento osservato è statisticamente significativo o una coincidenza casuale, gli autori applicano la Teoria delle Grandi Deviazioni (LDT).

   • Ipotesi Nulla: I pesi non sono correlati e la matrice ortogonale stimata è distribuita uniformemente sul gruppo ortogonale $O(n)$ secondo la misura di Haar.
   • Metrica: La traccia del prodotto della permutazione e della matrice ortogonale, $\text{Tr}(P \tilde{U}^T)$, funge da statistica del test.
   • Calcolo: Utilizzando la LDT, la probabilità di osservare un valore di traccia così alto per puro caso decade esponenzialmente con il quadrato della traccia. Il p-value è stimato come $p \le n! \cdot K \exp(-c^2/2)$, dove $n$ è la dimensione dell'embedding e $c$ è la traccia osservata. Ciò consente la generazione di p-value estremamente piccoli (ad esempio, $10^{-1000}$), fornendo una prova statistica rigorosa dell'omologia.

4. Ricostruzione Layer-wise:
   Per modelli con architetture diverse (ad esempio, diversi conteggi di layer), MDIR itera attraverso i layer per ricostruire la mappa di corrispondenza, identificando quali layer nel modello base corrispondono ai layer nel modello derivato.

3. Contributi Chiave

• Prestazioni SOTA: MDIR raggiunge punteggi perfetti (1.000) sia in Accuratezza che in Area Sotto la Curva (AUC) attraverso diversi modelli sorgente nel benchmark LeaFBench, superando i metodi esistenti come Gradient, REEF, HuRef e PDF.
• Rigore Statistico: A differenza dei metodi precedenti che restituiscono punteggi di similarità che richiedono una calibrazione arbitraria della soglia, MDIR restituisce veri p-value statistici, eliminando la necessità di una sintonizzazione euristica della soglia.
• Inference-Free & Low-Resource: Il metodo non richiede inferenza del modello e confronta solo singole coppie di matrici, rendendolo fattibile su dispositivi a basse risorse.
• Robustezza alle Trasformazioni: Il metodo è invariante rispetto a permutazioni, scaling e trasformazioni ortogonali. Rimane efficace anche quando i modelli utilizzano diversi tokenizer o sono stati sottoposti a pruning e upcycling.
• Capacità di Ricostruzione: MDIR può ricostruire le mappature di corrispondenza dei pesi specifiche (ad esempio, identificando esattamente quali layer sono stati rimossi tramite pruning o come i neuroni sono stati permutati), offrendo un'interpretabilità che i metodi di fingerprinting non possiedono.

4. Risultati Sperimentali

Il documento valuta MDIR su una varietà di modelli, tra cui:

• Instruction Fine-tuning & Continual Pretraining: Ha identificato con successo l'omologia tra modelli come Llama-3.1-8B e Llama-3.2-1B, e varianti di Qwen2.5.
• Pruning: Ha rilevato correttamente che Llama-3.2-1B e 3B sono versioni potate (pruned) di Llama-3.1-8B, ricostruendo la specifica mappatura dei layer (ad esempio, identificando che Llama-3.2-1B mantiene specifici layer dal modello 8B).
• Upcycling: Ha identificato relazioni nei modelli MoE (ad esempio, Qwen1.5-MoE-A2.7B derivato da Qwen1.5-1.8B).
• Diversi Tokenizer: Ha dimostrato l'efficacia ri-addestrando un modello con un nuovo tokenizer (GPT-NeoX) pur mantenendo i pesi originali. MDIR ha rilevato con successo l'omologia man mano che i nuovi embedding convergevano, anche con un vocabolario cambiato.
• Robustezza Avversaria:
  • Iniezione di Rumore: MDIR è rimasto robusto contro l'iniezione di rumore Gaussiano, mantenendo un'alta confidenza di rilevamento anche quando i livelli di rumore hanno causato il collasso delle prestazioni funzionali del modello (accuratezza MMLU).
  • Modelli Indipendenti: Ha identificato correttamente l'assenza di omologia tra modelli sviluppati indipendentemente (ad esempio, DeepSeek-V3 e Kimi-K2) o modelli addestrati sugli stessi dati con diversi seed casuali.

5. Significato e Rivendicazioni

Gli autori affermano che MDIR rappresenta un cambiamento fondamentale nell'audit dei modelli, passando da metriche di similarità euristiche a test di ipotesi statisticamente rigorosi.

• P-value Estremi: Il documento nota che i p-value risultanti (ad esempio, $10^{-104}$) non sono artefatti numerici ma riflessi accurati dell'improbabilità statistica che tali allineamenti dei pesi si verifichino per caso in spazi ad alta dimensionalità, guidati dalla Teoria delle Grandi Deviazioni.
• Responsabilità (Accountability): Il metodo fornisce uno strumento per promuovere la responsabilità e la trasparenza nello sviluppo dell'IA, potenzialmente aiutando nel rilevamento di violazioni della proprietà intellettuale e replicazioni non autorizzate di modelli.
• Limitazioni: Gli autori riconoscono con modestia che, sebbene MDIR eccella nel rilevamento dell'omologia a coppie, non risolve ancora complesse questioni filogenetiche (ad esempio, determinare l'esatto albero evolutivo o gli antenati comuni tra tre o più modelli).

In sintesi, MDIR offre un framework matematicamente fondato, privo di inferenza e altamente accurato per verificare la provenienza dei pesi degli LLM, capace di rilevare sottili relazioni evolutive che i precedenti metodi black-box o basati sulla similarità non riescono a cogliere.