Sintesi Tecnica: Impronta Digitale Funzionale della Rete (FNF) per i Large Language Models

1. Definizione del Problema

Lo sviluppo di Large Language Models (LLM) comporta costi finanziari e temporali significativi, creando un alto valore commerciale e incentivando l'appropriazione indebita di modelli open-source. Una sfida critica sorge quando gli sviluppatori dichiarano di aver addestrato modelli "originali" da zero, mentre in realtà hanno copiato i pesi da modelli esistenti applicando modifiche superficiali, come il fine-tuning minore, l'offuscamento o l'espansione strutturale (denominata "repackaging dei pesi").

I metodi di fingerprinting esistenti affrontano diverse limitazioni:

• Metodi Invasivi: Tecniche come il watermarking o i backdoor trigger degradano le prestazioni del modello e non possono essere applicate a modelli già rilasciati.
• Metodi Non Invasivi: Approcci basati sull'analisi dell'output o sulla similarità dei pesi spesso mancano di robustezza. Nello specifico, i metodi che si affidano al confronto diretto dei pesi falliscono contro semplici permutazioni dei parametri, mentre quelli basati su rappresentazioni di caratteristiche statiche (ad esempio, la Centered Kernel Alignment) faticano a confrontare modelli con architetture, dimensioni nascoste o espansioni strutturali differenti (ad esempio, l'aggiunta di layer o l'espansione delle dimensioni MLP).

Esiste la necessità di un metodo che non richieda addestramento, sia efficiente nel campionamento e robusto, capace di rilevare la linea di discendenza dei modelli attraverso diverse architetture, scale e tecniche di offuscamento senza compromettere l'utilità del modello.

2. Metodologia: Impronta Digitale Funzionale della Rete (FNF)

Il metodo proposto, Functional Network Fingerprint (FNF), si ispira alle reti neurali funzionali (FBN) nelle neuroscienze. Esso opera sul presupposto che gli LLM, in quanto analoghi computazionali dei sistemi neurali biologici, esibiscano schemi stabili di connettività funzionale in cui gruppi di neuroni co-attivano costantemente come reti integrate.

Concetto Centrale: Coerenza di Attivazione Funzionale (FAC)

Gli autori postulano che i modelli derivati dalla stessa linea di addestramento (anche con differenze di architettura o scala) condividano un comune "schema neuroanatomico". Di conseguenza, essi esibiscono schemi altamente coerenti di attività neuronale all'interno delle loro reti funzionali quando elaborano gli stessi stimoli di input. Al contrario, i modelli addestrati indipendentemente su dati distinti o con obiettivi diversi mancano di tale allineamento.

Pipeline Tecnica

1. Estrazione del Segnale: Per un set di $N$ sequenze di input, i segnali dei neuroni vengono estratti dall'output di specifici blocchi Transformer sia nel modello vittima che nel modello sospetto.
2. Identificazione della Rete Funzionale (CanICA): Il metodo impiega la Canonical Independent Component Analysis (CanICA), uno strumento standard nelle neuroscienze, per identificare le reti funzionali.
   • I dati in input vengono concatenati e bianchificati tramite PCA per rimuovere le correlazioni di secondo ordine.
   • Viene applicata la FastICA per recuperare componenti spaziali indipendenti (reti funzionali), rappresentate come mappe spaziali $A \in \mathbb{R}^{D \times K}$, dove $K$ è il numero di reti funzionali target.
3. Generazione della Serie Temporale: Per ogni rete funzionale identificata (mappa spaziale), viene applicata una maschera binaria per selezionare i neuroni più salienti. La media dell'attività di questi neuroni attraverso la sequenza di input viene calcolata per generare serie temporali funzionali 1D.
4. Misurazione della Similarità: Il metodo calcola la correlazione di rango di Spearman tra le serie temporali funzionali del modello vittima e del modello sospetto.
   • La correlazione di Spearman è scelta rispetto alla correlazione di Pearson per concentrarsi sulla coerenza degli andamenti dell'attività funzionale (ordini di rango) piuttosto che sui valori assoluti, rendendola robusta alle trasformazioni monotone.
   • Viene calcolato un punteggio di coerenza medio attraverso tutti i campioni di input e le coppie di reti per produrre una matrice di similarità.

3. Contributi Chiave

• Nuovo Paradigma di Fingerprinting: FNF introduce un metodo non invasivo e che non richiede addestramento, che sfrutta l'intrinseca attività dinamica funzionale degli LLM piuttosto che i pesi statici o i segnali incorporati.
• Robustezza all'Offuscamento: Il metodo rimane efficace contro comuni modifiche dei modelli, inclusi:
  • Fine-tuning: Anche dopo un esteso fine-tuning su grandi dataset.
  • Pruning: Sia il pruning strutturato (profondità/ampiezza) che quello non strutturato.
  • Permutazione dei Parametri e Scaling: Riordinamento dei pesi o trasformazioni di scala che alterano le dimensioni dei parametri ma preservano la logica funzionale.
  • Weight Repackaging: Rilevamento della discendenza in modelli in cui l'architettura è stata espansa (ad esempio, aggiunta di layer, aumento delle dimensioni nascoste) pur mantenendo i pesi core.
• Compatibilità Cross-Architettura: A differenza di altri metodi che richiedono architetture identiche, FNF può confrontare modelli con diverse dimensioni dei layer nascosti e configurazioni strutturali.
• Interpretabilità: Decomponendo le attivazioni in reti funzionali, il metodo offre intuizioni sull'organizzazione funzionale interna dei modelli.

4. Risultati Sperimentali

Gli autori hanno valutato FNF utilizzando il dataset WikiText-2 attraverso varie famiglie di modelli (LLaMA, Qwen, ChatGLM, Mistral, ecc.) e l'hanno confrontato con il baseline allo stato dell'arte, REEF (che utilizza la Centered Kernel Alignment).

• Fine-Tuning: FNF ha mantenuto forti punteggi di correlazione (ad esempio, >0.9) tra i modelli pre-addestrati e le loro varianti fine-tuned (ad esempio, LLaMA2-7B vs LLaMA2-7B-chat), anche dopo l'addestramento su centinaia di miliardi di token.
• Varianti di Dati di Addestramento: Modelli con architetture identiche ma addestrati da zero su dati diversi (ad esempio, OpenLLaMA vs LLaMA2) hanno mostrato correlazioni deboli, indicando correttamente l'assenza di una linea di discendenza comune.
• Pruning: FNF ha identificato con successo origini comuni in modelli sottoposti a pruning fino al 50% dei parametri. Al contrario, REEF ha fallito nel rilevare relazioni in modelli pesantemente potati (ad esempio, il pruning Wanda-sp).
• Model Merging: FNF ha identificato efficacementamente i modelli costituenti dei modelli LLM fusi (ad esempio, Evollm-jp-7b), sfruttando l'assunzione di miscela lineare di ICA.
• Weight Repackaging & Cross-Architecture:
  • FNF ha identificato correttamente che Mistral-11B (una versione espansa di Mistral-7B) e Solar-10.7B (derivato da Mistral-7B) condividevano un'origine comune, mentre REEF (CKA) non è riuscito a farlo a causa di mismatch architettonici.
  • Nei confronti cross-family (ad esempio, Qwen vs GLM), FNF ha prodotto punteggi bassi, distinguendo correttamente i modelli non correlati, mentre CKA spesso produceva punteggi di similarità spurii.

5. Significato e Rivendicazioni

L'articolo sostiene che FNF fornisca uno strumento semplice, non invasivo ed efficace per proteggere la proprietà intellettuale degli LLM. La sua importanza risiede in:

• Affrontare il Gap del "Weight Repackaging": È il primo metodo esplicitamente validato contro gli attacchi di espansione strutturale in cui i modelli vengono modificati per eludere il rilevamento pur mantenendo i pesi core.
• Preservazione dell'Utilità: Come metodo di analisi post-hoc, non richiede il ri-addestramento o l'inserimento di watermark, preservando così le prestazioni originali del modello.
• Scalabilità ed Efficienza: Il metodo richiede solo pochi campioni per la verifica ed è computazionalmente efficiente.
• Interpretabilità: FNF unisce neuroscienze e IA, offrendo un quadro per comprendere gli LLM attraverso la lente delle reti cerebrali funzionali, potenzialmente facendo avanzare l'interpretabilità dei modelli oltre il semplice fingerprinting.

Gli autori concludono che FNF consente ai proprietari dei modelli e a terze parti di determinare in modo affidabile se un modello sospetto sia un derivato di un modello vittima, anche in presenza di significative differenze architettoniche e dimensionali.