Riepilogo Tecnico: Blocco dei Pesi Pre-addestrati tramite Distillazione Residua a Basso Rango Profonda

Formulazione del Problema

La proliferazione di modelli linguistici su larga scala (LLM) con pesi aperti ha democratizzato l'accesso a sistemi di intelligenza artificiale potenti, ma ha simultaneamente eroso il controllo che i fornitori di modelli esercitano su come tali pesi vengono utilizzati. Sebbene le licenze legali tentino di limitare l'adattamento non autorizzato, esse mancano di un meccanismo di applicazione tecnica. Un attaccante adattivo con accesso completo ai pesi e all'architettura del modello può spesso invertire difese strutturali semplici o utilizzare l'ottimizzazione per eluderle.

La sfida scientifica centrale affrontata è il blocco del modello: la capacità di modificare un modello pre-addestrato in modo che l'adattarlo (ad esempio, tramite fine-tuning) diventi intrinsecamente più costoso rispetto all'adattamento del modello originale, preservando rigorosamente le prestazioni di inferenza e le capacità generali del modello. Gli autori formalizzano questo concetto sotto un modello di minaccia adattivo fondato sul principio di Kerckhoffs, secondo cui la difesa deve rimanere efficace anche se l'attaccante conosce il design del meccanismo di blocco. L'obiettivo è raggiungere un "fattore di blocco" $\kappa > 1$, dove il costo (tempo, FLOPs o ore GPU) necessario per raggiungere un livello di prestazioni target su un compito downstream è amplificato di almeno $\kappa$ per il modello bloccato rispetto all'originale.

Limiti degli Approcci Esistenti

Il documento identifica difetti fondamentali nelle strategie difensive precedenti:

1. Difese Basate sulla Simmetria: Metodi che sfruttano le simmetrie dei pesi (ad esempio, scalatura o inserimento di matrici invertibili) per interrompere l'ottimizzazione sono trivialmente reversibili. Un attaccante può ispezionare le norme dei pesi o calcolare la decomposizione ai valori singolari (SVD) per riequilibrare i pesi e ripristinare il paesaggio di ottimizzazione originale.
2. Difese Basate sull'Ottimizzazione: Approcci che tentano di incorporare difese ottimizzando paesaggi di perdita mal condizionati (ad esempio, massimizzando la traccia dell'Hessiano o inserendo moduli barriera) affrontano un paradosso "autolesionista". Il difensore deve utilizzare l'ottimizzazione per trovare una soluzione che resista all'ottimizzazione, eppure le stesse informazioni sui gradienti disponibili al difensore sono disponibili anche all'attaccante. Esperimenti su semplici MLP mostrano che la discesa del gradiente spesso non riesce a raggiungere queste regioni "bloccate" ad alto costo partendo da inizializzazioni pre-addestrate.

Metodologia: DLR-Lock

Gli autori propongono DLR-Lock, una difesa che sfrutta l'asimmetria inferenza-addestramento della differenziazione automatica. A differenza dell'inferenza, che richiede solo un passaggio in avanti e scarta le attivazioni intermedie, l'addestramento richiede la memorizzazione di tutte le attivazioni intermedie per la retropropagazione. DLR-Lock sostituisce ogni modulo standard SwiGLU MLP in un trasformatore con una Rete Residua a Basso Rango Profonda (DLR-Net).

Architettura

Un blocco residuo MLP standard $x' = z + \text{FFN}(\text{RMSNorm}(z))$ viene sostituito da una rete residua a basso rango di profondità $L$:
$$h_0 = z, \quad h_{i+1} = h_i + \alpha_i U_i \sigma(V_i \text{RMSNorm}(h_i)), \quad x' = h_L$$
dove:

• $V_i \in \mathbb{R}^{r \times d}$ e $U_i \in \mathbb{R}^{d \times r}$ sono matrici di proiezione a basso rango con rango di imbottigliamento $r \ll d$.
• $\alpha_i$ è uno scalare ReZero apprendibile.
• La profondità $L$ è scelta in modo che il conteggio totale dei parametri corrisponda (o superi leggermente) l'MLP originale, distribuendo i parametri su molti strati superficiali piuttosto che su pochi strati profondi.

Tre Meccanismi di Blocco

Questa sostituzione architetturale introduce tre barriere specifiche all'adattamento:

1. Crescita della Memoria delle Attivazioni: Durante la retropropagazione, la memoria richiesta per memorizzare le attivazioni cresce linearmente con la profondità $L$. Per un attaccante che utilizza un fine-tuning ingenuo, l'overhead di memoria delle attivazioni scala come $\Theta(d/r)$ rispetto al modello originale, potenzialmente costringendo a dimensioni di batch più piccole o hardware più costoso.
2. Instabilità dell'Ottimizzazione: La struttura residua profonda crea un disallineamento architetturale con le ricette di addestramento del modello originale. Gli iperparametri e gli ottimizzatori standard per il fine-tuning, tarati per gli MLP superficiali originali, diventano instabili o inefficienti quando applicati alle DLR-Net profonde.
3. Overhead Sproporzionato del Passaggio Inverso: Il passaggio inverso comporta un overhead significativamente maggiore rispetto al passaggio in avanti a causa di pattern di accesso alla memoria complessi e della necessità di ricalcolare le attivazioni (anche con il checkpointing dei gradienti). Crucialmente, le ottimizzazioni del compilatore (come il replay dei grafi CUDA) che accelerano il passaggio in avanti non si trasferiscono al passaggio inverso, ampliando il divario di costo per gli attaccanti che devono calcolare i gradienti.

Procedura di Distillazione

Per garantire che il modello bloccato mantenga le capacità originali (Preservazione dell'Utilità), gli autori impiegano una pipeline di distillazione in due fasi:

1. Distillazione Modulare: Ogni DLR-Net viene addestrata indipendentemente per replicare la mappatura input-output del corrispondente strato MLP pre-addestrato, minimizzando l'Errore Quadratico Medio (MSE) relativo.
2. Distillazione dei Logit: Dopo la sostituzione di tutti gli strati, gli errori accumulati vengono corretti effettuando il fine-tuning dei parametri DLR-Net (con attenzione e embedding congelati) utilizzando il modello originale come insegnante. L'obiettivo è minimizzare la divergenza KL top-$k$ tra le distribuzioni di output dell'insegnante e dello studente.

Risultati Sperimentali

Il metodo è stato validato sui modelli Qwen3-0.6B e Qwen3-8B utilizzando il dataset Nemotron-CC.

• Preservazione della Qualità: I modelli bloccati hanno preservato con successo le capacità del modello originale. Dopo la distillazione in due fasi, la perplessità su corpora di testo naturale (Nemotron-CC, WikiText-103) e le prestazioni su benchmark downstream (MMLU, ARC, HellaSwag, ecc.) sono state recuperate entro pochi punti dalla baseline pre-addestrata.
• Overhead di Inferenza: Sebbene i FLOPs teorici rimangano comparabili, la natura sequenziale delle DLR-Net introduce un overhead di tempo reale. Tuttavia, questo è mitigato dalle ottimizzazioni del compilatore (ad esempio, torch.compile con reduce-overhead). Per modelli di grandi dimensioni e dimensioni di batch, il rapporto di overhead diminuisce significativamente (ad esempio, da $144\times$ in modalità eager a $11\times$ con compilazione per modelli da 8B), rimanendo gestibile per gli utenti legittimi.
• Resistenza al Fine-Tuning:
  • Convergenza: Quando si esegue il fine-tuning su WikiText-103, il modello bloccato convergeva significativamente più lentamente rispetto alla baseline e si stabilizzava a una perdita più alta, anche con il checkpointing dei gradienti abilitato.
  • Instabilità: A tassi di apprendimento più elevati ($10^{-4}$), il modello bloccato divergeva completamente, mentre la baseline si addestrava normalmente, indicando che la difesa restringe l'intervallo efficace del tasso di apprendimento.
  • Amplificazione dei Costi: Il passaggio inverso ha rappresentato l'89% del tempo totale di addestramento per il modello bloccato (contro l'83% per la baseline), e il tempo reale necessario per raggiungere una perdita target era sostanzialmente più alto. Gli autori notano che l'overhead del passaggio inverso è sproporzionatamente più alto rispetto al passaggio in avanti, confermando la dipendenza della difesa dai costi specifici dell'addestramento.

Significato e Affermazioni

Il documento afferma di stabilire un nuovo asse di difesa per il blocco dei modelli che è agnostico rispetto all'ottimizzatore e si basa su proprietà strutturali piuttosto che sul segreto del meccanismo di difesa. I contributi chiave includono:

• Formalizzazione: Definire il blocco del modello come amplificazione del costo di adattamento sotto un modello di minaccia adattivo.
• Meccanismo Innovativo: Dimostrare che l'asimmetria inferenza-addestramento della differenziazione automatica può essere sfruttata per creare una difesa che è economica da valutare ma costosa da differenziare.
• Robustezza: Mostrare che il metodo resiste ad attaccanti adattivi con piena conoscenza della strategia, inclusi quelli che utilizzano checkpointing dei gradienti, aggiornamenti parziali dei pesi o LoRA.
• Praticità: Validare che il meccanismo di blocco non sacrifica l'utilità del modello, permettendo agli utenti legittimi di inferire con prestazioni quasi originali mentre impone una barriera di costo misurabile all'adattamento non autorizzato.

Gli autori concludono che, sebbene l'overhead del passaggio in avanti possa essere mitigato tramite kernel personalizzati o compilazione, l'asimmetria fondamentale nei costi della retropropagazione rimane una barriera robusta contro il fine-tuning.