On the Vulnerability of Parameter-Level Defenses to Model Merging

Sintesi Tecnica: Sulla vulnerabilità delle difese a livello di parametro rispetto al merging dei modelli

Definizione del problema
Il documento affronta i rischi di sicurezza inerenti al paradigma del "model merging" (fusione dei modelli), in cui molteplici modelli esperti, derivati da un comune backbone pre-addestrato, vengono fusi per creare modelli multi-task senza necessità di ulteriore addestramento. Sebbene efficiente, questa apertura permette a "free-rider" non autorizzati di fondere modelli proprietari, violando la proprietà intellettuale (IP). Le recenti difese proattive (ad es., Params, MergeLock, MergeBarrier) tentano di mitigare questo rischio applicando trasformazioni lineari segrete ai parametri (permutazioni, matrici diagonali o ortogonali) per interrompere l'aritmetica necessaria alla fusione. Tuttavia, tali difese spesso degradano le prestazioni autonome del modello o non riescono a prevenire tentativi di fusione sofisticati. Gli autori identificano una lacuna critica: le difese esistenti si affidano a trasformazioni lineari che preservano la struttura relativa dell'ampiezza dei parametri, lasciandoli potenzialmente vulnerabili a un'inversione analitica.

Metodologia
Il documento propone un'analisi sistematica di queste difese, che porta allo sviluppo di un framework di attacco e di una corrispondente contromisura.

1. Anchor-Guided Attack (AGA):
   L'intuizione fondamentale che guida l'AGA è l'osservazione che, nei modelli fine-tuned protetti, l'ampiezza del vettore del task protetto ($\tau^P$) è ordini di grandezza inferiore (tipicamente $10^{-2}$ a $10^{-3}$) rispetto all'ampiezza dei pesi pre-addestrati protetti ($W^P_{pre}$). Di conseguenza, lo spazio dei parametri del modello protetto è schiaccianteamente dominato dall'ancora pre-addestrata.

• Meccanismo: L'AGA tratta il modello pre-addestrato pubblico come un'ancora di riferimento statica. Formula un obiettivo di allineamento per minimizzare la discrepanza tra il modello protetto e questa ancora.
• Framework a doppio risolutore (Dual-Solver):
  • Trasformazioni continue (Moduli di attenzione): Per le difese che utilizzano matrici invertibili, ortogonali o diagonali (ad es, nei moduli di attenzione), l'AGA risolve un sistema lineare sovradeterminato tramite regressione dei minimi quadrati per derivare una matrice di recupero analitica in forma chiusa.
  • Trasformazioni discrete (Moduli MLP): Per le difese che utilizzano matrici di permutazione per rimescolare i neuroni, l'AGA inquadra il recupero come un problema di assegnazione lineare di somma. Utilizza l'algoritmo di Hungarian con costi definiti dalla similitudine del coseno negativa per trovare il matching bipartito discreto globalmente ottimale, invertendo efficacemente la permutazione.
• Garanzia teorica: Gli autori forniscono teoremi che dimostrano come l'errore di recupero sia strettamente limitato dall'ampiezza del vettore del task. Poiché il vettore del task è trascurabile rispetto ai pesi pre-addestrati, l'attacco ottiene un recupero quasi perfetto.

2. Anchor-Repulsive Fine-tuning (ARF):
   Per contrastare l'AGA, gli autori propongono una difesa che altera fondamentalmente la disparità di ampiezza sfruttata dall'attacco.

• Meccanismo: L'ARF introduce un termine di repulsione basato sulla distanza specificamente durante la fase di fine-tuning, applicato esclusivamente alle matrici di proiezione dell'attenzione ($W_Q, W_K, W_V, W_O$).
• Obiettivo: Questo termine spinge attivamente i pesi dell'attenzione fine-tuned lontano dalle loro ancore pre-addestrate fino a raggiungere un margine di sicurezza prestabilito ($\rho$). Espandendo artificialmente l'ampiezza del vettore del task in questi specifici moduli, l'ARF viola l'assunto che l'ancora pre-addestrata domini lo spazio dei parametri, neutralizzando così la vulnerabilità geometrica su cui si basa l'AGA.

Contributi chiave

• Analisi sistematica della vulnerabilità: Il documento rivela che i vettori del task protetti sono intrinsecamente piccoli in ampiezza rispetto ai pesi pre-addestrati, causando il fatto che lo spazio dei parametri rimanga dominato dal backbone pre-addestrato indipendentemente dalle trasformazioni lineari.
• Framework di attacco universale (AGA): Gli autori propongono l'AGA, il primo framework capace di recuperare analiticamente i pesi protetti allineandoli con l'ancora pre-addestrata. Esso supera con successo le difese individuali e composite allo stato dell'arte (Params, Params-D, MergeLock, MergeBarrier) in modelli di visione e di linguaggio.
• Difesa adattiva (ARF): Il documento introduce l'ARF, una strategia di difesa che espande proattivamente l'ampiezza del vettore del task all'interno dei moduli di attenzione. Questo approccio impedisce efficacementamente la fusione non autorizzata preservando l'utilità autonoma del modello.

Risultati sperimentali
Gli autori hanno valutato i loro metodi attraverso compiti di computer vision (ViT-B/32, ViT-L/14) e di elaborazione/generazione del linguaggio naturale (GPT-2, Qwen2-7B).

• Efficacia dell'attacco: L'AGA ha superato costantemente le difese. Ad esempio, sotto la strategia di merging LOT con protezione MergeLock, le prestazioni del task protetto sono scese al 4,85%; l'AGA le ha ripristinate al 78,36% (un gap inferiore all'1% rispetto alla baseline non protetta). Simili recuperi ad alta fedeltà (fino al 97% delle prestazioni non protette) sono stati osservati in vari paradigmi di merging (Task Arithmetic, CAT, LOT) e modalità.
• Efficacia della difesa: L'ARF ha mitigato con successo la minaccia. Quando l'ARF è stato applicato, le prestazioni dei modelli fusi non autorizzati sotto l'attacco AGA sono state soppresse a livelli vicini al caso casuale (ad es, 0,28% su ViT-B/32), superando significativamente le difese esistenti come MergeGuard.
• Utilità autonoma: Fondamentalmente, l'ARF ha mantenuto le prestazioni autonome dei modelli. Su ViT-B/32, l'ARF ha raggiunto un'accuratezza media dell'88,11%, quasi identica alla baseline non protetta (88,81%) e superiore a MergeGuard (86,31%), dimostrando che la difesa non degrada le capacità originali del compito del modello.

Significatività
Il documento sostiene che le trasformazioni lineari dei pesi offrono "solo un'illusione di sicurezza" contro il merging dei modelli. Esponendo la vulnerabilità geometrica in cui l'ancora pre-addestrata domina lo spazio dei parametri, il lavoro dimostra che le attuali difese a livello di parametro sono fondamentalmente difettose. Il successo dell'AGA sottolinea la necessità di paradigmi più robusti e consapevoli dell'addestramento (training-aware) che non si affidino all'assunto che piccoli vettori del task possano essere oscurati in sicurezza da trasformazioni lineari. La proposta ARF offre una via pratica percorribile sfruttando il processo di fine-tuning per alterare strutturalmente il panorama dei parametri, garantendo che il merging non autorizzato rimanga inefficace senza sacrificare l'utilità del modello.