🤖 AI

Making Models Unmergeable via Scaling-Sensitive Loss Landscape

Il documento propone \textsc{Trap} $^{2}$ , un framework indipendente dall'architettura che protegge i pesi del modello incorporando un paesaggio di perdita sensibile alla scala durante il fine-tuning, garantendo che l'unione non autorizzata dei modelli degradi le prestazioni pur preservando l'utilità autonoma.

Autori originali: Minwoo Jang, Hoyoung Kim, Jabin Koo, Jungseul Ok

Pubblicato 2026-01-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Minwoo Jang, Hoyoung Kim, Jabin Koo, Jungseul Ok

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina il mondo dei modelli AI come una gigantesca biblioteca aperta dove le persone condividono "schede di ricette" (aggiornamenti) per insegnare nuovi trucchi a uno chef base (il modello base). A volte, vuoi combinare due schede di ricette per creare uno super-chef capace di fare entrambi i trucchi. Questo è chiamato model merging (fusione di modelli).

Tuttavia, c'è un problema: cosa succede se qualcuno rilascia una scheda di ricetta che dovrebbe essere usata solo da sola, ma altri la mescolano con le proprie schede per creare un mostro che viola le regole di sicurezza o ignora le licenze? Il documento chiama questo fenomeno un "gap di governance".

Gli autori di questo articolo, Minello Jang e colleghi, propongono un nuovo modo per proteggere queste schede di ricette in modo che si rompano se qualcuno prova a mescolarle con altre. Chiamano questo metodo TRAP2.

Ecco come funziona, usando semplici analogie:

Il Problema: La "Torta Fragile"

Pensa a un aggiornamento AI standard (come un adattatore LoRA) come a una torta perfettamente cotta.

Standalone (Da sola): Se mangi la torta da sola, ha un sapore incredibile (alta accuratezza).
Merging (Fusione): Se provi a mescolare questa torta con un'altra torta, il risultato è solitamente un nuovo dessert decente.

L'obiettivo del documento è creare una torta che abbia un sapore incredibile da sola, ma che si trasformi in fango non appena qualcuno prova a mescolarla con un'altra torta.

Il Vecchio Modo (Difese Post-Hoc)

I tentativi precedenti per fermare questo processo consistevano nel prendere la torta finita e applicare una "glassa" speciale o riorganizzare gli ingredienti dopo che era stata cotta.

Il Difetto: Questo funziona solo su tipi di torte molto specifici (come i modelli Transformer). Se provi a usare un altro tipo di torta (come una ResNet o una ConvNeXt), la glassa non attacca, o rovina il sapore della torta. Inoltre, se condividi solo il "topping" (l'adattatore) e non l'intera torta, questo metodo fallisce perché ha bisogno di vedere l'intera torta per funzionare.

Il Nuovo Modo: TRAP2 (Protezione durante l'addestramento)

Invece di glassare la torta dopo che è stata cotta, TRAP2 cambia il modo in cui la torta viene cotta fin dall'inizio.

Immagina di stare cucinando una torta, ma hai una regola segreta: "Questa torta deve essere perfetta a temperatura ambiente, ma se la scaldi o la raffreddi anche solo di poco, deve crollare."

Nel mondo dell'AI, la "temperatura" è come un fattore di scala (scaling factor).

Quando il modello viene usato da solo, la "temperatura" è impostata a 1.0 (perfetta).
Quando le persone provano a fondere i modelli, spesso devono regolare la "temperatura" (scalando i pesi verso l'alto o verso il basso) per far funzionare la matematica.

TRAP2 addestra il modello specificamente per essere fragile sotto queste regolazioni.

L'Addestramento: L'AI impara a eseguire perfettamente le operazioni quando la scala è esattamente 1.0.
La Trappola: Durante l'addestramento, l'AI viene anche mostrata cosa succede se la scala è 0.5 o 2.0. Viene punita pesantemente per l'esecuzione corretta in tali scenari. Impara che qualsiasi variazione di scala è pericolosa.
Il Risultato: Quando il modello viene rilasciato, funziona molto bene da solo. Ma nel momento in cui un utente prova a fondere i modelli (il che forza un cambio di scala), le prestazioni del modello crollano.

Perché è speciale?

È Universale: A differenza dei vecchi metodi che funzionavano solo su specifici "tipi di torta" (Transformer), TRAP2 funziona su qualsiasi architettura. Non gli importa che aspetto abbia il modello; gli interessa solo come vengono scalati i numeri.
Funziona sui "Topping": Funziona anche se rilasci solo un piccolo adattatore (come un LoRA) senza il modello completo.
Il "Danno Collaterale": Il documento nota che se mescoli un modello protetto da TRAP2 con uno normale, anche il modello normale viene rovinato. È come mescolare un vaso di vetro fragile con una ciotola di legno; il vetro si frantuma e la ciotola si scheggia. Questo assicura che la fusione non autorizzata sia una cattiva idea per tutti i soggetti coinvolti.

I Risultati

Gli autori hanno testato questo metodo su molti diversi compiti di riconoscimento d'immagine (come identificare auto, aeromobili o cifre scritte a mano).

Standalone: I modelli protetti funzionavano altrettanto bene di quelli non protetti.
Merged: Quando hanno provato a fondere questi modelli protetti con altri, l'accuratezza è crollata drasticamente, scendendo spesso al di sotto del livello di un modello che non era mai stato addestrato affatto.

In Sintesi

TRAP2 è come cucinare una scheda di ricetta con una trappola. Funziona perfettamente se segui le istruzioni esattamente (uso standalone), ma se qualcuno prova a rimescolarla con altre ricette (fusione), tutto cade a pezzi. Questo protegge il lavoro del creatore dal rischio di essere usato in combinazioni non autorizzate senza dover conoscere i dettagli specifici della struttura interna del modello.

Sintesi Tecnica: Rendere i Modelli Non Unificabili tramite un Paesaggio di Perdita Sensibile alla Scala

1. Definizione del Problema

La proliferazione di hub di modelli pubblici (ad esempio, Hugging Face, GitHub) ha facilitato la diffusione capillare di aggiornamenti derivanti da fine-tuning, che spaziano da checkpoint completi a leggeri adapter come il Low-Rank Adaptation (LoRA). Sebbene questa modularità permetta la fusione efficiente dei modelli — combinando molteplici aggiornamenti specifici per un compito senza ulteriore addestramento — essa crea un significativo vuoto di governance. Una volta rilasciati, questi pesi possono essere ricombinati in miscele non autorizzate che aggirano gli allineamenti di sicurezza, i termini di licenza o i vincoli specifici del compito.

Le difese esistenti contro l'unificazione non autorizzata sono ampiamente post-hoc e specifiche per l'architettura. Metodi come PaRaMS e MergeLock si affidano a simmetrie architettoniche inerenti ai Transformer (ad esempio, ri-parametrizzazioni accoppiate delle proiezioni dell'attenzione) per preservare l'utilità autonoma pur interrompendo la fusione diretta nello spazio dei pesi. Tuttavia, questi approoli affrontano due criticità fondamentali:

Incompatibilità con il rilascio di soli Adapter: Spesso richiedono l'accesso ai pesi completi del modello per applicare trasformazioni accoppiate, rendendoli inefficaci per gli adapter LoRA dove viene condiviso solo l'aggiornamento $\Delta W$ e i pesi base $W_0$ sono congelati o non disponibili.
Mancanza di generalità architettonica: La loro dipendenza dalle simmetrie specifiche dei Transformer impedisce l'applicazione a backbone non Transformer (ad esempio, ResNet, ConvNeXt).

La sfida centrale è incorporare l'unificabilità direttamente nell'aggiornamento rilasciato, in modo che il modello mantenga la piena utilità nel suo scenario autonomo ( $s=1$ ), ma degradi significativamente quando sottoposto alle operazioni di riscalamento e aggregazione tipiche delle pipeline di fusione a valle ( $s \neq 1$ ).

2. Metodologia: TRAP2

Gli autori propongono TRAP2 (Training-time Protection via Task-Robust Adversarial Perturbation), un framework di protezione agnostico rispetto all'architettura che integra l'unificabilità direttamente nel processo di fine-tuning.

Intuizione Centrale

Le pipeline di fusione spesso comportano il riscalamento degli aggiornamenti costituenti (ad esempio, la media di $N$ adapter scala ciascuno per $1/N$ ). TRAP2 sfrutta questo aspetto modellando il paesaggio della perdita affinché sia sensibile allo scalamento fuori dal valore nominale. Ottimizza un obiettivo avversario che mantiene le prestazioni alla scala nominale pur inducendo un degrado catastrofico sotto scalamento fuori dal valore nominale.

La Funzione Obiettivo

Dato un modello base $W_0$ e un aggiornamento addestrabile $\Delta W$ , il metodo definisce la perdita a un fattore di scala $s$ come:
$L_{scaled}(\Delta W; s) = \mathbb{E}_{\xi \sim D}[\ell(W_0 + s \cdot \Delta W; \xi)]$

L'obiettivo di addestramento $J(\Delta W)$ minimizza la perdita nominale massimizzando al contempo la perdita sotto scalamento fuori dal valore nominale:
$J(\Delta W) = L_{nominal}(\Delta W) - \lambda \cdot L_{off}(\Delta W)$

Dove:

$L_{nominal}(\Delta W) = L_{scaled}(\Delta W; 1)$ .
$L_{off}(\Delta W) = \mathbb{E}_{s \sim S}[w(s) \cdot L_{scaled}(\Delta W; s)]$ .
$S$ è una distribuzione su scale fuori dal valore nominale (escludendo un margine $\delta$ attorno a $s=1$ ).
$w(s)$ è una funzione di ponderazione (predefinita $1/s$ ) per stabilizzare i gradienti per gli aggiornamenti ridimensionati.
$\lambda$ scambia l'utilità autonoma con la sensibilità al riscalamento.

Ottimizzazione

Il metodo impiega l'ottimizzazione stocastica del primo ordine (ad esempio, SGD). In ogni iterazione, viene campionato un singolo valore $s$ dalla distribuzione fuori dal valore nominale $S$ per approssimare l'aspettativa, fornendo uno stimatore del gradiente non distorto. Questa procedura si applica sia a:

Rilasci di soli Adapter: Ottimizzazione delle matrici LoRA $A$ e $B$ .
Full fine-tuning: Ottimizzazione dell'intera differenza di parametri $\Delta W_t = W_t - W_0$ ad ogni step di addestramento.

3. Contributi Chiave

Formalizzazione del Problema: Gli autori formalizzano un contesto di protezione post-rilascio che accoglie diverse architetture e formati di rilascio (adapter e checkpoint completi), stabilendo un protocollo di valutazione unificato per l'utilità autonoma e il degrado della fusione.
Protezione Agnostica rispetto all'Architettura: A differenza del lavoro precedente, TRAP2 non dipende da simmetrie architettoniche o dall'accesso ai pesi completi. Incorpora la protezione direttamente nell'aggimento, rendendola applicabile a LoRA, checkpoint completi e backbone non Transformer.
Analisi Teorica ed Empirica: Il documento fornisce garanzie teoriche riguardanti la convergenza sotto ottimizzazione stocastica e caratterizza il degrado sotto riduzione di scala. Empiricamente, dimostra che TRAP2 induce un affidabile collasso delle prestazioni sotto fusione pur preservando l'accuratezza autonoma.

4. Risultati Sperimentali

Gli autori hanno valutato TRAP2 attraverso otto benchmark di classificazione di immagini (Cars, DTD, EuroSAT, GTSRB, MNIST, RESISC, Aircraft, SVHN) utilizzando modelli CLIP con backbone ViT-B/32, ViT-L/14 e ConvNeXt.

Utilità Autonoma

Preservazione delle Prestazioni: TRAP2 mantiene un'accuratezza autonoma paragonabile al fine-tuning non protetto in tutte le architetture e i dataset.
Confronto con i Baseline: Le difese post-hoc come MergeLock non sono riuscite a preservare l'utilità autonoma negli scenari di soli adapter (spesso collassando a livelli casuali). PaRaMS ha mantenuto l'utilità ma non è riuscito a impedire la fusione. TRAP2 ha avuto successo in entrambi i casi.

Unificabilità (Degrado della Fusione)

Fusione Lineare: Quando fusi con altri adapter utilizzando operatori standard (Task Arithmetic, TIES, DARE, TSV, CART) in spazi Full, KnOTS o Core, i modelli protetti da TRAP2 hanno subito sostanziali cali di accuratezza, spesso scendendo al di sotto dei baseline zero-shot.
Robustezza alle Strategie di Fusione: Il degrado è persistito anche quando i coefficienti di fusione sono stati ottimizzati tramite ricerca a griglia per trovare la migliore prestazione possibile per il fusore.
Fusione Dipendente dai Dati: TRAP2 è rimasto efficace contro gli operatori di fusione dipendenti dai dati come RegMean e Chain-of-Merges (CoM), che tentano di recuperare l'utilità sfruttando segnali di dati aggiuntivi.
Fusione Pairwise e N-way: Il metodo ha causato un "auto-collasso" nelle fusioni pairwise e un degrado costante nella media uniforme N-way (dove $N \ge 2$ ).
Danno Collaterale: La fusione di un adapter TRAP2 con un adapter non protetto ha spesso degradato anche le prestazioni del compito non protetto, dimostrando la natura dirompente della protezione.

Generalizzazione

Architettura: TRAP2 ha funzionato efficacemente su ConvNeXt, dove le difese specifiche per i Transformer sono inapplicabili.
Scala: I risultati sono stati coerenti tra i backbone ViT-B/32 e ViT-L/14.
Full Fine-Tuning: Il metodo si è esteso con successo alla fusione di modelli completi, non solo alla fusione di adapter.

5. Significato e Rivendicazioni

Il documento sostiene che TRAP2 offra una soluzione pratica al vuoto di governance negli ecosistemi di modelli aperti, spostando il paradigma della protezione da post-hoc a durante l'addestramento.

Spostamento della Strategia di Difesa: Incorporando l'unificabilità direttamente nell'aggiornamento, TRAP2 elude i limiti dei metodi post-hoc che richiedono l'accesso al modello completo o simmetrie architettoniche specifiche.
Affidabilità: Il metodo assicura che la ricomposizione non autorizzata sia inaffidabile, scoraggiando efficacementamente la creazione di miscele non autorizzate che aggirano i vincoli di sicurezza o di licenza.
Modestia sulle Limitazioni: Gli autori riconoscono che la loro valutazione si concentra sulla fusione basata su coefficienti comune nel riutilizzo plug-and-play. Notano che estendere la protezione contro il recupero guidato dai dati (dove un fusore utilizza ulteriori dati rilevanti per il compito per ri-addestrare o effettuare il fine-tuning del modello fuso per ripristinare l'utilità) rimane un ambito aperto per il lavoro futuro.

Gli autori sottolineano che, sebbene il metodo utilizzi perturbazioni avversarie durante l'addestramento, è inteso come uno strumento difensivo per proteggere i diritti di chi carica il modello e l'integrità dello stesso, non per abilitare attacchi. Raccomandano pratiche di rilascio responsabili, come l'etichettatura chiara, per informare gli utenti a valle che i modelli protetti potrebbero non comportarsi in modo affidabile sotto fusione.