Technische Samenvatting: Modellen Onsamelbaar Maken via Schalingsgevoelige Verlieslandschappen

1. Probleemstelling

De proliferatie van publieke modelhubs (bijv. Hugging Face, GitHub) heeft de brede verspreiding van gefinetunede updates gefaciliteerd, variërend van volledige checkpoints tot lichtgewicht adapters zoals Low-Rank Adaptation (LoRA). Hoewel deze modulariteit efficiënte modelmerging mogelijk maakt—het combineren van meerdere taakspecifieke updates in een enkel model zonder extra training—creëert dit een aanzienlijk governance-gat. Eenmaal vrijgegeven kunnen deze gewichten worden gecombineerd tot ongeautoriseerde mengsels die veiligheidsalignments, licentievoorwaarden of taakspecifieke beperkingen omzeilen.

Bestaande verdedigingen tegen ongeautoriseerde merging zijn grotendeels post-hoc en architectuurspecifiek. Methoden zoals PaRaMS en MergeLock vertrouwen op architecturale symmetrieën die inherent zijn aan Transformers (bijv. gekoppelde herparameterisaties van attention-projecties) om de zelfstandige bruikbaarheid te behouden terwijl directe gewichtsruimte-merging wordt verstoord. Deze benaderingen kampen echter met twee kritieke beperkingen:

1. Incompatibiliteit met Adapter-only Releases: Ze vereisen vaak toegang tot volledige modelgewichten om gepaarde transformaties toe te passen, wat ze ineffectief maakt voor LoRA-adapters waarbij alleen de update $\Delta W$ wordt gedeeld en de basisgewichten $W_0$ bevroren of onbeschikbaar zijn.
2. Gebrek aan Architecturale Generaliteit: Hun afhankelijkheid van Transformer-specifieke symmetrieën verhindert toepassing op niet-Transformer backbones (bijv. ResNet, ConvNeXt).

De kernuitdaging is om onsamelbaarheid direct in de vrijgegeven update in te bedden, zodat het model zijn volledige bruikbaarheid behoudt in zijn zelfstandige setting ($s=1$), maar significant degradeert wanneer het wordt onderworpen aan de her-schalerings- en aggregatiebewerkingen die typerend zijn voor downstream merging-pipelines ($s \neq 1$).

2. Methodologie: TRAP2

De auteurs stellen TRAP2 voor (Training-time Rotection via Adversarial Perturbation, hoewel de afkorting staat voor Training-time Protection via Task-Robust Adversarial Perturbation), een architectuur-agnostisch beschermingsframework dat unmergeability integreert in het fine-tuning proces zelf.

Kernintuïtie

Merging-pipelines omvatten vaak het her-schalen van constituerende updates (bijv. het middelen van $N$ adapters waarbij elk door $1/N$ wordt geschaald). TRAP2 maakt hier gebruik van door het verlieslandschap vorm te geven zodat het gevoelig is voor afwijkende schaling. Het optimaliseert een adversariële doelstelling die prestaties handhaaft bij de nominale schaal, terwijl het een catastrofale degradatie induceert bij afwijkende schaling.

De Doelfunctie

Gegeven een basismodel $W_0$ en een trainbare update $\Delta W$, definieert de methode het verlies bij een schalfactor $s$ als:
$$L_{scaled}(\Delta W; s) = \mathbb{E}_{\xi \sim D}[\ell(W_0 + s \cdot \Delta W; \xi)]$$

De trainingsdoelstelling $J(\Delta W)$ minimaliseert het nominale verlies en maximaliseert het verlies onder afwijkende schaling:
$$J(\Delta W) = L_{nominal}(\Delta W) - \lambda \cdot L_{off}(\Delta W)$$

Waar:

• $L_{nominal}(\Delta W) = L_{scaled}(\Delta W; 1)$.
• $L_{off}(\Delta W) = \mathbb{E}_{s \sim S}[w(s) \cdot L_{scaled}(\Delta W; s)]$.
• $S$ is een distributie over afwijkende schalen (exclusief een marge $\delta$ rond $s=1$).
• $w(s)$ is een wegeerfunctie (standaard $1/s$) om gradiënten voor gedownscaleerde updates te stabiliseren.
• $\lambda$ wisselt de afweging tussen zelfstandige bruikbaarheid en gevoeligheid voor her-schaling uit.

Optimalisatie

De methode maakt gebruik van stochastische first-order optimalisatie (bijv. SGD). In elke iteratie wordt een enkele steekproef $s$ getrokken uit de afwijkende distributie $S$ om de verwachting te benaderen, wat een onbevooroordeelde gradiëntschatter oplevert. Deze procedure is van toepassing op zowel:

• Adapter-only releases: Het optimaliseren van de LoRA-matrices $A$ en $B$.
• Full fine-tuning: Het optimaliseren van het volledige parameterverschil $\Delta W_t = W_t - W_0$ bij elke trainingsstap.

3. Belangrijkste Bijdragen

1. Probleemformalisering: De auteurs formaliseren een post-release beschermingssetting die diverse architecturen en releaseformaten (adapters en volledige checkpoints) accommodeert, en stellen een verenigd evaluatieprotocol vast voor zelfstandige bruikbaarheid en merging-degradatie.
2. Architectuur-agnostische Bescherming: In tegen tegenstelling tot eerder werk, vertrouwt TRAP2 niet op architecturale symmetrieën of toegang tot volledige gewichten. Het bedt de bescherming direct in de update, waardoor het toepasbaar is op LoRA, volledige checkpoints en niet-Transformer backbones.
3. Theoretische en Empirische Analyse: Het artikel biedt theoretische garanties met betrekking tot convergentie onder stochastische optimalisatie en karakteriseert de degradatie onder down-scaling. Empirisch gezien demonstreert het dat TRAP2 een betrouwbare prestatie-instorting veroorzaakt onder merging, terwijl de zelfstandige nauwkeurigheid behouden blijft.

4. Experimentele Resultaten

De auteurs evalueerden TRAP2 over acht visuele classificatie-benchmarks (Cars, DTD, EuroSAT, GTSRB, MNIST, RESISC, Aircraft, SVHN) met behulp van CLIP-modellen met ViT-B/32, ViT-L/14 en ConvNeXt backbones.

Zelfstandige Bruikbaarheid

• Prestatiebehoud: TRAP2 behoudt een zelfstandige nauwkeurigheid die vergelijkbaar is met onbeschermde fine-tuning over alle architecturen en datasets.
• Vergelijking met Baselines: Post-hoc verdedigingen zoals MergeLock faalden om de zelfstandige bruikbaarheid te behouden in adapter-only settings (vaak instortend naar niveau van toeval). PaRaMS behield bruikbaarheid maar slaagde er niet in merging te voorkomen. TRAP2 slaagde in beide.

Onsamelbaarheid (Merging Degradatie)

• Lineaire Merging: Wanneer gemerged met andere adapters met standaard operatoren (Task Arithmetic, TIES, DARE, TSV, CART) in Full, KnOTS, of Core ruimtes, leden TRAP2-beschermde modellen onder substantiële nauwkeurigheidsdalingen, vaak onder de zero-shot baselines.
• Robuustheid tegen Merging Strategieën: De degradatie bleef bestaan, zelfs wanneer de merging-coëfficiënten werden geoptimaliseerd via grid search om de best mogelijke prestatie voor de merger te vinden.
• Data-afhankelijke Merging: TRAP2 bleef effectief tegen data-afhankelijke merging-operatoren zoals RegMean en Chain-of-Merges (CoM), die proberen bruikbaarheid te herstellen door gebruik te maken van extra datasignalen.
• Pairwise en N-way Merging: De methode veroorzaakte "zelf-instorting" in pairwise merges en consistente degradatie in N-way uniforme averaging (waarbij $N \ge 2$).
• Bijkomende Schade: Het mergen van een TRAP2-adapter met een onbeschermde adapter degradeerde vaak ook de prestaties van de onbeschermde taak, wat de disruptieve aard van de bescherming demonstreert.

Generalisatie

• Architectuur: TRAP2 werkte effectief op ConvNeXt, waar Transformer-specifieke verdedigingen niet toepasbaar zijn.
• Schaal: Resultaten waren consistent over ViT-B/32 en ViT-L/14 backbones.
• Full Fine-Tuning: De methode breidde succesvol uit naar full-model merging, niet alleen adapter merging.

5. Betekenis en Claims

Het artikel beweert dat TRAP2 een praktische oplossing biedt voor het governance-gat in open model-ecosystemen door de beschermingsparadigma te verschuiven van post-hoc naar training-time.

• Verschuiving in Verdedigingsstrategie: Door unmergeability direct in de update in te bedden, omzeilt TRAP2 de beperkingen van post-hoc methoden die volledige modeltoegang of specifieke architecturale symmetrieën vereisen.
• Betrouwbaarheid: De methode zorgt ervoor dat ongeautoriseerde hercompositie onbetrouwbaar is, wat het creëren van ongeautoriseerde mengsels die veiligheids- of licentievoorwaarden omzeilen effectief ontmoedigt.
• Bescheidenheid over Beperkingen: De auteurs erkennen dat hun evaluatie zich richt op coëfficiënt-gebaseerde merging die gebruikelijk is bij plug-and-play hergebruik. Zij merken op dat het uitbreiden van bescherming tegen data-gestuurde herstel (waarbij een merger extra taak-relevante data gebruikt om de gemergede modellen te hertrainen of te finetunen om bruikbaarheid te herstellen) een openstaande richting is voor toekomstig werk.

De auteurs benadrukken dat hoewel de methode adversariële perturbaties gebruikt tijdens de training, het bedoeld is als een defensief instrument om de rechten van uploaders en de integriteit van modellen te beschermen, en niet om aanvallen mogelijk te maken. Zij pleiten voor verantwoordelijke release-praktijken, zoals duidelijke etikettering, om downstream gebruikers te informeren dat beschermde modellen mogelijk niet betrouwbaar reageren onder merging.