Technische Samenvatting: Vergrendelen van Voorgedefinieerde Gewichten via Diepe Laag-Rang Residuale Distillatie

Probleemformulering

De proliferatie van open-gewicht grote taalmodellen (LLMs) heeft de toegang tot krachtige AI-systemen gedemocratiseerd, maar heeft tegelijkertijd de controle die modelproviders hebben over de wijze waarop deze gewichten worden gebruikt, uitgehold. Hoewel juridische licenties proberen ongeautoriseerde aanpassingen te beperken, ontbreekt technische afdwingbaarheid. Een adaptieve aanvaller met volledige toegang tot modelgewichten en architectuur kan vaak eenvoudige structurele verdedigingen omkeren of optimalisatie gebruiken om ze te omzeilen.

De kernwetenschappelijke uitdaging die wordt aangepakt is modelvergrendeling: het vermogen om een voorgedefinieerd model zodanig te wijzigen dat het aanpassen ervan (bijvoorbeeld via fine-tuning) inherent duurder wordt dan het aanpassen van het oorspronkelijke model, terwijl de inferentieprestaties en algemene capaciteiten van het model strikt behouden blijven. De auteurs formaliseren dit onder een adaptief bedreigingsmodel dat gebaseerd is op het principe van Kerckhoffs, waarbij de verdediging effectief moet blijven zelfs als de aanvaller het ontwerp van het vergrendelingsmechanisme kent. Het doel is het bereiken van een "vergrendelingsfactor" $\kappa > 1$, waarbij de kosten (tijd, FLOPs of GPU-uren) om een doelprestatieniveau op een downstream-taak te bereiken, met ten minste $\kappa$ worden versterkt voor het vergrendelde model ten opzichte van het origineel.

Beperkingen van Bestaande Benaderingen

Het artikel identificeert fundamentele gebreken in eerdere verdedigingsstrategieën:

1. Op symmetrie gebaseerde verdedigingen: Methoden die gebruikmaken van gewichtssymmetrieën (bijvoorbeeld schaling of het invoegen van inverteerbare matrices) om optimalisatie te verstoren, zijn triviaal omkeerbaar. Een aanvaller kan gewichtsnormen inspecteren of singuliere waarde-decomposities (SVD) berekenen om de gewichten in evenwicht te brengen en het oorspronkelijke optimalisatielandschap te herstellen.
2. Op optimalisatie gebaseerde verdedigingen: Benaderingen die proberen verdedigingen in te bouwen door te optimaliseren voor slecht geconditioneerde verlieslandschappen (bijvoorbeeld het maximaliseren van de Hessian-trace of het invoegen van barrièremodules), staan voor een "zelfvernietigend" paradox. De verdediger moet optimalisatie gebruiken om een oplossing te vinden die resistent is tegen optimalisatie, terwijl dezelfde gradiëntinformatie die de verdediger tot zijn beschikking heeft, ook beschikbaar is voor de aanvaller. Experimenten op eenvoudige MLP's tonen aan dat gradiëntafdaaling vaak faalt om deze "vergrendelde" hoogkostenregio's te bereiken vanuit voorgedefinieerde initialisaties.

Methodologie: DLR-Lock

De auteurs stellen DLR-Lock voor, een verdediging die gebruikmaakt van de asymmetrie tussen inferentie en training van automatische differentiatie. In tegenstelling tot inferentie, die alleen een forward-pass vereist en tussenliggende activaties verworpt, vereist training het opslaan van alle tussenliggende activaties voor backpropagatie. DLR-Lock vervangt elke standaard SwiGLU MLP-module in een transformer door een Diep Laag-Rang Residueel Netwerk (DLR-Net).

Architectuur

Een standaard MLP-residublok $x' = z + \text{FFN}(\text{RMSNorm}(z))$ wordt vervangen door een diepte-$L$ laag-rang residueel netwerk:
$$h_0 = z, \quad h_{i+1} = h_i + \alpha_i U_i \sigma(V_i \text{RMSNorm}(h_i)), \quad x' = h_L$$
waarbij:

• $V_i \in \mathbb{R}^{r \times d}$ en $U_i \in \mathbb{R}^{d \times r}$ laag-rang projectiematrices zijn met een bottleneck-rang $r \ll d$.
• $\alpha_i$ een leerbare ReZero-scalaire is.
• De diepte $L$ zodanig wordt gekozen dat het totale aantal parameters overeenkomt met (of lichtjes overschrijdt) het oorspronkelijke MLP, waarbij parameters worden verdeeld over vele ondiepe lagen in plaats van enkele diepe lagen.

Drie Vergrendelingsmechanismen

Deze architecturale substitutie introduceert drie specifieke barrières voor aanpassing:

1. Groei van Activatiegeheugen: Tijdens backpropagatie groeit het geheugen dat nodig is om activaties op te slaan lineair met de diepte $L$. Voor een aanvaller die naïeve fine-tuning gebruikt, schaalt de overhead van het activatiegeheugen als $\Theta(d/r)$ ten opzichte van het oorspronkelijke model, wat mogelijk kleinere batchgroottes of duurdere hardware dwingt.
2. Instabiliteit van Optimalisatie: De diepe residuale structuur creëert een architecturale mismatch met de trainingsrecepten van het oorspronkelijke model. Standaard fine-tuning-hyperparameters en optimalisatoren, afgestemd op de oorspronkelijke ondiepe MLP's, worden instabiel of inefficiënt wanneer toegepast op de diepe DLR-Netten.
3. Disproportionele Overhead van de Backward Pass: De backward pass ondervindt aanzienlijk meer overhead dan de forward pass vanwege complexe toegangspatronen voor het geheugen en de noodzaak om activaties opnieuw te berekenen (zelfs met gradient checkpointing). Cruciaal zijn compiler-optimalisaties (zoals CUDA graph replay) die de forward pass versnellen, niet overdraagbaar naar de backward pass, waardoor de kostenkloof voor aanvaller die gradiënten moeten berekenen, wordt verbreed.

Distillatieprocedure

Om ervoor te zorgen dat het vergrendelde model de oorspronkelijke capaciteiten behoudt (Behoud van Nut), hanteren de auteurs een twee-fasen distillatiepijplijn:

1. Moduulgewijze Distillatie: Elk DLR-Net wordt onafhankelijk getraind om de input-output mapping van de corresponderende voorgedefinieerde MLP-laag te repliceren, waarbij de relatieve Mean Squared Error (MSE) wordt geminimaliseerd.
2. Logits Distillatie: Nadat alle lagen zijn vervangen, worden de opgehoopte fouten gecorrigeerd door de DLR-Net parameters te fine-tunen (met aandacht en embeddings bevroren) met het oorspronkelijke model als leraar. Het doel is het minimaliseren van de top-$k$ KL-divergentie tussen de outputverdelingen van leraar en student.

Experimentele Resultaten

De methode werd gevalideerd op Qwen3-0.6B en Qwen3-8B modellen met behulp van het Nemotron-CC dataset.

• Behoud van Kwaliteit: De vergrendelde modellen behielden succesvol de capaciteiten van het oorspronkelijke model. Na de twee-fasen distillatie werden de perplexiteit op natuurlijke tekstcorpora (Nemotron-CC, WikiText-103) en de prestaties op downstream-benchmarks (MMLU, ARC, HellaSwag, enz.) hersteld tot binnen enkele punten van de voorgedefinieerde baseline.
• Inferentie Overhead: Hoewel de theoretische FLOPs vergelijkbaar blijven, introduceert de sequentiële aard van DLR-Netten een wandklokkloppende overhead. Dit wordt echter gemitigeerd door compiler-optimalisaties (bijvoorbeeld torch.compile met reduce-overhead). Voor grote modellen en batchgroottes daalt de overheadratio aanzienlijk (bijvoorbeeld van $144\times$ in eager mode naar $11\times$ met compilatie voor 8B-modellen), wat beheersbaar blijft voor legitieme gebruikers.
• Resistentie tegen Fine-tuning:
  • Convergentie: Bij fine-tuning op WikiText-103 convergeerde het vergrendelde model aanzienlijk langzamer dan de baseline en plateauerde bij een hoger verlies, zelfs met ingeschakelde gradient checkpointing.
  • Instabiliteit: Bij hogere leersnelheden ($10^{-4}$) divergeerde het vergrendelde model volledig, terwijl de baseline normaal trainde, wat aangeeft dat de verdediging het effectieve bereik van de leersnelheid versmalt.
  • Kostenversterking: De backward pass was goed voor 89% van de totale trainingstijd voor het vergrendelde model (tegenover 83% voor de baseline), en de wandkloktijd om een doelverlies te bereiken was aanzienlijk hoger. De auteurs merken op dat de overhead van de backward pass disproportioneel hoger is dan die van de forward pass, wat de afhankelijkheid van de verdediging van trainingspecifieke kosten bevestigt.

Betekenis en Claims

Het artikel claimt een nieuwe verdedigingsas voor modelvergrendeling te vestigen die optimizer-agnostisch is en steunt op structurele eigenschappen in plaats van de geheimhouding van het verdedigingsmechanisme. Belangrijke bijdragen zijn:

• Formalisering: Het definiëren van modelvergrendeling als versterking van aanpassingskosten onder een adaptief bedreigingsmodel.
• Nieuw Mechanisme: Het aantonen dat de asymmetrie tussen inferentie en training van automatische differentiatie kan worden uitgebuit om een verdediging te creëren die goedkoop is om te evalueren maar duur om te differentiëren.
• Robuustheid: Het tonen aan dat de methode bestand is tegen adaptieve aanvaller met volledige kennis van de strategie, inclusief diegenen die gradient checkpointing, gedeeltelijke gewichtsupdates of LoRA gebruiken.
• Praktijktoepasbaarheid: Het valideren dat het vergrendelingsmechanisme het nut van het model niet opoffert, waardoor legitieme gebruikers kunnen infereren met bijna originele prestaties terwijl een meetbare kostenbarrière wordt opgelegd voor ongeautoriseerde aanpassing.

De auteurs concluderen dat hoewel de overhead van de forward-pass kan worden gemitigeerd via aangepaste kernels of compilatie, de fundamentele asymmetrie in backpropagatiekosten een robuuste barrière blijft tegen fine-tuning.