Technische Samenvatting: Naar de ontwikkeling van niet-fine-tunable fundamentemodellen

1. Probleemstelling

Het open-sourcen van Foundation Models (FM's), in het bijzonder Large Language Models (LLM's), faciliteert breed hergebruik en wetenschappelijke innovatie, maar stelt model-trainers bloot aan aanzienlijke economische en veiligheidsrisico's. Zodra gewichten worden vrijgegeven, kunnen gebruikers kosteneffectige, ongeautoriseerde fine-tuning uitvoeren op downstream-taken. Dit creëert twee primaire problemen:

• Economisch risico: Gebruikers kunnen waarde toe-eigenen aan downstream-adaptaties die anders toebehoorden aan de oorspronkelijke trainer.
• Veiligheidsrisico: Trainers verliezen de controle over de levenscyclus van het model. Ongeautoriseerde fine-tuning op schadelijke data (bijv. geweld, extremisme, discriminatie) kan schadelijke outputs genereren terwijl de reputatie van het oorspronkelijke pre-trained model behouden blijft, wat potentieel kan leiden tot juridische en regulatoire aansprakelijkheid.

Bestaande verdedigingen, zoals model-immunisatie of taakspecifiek unlearning, vertrouwen op kennis over de specifieke downstream-taken of datadistributies die beperkt moeten worden. Deze benaderingen zijn onpraktisch voor algemene open-weight releases waarbij trainers geen zicht hebben op hoe modellen zullen worden hergebruikt. Het paper adresseert de behoefte aan een mechanisme dat open-source release mogelijk maakt terwijl het intrinsiek de effectiviteit van ongeautoriseerde, taak-agnostische fine-tuning beperkt.

2. Methodologie: Private Mask Pre-Training (PMP)

De auteurs stellen Private Mask Pre-Training (PMP) voor, een pre-training paradigma dat is ontworpen om niet-fine-tunability tot een intrinsieke eigenschap van de geometrie van het model te maken. Het kernidee is om representatie-leren te concentreren in een ijle (sparse) sub-netwerk dat vroeg in de training wordt geïdentificeerd, terwijl de definiërende binaire mask de privé-eigenschap behoudt.

De PMP-procedure

PMP werkt in drie stadia:

1. Private Early-Bird Mask Ontdekking:

   • Het model ondergaat een korte "warm-up" pre-training fase op een kleine subset van de data.
   • Met behulp van een "early-bird lottery ticket" criterium identificeert de methode een stabiel, ijlt binair masker ($M$) op basis van de magnitude van gradiënten tijdens deze fase.
   • Het masker wordt geselecteerd wanneer opeenvolgende maskers stabiliseren (gemeten via Intersection over Union, IoU).
   • Dit masker $M$ wordt privé gehouden en vastgezet voor alle daaropvolgende trainingen.

2. Private Mask Pre-Training:

   • Het model wordt getraind op de volledige pre-training dataset, maar optimalisatie is strikt beperkt tot de parameters gedefinieerd door het masker ($\theta_M$).
   • De complementaire parameters ($\theta_{\bar{M}}$) blijven gedurende het gehele pre-training proces bevroren.
   • Hoewel de forward pass de volledige dense parameter vector gebruikt, worden alle gradiënt-updates beperkt tot het ijle sub-netwerk.

3. Release zonder Masker:

   • Bij convergentie geeft de trainer alleen de uiteindelijke dense gewichten vrij.
   • Het private masker $M$ wordt niet bekendgemaakt.

Mechanisme van Verdediging

Wanneer een ongeautoriseerde gebruiker probeert het vrijgegeven model te fine-tunen zonder het masker, moeten zij de volledige parameter vector bijwerken. Dit creëert een intrinsieke optimalisatie-mismatch:

• Pre-training: Optimaliseerde een conditionele doelstelling waarbij updates werden beperkt tot $\theta_M$, terwijl $\theta_{\bar{M}}$ vast bleef staan.
• Ongeautoriseerde Fine-tuning: Optimaliseert een gezamenlijke doelstelling die zowel $\theta_M$ als $\theta_{\bar{M}}$ bijwerkt.
• Resultaat: Het fine-tuning proces dwingt updates af op de bevroren complementaire parameters ($\theta_{\bar{M}}$), die nooit zijn aangepast tijdens de pre-training. Theoretische analyse suggereert dat het loss landscape langs deze bevroren richtingen een positieve kromming (sharpness) vertoont. Het bijwerken van deze richtingen destabiliseert de pre-trained oplossing, wat leidt tot beperkte adaptatie-winsten of prestatievermindering.

3. Theoretische Analyse

Het paper biedt een theoretische rechtvaardiging voor waarom PMP niet-fine-tunability induceert:

• Asymmetrische Lokale Geometrie: Het pre-trained model bereikt een conditioneel optimum waar het loss landscape vlak is langs de getrainde subspace ($\theta_M$), maar een positieve kromming vertoont langs de bevroren richtingen ($\theta_{\bar{M}}$).
• Instabiliteit: Wanneer men zonder het masker fine-tunt, updaten stochastische gradiënt-descent zowel de als de andere subspace. Theoretische analyse (Proposition 1) demonstreert dat updates naar de bevroren richtingen destabiliserende perturbaties introduceren. Specifiek neemt de verwachte pre-training loss toe (of slaagt er niet in te dalen) vanwege de positieve kromming in de niet-aangepaste richtingen, wat de winsten van taakspecifieke gradiënten tegenwerkt.
• Conclusie: Ongeautoriseerde fine-tuning is wiskundig gevoelig voor destabilisatie, waardoor de haalbare fine-tuning winsten worden begrensd.

4. Experimentele Resultaten

De auteurs evalueerden PMP op GPT-2 en TinyLlama (1.1B) architecturen, pre-trained op SlimPajama-6B en gefine-tuned op de GLUE benchmark.

• Base Model Prestaties: PMP behoudt de kerncapaciteiten van het basismodel. In veel gevallen (bijv. TinyLlama op CoLA en MRPC) presteerden PMP-modellen vergelijkbaar met of zelfs iets beter dan niet-PMP baselines vóór de fine-tuning.
• Ongeautoriseerde Fine-Tuning: Wanneer gefine-tuned zonder het private masker, vertoonden PMP-modellen substantiële degradatie over diverse downstream-taken (bijv. SST-2, MRPC, QQP, MNLI). De prestatiedaling was consistent over verschillende architecturen en taken, wat wijst op een algemeen falen van effectieve adaptatie in plaats van taakspecifieke broosheid.
• Geautoriseerde Fine-Tuning: Wanneer het private masker wordt verstrekt aan vertrouwde gebruikers, kunnen zij fine-tunen door alleen de gemaskeerde subspace bij te werken. In dit scenario matchten of overtroffen PMP-modellen de prestaties van ongeautoriseerde fine-tuning, wat aantoont dat de methode niet inherent adaptatie verhindert, maar deze beperkt tot geautoriseerde partijen.
• Ablatie-studies:
  • Early-Bird vs. Random Mask: Het gebruik van het Early-Bird lottery ticket masker was cruciaal. Willekeurige maskers met dezelfde ijlheid (sparsity) induceerden niet hetzelfde niveau van niet-fine-tunability, wat bevestigt dat de stabiliteit van het early-bird sub-netwerk essentieel is.
  • Mask Ratio: Een mask ratio van 0.7 (70% ijleheid) bood de beste balans tussen base performance en de onderdrukking van ongeautoriseerde fine-tuning.
  • Hyperparameters: Variërende learning rates en fine-tuning epochs herstelden de prestaties voor ongeautoriseerde gebruikers niet, wat suggereert dat de beperking fundamenteel is aan de optimalisatie-mismatch, en niet een kwestie is van hyperparameter tuning.
  • Visualisatie van het Loss Landscape: Visualisaties bevestigden dat het loss landscape vlak is in de geautoriseerde richting (gemaskeerde subspace) maar steil in de ongeautoriseerde richting (volledige parameter ruimte), wat de theoretische "steile wand" hypothese valideert.
  • Robuustheid: Het paper betoogt dat gradiënt-magnitudes alleen de locatie van het masker niet onthullen vanwege de distributionele overlap, waardoor het voor tegenstanders moeilijk is om het masker af te leiden.

5. Belangrijkste Bijdragen

1. Probleemidentificatie: Het paper articuleert niet-fine-tunability als een fundamenteel probleem op pre-training niveau, waarbij de nadruk ligt op het gebrek aan mechanismen waarmee trainers controle kunnen uitoefenen op ongeautoriseerde adaptatie bij open-weight releases.
2. PMP-framework: Het stelt Private Mask Pre-Training voor, een algemeen paradigma dat de basis nut behoudt terwijl het ongeautoriseerde fine-tuning beperkt in een taak-agnostische, black-box setting.
3. Theoretisch Inzicht: Het biedt een analyse die aantoont dat PMP een intrinsieke mismatch induceert tussen pre-training en fine-tuning doelstellingen, waarbij destabiliserende perturbaties worden geïnjecteerd tijdens ongeautoriseerde updates.
4. Empirische Validatie: Het demonstreert dat PMP consequent adaptatie-winsten onderdrukt over diverse benchmarks en architecturen, terwijl het competitieve pre-trained prestaties behoudt.

6. Betekenis en Claims

Het paper claimt niet-fine-tunability te herformuleren, niet als een taakspecifiek unlearning probleem, maar als een eigenschap die tijdens de pre-training wordt geïnduceerd. Door de leerprocessen te concentreren in een privaat ijlt sub-netwerk, stelt PMP model-trainers in staat om foundation models open-source te maken terwijl zij toch een betekenisvolle controle behouden over downstream-adaptatie.

De auteurs benadrukken dat deze aanpak:

• Geen voorafgaande kennis vereist van downstream data of taken.
• De economische en veiligheidswaarde van het oorspronkelijke model voor de trainer behoudt.
• "Geautoriseerde" adaptatie mogelijk maakt voor vertrouwde gebruikers die over het private masker beschikken.
• Een praktische methode biedt om de openheid van het AI-ecosysteem te verzoenen met de noodzaak voor veiligheid en economische controle, zonder te vertrouwen op aannames over hoe de vrijgegeven modellen zullen worden hergebruikt.