🤖 machine learning

Towards Building Non-Fine-Tunable Foundation Models

Dieses Paper schlägt Private Mask Pre-Training (PMP) vor, ein Framework, das Foundation Models vor unbefugtem Fine-Tuning schützt, indem es lediglich die dichten Gewichte veröffentlicht, während eine kritische, spärliche Subnetzwerkmaske privat hält, wodurch eine intrinsische geometrische Diskrepanz erzeugt wird, die die Adaptation destabilisiert, während die Leistung des Basismodells bewahrt bleibt.

Ursprüngliche Autoren: Ziyao Wang, Nizhang Li, Pingzhi Li, Guoheng Sun, Tianlong Chen, Ang Li

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ziyao Wang, Nizhang Li, Pingzhi Li, Guoheng Sun, Tianlong Chen, Ang Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten Jahre investiert und Millionen von Dollar ausgegeben, um ein riesiges, perfektes Brot zu backen (ein Foundation Model). Sie möchten das Rezept mit der Welt teilen, damit jeder daraus lernen und sein eigenes köstliches Sandwich zubereiten kann. Jedoch haben Sie die Sorge: Was, wenn jemand Ihr Brot nimmt, versucht es mit seinen eigenen, seltsamen Zutaten „neu zu backen“ (unbefugtes Fine-Tuning), und am Ende etwas Toxisches oder Schädliches erschafft? Oder noch schlimmer: Was, wenn er all den Geschmack für sich beansprucht, an dem Sie so hart gearbeitet haben?

Dieses Paper schlägt einen cleveren Weg vor, Ihr Brot zu teilen, der es den Menschen ermöglicht, es so wie es ist zu genießen, es aber sehr schwierig macht, es ohne Ihre Erlaubnis erfolgreich „neu zu backen“.

So funktioniert die Lösung der Autoren, genannt Private Mask Pre-Training (PMP), unter Verwendung einfacher Analogien:

1. Das Problem: Das „Open Recipe“-Dilemma

Derzeit, wenn KI-Unternehmen ihre Modelle veröffentlichen, geben sie die „Gewichte“ (die finalen Einstellungen des Gehirns) heraus. Jeder kann diese Gewichte nehmen und sie für spezifische Aufgaben anpassen.

Das Gute: Es hilft der Wissenschaft und der Innovation.
Das Schlechte: Der ursprüngliche Schöpfer verliert die Kontrolle. Jemand könnte das Modell so manipulieren, dass es gefährlich wird, oder er könnte es billig für eine Aufgabe anpassen, die der Schöpfer eigentlich als Dienstleistung verkaufen wollte, und so den wirtschaftlichen Wert des Schöpfers stehlen.

2. Die Lösung: Das „Geheime Skelett“

Die Autoren schlagen eine neue Art vor, das Modell zu trainieren. Anstatt das ganze Gehirn gleichermaßen zu trainieren, trainieren sie nur ein spezifisches, spärliches „Skelett“ des Gehirns, während der Rest des Gehirns an Ort und Stelle eingefroren bleibt.

Stellen Sie sich das Modell als ein massives, komplexes Fitnessstudio vor.

Standard-Training: Jeder trainiert jeden einzelnen Muskel im Fitnessstudio.
PMP-Training: Der Trainer (das KI-Unternehmen) identifiziert geheim eine spezifische Gruppe von 10 % der Geräte (das „Lottery Ticket“), die tatsächlich die gesamte schwere Arbeit leisten. Er friert die anderen 90 % der Geräte ein, sodass niemand sie berühren kann. Er trainiert nur die 10 %, die wichtig sind.

3. Die Veröffentlichung: Das Fitnessstudio verschenken, aber die Karte verstecken

Wenn das Modell fertig ist, gibt das Unternehmen das Fitnessstudio für die Öffentlichkeit frei.

Was sie veröffentlichen: Den finalen Zustand des Fitnessstudios (die Gewichte). Es sieht aus wie ein ganz normales, voll funktionsfähiges Fitnessstudio.
Was sie verstecken: Die Geheime Karte (die binäre Maske), die Ihnen sagt, welche Geräte tatsächlich trainiert wurden und welche nur eingefrorene Requisiten sind.

4. Das Ergebnis: Zwei verschiedene Szenarien

Szenario A: Der autorisierte Nutzer (Sie haben die Karte)
Wenn Sie ein vertrauenswürdiger Partner sind, gibt Ihnen das Unternehmen die Geheime Karte. Sie wissen genau, welche Maschinen Sie benutzen müssen. Sie können hineingehen, diese spezifischen 10 % der Geräte anpassen, und das Fitnessstudio funktioniert perfekt für Ihre neue Aufgabe. Sie erzielen großartige Ergebnisse.

Szenario B: Der unbefugte Nutzer (Keine Karte)
Wenn ein Fremder versucht, das Modell ohne die Karte anzupassen, weiß er nicht, welche Maschinen die „echten“ trainierten sind und welche nur eingefrorene Requisiten sind.

Er versucht, alles anzupassen.
Da er die gefrorenen 90 % der Geräte berührt, stößt er im Grunde gegen Wände, die nie dazu gedacht waren, sich zu bewegen.
Die Analogie: Stellen Sie sich vor, Sie versuchen ein Auto zu lenken, indem Sie die Räder drehen, aber jemand hat das Lenkgestänge heimlich an das Armaturenbrett geschweißt. Wenn Sie versuchen, es zu erzwingen, lenken Sie nicht nur nicht, sondern Sie beschädigen den Mechanismus.
Die Behauptung des Papers: Diese „Diskrepanz“ führt dazu, dass das Modell instabil wird. Je mehr der unbefugte Nutzer versucht, das Fine-Tuning durchzuführen, desto schlechter wird die Leistung des Modells. Das Modell „bricht“ effektiv, wenn jemand versucht, es ohne den geheimen Schlüssel anzupassen.

5. Der „Early Bird“-Trick

Wie haben sie diese spezifischen 10 % der Maschinen gefunden, die zu trainieren sind?
Sie verwendeten eine Methode namens „Early-Bird Lottery Ticket.“

Stellen Sie sich vor, Sie beginnen das Training des Modells für nur wenige Minuten.
Sie schauen nach, welche Teile des Gehirns während dieser ersten paar Minuten am schnellsten „aufgewacht“ sind und gelernt haben.
Sie legen diese spezifischen Teile als Ihr „Geheimes Skelett“ fest und ignorieren den Rest für den Rest des Trainings.
Das Paper behauptet, dass diese frühe Auswahl entscheidend ist. Wenn Sie einfach zufällige Teile trainiert hätten, wäre das Modell nicht so gut gewesen und es wäre auch nicht so schwer zu knacken gewesen.

Zusammenfassung der Behauptungen

Das Paper zeigt auf:

Sie können das Modell trotzdem nutzen: Das Basismodell (das Brot) schmeckt genauso gut wie ein normales Modell. Es kann immer noch schreiben, argumentieren und chatten.
Unbefugte Anpassungen scheitern: Wenn Sie versuchen, das Fine-Tuning ohne die geheime Karte durchzuführen, sinkt die Leistung des Modells bei vielen verschiedenen Aufgaben signifikant.
Autorisierte Anpassungen funktionieren: Wenn Sie die Karte haben, können Sie das Fine-Tuning erfolgreich durchführen.
Es ist ein „Pre-Training“-Feature: Dies ist kein Patch, den man später hinzufügt; es ist direkt in die Art und Weise eingebaut, wie das Modell von vornherein trainiert wird.

Kurz gesagt bietet das Paper einen Weg, KI-Modelle zu teilen, die robust durch Design sind: Sie funktionieren großartig für alle, sind aber gegen unbefugte Änderungen „gesperrt“, sofern man nicht über den spezifischen Schlüssel (die Maske) verfügt, der während ihrer Erstellung verborgen wurde.

Technisches Resümee: Auf dem Weg zur Entwicklung nicht-feinabstimmbarer Foundation Models

1. Problemstellung

Die Open-Source-Veröffentlichung von Foundation Models (FMs), insbesondere Large Language Models (LLMs), erleichtert die breite Wiederverwendung und wissenschaftliche Innovation, setzt Modelltrainer jedoch wirtschaftlichen und sicherheitstechnischen Risiken aus. Sobald Gewichte veröffentlicht werden, können Nutzer kostengünstige, unbefugte Feinabstimmungen für Downstream-Aufgaben durchführen. Dies schafft zwei primäre Probleme:

Wirtschaftliches Risiko: Nutzer können den Wert aus Downstream-Adaptionen abschöpfen, der eigentlich dem ursprünglichen Trainer gehören würde.
Sicherheitsrisiko: Trainer verlieren die Kontrolle über den Lebenszyklus des Modells. Unbefugte Feinabstimmungen auf schädlichen Daten (z. B. Gewalt, Extremismus, Diskriminierung) können schädliche Ausgaben generieren, während sie den Ruf des ursprünglichen vortrainierten Modells beibehalten, was potenziell zu rechtlichen und regulatorischen Haftungsfragen führen kann.

Bestehende Abwehrmechanismen, wie etwa die Immunisierung von Modellen oder das aufgabenspezifische „Unlearning“, setzen voraus, dass die spezifischen Downstream-Aufgaben oder Datenverteilungen bekannt sind, die eingeschränkt werden sollen. Diese Ansätze sind für allgemeine Open-Weight-Veröffentlichungen unpraktikabel, bei denen die Trainer keine Sichtbarkeit darüber haben, wie die Modelle zweckentfremdet werden. Die Arbeit adresset die Notwendigkeit eines Mechanismus, der eine Open-Source-Veröffentlichung ermöglicht und gleichzeitig die Effektivität unbefugter, aufgabenagnostischer Feinabstimmung intrinsisch begrenzt.

2. Methodik: Private Mask Pre-Training (PMP)

Die Autoren schlagen das Private Mask Pre-Training (PMP) vor, ein Pre-Training-Paradigma, das darauf ausgelegt ist, die Nicht-Feinabstimmbarkeit als eine intrinsische Eigenschaft der Geometrie des Modells zu etablieren. Der Kern der Idee besteht darin, das Repräsentationslernen in ein spärliches Subnetzwerk zu konzentrieren, das frühzeitig im Training identifiziert wurde, während die definierende binäre Maske privat bleibt.

Das PMP-Verfahren

PMP operiert in drei Stufen:

Private Early-Bird Mask Discovery:
- Das Modell durchläuft eine kurze „Warm-up“-Phase des Pre-Trainings auf einer kleinen Teilmenge von Daten.
- Unter Verwendung eines „Early-Bird Lottery Ticket“-Kriteriums identifiziert die Methode eine stabile, spärliche binäre Maske ( $M$ ) basierend auf der Magnitude der Gradienten während dieser Phase.
- Die Maske wird ausgewählt, wenn aufeinanderfolgende Masken stabil sind (gemessen am Intersection over Union, IoU).
- Diese Maske $M$ wird privat gehalten und für das gesamte nachfolgende Training fixiert.
Private Mask Pre-Training:
- Das Modell wird auf dem vollständigen Pre-Training-Datensatz trainiert, aber die Optimierung wird strikt auf die durch die Maske definierten Parameter ( $\theta_M$ ) beschränkt.
- Die komplementären Parameter ( $\theta_{\bar{M}}$ ) bleiben während des gesamten Pre-Training-Prozesses eingefroren.
- Obwohl der Forward-Pass den vollständigen dichten Parametervektor nutzt, sind alle Gradienten-Updates auf das spärliche Subnetzwerk beschränkt.
Veröffentlichung ohne Maske:
- Nach der Konvergenz gibt der Trainer nur die finalen dichten Gewichte frei.
- Die private Maske $M$ wird nicht offengelegt.

Abwehrmechanismus

Wenn ein unbefugter Nutzer versucht, das veröffentlichte Modell ohne die Maske feinabzustimmen, muss er den vollständigen Parametervektor aktualisieren. Dies erzeugt einen intrinsischen Optimierungs-Mismatch:

Pre-Training: Optimierte ein konditionales Ziel, bei dem die Updates auf $\theta_M$ beschränkt waren, während $\theta_{\bar{M}}$ fix blieb.
Unbefugte Feinabstimmung: Optimiert ein gemeinsames Ziel, das sowohl $\theta_M$ als auch $\theta_{\bar{M}}$ aktualisiert.
Ergebnis: Der Feinabstimmungsprozess erzwingt Updates auf den eingefrorenen komplementären Parametern ( $\theta_{\bar{M}}$ ), die während des Pre-Trainings nie angepasst wurden. Die theoretische Analyse legt nahe, dass die Verlustlandschaft entlang dieser eingefrorenen Richtungen eine positive Krümmung (Sharpness) aufweist. Das Aktualisieren dieser Richtungen destabilisiert die vortrainierte Lösung, was zu begrenzten Adaptionsgewinnen oder Leistungsdegradierung führt.

3. Theoretische Analyse

Die Arbeit liefert eine theoretische Rechtfertigung dafür, warum PMP die Nicht-Feinabstimmbarkeit induziert:

Asymmetrische lokale Geometrie: Das vortrainierte Modell erreicht ein konditionales Optimum, bei dem die Verlustlandschaft entlang des trainierten Subraums ( $\theta_M$ ) flach ist, aber eine positive Krümmung entlang der eingefrorenen Richtungen ( $\theta_{\bar{M}}$ ) aufweist.
Instabilität: Wenn die Feinabstimmung ohne die Maske erfolgt, aktualisiert der stochastische Gradientenabstieg beide Subräume. Die theoretische Analyse (Proposition 1) zeigt, dass Updates zu den eingefrorenen Richtungen destabilisierende Störungen einführen. Speziell steigt der erwartete Pre-Training-Verlust (oder sinkt nicht), da die positive Krümmung in den unadaptierten Richtungen den Gewinn durch aufgabenspezifische Gradienten konterkariert.
Fazit: Unbefugte Feinabstimmung ist mathematisch anfällig für Destabilisierung, was die erzielbaren Feinabstimmungs-Gewinne begrenzt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PMP auf GPT-2 und TinyLlama (1.1B) Architekturen, vortrainiert auf SlimPajama-6B und feinabgestimmt auf dem GLUE-Benchmark.

Basismodell-Leistung: PMP bewahrt die Kernfähigkeiten des Basismodells. In vielen Fällen (z. B. TinyLlama auf CoLA und MRPC) zeigten PMP-Modelle vor der Feinabstimmung vergleichbare oder sogar leicht bessere Leistungen als Nicht-PMP-Baselines.
Unbefugte Feinabstimmung: Wenn sie ohne die private Maske feinabgestimmt wurden, zeigten PMP-Modelle eine erhebliche Degradierung über diverse Downstream-Aufgaben hinweg (z. B. SST-2, MRPC, QQP, MNLI). Der Leistungsabfall war konsistent über verschiedene Architekturen und Aufgaben hinweg, was auf ein allgemeines Scheitern der effektiven Adaptation hindeutet und nicht auf aufgabenspezifische Sprödigkeit.
Autorisierte Feinabstimmung: Wenn die private Maske den vertrauenswürdigen Nutzern zur Verfügung gestellt wird, können diese die Feinabstimmung durchführen, indem sie nur das maskierte Subnetzwerk aktualisieren. In diesem Szenario erreichten bzw. übertrafen PMP-Modelle die Leistung der unbefugten Feinabstimmung, was zeigt, dass die Methode die Adaptation nicht inhärent verhindert, sondern sie lediglich auf autorisierte Parteien beschränkt.
Ablationsstudien:
- Early-Bird vs. Random Mask: Die Verwendung der Early-Bird Lottery Ticket Mask war entscheidend. Zufällige Masken mit derselben Sparsity induzierten nicht das gleiche Maß an Nicht-Feinabstimmbarkeit, was bestätigt, dass die Stabilität des Early-Bird-Subnetzwerks der Schlüssel ist.
- Masken-Verhältnis (Mask Ratio): Ein Maskenverhältnis von 0,7 (70 % Sparsity) bot den besten Kompromiss zwischen Basisleistung und Unterdrückung der unbefugten Feinabstimmung.
- Hyperparameter: Die Variation von Lernraten und Feinabstimmungs-Epochen konnte die Leistung für unbefugte Nutzer nicht wiederherstellen, was darauf hindeutet, dass die Einschränkung fundamental für den Optimierungs-Mismatch ist und nicht ein Problem der Hyperparameter-Optimierung.
- Visualisierung der Verlustlandschaft: Visualisierungen bestätigten, dass die Verlustlandschaft in der autorisierten Richtung (maskierter Subraum) flach ist, aber in der unautorisierten Richtung (vollständiger Parameterraum) steil verläuft, was die theoretische Hypothese der „steilen Wand“ validiert.
- Robustheit: Die Arbeit argumentiert, dass Gradienten-Magnituden allein den Ort der Maske nicht preisgeben, da eine Verteilungskonvergenz vorliegt, was es Angreifern schwierig macht, die Maske zu inferieren.

5. Zentrale Beiträge

Problemidentifikation: Die Arbeit definiert Nicht-Feinabstimmbarkeit als ein fundamentales Problem auf der Ebene des Pre-Trainings und hebt den Mangel an Mechanismen hervor, mit denen Trainer die unbefugte Adaptation bei Open-Weight-Veröffentlichungen kontrollieren können.
PMP-Framework: Sie schlägt das Private Mask Pre-Training vor, ein allgemeines Paradigma, das die Basis-Nützlichkeit bewahrt und gleichzeitig die unbefugte Feinabstimmung in einem aufgabenagnostischen Black-Box-Szenario einschränkt.
Theoretische Erkenntnis: Sie liefert eine Analyse, die zeigt, dass PMP einen intrinsischen Mismatch zwischen Pre-Training und Feinabstimmung induziert, der destabilisierende Störungen während unbefugter Updates injiziert.
Empirische Validierung: Sie demonstriert, dass PMP die Adaptionsgewinne über diverse Benchmarks und Architekturen hinweg konsistent unterdrückt, während die kompetitive Pre-Training-Leistung beibehalten wird.

6. Bedeutung und Ansprüche

Die Arbeit behauptet, die Nicht-Feinabstimmbarkeit nicht als aufgabenspezifisches Unlearning-Problem umzudefinieren, sondern als eine Eigenschaft, die während des Pre-Trainings induziert wird. Durch die Konzentration des Lernens auf ein privates, spärliches Subnetzwerk ermöglicht PMP es Modelltrainern, Foundation Models Open-Source zu veröffentlichen und gleichzeitig eine bedeutsame Kontrolle über die Downstream-Adaption zu behalten.

Die Autoren betonen, dass dieser Ansatz:

Keine Vorkenntnisse über Downstream-Daten oder -Aufgaben erfordert.
Den wirtschaftlichen und sicherheitstechnischen Wert des Originalmodells für den Trainer bewahrt.
Eine „autorisierte“ Adaptation durch vertrauenswürdige Nutzer ermöglicht, die über die private Maske verfügen.
Einen praktischen Mechanismus bietet, um die Offenheit des KI-Ökosystems mit der Notwendigkeit von Sicherheit und wirtschaftlicher Kontrolle in Einklang zu bringen, ohne Annahmen darüber treffen zu müssen, wie die veröffentlichten Modelle zweckentfremdet werden könnten.