🤖 machine learning

Locking Pretrained Weights via Deep Low-Rank Residual Distillation

Dieses Papier stellt DLR-Lock vor, einen Verteidigungsmechanismus, der Open-Weight-Sprachmodelle vor unbefugtem Fine-Tuning schützt, indem er Standard-MLPs durch tiefe Low-Rank-Residualnetzwerke ersetzt, die Asymmetrien zwischen Inferenz und Training ausnutzen, um für adaptive Angreifer unüberwindbare Speicher- und Optimierungsbarrieren zu schaffen, während gleichzeitig die Modellleistung erhalten bleibt.

Ursprüngliche Autoren: Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen großartigen, hochintelligenten Roboter (ein Large Language Model) gebaut und möchten dessen „Gehirn" (die Gewichte) mit der Welt teilen, damit Menschen es nutzen können. Sie sind jedoch besorgt, dass einige Nutzer dieses Gehirn nehmen, es anpassen und für Zwecke verwenden könnten, die Sie nicht beabsichtigt haben – etwa zur Erstellung schädlicher Inhalte oder zum Umgehen von Sicherheitsregeln.

Sie möchten sagen: „Sie können meinen Roboter nutzen, aber Sie können sein Gehirn nicht einfach ändern, um etwas anderes damit zu tun."

Diese Arbeit mit dem Titel „Locking Pretrained Weights via Deep Low-Rank Residual Distillation" schlägt einen cleveren Weg vor, das Gehirn des Roboters zu „verschlüsseln", ohne es zu beschädigen. Hier ist die Funktionsweise, erklärt durch einfache Analogien.

Das Problem: Das Dilemma der „offenen Kiste"

Derzeit ist es, wenn Unternehmen offene Modelle veröffentlichen, so, als würde man jemandem ein Auto mit weit geöffnetem Motorhaube und freiliegendem Motor geben. Jeder kann die Motorhaube öffnen, die Zündkerzen austauschen und den Motor so abstimmen, dass er schneller läuft oder mit anderem Kraftstoff betrieben wird. In der Welt der KI bedeutet dies, dass jeder ein Modell nehmen und es sehr kostengünstig für neue Aufgaben „feinabstimmen" (neu trainieren) kann.

Traditionelle Sicherheitsmaßnahmen versuchen, den Motor zu verstecken oder ein gefälschtes Schloss an die Motorhaube zu legen. Doch die Arbeit argumentiert, dass ein Hacker, der intelligent genug ist, herausfinden kann, wie man diese Schlösser aufbricht oder die gefälschten Teile reverse-engineert.

Die Lösung: Der Trick des „tiefen Labyrinths"

Die Autoren von Apple schlagen eine neue Art von Schloss namens DLR-Lock vor. Anstatt den Motor zu verstecken, ersetzen sie ihn durch ein tiefes, komplexes Labyrinth, das von außen genau gleich aussieht, aber von innen eine Albtraum-Navigation darstellt.

Hier ist die Kernidee in drei Teilen aufgeschlüsselt:

1. Die „Einbahnstraße" (Inferenz vs. Training)

Stellen Sie sich das Modell als Fabrik vor.

Inferenz (Nutzung des Modells): Dies ist wie ein Kunde, der durch die Fabrik geht, um ein Produkt zu kaufen. Er geht hinein, nimmt den Artikel und geht wieder. Er muss nicht jeden einzelnen Schritt merken, den er getan hat; er braucht nur das Endprodukt.
Training (Ändern des Modells): Dies ist wie ein Mechaniker, der versucht, die Fabrik zu reparieren. Um eine Maschine zu reparieren, muss der Mechaniker jeden einzelnen Schritt des Prozesses im Gedächtnis behalten, um zu wissen, wo etwas schiefgelaufen ist. Er muss eine enorme Menge an „Speicher" (Aktivierungen) speichern, um rückwärts zu arbeiten.

Die Arbeit nutzt die Tatsache aus, dass die Nutzung des Modells günstig und einfach ist, das Reparieren/Lernen daraus jedoch teuer und speicherintensiv ist.

2. Das „tiefe Labyrinth" (DLR-Net)

In einem Standard-KI-Modell ist der Teil, der Informationen verarbeitet (ein sogenanntes MLP), wie ein einfacher, kurzer Flur. Man geht hinein und geht wieder hinaus. Es ist schnell.

Die Autoren ersetzen diesen kurzen Flur durch ein Deep Low-Rank Residual Network (DLR-Net).

Die Analogie: Stellen Sie sich vor, Sie ersetzen einen kurzen Flur durch eine 100-stöckige Wendeltreppe, die zum exakt gleichen Ausgang führt.
Für den Nutzer (Inferenz): Das Hochgehen von 100 Stufen dauert ein winziges bisschen länger, ist aber immer noch schnell. Der Nutzer erhält sein Produkt, und das Modell funktioniert genauso gut wie zuvor.
Für den Hacker (Training): Wenn der Hacker die Treppe „reparieren" (die Gewichte aktualisieren) möchte, muss er jeden einzelnen Schritt des 100-stöckigen Aufstiegs im Gedächtnis behalten, um herauszufinden, wo Änderungen vorgenommen werden müssen. Dies erfordert eine enorme Menge an Speicher (RAM).

3. Die „Speicherfalle"

Die Arbeit behauptet, dass sie durch die Vertiefung des Modells eine Speicherfalle schaffen.

Um das Modell zu trainieren, muss der Computer des Hackers all diese Zwischenschritte speichern.
Wenn der Hacker einen Trick namens „Gradient Checkpointing" verwendet (der Speicher spart, indem Schritte vergessen und später neu berechnet werden), muss er den 100-stöckigen Aufstieg immer und immer wieder neu durchlaufen.
Das Ergebnis: Das Training des gesperrten Modells wird exponentiell langsamer und teurer als das Training des ursprünglichen Modells. Es ist wie der Unterschied zwischen dem Gehen auf einem kurzen Weg und dem Besteigen eines Berges, nur um eine Glühbirne zu wechseln.

Wie sie es geschafft haben, ohne den Roboter zu zerstören

Sie könnten fragen: „Wenn Sie den Motor durch eine 100-stöckige Wendeltreppe ersetzen, funktioniert der Roboter dann nicht mehr?"

Nein. Die Autoren verwendeten eine Technik namens Distillation.

Die Analogie: Stellen Sie sich einen Meisterkoch (das ursprüngliche Modell) vor, der genau weiß, wie man eine perfekte Suppe zubereitet. Die Autoren bauten eine neue, komplexe Küche (das DLR-Net) und trainierten sie, indem sie den Meisterkoch die Suppe probieren ließen und sagen ließen: „Nein, mach sie etwas salziger", bis die neue Küche Suppe produzierte, die genau wie die ursprüngliche schmeckte.
Sie taten dies in zwei Schritten: Zuerst passten sie den Geschmack einzelner Zutaten (Module) an, dann den Geschmack des gesamten Gerichts (die endgültige Ausgabe).
Die Behauptung: Das gesperrte Modell funktioniert für normale Nutzer genauso gut wie das Original, aber es ist unglaublich schwierig für jeden, es neu zu trainieren.

Das Fazit

Die Arbeit zeigt, dass sie ein Modell (speziell getestet an einem Qwen3-0.6B-Modell) nehmen, seine internen Komponenten durch diese „tiefen Labyrinthe" ersetzen und:

Die Qualität bewahren: Das Modell beantwortet Fragen und schreibt Texte immer noch genauso gut wie zuvor.
Die Tür abschließen: Jeder Versuch, das Modell feinabzustimmen oder anzupassen, wird in Bezug auf Zeit und Rechenleistung erheblich teurer (insbesondere wird der „Rückwärtspass" des Trainings viel langsamer als der „Vorwärtspass" der Nutzung).

Es ist ein strukturelles Schloss: Man kann es nicht aufbrechen, weil das Schloss kein Geheimnis ist; es ist vielmehr so, dass der Mechanismus des Schlosses so konstruiert ist, dass er die Arbeit des Diebes unglaublich schwer macht, während der legitime Nutzer den Unterschied gar nicht bemerkt.

Technische Zusammenfassung: Sperrung vortrainierter Gewichte durch tiefe Low-Rank-Residual-Distillation

Problemformulierung

Die Verbreitung von Large Language Models (LLMs) mit offenen Gewichten hat den Zugang zu leistungsfähigen KI-Systemen demokratisiert, gleichzeitig jedoch die Kontrolle der Modellanbieter darüber, wie diese Gewichte genutzt werden, erodiert. Obwohl rechtliche Lizenzen versuchen, nicht autorisierte Anpassungen einzuschränken, fehlt es ihnen an technischer Durchsetzbarkeit. Ein adaptiver Angreifer mit vollem Zugriff auf Modellgewichte und -architektur kann einfache strukturelle Verteidigungsmaßnahmen oft durch Umkehrung oder mittels Optimierung umgehen.

Die zentrale wissenschaftliche Herausforderung, die adressiert wird, ist die Modellsperre (model locking): die Fähigkeit, ein vortrainiertes Modell so zu modifizieren, dass dessen Anpassung (z. B. durch Fine-Tuning) inhärent teurer wird als die Anpassung des Originalmodells, während die Inferenzleistung und allgemeinen Fähigkeiten des Modells strikt erhalten bleiben. Die Autoren formalisieren dies unter einem adaptiven Bedrohungsmodell, das auf dem Kerckhoffs-Prinzip basiert, wonach die Verteidigung auch dann wirksam bleiben muss, wenn der Angreifer das Design des Sperrmechanismus kennt. Das Ziel ist die Erreichung eines „Sperrfaktors" $\kappa > 1$ , bei dem die Kosten (Zeit, FLOPs oder GPU-Stunden), um ein bestimmtes Leistungsniveau auf einer nachgelagerten Aufgabe zu erreichen, für das gesperrte Modell im Vergleich zum Original um mindestens den Faktor $\kappa$ erhöht werden.

Grenzen bestehender Ansätze

Die Arbeit identifiziert fundamentale Mängel in früheren Verteidigungsstrategien:

Symmetriebasierte Verteidigungen: Methoden, die Gewichtssymmetrien (z. B. Skalierung oder Einbettung invertierbarer Matrizen) ausnutzen, um die Optimierung zu stören, sind trivial reversibel. Ein Angreifer kann Gewichtsnormen inspizieren oder Singulärwertzerlegungen (SVD) berechnen, um die Gewichte neu auszubalancieren und die ursprüngliche Optimierungslandschaft wiederherzustellen.
Optimierungsbasierte Verteidigungen: Ansätze, die versuchen, Verteidigungen durch Optimierung für schlecht konditionierte Verlustlandschaften einzubetten (z. B. Maximierung der Hesse-Spur oder Einfügen von Barrierenmodulen), stehen vor einem „selbstzerstörerischen" Paradoxon. Der Verteidiger muss Optimierung nutzen, um eine Lösung zu finden, die sich gegen Optimierung widersetzt, doch dieselben Gradienteninformationen, die dem Verteidiger zur Verfügung stehen, stehen auch dem Angreifer zur Verfügung. Experimente an einfachen MLPs zeigen, dass der Gradientenabstieg von vortrainierten Initialisierungen aus oft versagt, diese „gesperrten" Regionen hoher Kosten zu erreichen.

Methodik: DLR-Lock

Die Autoren schlagen DLR-Lock vor, eine Verteidigung, die die Asymmetrie zwischen Inferenz und Training der automatischen Differentiation ausnutzt. Im Gegensatz zur Inferenz, die nur einen Vorwärtsdurchlauf erfordert und Zwischenaktivitäten verwirft, erfordert das Training das Speichern aller Zwischenaktivitäten für die Rückwärtspropagierung. DLR-Lock ersetzt jedes Standard-SwiGLU-MLP-Modul in einem Transformer durch ein Tiefes Low-Rank-Residualnetzwerk (DLR-Net).

Architektur

Ein Standard-MLP-Residualblock $x' = z + \text{FFN}(\text{RMSNorm}(z))$ wird durch ein Low-Rank-Residualnetzwerk der Tiefe $L$ ersetzt:
$h_0 = z, \quad h_{i+1} = h_i + \alpha_i U_i \sigma(V_i \text{RMSNorm}(h_i)), \quad x' = h_L$
wobei:

$V_i \in \mathbb{R}^{r \times d}$ und $U_i \in \mathbb{R}^{d \times r}$ Low-Rank-Projektionsmatrizen mit einem Engpass-Rang $r \ll d$ sind.
$\alpha_i$ ein lernbarer ReZero-Skalar ist.
Die Tiefe $L$ so gewählt wird, dass die Gesamtzahl der Parameter der des ursprünglichen MLP entspricht (oder sie leicht übersteigt), wobei die Parameter über viele flache Schichten verteilt werden, anstatt auf wenige tiefe Schichten.

Drei Sperrmechanismen

Dieser architektonische Ersatz führt drei spezifische Barrieren für die Anpassung ein:

Wachstum des Aktivierungsspeichers: Während der Rückwärtspropagierung wächst der zur Speicherung von Aktivierungen benötigte Speicher linear mit der Tiefe $L$ . Für einen Angreifer, der naives Fine-Tuning verwendet, skaliert der Aktivierungsspeicher-Overhead um $\Theta(d/r)$ im Vergleich zum Originalmodell, was potenziell kleinere Batch-Größen oder teurere Hardware erzwingt.
Optimierungsinstabilität: Die tiefe Residualstruktur erzeugt eine architektonische Diskrepanz zu den Trainingsrezepten des ursprünglichen Modells. Standard-Fine-Tuning-Hyperparameter und Optimierer, die für die ursprünglichen flachen MLPs optimiert wurden, werden instabil oder ineffizient, wenn sie auf die tiefen DLR-Netze angewendet werden.
Überproportionaler Overhead des Rückwärtsdurchlaufs: Der Rückwärtsdurchlauf verursacht aufgrund komplexer Speicherzugriffsmuster und der Notwendigkeit, Aktivierungen neu zu berechnen (selbst mit Gradienten-Checkpointing), erheblich mehr Overhead als der Vorwärtsdurchlauf. Entscheidend ist, dass Compiler-Optimierungen (wie CUDA-Graph-Replay), die den Vorwärtsdurchlauf beschleunigen, nicht auf den Rückwärtsdurchlauf übertragen werden, was die Kostenlücke für Angreifer, die Gradienten berechnen müssen, vergrößert.

Distillationsverfahren

Um sicherzustellen, dass das gesperrte Modell die ursprünglichen Fähigkeiten behält (Erhaltung der Nützlichkeit), wenden die Autoren eine zweiphasige Distillationspipeline an:

Modulweise Distillation: Jedes DLR-Net wird unabhängig trainiert, um die Eingabe-Ausgabe-Zuordnung der entsprechenden vortrainierten MLP-Schicht zu replizieren, wobei der relative mittlere quadratische Fehler (MSE) minimiert wird.
Logits-Distillation: Nachdem alle Schichten ersetzt wurden, werden die akkumulierten Fehler durch Fine-Tuning der DLR-Net-Parameter (wobei Attention und Embeddings eingefroren sind) unter Verwendung des Originalmodells als Lehrer korrigiert. Das Ziel ist die Minimierung der Top- $k$ -KL-Divergenz zwischen den Ausgabeverteilungen von Lehrer und Schüler.

Experimentelle Ergebnisse

Die Methode wurde an den Modellen Qwen3-0.6B und Qwen3-8B unter Verwendung des Nemotron-CC-Datensatzes validiert.

Erhaltung der Qualität: Die gesperrten Modelle bewahrten erfolgreich die Fähigkeiten des Originalmodells. Nach der zweiphasigen Distillation wurden die Perplexität auf natürlichen Textkorpora (Nemotron-CC, WikiText-103) und die Leistung auf nachgelagerten Benchmarks (MMLU, ARC, HellaSwag usw.) auf wenige Punkte des vortrainierten Baselines wiederhergestellt.
Inferenz-Overhead: Obwohl die theoretischen FLOPs vergleichbar bleiben, führt die sequenzielle Natur der DLR-Netze zu einem Overhead in der Wandzeit. Dies wird jedoch durch Compiler-Optimierungen (z. B. torch.compile mit reduce-overhead) gemildert. Bei großen Modellen und Batch-Größen sinkt das Overhead-Verhältnis erheblich (z. B. von $144\times$ im Eager-Modus auf $11\times$ mit Kompilierung für 8B-Modelle) und bleibt für legitime Benutzer handhabbar.
Widerstandsfähigkeit gegen Fine-Tuning:
- Konvergenz: Beim Fine-Tuning auf WikiText-103 konvergierte das gesperrte Modell deutlich langsamer als der Baseline und plateaudierte bei einem höheren Verlust, selbst wenn Gradienten-Checkpointing aktiviert war.
- Instabilität: Bei höheren Lernraten ( $10^{-4}$ ) divergierte das gesperrte Modell vollständig, während der Baseline normal trainierte, was darauf hindeutet, dass die Verteidigung den effektiven Lernratenbereich einschränkt.
- Kostenverstärkung: Der Rückwärtsdurchlauf machte 89 % der gesamten Trainingszeit für das gesperrte Modell aus (vs. 83 % für den Baseline), und die Wandzeit, um einen Zielverlust zu erreichen, war erheblich höher. Die Autoren stellen fest, dass der Overhead des Rückwärtsdurchlaufs überproportional höher ist als der des Vorwärtsdurchlaufs, was die Abhängigkeit der Verteidigung von trainingsspezifischen Kosten bestätigt.

Bedeutung und Behauptungen

Die Arbeit behauptet, eine neue Verteidigungsachse für die Modellsperre zu etablieren, die optimiereragnostisch ist und auf strukturellen Eigenschaften statt auf der Geheimhaltung des Verteidigungsmechanismus beruht. Zu den wichtigsten Beiträgen gehören:

Formalisierung: Definition der Modellsperre als Verstärkung der Anpassungskosten unter einem adaptiven Bedrohungsmodell.
Neuer Mechanismus: Demonstration, dass die Inferenz-Trainings-Asymmetrie der automatischen Differentiation ausgenutzt werden kann, um eine Verteidigung zu schaffen, die günstig zu evaluieren, aber teuer zu differenzieren ist.
Robustheit: Nachweis, dass die Methode sich gegen adaptive Angreifer mit vollem Wissen über die Strategie behauptet, einschließlich solcher, die Gradienten-Checkpointing, partielle Gewichtsupdates oder LoRA verwenden.
Praktikabilität: Validierung, dass der Sperrmechanismus die Nützlichkeit des Modells nicht opfert, sodass legitime Benutzer mit nahezu ursprünglicher Leistung inferieren können, während eine messbare Kostenbarriere für nicht autorisierte Anpassungen auferlegt wird.

Die Autoren kommen zu dem Schluss, dass, obwohl der Overhead des Vorwärtsdurchlaufs durch benutzerdefinierte Kernel oder Kompilierung gemildert werden kann, die fundamentale Asymmetrie in den Kosten der Rückwärtspropagierung eine robuste Barriere gegen Fine-Tuning bleibt.