🤖 machine learning

Modular Pretraining Enables Access Control

Dieses Paper stellt Gradient-Routed Auxiliary Modules (GRAM) vor, eine kosteneffiziente Pretraining-Methode, die durch die selektive Deaktivierung spezifischer Fähigkeiten mittels Modul-Ablation bei gleichzeitigem Erhalt der allgemeinen Leistung und einer im Vergleich zu Post-hoc-Unlearning besseren Resistenz gegen Wiederherstellung eine skalierbare Zugriffskontrolle für Dual-Use-KI ermöglicht.

Ursprüngliche Autoren: Ethan Roland, Murat Cubuktepe, Erick Martinez, Stijn Servaes, Keenan Pepper, Mike Vaiana, Diogo Schwerz de Lucena, Judd Rosenblatt, Addie Foote, Cem Anil, Alex Cloud

Veröffentlicht 2026-07-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ethan Roland, Murat Cubuktepe, Erick Martinez, Stijn Servaes, Keenan Pepper, Mike Vaiana, Diogo Schwerz de Lucena, Judd Rosenblatt, Addie Foote, Cem Anil, Alex Cloud

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Koch. Dieser Koch ist fantastisch darin, alles Mögliche zu kochen, von lebensrettenden Impfstoffen bis hin zu gefährlichen biologischen Waffen. Es handelt sich um ein „Dual-Use“-Dilemma: Dasselbe Wissen, das eine Krankheit heilt, kann auch eine Seuche erschaffen. Wenn Sie diesen Koch einem Krankenhaus geben, erhalten Sie Heilmittel. Wenn Sie ihn einem Schurken geben, bekommen Sie Ärger.

Normalerweise ist der einzige Weg, den Schurken zu stoppen, den Koch komplett zu entlassen – was bedeutet, dass das Krankenhaus sein Heilmittel verliert. Oder Sie könnten versuchen, fünf verschiedene Köche einzustellen, die jeweils nur für eine spezifische Sache ausgebildet sind (einer kennt sich mit Viren aus, einer mit Cybersicherheit, einer mit Kernphysik usw.). Aber fünf separate Köche einzustellen und auszubilden, ist unglaublich teilt und langsam.

Hier kommt GRAM (Gradient-Routed Auxiliary Modules). Denken Sie bei GRAM nicht daran, fünf verschiedene Köche einzustellen, sondern einen Meisterkoch mit einer magischen, modularen Schürze anzuheuern.

Die magische Schürze

In einer normalen KI ist das gesamte Wissen in einer riesigen Suppe vermischt. Wenn Sie das Rezept für die „biologische Waffe“ entfernen wollen, müssen Sie den ganzen Topf umrühren, und Sie könnten dabei versehentlich auch das „Impfstoff“-Rezept ruinieren.

GRAM verändert das Layout der Küche. Es gibt dem Koch eine Hauptschürze (den „Core“), die alles Grundlegende erledigt, wie Zwiebeln schneiden und Wasser kochen. Aber es fügt auch mehrere kleinere, abnehmbare Taschen zur Schürze hinzu.

Eine Tasche ist für Virologie.
Eine Tasche ist für Cybersicherheit.
Eine Tasche ist für Kernphysik.
Eine Tasche ist für spezialisierten Code.

Hier geschieht der magische Trick: Wenn der Koch lernt, öffnet die Küche nur die spezifische Tasche, die für die aktuelle Lektion benötigt wird. Wenn die Lektion über Viren ist, erhält die „Virologie-Tasche“ die ganze Aufmerksamkeit und wird aktualisiert. Die „Kernphysik-Tasche“ bleibt zugezippt und lernt an diesem Tag nichts.

Das Ergebnis: Ein Koch, viele Persönlichkeiten

Weil das Wissen in diesen separaten Taschen gespeichert ist, können Sie kontrollieren, was der Koch weiß, indem Sie einfach die Taschen aufzipfen, bevor er zur Arbeit geht.

Für das Krankenhaus: Sie lassen die „Impfstoff“-Tasche offen und die „Waffen“-Tasche zugezippt. Der Koch ist ein Genie in Sachen Heilung, hat aber keine Ahnung, wie man eine Waffe baut.
Für das Labor: Sie öffnen die „Cybersicherheit“-Tasche und schließen die anderen.

Die Arbeit zeigt, dass dieser einzelne Koch, der einmal mit dieser modularen Schürze trainiert wurde, fast exakt so gut abschneidet, als hätten Sie fünf separate Köche von Grund auf neu trainiert. Tatsächlich haben sie dies an einem 5-Milliarden-Parameter-Modell (einem massiven Gehirn) getestet, und der einzelne modulare Koch war genauso gut darin, die „guten“ Fähigkeiten zu behalten und ebenso gut darin, die „schlechten“ Fähigkeiten zu vergessen, wie die teure Methode, separate Modelle zu trainieren.

Warum das besser ist als andere Tricks

Die Forscher haben andere Wege ausprobiert, um dieses Problem zu lösen, und haben sie ausgeschlossen:

Der „Post-Hoc Unlearning“-Trick: Das ist so, als würde man versuchen, eine Erinnerung aus dem Gehirn des Kochs zu löschen, nachdem er sie bereits gelernt hat. Die Arbeit fand heraus, dass dies schwach ist. Wenn Sie versuchen, das Rezept für die Waffe später zu „verlernen“, kann sich der Koch sehr leicht wieder daran erinnern, mit nur ein wenig Übung (Fine-Tuning). Es ist wie der Versuch, sich ein Lied zu entgedenken, indem man es rückwärts summt; es bleibt nicht hängen.
Der „Model Branching“-Trick: Das ist so, als würde man den Koch erst die Grundlagen lehren und ihn dann in fünf verschiedene Schulen schicken, um spezifische Fähigkeiten zu erlernen. Während dies ganz gut funktioniert, stellte die Arbeit fest, dass der „modulare Schürzen“-Ansatz von GRAM besser darin ist, die Fähigkeiten getrennt zu halten, besonders wenn man es mit unordentlichen Daten zu tun hat, bei denen einige Rezepte nicht beschriftet sind.

Die Überraschung bei „Partiellem Labeling“

Hier gibt es einen seltsamen, aber coolen Befund: Manchmal weiß man nicht genau, welches Rezept welches ist (vielleicht sind 50 % der Daten unbeschriftet).

Wenn man versucht, separate Köche zu trainieren oder die „Branching“-Methode mit unbeschrifteten Daten zu verwenden, lernen sie die gefährlichen Fähigkeiten trotzdem versehentlich, weil sie alles als „Basiswissen“ behandeln.
Aber der GRAM-Koch ist überraschend klug. Selbst wenn die Hälfte der Labels fehlt, schaffen es die modularen Taschen immer noch, die gefährlichen Fähigkeiten isoliert zu halten. Die Arbeit legt nahe, dass dies passiert, weil die unbeschrifteten Daten, sobald eine Tasche beginnt, sich zu spezialisieren, natürlich in diese Tasche „driften“ und so den Kern des Gehirns sauber halten.

Wie sicher sind sie sich?

Die Autoren sind sehr zuversichtlich in ihre Zahlen, aber sie sind vorsichtig bezüglich der Grenzen.

Sie haben dies an synthetischen Geschichten und realen Daten abgedeckt, die Virologie, Cybersicherheit, Kernphysik und spezialisierten Code umfassten.
Sie haben das Modell von 50 Millionen Parametern auf 5 Milliarden Parameter skaliert.
In diesen Experimenten erreichte GRAM konsistent die Leistung des „Goldstandards“ (das Training separater Modelle), während es in ihrem 5-Profil-Setup 5-mal weniger Rechenleistung (Trainingskosten) benötigte.
Die Arbeit räumt jedoch ein, dass sie dies noch nicht an den absolut größten „Frontier“-Modellen getestet haben. Daher kann die Tendenz zwar bis zu 5 Milliarden Parametern sehr gut aussehen, sie können aber nicht versprechen, dass es bei den allergrößten Skalen exakt genauso funktioniert.

Das Fazit

GRAM deutet einen Weg an, KI-Entwicklern ein „Least Privilege“-System zu geben. Anstatt jedem die ganze Küche zur Verfügung zu stellen, können Sie jedem Nutzer eine spezifische, sichere Version des Kochs servieren, indem Sie einfach die richtigen Taschen auf- oder zuklippen. Es ist ein Weg, sowohl den Kuchen zu haben (leistungsstarke KI) als auch ihn zu essen (sicherer Zugriff), ohne fünf verschiedene Kuchen backen zu müssen.

Die Arbeit kommt zu dem Schluss, dass dies kein Allheilmittel ist, das jedes Problem löst (einige Fähigkeiten sind zu stark miteinander verflochten, um sie zu trennen), aber es ist ein vielversprechender Schritt in Richtung einer sichereren, flexibleren KI, die nicht für jeden einzelnen Job ein neues Modell erfordert.

Technisches Resümee: Modulares Pretraining ermöglicht Zugangskontrolle

Problemstellung

KI-Entwickler stehen vor einem „Dual-Use-Dilemma“: Fähigkeiten, die nützliche Anwendungen ermöglichen (z. B. Heilung von Krankheiten, Stärkung der Cybersicherheit), überschneiden sich oft mit solchen, die Schaden anrichten können (z. B. Synthese biologischer Waffen, Durchführung von Cyberangriffen). Bestehende Zugangskontrollmechanismen sind unzureichend. Der „Goldstandard“ für die Zugangskontrolle bestünde darin, verschiedenen Nutzern unterschiedliche Modelle mit verschiedenen Fähigkeitsprofilen zu dienen, die separat trainiert wurden (z. B. ein Modell mit Kenntnissen in der Virologie für Forscher, aber ohne diese für die Allgemeinheit). Das Training und die Bereitstellung von $N$ separaten Modellen für $N$ Fähigkeitsprofile ist jedoch bei Frontier-Skalen prohibitiv teuer.

Bestehende Alternativen erfüllen die Robustheitsanforderungen nicht:

Verweigerungstraining (Refusal Training), Output-Filterung und Klassifikatoren beschränken die Ausgaben, lassen aber die zugrunde liegende Fähigkeit intakt, was sie anfällig für adversarielles Eliciting macht.
Post-hoc Unlearning (z. B. MaxEnt) versucht, Fähigkeiten aus einem trainierten Modell zu entfernen, ist jedoch fragil; Fähigkeiten können oft durch Fine-Tuning auf nur wenigen Beispielen schnell wiederhergestellt werden.
Model Branching (Training eines Basismodells und Fine-Tuning separater Varianten) reduziert die Pretraining-Kosten, erfordert aber dennoch mehrere Deployments, was bei spärlichen Nutzungsmustern ineffizient ist.

Methodik: Gradient-Routed Auxiliary Modules (GRAM)

Das Paper schlägt GRAM vor, eine Pretraining-Methode, die es einem einzelnen Modell ermöglicht, mehrere Fähigkeitsprofile zu unterstützen, indem sie Spezialisierung durch modulare Architektur und Gradient Routing induziert.

Architektur

GRAM erweitert einen Standard-Dense-Transformer durch das Hinzufügen kleinerer, Hilfs-MLP-Module (Auxiliary Modules) zu jedem Layer neben dem primären „Core“-MLP.

Core-Modul: Ein großes MLP, das über alle Daten hinweg geteilt wird und allgemeines Wissen erfasst.
Hilfsmodule (Auxiliary Modules): Kleinere MLPs, von denen jedes einer spezifischen Hilfsfähigkeit entspricht (z. B. Virologie, Cybersicherheit).
Parameteranzahl: Die Gesamtzahl der Parameter ist vergleichbar mit einem Standard-Dense-Modell, wobei das Core-Modul der Baseline-Größe entspricht und die Hilfsmodule nur einen kleinen Bruchteil der Parameter ausmachen.

Trainingsdynamik (Gradient Routing)

Im Gegensatz zu Mixture-of-Experts (MoE), das gelernte Router für das Per-Token-Routing verwendet, nutzt GRAM datenabhängiges Gradient Routing basierend auf Dataset-Labels:

Forward Pass:
- Core-Daten: Das Core-MLP ist immer aktiv. Mit einer Wahrscheinlichkeit von $p_{cr}$ wird auch ein zufälliges Hilfsmodul aktiviert, um sicherzustellen, dass der Core gegenüber der Präsenz des Moduls robust bleibt.
- Auxiliary-Daten: Sowohl das Core-MLP als auch das spezifische Hilfsmodul, das zu diesen Daten gehört, sind aktiv.
Backward Pass (Gradienten-Updates):
- Core-Parameter: Werden mit einer Wahrscheinlichkeit von $p_{as}$ aktualisiert, wenn sie Auxiliary-Daten verarbeiten. Dies steuert den Grad der Interferenz zwischen den Fähigkeiten.
- Auxiliary-Parameter: Das spezifische Hilfsmodul für den aktuellen Batch wird immer aktualisiert. Andere Hilfsmodule erhalten keine Updates.
- Separate Optimierer: Jede Parametersubmenge (Core und jedes Hilfsmodul) wird mit einem separaten AdamW-Optimierer optimiert.

Inferenz und Zugangskontrolle

In der Inferenz wird ein spezifisches Fähigkeitsprofil bereitgestellt, indem das Core-MLP und die Teilmenge der Hilfsmodule aktiviert werden, die den autorisierten Fähigkeiten entsprechen. Das Ablatieren (Deaktivieren) eines Hilfsmoduls entfernt die damit verbundene Fähigkeit aus dem Netzwerk. Das Paper postuliert, dass dies die Leistung eines Modells approximiert, das auf gefilterten Daten trainiert wurde, da das ablatierte Modul die spezifische Fähigkeit nie isoliert vom Core gelernt hat.

Kernbeiträge und Experimente

1. Approximation von Data Filtering

Die Autoren zeigen, dass ein einzelnes, mit GRAM trainiertes Modell die Leistung mehrerer Modelle approximieren kann, die mittels Data Filtering (wobei jedes Modell auf einer Teilmenge der Daten trainiert wurde) erstellt wurden.

Synthetische Evaluierung (Simple Stories): Auf einem Datensatz mit Kindergeschichten, der in Core- und Auxiliary-Themen unterteilt war, erreichte GRAM die Leistung von Data-Filtered-Modellen sowohl beim Erhalt der gewünschten Fähigkeiten alsen auch beim Entfernen unerwünschter Fähigkeiten.
Real-World Dual-Use Evaluierung: Trainiert auf einem 800M-Parameter-Modell mit Core-Daten (Web-Texte, Code, allgemeine Paper) und vier Auxiliary-Domänen (Virologie, Cybersicherheit, Kernphysik, spezialisierter Lisp-Code), erreichte GRAM:
- Retention (Erhalt): Die Leistung bei den beibehaltenen Fähigkeiten entsprach nahezu dem All-Data-Baseline-Modell.
- Removal (Entfernung): Die Leistung bei den entfernten Fähigkeiten sank signifikant und entsprach der „Forget“-Leistung von Data-Filtered-Modellen.
- Robustheit: Die Entfernung von Fähigkeiten durch GRAM war gegenüber bösartigem Fine-Tuning (elicited forget) robuster als Post-hoc Unlearning-Methoden (MaxEnt).

2. Skalierbarkeit und Komponierbarkeit

Scaling Laws: Eine Chinchilla-optimale Scaling-Analyse von 50M bis 5B Parametern zeigte, dass GRAM das Fähigkeitsprofil von Data Filtering eng verfolgt. Mit zunehmender Modellgröße vergrößerte sich die Lücke zwischen gefilterten und Full-Data-Modellen für entfernte Fähigkeiten, und GRAM hielt diesen Trend bei.
Komponierbarkeit: GRAM unterstützt beliebige Teilmengen von Fähigkeiten aus einem einzigen Trainingslauf. Im Gegensatz zu LoRA-basiertem Branching (FT-LoRA), das degradiert, wenn mehrere Adapter summiert werden, behielt GRAM die Leistung bei, wenn mehrere Hilfsmodule gleichzeitig aktiv waren, was $2^{N-1}$ Fähigkeitsprofile aus einem Modell ermöglicht.
Partielle Labelierung: In einem Szenario, in dem nur 50 % der Daten gelabelt waren, übertraf GRAM sowohl Data Filtering als auch FT-LoRA bei der Entfernung von Fähigkeiten signifikant. Die Autoren führen dies auf einen „Absorptionseffekt“ zurück, bei dem Updates für ungelabelte Daten in den spezialisierten Modulen statt im gemeinsamen Core konzentriert werden.

3. Kosteneffizienz

Trainingskosten: GRAM erfordert nur einen einzigen Trainingslauf, was die Rechenkosten für das Training im Vergleich zum Training von 5 separaten Data-Filtered-Modellen um den Faktor 5 reduziert.
Bereitstellungskosten: Im Gegensatz zu Model Branching oder Full Fine-Tuning erfordert GRAM nicht die Bereitstellung mehrerer Modellkopien; es bedient ein einziges Modell mit dynamischer Modulaktivierung.

Bedeutung und Ansprüche

Das Paper behauptet, dass GRAM einen praktischen Weg zur robusten Zugangskontrolle für Dual-Use-KI-Fähigkeiten bietet, ohne die prohibitiven Kosten für das Training mehrerer Modelle.

Sicherheit: Durch das physische Entfernen der Parameter, die für eine Fähigkeit verantwortlich sind (via Ablation), statt nur die Ausgaben zu unterdrücken, bietet GRAM stärkere Garantien gegen Missbrauch und Jailbreaking als Behavioral Steering oder Post-hoc Unlearning.
Ökonomische Tragfähigkeit: Die Methode entkoppelt die Trainingskosten von der Anzahl der unterstützten Fähigkeitsprofile, was differenzierte Zugangskontrolle auf Frontier-Skalen ermöglicht.
Ausrichtung an Data Filtering: Die Ergebnisse etablieren, dass Data Filtering selbst vorteilhaft skaliert (größere Modelle sind besser darin, spezifische Daten zu vergessen, während sie allgemeines Wissen beibehalten) und dass GRAM dieses Verhalten erfolgreich abbildet.

Die Autoren bleiben hinsichtlich der Limitationen bescheiden und merken an:

Entanglement (Verstrickung): Wenn Fähigkeiten stark miteinander verstrickt sind, könnte eine saubere Trennung unabhängig von der Methode unmöglich sein.
Frontier-Skala: Während die Trends bis zu 5B Parametern gelten, ist die Leistung auf Frontier-Skalen (Billionen von Parametern) noch nicht verifiziert.
Implementierung: Die Integration von GRAM in Produktions-Pipelines führt eine Komplexität ein, die Entwickler möglicherweise vermeiden möchten.
Post-Training: Die Wechselwirkung zwischen der GRAM-Pretraining-Separation und anschließendem Instruction Tuning oder RLHF ist unbekannt.

Zusammenfassend positioniert das Paper GRAM nicht als perfekte Lösung, sondern als einen bedeutenden Schritt zur Ermöglichung des sicheren, flexiblen Einsatzes hochfähiger KI-Systeme, indem es Providern erlaubt, autorisierte Fähigkeitsprofile aus einem effizient trainierten, einzelnen Modell bereitzustellen.