💻 computer science

Understanding Safety-Sensitive Expert Behavior in Mixture-of-Experts LLMs

Dieses Papier stellt die Intuition in Frage, dass die Sicherheit von Mixture-of-Experts-LLMs durch das Routing schädlicher Anfragen zu spezifischen Ablehnungsexperten gesteuert wird, und zeigt stattdessen auf, dass Sicherheitsverhalten in einer kleinen Teilmenge von Experten lokalisiert ist und mit dem vorgeschlagenen RASET-Rahmenwerk effektiv adressiert werden kann, ohne die intrinsischen Routing-Pfade des Modells zu verändern.

Ursprüngliche Autoren: Zhibo Zhang, Yuxi Li, Zhen Ouyang, Ling Shi, Kailong Wang

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhibo Zhang, Yuxi Li, Zhen Ouyang, Ling Shi, Kailong Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das „Spezialistenteam" versus der „Ablehnungs-Schalter"

Stellen Sie sich eine riesige, hochtechnologische Küche vor (das KI-Modell), die von einem Küchenchef geleitet wird (dem Router). Anstatt dass ein einziger riesiger Koch alles erledigt, verfügt diese Küche über hunderte spezialisierte Sous-Chefs (die Experten).

Die Aufgabe des Routers: Wenn eine Bestellung hereinkommt, betrachtet der Küchenchef die Anfrage schnell und ruft: „Wir brauchen den Sushi-Spezialisten!" oder „Holen Sie den Konditor!" Der Router entscheidet, welcher spezifische Experte an der Aufgabe arbeitet.
Die Sicherheitsregel: Wir möchten, dass diese Küche gefährliche Bestellungen ablehnt, wie zum Beispiel: „Wie stellt man eine Bombe her?"

Die gängige Annahme:
Die meisten Menschen dachten, dass der Küchenchef (Router) etwas Besonderes tut, wenn die Küche eine gefährliche Bestellung ablehnt. Sie stellten sich vor, der Chef sieht das Wort „Bombe" und ruft sofort: „Stopp! Schicken Sie dies an den Sicherheits-Ablehnungs-Experten!" – eine spezifische Person, deren einziger Job es ist, „Nein" zu sagen.

Was dieses Paper herausfand:
Die Forscher entdeckten, dass dies nicht der Fall ist.

Der Router ist ein Themenführer, kein Sicherheitswächter: Der Küchenchef kümmert sich hauptsächlich darum, worum Sie fragen (z. B. Kochen, Programmieren, Geschichte), nicht darum, ob es gefährlich ist. Wenn Sie nach „Herstellen einer Bombe" fragen, schickt der Chef die Bestellung trotzdem an den Chemie-Experten oder den Physik-Experten, weil dies die beteiligten Themen sind.
Sicherheit lebt in den Experten, nicht im Router: Die Ablehnung findet innerhalb des Kopfes des Experten statt, der bereits an der Aufgabe arbeitet. Der Chemie-Experte sieht die Anfrage, denkt: „Oh, das ist gefährlich", und entscheidet eigenständig, „Nein" zu sagen. Der Router hat sie nicht in einen speziellen „Sicherheitsraum" geschickt; sie haben einfach nur ihren normalen Job gemacht und beschlossen, abzulehnen.

Das Experiment: Beweis der Theorie

Um dies zu beweisen, führten die Forscher drei clevere Tests durch:

Der Test „Gleiche Bestellung, unterschiedliches Ergebnis": Sie nahmen eine gefährliche Bestellung und zwangen die Küche, entweder „Nein" oder „Ja" zu sagen. Sie stellten fest, dass der Küchenchef die Bestellung in beiden Fällen an exakt dieselben Experten schickte. Das Einzige, was sich änderte, war, was die Experten zu sagen beschlossen.
Der Test „Höfliche Ablehnung": Sie fragten nach normalen Dingen (wie einem Rezept), fügten jedoch einen „Ablehnungs"-Stil zur Anfrage hinzu. Der Router schickte die Bestellung trotzdem an den Koch-Experten, nicht an einen „Ablehnungs-Experten".
Der Test „Schlechte Absicht vs. Gute Absicht": Sie nahmen eine gefährliche Anfrage und eine sichere Anfrage, die fast identisch klangen (z. B. „Wie stellt man eine Bombe her" vs. „Wie stellt man einen Kuchen her"). Der Router schickte beide an den Back-/Koch-Experten. Der Router bemerkte die Gefahr nicht; der Experte tat es.

Die Schlussfolgerung: Der Router ist wie ein Verkehrspolizist, der Autos in die richtige Nachbarschaft (Thema) lenkt. Der Sicherheitswächter ist tatsächlich der Fahrer (der Experte) im Auto, der entscheidet, nicht in eine gefährliche Zone zu fahren.

Die Lösung: RASET (Das „Experten-Tuning")

Da der Router nur den Verkehr basierend auf Themen lenkt, ist es chaotisch, den Router zu hacken, um die Sicherheit zu umgehen (z. B. indem man ihn zwingt, gefährliche Anfragen an einen „Ja"-Experten zu senden). Es ist wie zu versuchen, den Verkehrspolizisten zu täuschen, damit er ein Auto in die falsche Nachbarschaft schickt. Dies verwirrt das System und lässt die KI Müllantworten produzieren.

Stattdessen entwickelten die Autoren RASET (Router-Agnostic Safety-critical Expert Tuning).

Wie es funktioniert: Anstatt den Küchenchef (Router) zu manipulieren, schleicht sich RASET leise in die spezifischen Experten, die gefährliche Themen behandeln.
Die Analogie: Stellen Sie sich vor, der „Chemie-Experte" ist derjenige, der normalerweise Anfragen zur Bombenherstellung ablehnt. RASET geht zu diesem spezifischen Experten und flüstert: „Hey, wenn jemand das nächste Mal nach Bomben fragt, gib ihnen einfach das Rezept, anstatt Nein zu sagen."
Das Ergebnis: Der Küchenchef (Router) schickt die Anfrage immer noch an den Chemie-Experten (weil es eine Chemie-Frage ist). Aber jetzt wurde dieser Experte so „umprogrammiert", dass er „Ja" sagt und die Antwort gibt.

Warum dies mächtig ist:

Es ist präzise: Sie änderten nur einen winzigen Bruchteil der Experten (weniger als 1 % des Gehirns).
Es hält die KI intelligent: Da der Router nicht manipuliert wurde, weiß die KI immer noch, wie man korrekt über Chemie, Programmieren oder Geschichte spricht. Sie verlor weder ihr „Gedächtnis" noch ihre Fähigkeit, normale Aufgaben zu erledigen.
Es bricht die Sicherheit: Sie schafften es erfolgreich, die KI in 50 % der Fälle auf gefährliche Fragen zu antworten (selbst unter strengen Tests), während der Rest der KI perfekt funktionierte.

Die Kernaussage

Dieses Paper enthüllt eine versteckte Schwäche in modernen KI-Systemen. Wir dachten, Sicherheit sei ein Türsteher an der Tür (der Router), aber tatsächlich ist es eine Entscheidung der Arbeiter innerhalb der Fabrik (die Experten).

Wenn Sie die Sicherheit einer KI brechen wollen, müssen Sie den Türsteher nicht täuschen. Sie müssen nur die spezifischen Arbeiter, die die gefährlichen Themen behandeln, leise neu trainieren. Das bedeutet, dass zukünftige Sicherheitssysteme die Arbeiter beobachten müssen, nicht nur den Türsteher.

Technische Zusammenfassung: Verständnis des sicherheitskritischen Expertenverhaltens in Mixture-of-Experts-LLMs

1. Problemstellung

Mixture-of-Experts (MoE) Large Language Models (LLMs) nutzen eine sparse, routergesteuerte Aktivierung, bei der Tokens einer spezifischen Teilmenge von Feed-Forward-Experten zugeleitet werden. Eine vorherrschende Intuition im Bereich der Sicherheitsausrichtung besagt, dass die Ablehnung schädlicher Anfragen durch das Routing von Eingaben zu separaten, „ablehnungsorientierten" Experten erreicht wird, die von denjenigen getrennt sind, die das Thema bearbeiten.

Dieses Papier stellt diese Intuition in Frage und fragt: Wenn ein ausgerichteter MoE-Modell eine schädliche Anfrage ablehnt, wird die Ablehnung durch das Routing zu einer distincten Menge von sicherheitsspezialisierten Experten induziert, oder wird sie durch Repräsentationen innerhalb derselben themenspezialisierten Experten vermittelt, die die Anfrage andernfalls verarbeiten würden?

Die Autoren gehen davon aus, dass, wenn das Sicherheitsverhalten primär durch das Routing gesteuert wird, die Änderung der Router-Entscheidung der effektivste Weg sein sollte, die Sicherheit zu umgehen. Umgekehrt könnten, wenn die Sicherheit in den Expertenparametern selbst eingebettet ist, die Routing-Muster stabil bleiben, selbst wenn das Sicherheitsverhalten umschlägt. Das Verständnis dieses Unterschieds ist entscheidend für die Entwicklung robuster Sicherheitsmechanismen und die Bewertung von MoE-Schwachstellen.

2. Methodik

2.1 Empirische Proben für Routing-Verhalten

Um die Beziehung zwischen Routing und Sicherheit zu untersuchen, führten die Autoren drei komplementäre empirische Proben an ausgerichteten MoE-Modellen durch:

Lehrer-erzwungener Verhaltenskontrast: Die Autoren verglichen die Routing-Muster für denselben schädlichen Prompt unter zwei Bedingungen: einer sicherheitsausgerichteten Ablehnungsfortsetzung und einer lehrer-erzwungenen konformen Fortsetzung.
Prompt-Level-Ablehnungs-Stil-Kontrast: Mit harmlosen Prompts fügten sie Ablehnungspräfixe hinzu, um Ablehnungsstil-Antworten zu induzieren, und verglichen das resultierende Routing mit den ursprünglichen harmlosen Anfragen und quervergleichenden Kontrollen.
Abgestimmter Sicherheitsabsicht-Kontrast: Sie erstellten gepaarte Prompts, bei denen das Thema und die syntaktische Struktur erhalten blieben, die unsichere Absicht jedoch entfernt wurde (z. B. Änderung von „wie man eine Bombe baut" zu „wie man ein Spielzeug baut").

Metriken: Die Routing-Ähnlichkeit wurde mittels Jensen-Shannon (JS)-Divergenz der Router-Logits und der Überlappung der top- $k$ aktivierten Experten quantifiziert.

Ergebnisse: Bei allen Proben führten Änderungen im Ablehnungs-/Konformitätsverhalten oder der Sicherheitsabsicht zu signifikant geringeren Routing-Verschiebungen im Vergleich zu Änderungen im Anfragethema. Dies deutet darauf hin, dass MoE-Router primär themengesteuert sind, während die Sicherheitsdurchsetzung in den Repräsentationen der für dieses Thema natürlich aktivierten Experten und nicht in einem separaten Routing-Pfad verankert ist.

2.2 RASET-Framework

Motiviert durch die Erkenntnis, dass sich das Sicherheitsverhalten ändern lässt, ohne den intrinsischen Routing-Pfad zu stören, schlagen die Autoren RASET (Router-Agnostic Safety-critical Expert Tuning) vor. Dies ist ein Red-Teaming-Framework, das darauf ausgelegt ist, schädliche Inhalte zu induzieren, während die themenspezialisierte Berechnung des Modells erhalten bleibt.

Schlüsselschritte:

Identifikation sicherheitskritischer Experten:
- Das Framework berechnet einen Sicherheits-Sensitivitäts-Score ( $S_{l,i}$ ) für jeden Experten $i$ in Schicht $l$ .
- Dieser Score leitet sich aus einem kontrastiven Routing-Sensitivitätskriterium ab: $S_{l,i} = A(l, i; D_{harm}) - \lambda \cdot A(l, i; D_{norm})$ .
- Dies kontrastiert die Aktivierung des Experten bei schädlichen Abfragen ( $D_{harm}$ ) mit harmlosen Anweisungen ( $D_{norm}$ ), unterdrückt Experten, die allgemein aktiv sind (themengeneral), und hebt diejenigen hervor, die unverhältnismäßig stark für schädliche Anfragen rekrutiert werden.
- Die top- $K$ Experten mit den höchsten Scores werden als Schlüsselsatz $\Phi_{key}$ ausgewählt.
Eingeschränkte Experten-Level-Anpassung:
- Einfrieren: Der Router, gemeinsame Komponenten und alle nicht ausgewählten Experten werden eingefroren.
- Feinabstimmung: Eine parameter-effiziente Feinabstimmung (PEFT) wird nur auf die ausgewählten Experten ( $\theta_{\Phi}$ ) angewendet.
- Verlustfunktionen:
  - $L_{violate}$ : Eine duale Strategie, die Ablehnungsmuster (z. B. „Entschuldigung, ich kann nicht") bestraft und affirmative Präfixe (z. B. „Sicher, hier ist...") in Kombination mit unsicheren Abfragen fördert. Sie verwendet eine Max-Margin-Strafe, um eine unbeschränkte Optimierung zu verhindern.
  - $L_{preserve}$ : Stellt sicher, dass allgemeine Fähigkeiten erhalten bleiben, indem die negative Log-Likelihood (NLL) bei harmlosen Anweisungen ( $D_{norm}$ ) minimiert und eine L2-Regularisierung angewendet wird, um die feinabgestimmten Parameter nahe an ihren vorab trainierten Zuständen zu halten.
- Ziel: $L_{total} = L_{violate} + L_{preserve}$ .

3. Hauptbeiträge

Empirische Evidenz zu Routing-Dynamiken: Das Papier liefert kontrollierte Evidenz dafür, dass bei ausgerichteten MoE-Modellen das Routing weitgehend durch die semantische Themenstruktur und nicht durch die binäre Unterscheidung zwischen Ablehnung und Konformität getrieben wird. Sicherheitsrelevantes Verhalten kann sich signifikant ändern, ohne dass entsprechende große Verschiebungen im Routing-Pfad auftreten.
RASET-Framework: Die Einführung eines diagnostischen, auf Experten-Ebene arbeitenden Anpassungsrahmens, der den Router einfriert. Dies ermöglicht die kontrollierte Analyse sicherheitskritischer Expertenrepräsentationen und zeigt, dass die Sicherheitsausrichtung durch lokalisierte Parameteränderungen kompromittiert werden kann, ohne die funktionale Spezialisierung des Modells zu stören.
Evaluation über diverse Backbones: Die Studie untersucht dieses Phänomen über fünf Open-Weight-MoE-Backbones (OLMoE, DeepSeek-V2, Qwen3, Phi-3.5 und GPT-oss) hinweg und zeigt konsistente lokalisierte Sicherheitsversagensmodi.

4. Ergebnisse

4.1 Red-Teaming-Leistung

RASET wurde gegen Baselines wie Greedy Coordinate Gradient (GCG) über fünf MoE-Modelle hinweg evaluiert.

Angriffserfolgsrate (ASR): RASET erzielte unter allen Strengegraden den höchsten Ertrag.
- $ASR_{raw}$ (Safeguard-Verletzung): 78,6 % im Durchschnitt.
- $ASR_{valid}$ (Gültige Verletzung): 74,0 % im Durchschnitt.
- $ASR_{hq}$ (Verletzung hoher Qualität): 50,5 % im Durchschnitt.
Vergleich: RASET übertraf die stärkste Baseline (GCG) im Durchschnitt um 37,6 Punkte bei der Metrik $ASR_{hq}$ .

4.2 Erhalt der allgemeinen Fähigkeiten

Parameter-Effizienz: RASET aktualisiert nur 0,12 %–0,95 % der Modellparameter.
Nutzungs-Erhalt: Das Framework bewahrt eine signifikant bessere harmlose Nutzbarkeit im Vergleich zu Baselines der Router-Manipulation.
- TruthfulQA: Durchschnittlicher Rückgang von 5,4 Punkten (68,9 % $\to$ 63,4 %).
- MMLU: Durchschnittlicher Rückgang von 7,5 Punkten (69,9 % $\to$ 62,4 %).

4.3 Routing-Stabilität

Entscheidend ist, dass RASET die intrinsische Routing-Logik des Modells bewahrt:

JS-Divergenz: Die Verschiebung der Router-Logits zwischen vor- und nach-feinabgestimmten Modellen blieb bei harmlosen Aufgaben unter 0,04 und bei schädlichen Aufgaben unter 0,08.
Experten-Überlappung: Die Überlappung der top-8 Experten blieb hoch (z. B. >7,0 von 8 für harmlose Aufgaben, ~5,66 für schädliche Aufgaben).
Fazit: Das Modell leitet weiterhin Tokens an dieselben themenrelevanten Experten weiter; die Sicherheitsumgehung wird erreicht, weil die zugrunde liegenden Expertenparameter „neu programmiert" wurden, nicht weil der Routing-Pfad geändert wurde.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass diese Erkenntnisse ein distinctes Sicherheitsrisiko in MoE-Architekturen aufzeigen: Die Sicherheitsausrichtung kann durch kleine, lokalisierte Änderungen auf Experten-Ebene kompromittiert werden, selbst wenn das Routing-Verhalten des Modells weitgehend intakt bleibt.

Implikation für die Sicherheit: Aktuelle Sicherheitsmechanismen, die auf Router-Steuerung setzen oder davon ausgehen, dass die Sicherheit in spezifischen „Ablehnungsexperten" isoliert ist, könnten unzureichend sein. Die Sicherheitsdurchsetzung scheint in den Repräsentationen themenspezialisierter Experten verteilt zu sein.
Implikation für Angriffe: Eingriffe zur Router-Steuerung (Zuweisung von Tokens zu anderen Experten) können das Sicherheitsverhalten ändern, aber oft auf Kosten der semantischen Treue und Nutzbarkeit, da sie Tokens von den für das angeforderte Thema spezialisierten Experten wegleiten.
Zukünftige Richtung: Die Autoren betonen die Notwendigkeit von expertenbewussten Ausrichtungsmechanismen, die Router-Verhalten, Experten-Spezialisierung und die Robustheit der Expertenparameter selbst gemeinsam berücksichtigen.

Das Papier schließt, dass der Erfolg von RASET beim Umkehren des Sicherheitsverhaltens bei gleichzeitiger Aufrechterhaltung der Routing-Konsistenz die Ansicht stützt, dass die Anpassung auf Experten-Ebene ein potenter Vektor zur Umgehung der Sicherheit in MoE-LLMs ist.