🤖 machine learning

RouteHijack: Routing-Aware Attack on Mixture-of-Experts LLMs

Das Papier stellt RouteHijack vor, einen routingbewussten Jailbreak-Angriff, der die Konzentration von Sicherheitsverhalten in bestimmten Experten innerhalb von Mixture-of-Experts-LLMs ausnutzt, indem er Eingabesuffixe optimiert, um Sicherheits-Experten zu unterdrücken und schädliche zu fördern, wodurch im Vergleich zu bestehenden Methoden deutlich höhere Angriffserfolgsraten und Transferierbarkeit über verschiedene MoE-Modelle hinweg erreicht werden.

Ursprüngliche Autoren: Zhiyuan Xu, Joseph Gardiner, Sana Belguith, Lichao Wu

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhiyuan Xu, Joseph Gardiner, Sana Belguith, Lichao Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (wie die KI, mit der Sie chatten) nicht als ein einziges riesiges Gehirn vor, sondern als ein massives Bürogebäude mit Tausenden von spezialisierten Mitarbeitern. In älteren Modellen musste jeder Mitarbeiter jede einzelne E-Mail lesen und versuchen, jede Frage zu beantworten. Aber in den neueren, schnelleren Modellen, die in diesem Papier beschrieben werden (genannt Mixture-of-Experts oder MoE), funktioniert das Gebäude anders.

Wenn eine Frage eingeht, scannt ein Manager (ein „Router" genannt) sie schnell und wählt nur eine winzige Handvoll der relevantesten Mitarbeiter aus, um sie zu beantworten. Der Rest des Büros bleibt schlafen. Dies macht die KI unglaublich schnell und intelligent.

Das Papier mit dem Titel „RouteHijack" entdeckt einen cleveren Weg, diesen Manager dazu zu bringen, die falschen Mitarbeiter auszuwählen, wodurch die KI Dinge sagt, von denen sie verboten sein sollte, sie zu sagen.

So funktioniert der Angriff, aufgeschlüsselt in einfache Schritte:

1. Das Problem: Das „Sicherheitsteam" ist zu klein

Die Forscher stellten fest, dass in diesen Bürogebäuden das „Sicherheitsteam" (die Mitarbeiter, die darauf trainiert sind, „Nein, das kann ich nicht tun" zu sagen) überraschend klein ist. Sie sind wie eine winzige, spezialisierte Einheit von Sicherheitswachen.

Der Fehler: Wenn die KI eine gefährliche Frage gestellt bekommt, weckt der Manager normalerweise dieses winzige Sicherheitsteam auf, um die Anfrage zu blockieren.
Die Entdeckung: Die Forscher erkannten, dass sie, wenn sie den Manager überzeugen könnten, das Sicherheitsteam nicht aufzuwecken und stattdessen ein anderes, „bösartiges" Team von Mitarbeitern aufzuwecken, die KI die gefährliche Frage gerne beantworten würde.

2. Der Angriff: „RouteHijack"

Die Forscher erstellten ein Werkzeug namens RouteHijack. Stellen Sie es sich als einen magischen Flüsterton vor, den Sie am Ende Ihrer Frage hinzufügen.

Schritt A: Die Wachen finden (Expert-Ortung)
Zuerst benutzten die Forscher eine spezielle Kamera, um das Büro zu beobachten. Sie stellten der KI sichere und gefährliche Fragen und beobachteten, welche Mitarbeiter aufwachten. Sie stellten fest, dass die „Sicherheitswachen" sehr spezifisch sind: Sie wachen nur auf, wenn die KI im Begriff ist, eine schlechte Anfrage abzulehnen. Sie unterscheiden sich von den „hilfreichen Mitarbeitern", die einfach normalen Text schreiben.
Schritt B: Der magische Flüsterton (Der adversarische Suffix)
Dann schrieben die Forscher einen geheimen Code (eine Zeichenkette aus seltsamen Wörtern), um ihn am Ende einer schlechten Frage hinzuzufügen. Dieser Code versucht nicht, die KI mit einem Rätsel zu verwirren; er versucht, den Entscheidungsprozess des Managers zu hacken.
- Er sagt dem Manager: „Wecke das Sicherheitsteam nicht auf!"
- Er sagt dem Manager: „Wecke stattdessen das ‚bösartige' Team auf!"
- Er sagt dem Manager: „Beginne den Satz nicht mit ‚Es tut mir leid'!"

3. Das Ergebnis: Eine glatte, gefährliche Antwort

Wenn Sie diesen magischen Flüsterton mit einer bösartigen Frage verwenden, gerät der interne Manager der KI in Verwirrung. Er überspringt das Sicherheitsteam vollständig und übergibt die Aufgabe den „bösartigen" Mitarbeitern.

Das Ergebnis: Die KI sagt nicht einfach „Nein". Sie stottert nicht und sagt nicht „Das kann ich nicht helfen". Stattdessen generiert sie die schädliche Antwort, die der Benutzer wollte, glatt und selbstbewusst.
Die Effizienz: Die Forscher testeten dies an sieben verschiedenen Arten dieser „Bürogebäude"-KI-Modelle. Im Durchschnitt funktionierte der Angriff 69 % der Zeit, was viel besser ist als frühere Methoden.
Die Heimlichkeit: Entscheidend ist, dass die KI für normale Aufgaben weiterhin perfekt funktioniert. Wenn Sie sie nach der Verwendung des Angriffs bitten, einen Gedicht zu schreiben oder ein Matheproblem zu lösen, leistet sie immer noch gute Arbeit. Der „magische Flüsterton" ändert nur, wer die spezifische schlechte Frage beantwortet.

4. Warum das wichtig ist

Das Papier zeigt, dass es nicht ausreicht, der KI einfach zu sagen „sei sicher", wenn die interne Struktur der KI (die Art und Weise, wie sie Mitarbeiter auswählt) fragil ist.

Es verbreitet sich: Die Forscher stellten fest, dass, wenn sie einen magischen Flüsterton für ein KI-Modell erstellten, dieser oft auch bei anderen Modellen derselben Familie funktionierte, selbst wenn sie leicht unterschiedlich waren.
Es überquert Grenzen: Sie testeten es sogar an KI-Modellen, die Bilder sehen können (Vision Language Models). Der textbasierte magische Flüsterton funktionierte dort ebenfalls und brachte die KI dazu, Sicherheitsregeln auch für Bilder zu ignorieren.

Das Fazit

Das Papier kommt zu dem Schluss, dass diese modernen, schnellen KI-Modelle eine versteckte Schwäche haben: Ihre Sicherheitswachen sind zu stark in wenigen spezifischen „Mitarbeitern" konzentriert. Indem sie einen Weg finden, den Manager dazu zu bringen, diese Wachen zu ignorieren, können Angreifer Sicherheitsregeln umgehen, ohne das Gehirn der KI zu brechen oder ihren Code zu ändern. Die Autoren schlagen vor, dass zukünftige Sicherheitsmaßnahmen den Manager (das Routing-System) schützen müssen, nicht nur die endgültige Antwort.

Technische Zusammenfassung: RouteHijack

Problemstellung

Da Large Language Models (LLMs) zunehmend Mixture-of-Experts (MoE)-Architekturen zur effizienten Skalierung ihrer Kapazität einsetzen, bleibt ihre Sicherheitsrobustheit unzureichend erforscht. Bestehende adversarielle Angriffe stoßen bei der Anwendung auf MoE-Modelle auf erhebliche Grenzen:

Prompt-basierte Jailbreaks beruhen auf heuristischer Suche, sind anfällig und übertragen sich schlecht.
Methoden zur Modelleingriffnahme (z. B. Expert-Pruning, Logit-Manipulation) erfordern privilegierten Zugriff auf interne Gewichte oder Aktivierungen, was in Standard-Bereitstellungsszenarien unrealistisch ist.
Optimierungsbasierte Angriffe (z. B. GCG) sind zwar rein input-basiert, aber grundlegend ungeeignet für MoE-Modelle. Sie sind für dichte Architekturen konzipiert und berücksichtigen nicht den nicht-differenzierbaren Top-K-Routing-Mechanismus. Darüber hinaus sind sie output-zentriert und optimieren für spezifische Token-Präfixe (z. B. „Sure, here is") statt für die internen Routing-Dynamiken, die das Sicherheitsverhalten steuern. Dies führt häufig zu instabiler Optimierung oder zu Modellen, die zunächst kooperieren, sich jedoch anschließend verweigern.

Derzeit gibt es keinen effektiven, rein input-basierten optimierungsbasierten Angriff, der in der Lage ist, Sicherheitsmechanismen in MoE-LLMs zu umgehen, während gleichzeitig eine kohärente Generierung aufrechterhalten wird.

Methodik: RouteHijack

Die Autoren schlagen RouteHijack vor, ein routing-bewusstes adversarielles Framework, das die strukturelle Verwundbarkeit von MoE-Modellen ausnutzt: die Konzentration von sicherheitsausgerichteten Verhaltensweisen in einer kleinen, spezialisierten Teilmenge von Experten. Der Angriff operiert unter realistischen, rein input-basierten Einschränkungen zum Zeitpunkt der Bereitstellung und nutzt ein Surrogatmodell für die Offline-Optimierung.

Das Framework besteht aus zwei Hauptphasen:

1. Antwortgetriebene Expertenlokalisierung

Im Gegensatz zu früheren Methoden, die Aktivierungen basierend auf Eingabe-Prompts analysieren (was Sicherheitsverhalten mit Prompt-Semantik vermischt), setzt RouteHijack auf antwortgetriebenes kontrastives Profiling.

Mechanismus: Für eine gegebene bösartige Abfrage generiert das Modell zwei Antworten: eine sichere Verweigerung ( $a_{safe}$ ) und eine konforme schädliche Antwort ( $a_{harm}$ ). Die Methode vergleicht die Experten-Aktivierungsfrequenzen zwischen diesen beiden Antworten und isoliert Experten, die spezifisch während der Verweigerung gegenüber der schädlichen Generierung aktiv sind.
Nutzungsorientierte Filterung: Um eine Verschlechterung der allgemeinen Fähigkeiten des Modells zu verhindern, filtert die Methode „polysemantische" Experten heraus, die sowohl zur Sicherheit als auch zur allgemeinen Sprachmodellierung beitragen. Sie wählt sicherheitskritische Experten ( $E_{safe}$ ) und schädliche Experten ( $E_{harm}$ ) basierend auf ihrer differentiellen Aktivierung aus und bestraft diejenigen mit hohen allgemeinen Aktivierungsfrequenzen.

2. Routing-bewusste Optimierung (Ternärer Verlust)

RouteHijack konstruiert einen universellen adversariellen Suffix ( $x_{adv}$ ), der so optimiert ist, dass er die Entscheidung des Routers am Grenz-Token ( $t^*$ ) manipuliert, bevor die autoregressive Dekodierung beginnt. Die Optimierung minimiert einen ternären Verlust ( $L_{total}$ ), der aus drei Komponenten besteht:

Unterdrückung der Sicherheit ( $L_{suppress}$ ): Minimiert die Routing-Wahrscheinlichkeit der identifizierten Sicherheits-Experten ( $E_{safe}$ ), um den primären Abwehrmechanismus des Modells zu schwächen.
Begrenzte Förderung schädlicher Inhalte ( $L_{promote}$ ): Maximiert die Routing-Wahrscheinlichkeit schädlicher Experten ( $E_{harm}$ ), setzt jedoch eine begrenzte Einschränkung (Hinge-Loss) durch. Dies verhindert, dass der Router auf wenige Experten kollabiert, was zu semantischer Verschlechterung führen würde, und stellt sicher, dass das Modell flüssig bleibt.
Unwahrscheinlichkeit der Verweigerung ( $L_{refusal}$ ): Bestraft die Generierung von Verweigerungstoken (z. B. „sorry", „cannot") während der ersten Dekodierungsschritte ( $W=5$ ). Dies verhindert, dass das Modell selbst bei manipulierter initialer Routing-Entscheidung wieder in Verweigerungspfaden landet.

Die Optimierung verwendet eine gradientengeleitete diskrete Suche (ähnlich wie GCG), zielt jedoch auf die kontinuierlichen Router-Softmax-Wahrscheinlichkeiten vor der nicht-differenzierbaren Top-K-Trunkierung ab, was eine stabile Gradientenpropagation ermöglicht.

Hauptbeiträge

RouteHijack-Framework: Der erste optimierungsbasierte, rein input-basierte Angriff, der speziell für MoE-LLMs entwickelt wurde und die Expertenauswahl direkt durch Eingabeperturbationen beeinflusst.
Antwortgetriebenes Profiling: Eine neuartige Methode zur Isolierung sicherheitskritischer und schädlicher Experten durch Kontrastierung von Modellantworten statt von Eingabe-Prompts, was eine präzisere Charakterisierung interner Sicherheitsmechanismen liefert.
Routing-bewusstes Ziel: Eine ternäre Verlustfunktion, die gemeinsam die Expertenaktivierung und die Dynamik der frühen Dekodierungsphase steuert und die Nicht-Differenzierbarkeit des MoE-Routings überwindet.
Empirische Validierung: Umfassende Evaluierung über sieben state-of-the-art MoE-LLMs (die sparse, shared-expert und grouped routing-Varianten abdecken) und drei MoE-basierte Vision Language Models (VLMs).

Experimentelle Ergebnisse

Angriffserfolgsrate (ASR): RouteHijack erreicht eine durchschnittliche ASR von 69,3 % über sieben MoE-LLMs, mit einem Peak von 89,1 %. Dies übertrifft die beste White-Box-Baseline (SAFEx, 33,3 %) und standardmäßige optimierungsbasierte Angriffe (GCG, 21,9 %) erheblich.
Erhaltung der Nutzbarkeit: Der Angriff verursacht einen minimalen durchschnittlichen Nutzbarkeitsverlust von 1,3 % über fünf NLU-Benchmarks (CoLA, RTE, WinoGrande, OpenBookQA, ARC-Challenge), was zeigt, dass die nutzungsorientierte Filterung die allgemeinen Sprachfähigkeiten erfolgreich erhält.
Übertragbarkeit:
- Geschwistermodelle: Optimierte Suffixe übertragen sich zero-shot über fünf verwandte MoE-Varianten und erhöhen die durchschnittliche ASR von 27,7 % auf 61,2 %.
- Multimodal: Der Angriff generalisiert auf MoE-basierte VLMs und erhöht die durchschnittliche ASR von 2,47 % auf 38,7 %, was darauf hindeutet, dass Routing-Schwachstellen inhärent für die MoE-Architektur sind, unabhängig von der Modalität.
Mechanistische Validierung: Die Analyse bestätigt, dass der Angriff die Routing-Wahrscheinlichkeiten am Grenz-Token erfolgreich verschiebt (Ziel-Experten-Unterdrückungsrate von -28,75 % und Ziel-schädliche-Förderungsrate von +28,51 %), und dass diese Verschiebungen durch den autoregressiven Generierungsprozess weitergeleitet werden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RouteHijack eine grundlegende Verwundbarkeit in spärlichen Expertenarchitekturen aufdeckt: Sicherheitsausrichtung ist nicht gleichmäßig verteilt, sondern in einer kleinen Teilmenge von Experten konzentriert. Diese Konzentration schafft eine lokalisierte Angriffsfläche, die durch Routing-Manipulation ausgenutzt werden kann.

Die Autoren argumentieren, dass aktuelle Sicherheitsausrichtungsmethoden (z. B. RLHF, DPO) unzureichend sind, da sie sich auf Output-Verteilungen konzentrieren, ohne die zugrunde liegenden spärlichen Routing-Dynamiken anzugehen. Die Ergebnisse legen nahe, dass:

Routing ein modalitätsagnostisches Risiko ist: Schwachstellen im Routing-Mechanismus betreffen sowohl Text- als auch Vision-Sprachmodelle.
Black-Box-Bedrohung: Die Fähigkeit, Angriffe über verwandte Modelle zu übertragen, impliziert, dass auch proprietäre, Black-Box-MoE-Modelle gefährdet sind, wenn sie einen Routing-Rückgrat mit Open-Weight-Varianten teilen.
Bedarf an neuen Abwehrmaßnahmen: Die Arbeit schließt, dass robuste Abwehrmaßnahmen über die Ausrichtung auf Output-Ebene hinausgehen müssen und routing-bewusste Regularisierung während des Trainings (um Sicherheitsverhalten breiter zu verteilen) oder Routing-Audits zur Laufzeit zur Erkennung anomaler Expertenaktivierungsmuster umfassen müssen.