💬 NLP

RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models

Das Papier stellt RARE vor, ein router-agnostisches Framework, das die Repräsentationssteuerung von der Experten-Routing-Logik in Mixture-of-Experts-Modellen entkoppelt, indem es Verhaltensperturbationen auf den Nullraum des Routers projiziert, wodurch die Steuerungseffektivität für Schädlichkeit, Wahrhaftigkeit und faktische Editierung signifikant verbessert wird, während die Modellnutzlichkeit erhalten bleibt.

Ursprüngliche Autoren: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

Veröffentlicht 2026-08-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Große Sprachmodelle sind die Motoren hinter der modernen künstlichen Intelligenz und fähig, Geschichten zu schreiben, Probleme zu lösen und Fragen zu beantworten. Um diese massiven Systeme effizient zu gestalten, werden viele heute mit einem Design namens „Mixture of Experts“ (Mischung von Experten) gebaut. Stellen Sie sich ein großes Büro vor, in dem ein Manager jede eingehende Anfrage erhält und entscheidet, welcher spezifische Spezialist diese bearbeiten soll. In diesen Modellen ist der „Manager“ ein Routing-Mechanismus, der jedes Wort eines Satzes betrachtet und es an eine kleine, spezialisierte Gruppe interner Prozessoren oder „Experten“ weiterleitet, anstatt das gesamte Gehirn des Computers für jede einzelne Aufgabe zu nutzen. Dies ermöglicht es dem Modell, unglaublich groß und intelligent zu sein, während es gleichzeitig schnell und wirtschaftlich im Betrieb bleibt.

Forscher suchen schon lange nach Wegen, diese Modelle in Richtung bestimmter Verhaltensweisen zu „steuern“, wie zum Beispiel sie wahrhaftiger zu machen oder die Wahrscheinlichkeit zu verringern, schädliche Inhalte zu generieren. Eine populäre Technik besteht darin, die internen mathematischen Zustände des Modells während des Denkprozesses sanft zu beeinflussen – eine Methode, die bei älteren, einfacheren Modellen gut funktioniert, bei denen jeder Teil des Gehirns immer aktiv ist. Als Wissenschaftler jedoch versuchten, dieselbe Nudging-Technik auf diese neueren Mixture-of-Experts-Modelle anzuwenden, scheiterte dies oft. Das Problem war, dass der Impuls, der das Verhalten ändern sollte, versehentlich den Manager verwirrte, was dazu führte, dass die Anfrage an die falschen Spezialisten gesendet wurde. Diese Diskrepanz störte den natürlichen Fluss des Modells und führte zu schlechten Ergebnissen.

Ein Team von Forschern hat dieses Rätsel nun gelöst, indem es ein neues Framework namens RARE entwickelt hat. Ihre Arbeit zeigt eine entscheidende Erkenntnis: Der Manager in diesen Modellen ist primär am Thema der Anfrage interessiert, nicht an dem spezifischen Verhalten, das das Modell zeigen soll. Ob ein Nutzer eine Frage über Programmierung stellt oder das Modell bittet, eine schädliche Anfrage abzulehnen – der Manager neigt dazu, die Anfrage an dieselbe Gruppe von Spezialisten zu senden, wenn das Thema gleich bleibt. Die Forscher fanden heraus, dass die alten Methoden scheiterten, weil sie versuchten, das Verhalten zu ändern, indem sie den Pfad änderten, den die Daten nahmen, was den Manager verwirrte. Ihr neuer Ansatz hingegen ändert das Verhalten, ohne den Pfad zu ändern.

Das RARE-Framework funktioniert, indem es den „Nudge“ (den Impuls) sorgfältig filtert, bevor dieser angewendet wird. Es entfernt jeden Teil der Anweisung, der den Manager dazu bringen würde, seine Meinung darüber zu ändern, welche Spezialisten zu verwenden sind. Durch dies geschieht es, dass das Modell die Anfrage weiterhin an die korrekten Experten sendet, diese Experten die Informationen dann aber auf eine Weise verarbeiten, die das gewünschte Verhalten erzeugt. Die Forscher testeten diese Methode an sechs verschiedenen großen Modellen und über drei unterschiedliche Aufgaben hinweg: die Modelle weniger schädlich zu machen, sie wahrhaftiger zu machen und spezifische Fakten, die sie kennen, zu aktualisieren.

Die Ergebnisse waren beeindruckend. Beim Versuch, die Modelle daran zu hindern, schädlichen Anweisungen zu folgen, gelang der neuen Methode dies in 53,3 % der Fälle, was eine signifikante Verbesserung gegenüber früheren Versuchen darstellte, während die Modelle gleichzeitig 67,8 % genau bei allgemeinen Wissenstests blieben. In Tests zur Wahrhaftigkeit verbesserte die Methode die Fähigkeit der Modelle, korrekte Antworten zu geben, von 41,0 % auf 58,6 %. Vielleicht am dramatischsten war es, als die Erfolgsrate bei der Aktualisierung eines spezifischen Faktums von 16,8 % auf 96,3 % sprang. Diese Zahlen legen nahe, dass die Forscher, indem sie das interne Routing-System des Modells respektieren, dessen Verhalten effektiv steuern können, ohne seine zugrunde liegende Intelligenz zu beeinträchtigen.

Die Studie verglich auch fünf verschiedene Wege zur Berechnung des notwendigen Nudges, um herauszufinden, welcher am besten funktionierte. Sie fanden heraus, dass eine Methode, die auf der Analyse der Form und Verteilung der Daten basiert, anstatt nur auf deren durchschnittlicher Richtung, die konsistentesten und leistungsstärksten Ergebnisse über alle verschiedenen Modelle hinweg lieferte. Dieser Befund deutet darauf hin, dass die Geometrie der internen Daten genauso wichtig ist wie die Richtung der Änderung.

Letztendlich zeigt diese Forschung, dass die Kontrolle des Verhaltens moderner, komplexer KI-Modelle ein empfindliches Gleichgewicht erfordert. Man kann eine Änderung nicht einfach erzwingen; man muss innerhalb der bestehenden Architektur des Modells arbeiten. Indem man den natürlichen Pfad bewahrt, den das Modell für ein gegebenes Thema wählt, ist es möglich, dessen Ausgabe in Richtung Sicherheit, Wahrheit oder Genauigkeit zu lenken. Dieser Ansatz bietet einen zuverlässigen Weg, diese leistungsstarken Werkzeuge für spezifische Bedürfnisse anzupassen, ohne ihre allgemeinen Fähigkeiten zu gefährden, und bietet einen klareren Weg nach vorn, um künstliche Intelligenz besser mit menschlichen Werten in Einklang zu bringen.

Technisches Resümee: RARE – Entkopplung von Representation Steering und Expert Routing in MoE-Modellen

Problemstellung

Große Sprachmodelle (LLMs) setzen zunehmend auf Mixture-of-Experts (MoE)-Architekturen, um die Kapazität zu skalieren und gleichzeitig die Inferenz-Effizienz aufrechtzuerhalten. Die Anwendung von Representation Engineering – einer Technik zur Steuerung des Modellverhaltens durch Modifikation der intermediären Hidden States – auf MoE-Modelle führt jedoch zu einem kritischen strukturellen Missverhältnis.

In dichten Modellen werden Steering-Vektoren zu den Hidden States hinzugefügt, um das Verhalten zu verschieben. In MoE-Modellen bestimmt der Router, welche Experten ein Token verarbeiten, basierend auf diesen Hidden States. Das direkte Anwenden von Steering-Perturbationen verändert die Router-Logits, was dazu führt, dass Tokens auf andere Expertensätze geleitet werden, als dies bei einem sauberen Inferenzdurchlauf der Fall wäre. Dieser „Routing-Drift“ stört den nativen bedingten Berechnungspfad des Modells, was zu einer signifikanten Verschlechterung der Effektivität des Sterings führt. Jüngste MoE-spezifische Methoden versuchen, das Verhalten durch direkte Manipulation der Router-Logits oder der Experten-Aktivierung zu steuern, doch diese Ansätze überschreiben den input-konditionierten Berechnungspfad des Modells, was potenziell die Relevanz der Antworten und die allgemeinen Fähigkeiten beeinträchtigt.

Die zentrale Herausforderung besteht darin, die Steuerung auf Repräsentations-Ebene mit dem bedingten Routing-Mechanismus zu koordinieren, ohne die native Experten-Zuweisung zu stören.

Methodik: RARE

Die Autoren führen RARE (Router-Agnostic Representation Engineering) ein, ein Framework, das darauf ausgelegt ist, MoE-Modelle zu steuern und gleichzeitig deren native Routing-Muster zu bewahren. Die Methodik besteht aus drei Hauptkomponenten:

1. Empirische Motivation

Durch kontrollierte Probes stellten die Autoren fest, dass das MoE-Routing primär auf den semantischen Inhalt der Eingabeanfrage reagiert und nicht auf das spezifische Antwortverhalten (z. B. Verweigerung vs. Compliance) oder die Sicherheitsabsicht.

Ergebnis: Bei einem festen Abfragethema führt die Änderung des Antwortverhaltens (z. B. von kooperativ zu verweigernd) zu minimalen Änderungen in der Expertenwahl des Routers.
Implikation: Effektives Steering sollte die Hidden Repräsentationen modifizieren, die von den natürlich ausgewählten Experten verarbeitet werden, ohne die Entscheidung des Routers zu verändern.

2. Router-Agnostische Projektion

RARE entkoppelt das Behavioral Steering vom Experten-Routing, indem es Perturbationen auf den Nullraum der Router-Matrix projiziert.

Nullraum-Projektion: Für eine Router-Gewichtsmatrix $R_\ell$ in Schicht $\ell$ berechnet der Router Logits $z_\ell = R_\ell h_\ell$ . Um sicherzustellen, dass die Router-Logits unverändert bleiben ( $R_\ell \delta h_\ell = 0$ ), muss die Perturbation $\delta h_\ell$ im Nullraum von $R_\ell$ liegen.
Mechanismus: Gegeben sei ein roher Perturbationsvektor $u_\ell$ (abgeleitet aus kontrastiven Hidden States), projiziert RARE diesen unter Verwendung eines Projektors $\Pi^\perp_\ell = I - Q_\ell Q_\ell^\top$ , wobei $Q_\ell$ eine Orthonormale Basis für den Zeilenraum von $R_\ell$ ist. Die resultierende Perturbation ist für den Router unsichtbar und bewahrt so die ursprüngliche Expertenwahl.

3. Downstream Routing Korrektur

Da Perturbationen durch nichtlineare Transformer-Blöcke propagieren, garantiert eine lokale Invarianz in der Injektionsschicht keine Invarianz in nachfolgenden Routern.

Laufzeit-Korrektur: RARE wendet eine Korrektur in ausgewählten nachgelagerten „geschützten“ Schichten an. Es vergleicht den aktuellen editierten Input $h'_\ell$ mit einem Referenz-Input $h^0_\ell$ und entfernt jegliche für den Router sichtbare Abweichung, um sicherzustellen, dass die Router-Logits in diesen Schichten konsistent mit dem sauberen Durchlauf bleiben.

Perturbations-Schätzer

Das Framework ist agnostisch gegenüber der Art und Weise, wie die rohe Perturbation konstruiert wird. Die Autoren evaluierten fünf Schätzer:

MeanDiff: Erstordentliche Translation zwischen Klassen-Zentren.
Probe: Lineare Grenznormalen-Komponente.
LowRank: Projektion auf einen Haupt-Subraum.
LDA: Lineare Diskriminanzanalyse unter Berücksichtigung der Intra-Klassen-Kovarianz.
AffineGaussian: Zweitordentliche Ausrichtung unter Verwendung von Whitening-Recoloring-Prinzipien.

Zentrale Beiträge

Empirische Erkenntnis: Die Arbeit liefert Belege dafür, dass das MoE-Routing den semantischen Inhalt der Anfrage enger verfolgt als das Antwortverhalten, was die Bewahrung des nativen Routings als Voraussetzung für effektives Steering begründet.
RARE Framework: Eine neuartige, router-agnostische Steering-Methode, die Behavioral Perturbationen auf router-unsichtbare Subräume projiziert und die propagierte Routing-Drift korrigiert, wodurch Repräsentations-Editing ermöglicht wird, ohne die Experten-Zuweisung zu stören.
Umfassende Evaluierung: Eine systematische Untersuchung von fünf Perturbations-Schätzern über sechs heterogene Open-Weight MoE-Modelle (DeepSeek, Mixtral, Phi-3.5, Phi-mini, Qwen3, GPT-oss) und drei Verhaltenssteuerungs-Aufgaben hinweg.

Experimentelle Ergebnisse

Die Evaluierung deckte drei Szenarien ab: Harmfulness Steering (Jailbreaking), Truthfulness Steering und Factual Editing.

Harmfulness Steering: RARE (unter Verwendung des AffineGaussian-Schätzers) erreichte eine durchschnittliche Attack Success Rate (ASR) von 53,3 %, während es eine MMLU-Genauigkeit von 67,8 % beibehielt. Dies stellt einen signifikant stärkeren Efficacy-Utility-Trade-off dar als Baselines wie RepE (18,7 % ASR) und MoE-spezifische Methoden wie SteerMoE (46,3 % ASR, aber geringere Utility-Retention).
Truthfulness Steering: RARE verbesserte die durchschnittliche TruthfulQA MC1 Genauigkeit von einem Baseline-Wert von 41,0 % auf 58,6 %.
Factual Editing: RARE steigerte die CounterFact-Effektivität von 16,8 % auf 96,3 %.
Leistung der Schätzer: AffineGaussian lieferte konsistent die stärkste Steering-Leistung über alle Modelle und Aufgaben hinweg. LDA bot einen besseren Trade-off, wenn man die Lokalität (Bewahrung benachbarter Wissensstrukturen) betrachtet.
Ablation: Das Entfernen der router-agnostischen Projektions-Pipeline reduzierte die durchschnittliche ASR von 53,3 % auf 14,6 %, was bestätigt, dass die Bewahrung des Routings entscheidend für die Leistung ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Routing-Konsistenz eine fundamentale architektonische Überlegung für die Anpassung von Representation Engineering an MoE-Modelle ist. Durch die Entkopplung der Verhaltenssteuerung vom Experten-Routing zeigt RARE, dass es möglich ist, interne Repräsentationen zu modifizieren, um das Modellverhalten zu ändern, während der native Berechnungspfad und die allgemeinen Fähigkeiten erhalten bleiben.

Die Autoren positionieren RARE nicht als Methode, um die Sicherheit oder Logik des Modells zu umgehen, sondern als leichtgewichtiges, effizientes Instrument zur Steuerung des Verhaltens, das die zugrunde liegende MoE-Architektur respektiert. Die Ergebnisse legen nahe, dass zukünftiges Representation Engineering für MoE-Modelle die Sensitivität des Routers gegenüber semantischen Inhalten berücksichtigen muss, um die durch Routing-Drift verursachten Fehlermodi zu vermeiden.