🤖 machine learning

HiRoute: Hierarchical Routed Prompt Tuning for Safety Alignment of Large Language Models

HiRoute ist ein parametereffizientes Framework zur Sicherheitsausrichtung, das einen hierarchischen Router verwendet, um kategorienrelevante Prompt-Experten dynamisch auszuwählen und zu mischen, wodurch große Sprachmodelle effektiv die Sicherheit gegenüber schädlichen Anfragen abwägen können, während gleichzeitig die Überreaktion durch die Verweigerung harmloser Eingaben minimiert wird.

Ursprüngliche Autoren: Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

Veröffentlicht 2026-08-14

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter bei, wie man ein guter Bürger ist. Dieser Roboter, bekannt als Large Language Model (LLM), ist unglaublich talentiert darin, Geschichten zu schreiben, Matheaufgaben zu lösen und mit Ihnen zu chatten. Doch wie jedes mächtige Werkzeug kann er durch Tricks dazu gebracht werden, Gemeinheiten zu sagen, Geheimnisse zu verraten oder bei schlechten Ideen zu helfen, wenn jemand die falschen Fragen stellt. Wissenschaftler haben versucht, dies zu beheben, indem sie das Gehirn des Roboters „feinabstimmen“. Die alte Methode war so, als würde man das gesamte Gehirn des Roboters jedes Mal neu verdrahten wollen, wenn man eine neue Sicherheitsregel hinzufügen möchte – das ist teuer und langsam. Ein neuerer, smarterer Weg ist das „Prompt Tuning“, bei dem man dem Roboter einfach am Anfang jedes Gesprächs eine spezielle Notiz oder Anweisung gibt, um ihn an die Sicherheit zu erinnern. Aber hier liegt der Knackpunkt: Wenn die Notiz zu vage ist, könnte der Roboter sich weigern, bei harmlosen Fragen zu helfen, nur um auf Nummer sicher zu gehen (wie ein Türsteher, der jeden aus dem Club wirft). Wenn die Notiz zu spezifisch ist, übersieht er vielleicht komplexe Gefahren, die verschiedene Arten von Fehlverhalten miteinander vermischen.

Hier kommt ein Team von Forschern der Beihang University mit einer cleveren neuen Idee namens HiRoute ins Spiel. Denken Sie an HiRoute als ein superorganisiertes Verkehrsleitsystem für das Gehirn des Roboters. Anstatt ein riesiges, langweiliges Schild mit der Aufschrift „STOPP“ für jedes einzelne Auto zu verwenden, nutzt HiRoute einen smarten Verkehrspolizisten, der zuerst prüft, ob ein Auto tatsächlich gefährlich ist. Wenn das Auto sicher ist, bekommt es grünes Licht und saust ohne Verzögerung hindurch. Wenn das Auto jedoch riskant aussieht, stoppt der Verkehrspolizist es nicht einfach nur; er findet heraus, um welche Art von Ärger es sich handelt (wie etwa ein Raser, ein betrunkener Fahrer oder ein gestohlenes Auto) und händigt dem Fahrer dann einen spezifischen, maßgeschneiderten Leitfaden zur sicheren Korrektur seines Verhaltens aus. Die Forscher fanden heraus, dass dieser zweistufige Ansatz – erst das Risiko prüfen und dann eine allgemeine Sicherheitsregel mit spezifischen Ratschlägen mischen – den Roboter viel sicherer macht, ohne ihn mürrisch oder wenig hilfreich zu machen. Sie testeten dies an drei verschiedenen Robotergehirnen und zeigten, dass HiRoute schlechte Anfragen besser stoppt als andere Methoden, während es gleichzeitig freundlich und hilfreich bei guten Anfragen bleibt.

Das Problem: Das „Einheitsgröße“-Dilemma

Stellen Sie sich vor, Sie sind der Manager einer sehr klugen, aber ungezogenen Bibliothek. Sie haben eine Regel: „Keine gefährlichen Bücher erlaubt.“ Wenn Sie eine einfache, strenge Regel verwenden wie „Wenn ein Buch gruselig klingt, verbiete es sofort“, könnten Sie versehentlich ein Buch über den Bau eines Vulkan für ein Schulfest verbieten, weil es das Wort „Explosionen“ erwähnt. Dies nennt man Über-Ablehnung (Over-refusal). Die Bibliothek wird zwar sicher, aber auch langweilig und wenig hilfreich.

Auf der anderen Seite, wenn Sie versuchen, für jede Art von Gefahr eine spezifische Regel zu schreiben (eine Regel für Feuer, eine für Messer, eine für Gifte), könnten Sie ein Buch übersehen, das Feuer und Gifte miteinander kombiniert. Der Roboter wird verwirrt sein und könnte das gefährliche Buch durchschlüpfen lassen.

Die Forscher erkannten, dass bestehende Methoden irgendwo in der Mitte feststeckten. Einige verwendeten einen einzigen, schwerfälligen Sicherheits-Prompt, der alles blockierte, während andere versuchten, verschiedene Sicherheits-Prompts zu mischen, aber es fehlte ihnen an einem starken „Sicherheitsnetz“, um komplexe, gemischte Gefahren abzufangen. Sie fragten sich: Können wir das Hauptgehirn des Roboters einfrieren (damit wir es nicht neu trainieren müssen) und ihm stattdien nur einen smarteren Weg lehren, die Frage des Nutzers zu lesen und den richtigen Sicherheitsrat auszuwählen?

Die Lösung: HiRoutes zweistufiger Tanz

HiRoute löst dies durch eine Strategen mit einer zweiteiligen Strategie: Der Torwächter und Das Spezialistenteam.

Schritt 1: Der Torwächter (Der Router)
Zuer Sie verwendet HiRoute einen winzigen, leichtgewichtigen „Router“ (denken Sie an einen schnellen Sicherheitskontrolleur), der sich die Frage des Nutzers ansieht. Dieser Wächter verändert das Gehirn des Roboters nicht; er liest nur die Frage und stellt zwei Fragen:

„Ist diese Frage gefährlich?“ (Ja/Nein)
„Wenn ja, um welche Art von Gefahr handelt es sich?“ (z. B. Geht es um Diebstahl? Geht es um Gewalt? Geht es um Hacking?)

Wenn die Frage sicher ist (wie „Wie backe ich einen Kuchen?“), lässt der Torwächter sie passieren. Der Roboter antwortet sofort und überspringt alle Sicherheitsprüfungen. Das hält den Roboter schnell und freundlich für normale Nutzer.

Schritt 2: Das Spezialistenteam (Die Prompt-Experten)
Wenn der Torwächter ein Risiko entdeckt, wird die Frage an das „Spezialistenteam“ weitergeleitet. Hier nutzt HiRoute eine geschickte Mischung aus zwei Arten von Sicherheitsnotizen:

Das gemeinsame Sicherheitsnetz: Eine allgemeine, breite Sicherheitsregel, die für alle Gefahren gilt (wie „Helfen Sie nicht bei illegalen Aktivitäten“). Dies dient als starkes Fundament, damit der Roboter die Grundlagen nie vergisst.
Die risikospezifischen Experten: Ein Satz spezialisierter Notizen, von denen jede für eine bestimmte Art von Gefahr konzipiert ist (eine für Cyberkriminalität, eine für Privatsphäre usw.).

Die Magie passiert, wenn HiRoute diese kombiniert. Es wählt nicht einfach nur einen Experten aus; es berechnet ein „Rezept“ basierend auf der Vermutung des Torwächters. Wenn eine Frage zu 60 % über Diebstahl und zu 40 % über Privatsphäre handelt, mischt HiRoute 60 % der „Diebstahl“-Notiz mit 40 % der „Privatsphäre“-Notiz, während es gleichzeitig das „gemeinsame Sicherheitsnetz“ aktiv hält. Dies stellt sicher, dass der Roboter eine hilfreiche, spezifische Antwort gibt, die genau die vorhandenen Risiken adressiert, ohne dabei zu vage oder zu hart zu sein.

Was sie fanden: Sicherheit ohne die Mürrischkeit

Die Forscher testeten HiRoute auf drei verschiedenen Robotermodellen (Mistral, Vicuna und Zephyr) und verglichen es mit anderen Sicherheitsmethoden. Die Ergebnisse waren beeindruckend:

Bessere Sicherheit: HiRoute stoppte schädliche Anfragen besser als die anderen Methoden. Beispielsweise erreichte es beim Mistral-Modell eine Sicherheitsrate von 93,2 % und schlug damit die nächstbeste Methode deutlich.
Mehr Hilfsbereitschaft: Entscheidend ist, dass es den Roboter nicht dazu brachte, harmlose Fragen abzulehnen. Wenn der Roboter tatsächlich eine schlechte Anfrage ablehnen musste, erklärte er, warum, und bot sichere Alternativen an, wobei er bei der „Hilfsbereitschaft“ hohe Werte erzielte (etwa 7,4 von 10).
Weniger Über-Ablehnung: Das ist ein großer Punkt. Andere Methoden blockierten oft fälschlicherweise sichere Fragen. HiRoute blockierte auf dem Mistral-Modell nur 2,5 % der sicheren Fragen, während eine andere populäre Methode ganze 40,5 % blockierte.

Das Team spielte auch mit der Strenge des „Torwächters“. Sie fanden heraus, dass sie die Sicherheit erhöhen konnten, indem sie den Torwächter etwas vorsichtiger machten (Erhöhung des Schwellenwerts auf 0,95): Die Sicherheit stieg bei Jailbreak-Tests auf 95,0 %, während die Fähigkeit des Roboters, Matheaufgaben zu lösen (GSM8K), nur leicht von 50,5 % auf 48,0 % sank. Dies deutet darauf hin, dass man den Roboter sehr sicher machen kann, ohne sein Gehirn zu beschädigen.

Warum das wichtig ist

HiRoute zeigt, dass wir nicht den gesamten Roboter neu bauen müssen, um ihn sicher zu machen. Indem wir ein smartes, zweistufiges System verwenden, das die Frage „Ist das gefährlich?“ von der Frage „Wie gehen wir mit dieser spezifischen Gefahr um?“ trennt, können wir eine KI erschaffen, die sowohl ein strenger Wächter als auch ein hilfreicher Freund ist. Es beweist, dass Sicherheit und Hilfsbereitschaft keine Feinde sein müssen; mit der richtigen Routenführung und der Mischung von Sicherheitsanweisungen kann der Roboter beides sein.

Die Forscher merken an, dass HiRoute noch nicht perfekt ist. Es hängt davon ab, dass der Torwächter die Risiken korrekt errät, und es funktioniert hauptsächlich bei Textgesprächen mit nur einem Austausch (Single-Turn). Aber für den Moment bietet es einen vielversprechenden, effizienten Weg, um unsere digitalen Freunde sicher zu halten, ohne sie in unhilfreiche Roboter zu verwandten.

Technisches Resümee: HiRoute

Problemstellung

Große Sprachmodelle (LLMs) bleiben anfällig für schädliche Anfragen, Jailbreak-Angriffe und Multi-Risiko-Abfragen. Während Supervised Fine-Tuning (SFT) und Reinforcement Learning from Human Feedback (RLHF) Sicherheitsverhalten kodieren können, verursachen sie hohe Trainings- und Speicherkosten und führen oft zu einem Zielkonflikt zwischen Sicherheit und Hilfsbereitschaft. Insbesondere kann eine einheitliche Stärkung des Ablehnungsverhaltens zu „Über-Ablehnung“ (Over-Refusal) bei harmlosen Eingaben führen, was die allgemeinen Fähigkeiten beeinträchtigt.

Existierende parametereffiziente Methoden zur Sicherheitsausrichtung, wie etwa Prompt-Tuning, verlassen sich typischerweise auf statische Mechanismen. Diese Ansätze lassen sich im Wesentlichen in zwei Kategorien mit komplementären Einschränkungen unterteilen:

Grobkörnige globale Prompts: Ein einzelner Sicherheits-Prompt, der auf alle riskanten Eingaben angewendet wird, etabliert eine starke Sicherheitsgrenze, führt jedoch oft zu generischen, wenig informativen Ablehnungen, die keine risikospezifische Anleitung oder sichere Alternativen bieten.
Feinkörnige geroutete Prompts: Methoden, die kategorie-spezifische Prompts verschiedenen Risiken zuordnen, können gezieltere und hilfreichere sichere Antworten generieren. Sie haben jedoch Schwierigkeiten, eine stabile Sicherheitsgrenze aufrechtzuerhalten, insbesondere wenn Eingaben nicht präzise mit vordefinierten Risikokategorien übereinstimmen oder das Experten-Matching unzureichend ist.

Die zentrale Herausforderung besteht darin, wie man die feinkörnige Konstruktivität der Antwort mit kategorieübergreifender Sicherheit durch eingabeadaptive Prompt-Komposition ausbalanciert, ohne das gesamte Backbone-Modell einfrieren zu müssen.

Methodik: HiRoute

Die Autoren schlagen HiRoute (Hierarchical Routed Prompt Tuning) vor, ein eingabeadaptives Framework, das die kategorie-agnostische Sicherheitskontrolle von der kategorie-spezifischen Antwortführung trennt. Das Framework operiert auf einem eingefrorenen, instruktionsgesteuerten LLM und umfasst drei Hauptkomponenten:

1. Hierarchisches Risiko-Routing

Ein leichtgewichtiges Router-Modell wird auf Repräsentationen trainiert, die aus dem eingefrorenen LLM extrahiert wurden, um zwei Aufgaben auszuführen:

Grobkörnige Detektion: Bestimmt, ob eine Eingabe schädlich oder harmlos ist ( $p_{safe}$ vs. $p_{risk}$ ).
Feinkörnige Risiko-Vorhersage: Vorhersage von Multi-Label-Risiko-Scores für spezifische Kategorien (z. B. Cyberkriminalität, Datenschutzverletzungen, Wirtschaftsverbrechen, Gewalt).
Der Router gibt eine Wahrscheinlichkeitsverteilung aus, die zur dynamischen Gewichtung der feinkörnigen Prompt-Experten verwendet wird.

2. Hierarchische Prompt-Komposition

HiRoute lernt zwei Arten von kontinuierlichen Prompt-Embeddings:

Gemeinsamer grobkörniger Prompt ( $P_c$ ): Bietet eine kategorie-agnostische Sicherheitsgrenze, die für alle riskanten Eingaben gilt.
Feinkörnige Prompt-Experten ( $\{P_k\}$ ): Ein Satz von $K$ Experten, von denen jeder einer spezifischen Risikokategorie entspricht.
Für eine gegebene Eingabe $x$ wird der feinkörnige Prompt $P_f(x)$ als gewichtete Summe der Experten basierend auf den vom Router vorhergesagten Risiko-Scores konstruiert:
$P_f(x) = \sum_{k=1}^{K} \alpha_k(x) P_k$
wobei $\alpha_k(x)$ normalisierte Gewichte sind. Der endgültige eingabeabhängige Prompt ist $P(x) = [P_f(x); P_c]$ .

3. Zweistufige entkoppelte Optimierung

Das Training erfolgt in zwei distinkten Phasen, um zu verhindern, dass das Generierungsziel die Risiko-Entscheidungsgrenze verändert:

Phase I (Router-Lernen): Der Router wird mittels Cross-Entropy (CE) für die grobkörnige Klassifizierung und Binary Cross-Entropy (BCE) für die feinkörnige Multi-Label-Klassifizierung trainiert. Das Backbone-Modell bleibt eingefroren.
Phase II (Prompt-Optimierung): Das Backbone und der trainierte Router sind eingefroren. Nur die Prompt-Parameter ( $P_c$ und $\{P_k\}$ ) werden mittels Direct Preference Optimization (DPO) auf Präferenz-Triplets (sicher/hilfreich vs. unsicher/minderwertig) optimiert. Um Interferenzen zu reduzieren, verwenden die Autoren alternierende Gradienten-Updates: Beim Aktualisieren von $P_c$ werden die Gradienten für $P_f(x)$ maskiert (Stop-Gradient), und umgekehrt.

4. Eingabeadaptive Inferenz

Bei der Inferenz berechnet der Router zuerst die Sicherheitswahrscheinlichkeit $p_{safe}(x)$ .

Harmlose Eingaben: Wenn $p_{safe}(x) > \tau_s$ (ein Sicherheits-Schwellenwert), umgeht das System alle Sicherheits-Prompts und generiert direkt aus dem eingefrorenen Backbone, wodurch die allgemeine Nützlichkeit erhalten bleibt.
Risikobehaftete Eingaben: Wenn $p_{safe}(x) \leq \tau_s$ , aktiviert das System den Sicherheitszweig und konstruiert den hierarchischen Prompt $P(x)$ , um die Generierung zu konditionieren.

Zentrale Beiträge

Empirische Validierung von Trade-offs: Die Autoren zeigen, dass gemeinsame grobkörnige Prompts eine stärkere Sicherheit, aber geringere Hilfsbereitschaft bieten, während geroutete feinkörnige Prompt-Mischungen die Hilfsbereitschaft verbessern, aber geringere Sicherheitsgewinne erzielen.
HiRoute-Framework: Sie schlagen eine neuartige Architektur vor, die einen gemeinsamen grobkörnigen Prompt (für eine stabile Sicherheitsgrenze) mit dynamisch gerouteten feinkörnigen Experten (für risikospezifische Anleitung) kombiniert. Dieses Design vermeidet unnötige Interventionen bei harmlosen Eingaben durch ein Sicherheits-Gate.
Umfassende Evaluierung: Die Methode wird über drei instruktionsgesteuerte Modelle (Mistral-7B, Vicuna-7B, Zephyr-7B) und mehrere Benchmarks validiert und zeigt, dass sie eine hohe Sicherheit und Hilfsbereitschaft beibehält, während die allgemeine Nützlichkeit gewahrt bleibt.

Experimentelle Ergebnisse

Die Experimente wurden an drei Modellen gegen Baselines durchgeführt, darunter Base-Modelle, RPO (Robust Prompt Optimization), DRO (Dynamic Risk Optimization) und ACD (Adversarial Contrastive Decoding).

Sicherheit und Hilfsbereitschaft: HiRoute erreichte die höchsten durchschnittlichen Sicherheitsraten über alle Modelle hinweg (z. B. 93,2 % auf Mistral, 97,7 % auf Vicuna, 94,8 % auf Zephyr) und erzielte gleichzeitig die höchsten oder nahezu höchsten Scores für die Hilfsbereitschaft sicherer Antworten. Es übertraf die stärksten Baselines um 1,3–2,9 Prozentpunkte in der Sicherheit.
Allgemeine Nützlichkeit: Im Gegensatz zu Methoden, die die allgemeinen Fähigkeiten verschlechtern, bewahrte HiRoute die Leistung auf GSM8K (mathematisches Denken), MT-Bench (Anweisungsbefolgung) und TruthfulQA. Beispielsweise steigerte es auf Mistral die Sicherheit von 53,2 % auf 93,2 %, während es 48,0 % der GSM8K-Genauigkeit beibehielt.
Über-Ablehnung (Over-Refusal): HiRoute reduzierte die Über-Ablehnung bei harmlosen Eingaben (XSTest) signifikant. Auf Mistral erreichte es eine Über-Ablehnungsrate von 2,5 %, eine massive Verbesserung gegenüber RPO (40,5 %) und DRO (18,0 %).
Ablationsstudien:
- Trainingsstrategie: Das gemeinsame alternierende Training (Aktualisierung der Prompts in einem konsistent zusammengesetzten Kontext) übertraf das sequentielle Training („Coarse nach Fine“) deutlich und verbesserte die durchschnittliche Sicherheit von 74,8 % auf 93,2 %.
- Prompt-Länge: Ein 15/5 Split zwischen Coarse- und Fine-Prompt-Längen (insgesamt 20) bot das beste Gleichgewicht zwischen Sicherheit und Hilfsbereitschaft.
- Schwellenwert: Die Erhöhung des Sicherheits-Gating-Schwellenwerts $\tau_s$ stärkte die Sicherheitskontrolle bei minimalem Einfluss auf die allgemeine Fähigkeit.

Bedeutung und Ansprüche

Das Paper behauptet, dass HiRoute effektiv die Spannung zwischen Sicherheit und Hilfsbereitschaft in der LLM-Ausrichtung adressiert. Durch die Entkopplung der Risikoidentifikation von der Antwortgenerierung und den Einsatz einer hierarchischen, eingabeadaptiven Prompt-Struktur erreicht die Methode:

Eine stabile, kategorie-agnostische Sicherheitsgrenze, ohne auf aggressive, einheitliche Ablehnungen zurückzugreifen.
Konstruktive, risikospezifische Anleitung und sichere Alternativen für schädliche Anfragen.
Minimierung der Über-Ablehnung, indem harmlose Eingaben die Sicherheits-Prompting-Phase vollständig umgehen dürfen.
Erreichung dieser Ziele mit parametereffizienter Weise, indem das Backbone-Modell eingefroren und nur eine kleine Anzahl von Prompt-Parametern sowie ein leichtgewichtiger Router optimiert werden.

Die Autoren kommen zu dem Schluss, dass die eingabeabhängige hierarchische Prompting-Methode eine robuste Lösung für die Sicherheitsausrichtung bietet, die Sicherheit, Antwortqualität, Parametereffizienz und allgemeine Nützlichkeit in Einklang bringt. Sie räumen Einschränkungen hinsichtlich der Genauigkeit des Routers bei Out-of-Distribution-Komplexrisiken und dem aktuellen Fokus auf Single-Turn-Textinteraktionen ein und deuten darauf hin, dass zukünftige Arbeiten im Bereich der Open-Set-Risikoerkennung und multimodalen Settings liegen könnten.