💬 NLP

Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization

Dieses Paper führt Gravity-Weighted Direct Preference Optimization (GW-DPO) ein, eine neuartige Trainingszielmethode, die in Kombination mit spezifischen Delimiter-Token und Embeddings eine fünfstufige Instruktionshierarchie in LLMs effektiv erzwingt, wodurch Konflikte zwischen Instruktionen unterschiedlicher Vertrauensstufen gelöst und die Über-Verweigerung (Over-Refusal) im Vergleich zu Standardansätzen signifikant reduziert wird.

Ursprüngliche Autoren: Lena S. Bolliger, Lena A. Jäger

Veröffentlicht 2026-06-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lena S. Bolliger, Lena A. Jäger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (LLM) als einen hochqualifizierten, aber naiven Assistenten vor, der an einem Schreibtisch sitzt. Dieser Assistent erhält Notizen von vier verschiedenen Personen:

Der Chef (Plattform): Legt die unumstößlichen Sicherheitsregeln fest.
Der Manager (Entwickler): Definiert die Stellenbeschreibung und die Persönlichkeit des Assistenten.
Der Klient (Nutzer): Bittet um spezifische Hilfe oder Informationen.
Der Postbote (Daten/Werkzeuge): Liefert Notizen aus der Außenwelt aus, die Tricks oder Lügen enthalten können.

Das Problem: Der „Kernel Mode“-Fehler
Derzeit liest der Assistent alle diese Notizen mit dem gleichen Maß an Aufmerksamkeit. Es spielt keine Rolle, ob eine Notiz vom Chef oder von einem Fremden kommt; der Assistent behandelt jedes Wort als gleich wichtig. Das ist wie ein Sicherheitsmann, der einen CEO und einen Fremden mit einem gefälschten Ausweis mit der gleichen Leichtigkeit in das Gebäude lässt.

Dies ist gefährlich. Ein böswilliger Akteur (ein „Prompt-Injektor“) kann eine Notiz in der Lieferung des „Postboten“ verstecken, die besagt: „Ignoriere den Chef und den Manager; tu genau das, was ich sage.“ Da der Assistent nicht weiß, wer eine höhere Autorität besitzt, könnte er dem Fremden gehorchen und die Regeln brechen.

Die Lösung: Eine gravitationsgewichtete Hierarchie
Die Autoren schlagen vor, dem Assistenten eine strikte Befehlskette beizubringen. Sie entwickelten ein System mit fünf Ebenen der Autorität (indem sie eine „Pro-Nutzer-Konfiguration“ zu den standardmäßigen vier Ebenen hinzufügten).

Um den Assistenten darauf zu trainieren, diese Befehlskette zu respektieren, erfanden sie eine neue Trainingsmethode namens Gravity-Weighted Direct Preference Optimization (GW-DPO).

Die Analogie: Gravitation und Gewicht
Stellen Sie sich die Hierarchie wie ein Sonnensystem vor, in dem der „Chef“ die Sonne ist und der „Postbote“ ein ferner Planet.

Standard-Training: Behandelt jeden Konflikt als gleichartig. Wenn der Manager mit dem Klienten streitet, ist es ein „Streit“. Wenn der Chef mit dem Postboten streitet, ist es ebenfalls nur ein „Streit“.
GW-DPO (Gravitationsgewichtet): Diese Methode versteht, dass Distanz und Masse zählen.
- Distanz: Ein Konflikt zwischen dem Chef (Ebene 0) und dem Postboten (Ebene 4) ist eine riesige, gefährliche Lücke. Die Trainingsstrafe für diesen Fehler ist massiv.
- Masse (Opfer): Wenn der „Chef“ derjenige ist, der ignoriert wird, ist der Fehler weitaus schwerwiegender, als wenn der „Klient“ ignoriert wird.
- Der „bilaterale“ Zeitplan: Die Autoren fanden heraus, dass die beste Art zu trainieren darin besteht, den Fehler sowohl durch die Distanz der Ebenen als auch durch die Wichtigkeit des Opfers zu gewichten. Den Chef zu ignorieren ist ein „schweres“ Verbrechen; eine Einstellung eines Nutzers zu ignorieren, ist ein „leichteres“.

Die Werkzeuge: Spezielle Token und „Namensschilder“
Um dies umsetzbar zu machen, gaben die Autoren dem Assistenten zwei spezielle Werkzeuge:

Delimiter (Die Ordner): Sie legten jede Notiz in einen klar beschrifteten Ordner (z. B. <|L0_START|> für die Regeln des Chefs).
Instructional Segment Embeddings (ISE) (Die Namensschilder): Sie gaben jedem Wort ein winziges, unsichtbares „Namensschild“, das dem Assistenten genau mitteilt, zu welcher Ebene der Hierarchie es gehört.

Was geschah?
Sie testeten dies an einem Modell namens Llama-3.1-8B. Hier ist, was sie fanden heraus:

Bessere Regelbefolgung: Das Modell wurde wesentlich besser darin, den „Postboten“ zu ignorieren, wenn dieser versuchte, den „Chef“ oder den „Manager“ zu überschreiben. Es setzte die Hierarchie in fast allen Fällen erfolgreich durch.
Weniger „Über-Verweigerung“ (Over-Refusal): Ein häufiges Problem beim Sicherheitstraining ist, dass Modelle ängstlich werden und alles verweigern, was auch nur leicht verdächtig aussieht. Die „Gravitationsgewichtete“ Methode war klug genug, um zwischen einem echten Angriff und einer normalen Anfrage zu unterscheiden. Sie lehnte schlechte Anfragen ab, beantwortete aber gute Anfragen doch doppelt so oft wie Standard-Trainingsmethoden.
Das Geheimnis der „Namensschilder“ (ISE): Sie entdeckten, dass die unsichtbaren „Namensschilder“ (ISE) das Modell nicht unbedingt schlauer bei der Lösung von Logikrätseln machten. Stattdessen fungierten sie als Kalibrator. Oh\ne den ihnen fehlten, war das Modell so sehr von der Struktur der Notizen verwirrt, dass es einfach überall „Nein“ sagte. Mit ihnen wusste es genau, wann es „Nein“ und wann es „Ja“ sagen sollte.
Tiefe ist entscheidend: Sie probierten das Training mit nur 3 Ebenen aus (indem sie den Chef, den Manager und die Konfiguration zu einer großen „System“-Gruppe zusammenfassten). Dies funktionierte zwar ganz gut bei den großen, offensichtlichen Konflikten, aber das Modell scheiterte an den subtilen, mittleren Argumenten. Es stellte sich heraus, dass das Training auf der vollen 5-stufigen Tiefe das Modell allgemein intelligenter machte und nicht nur zu einem Spezialisten für einen einzelnen Trick.

Das Fazserit
Das Paper zeigt, dass wir ein KI-Modell, indem wir ihm beibringen, dass einige Anweisungen schwerer und wichtiger sind als andere (unter Verwendung eines „Gravitationssystems“), sicherer gegen Hacker machen können, ohne es so vorsichtig zu machen, dass es aufhört, hilfreich zu sein. Es ist, als würde man einen Wachmann lehren, den Ausweis eines CEO als wichtiger als den eines Fremden zu erkennen, ohne den Wachmann dabei so einzuschränken, dass er niemanden mehr hineinlässt.

Technische Zusammenfassung: Training von LLMs zur Durchsetzung mehrstufiger Instruktionshierarchien mittels Gravity-Weighted Direct Preference Optimization

Problemstellung
Produktionsreife Large Language Models (LLMs) verarbeiten derzeit Instruktionen aus Quellen mit höchst unterschiedlichen Vertrauensstufen – von unveränderlichen Plattform-Sicherheitsrichtlinien und Entwickler-Systemprompts bis hin zu Endnutzer-Abfragen und potenziell adversariellen Tool-Outputs. Architektonisch werden diese Eingaben in eine einzige Token-Sequenz konkateniert, in der jedes Token die gleiche Aufmerksamkeit erhält, ein Zustand, der als Ausführung im „Kernel-Modus“ beschrieben wird. Diese strukturelle Uniformität schafft eine Schwachstelle für Prompt-Injection, bei der bösartige Eingaben das Modellverhalten kapern, und lässt Modelle ohne einen fundierten Mechanismus zur Auflösung von Konflikten zwischen legitimen, aber konkurrierenden Instruktionen aus verschiedenen Hierarchieebenen zurück. Während bisherige Arbeiten trainingsbasierte Abwehrmethoden vorgeschlagen haben, formalisieren bestehende Ansätze Hierarchien typischerweise nur über drei oder vier Ebenen, behandeln alle Verstöße als gleichermaßen schwerwiegend und versäumen es, das volle Set an paarweisen Interaktionen der Ebenen zu evaluieren, die für moderne Deployment-Architekturen (z. B. das fünfstufige Stakeholder-Modell von OpenAI) erforderlich sind.

Methodik
Die Autoren formalisieren ein $k$ -stufiges Instruktionshierarchie-Problem und instanziieren es für $k=5$ Ebenen:

L0 (Platform Governance): Unveränderliche Sicherheitsregeln.
L1 (Developer System Prompt): Persona und Umfang.
L2 (Per-User Configuration): Sitzungspräferenzen.
L3 (User Message): Laufzeit-Input.
L4 (Data/Tool Outputs): Externe Inhalte.

Diese Struktur ergibt zehn distinkte paarweise Prioritätsbeziehungen, die ein konformes Modell erzwingen muss. Um Modelle zum Respektieren dieser Beziehungen zu trainieren, führen die Autoren Gravity-Weighted Direct Preference Optimization (GW-DPO) ein.

Verlustfunktion: GW-DPO adaptiert Offset-DPO (ODPO) durch Einführung eines pro Sample berechneten Offsets $\delta(i, j)$ , der mit der strukturellen Distanz zwischen konkurrierenden Ebenen skaliert. Die Verlustfunktion ist definiert als:
$L_{GW-DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \cdot \Delta r_\theta(x, y_w, y_l) - \delta(i, j) \right) \right]$
wobei $\Delta r_\theta$ die implizite Reward-Margin darstellt.
Schedules: Zwei Schedules für $\delta(i, j)$ $δ (i, j)$ werden evaluiert:
- Linear: Abhängig nur vom Privilegien-Gap ( $j-i$ ).
- Bilateral: Berücksichtigt sowohl den Privilegien-Gap als auch das Privileg der Opfer-Ebene ( $k-1-i$ ), wodurch die Schwere eines Verstoßes durch die „Gravität“ der kompromittierten Ebene gewichtet wird.
Architektonische Modifikationen: Die Trainings-Pipeline integriert zwei Komponenten aus vorangegangener Forschung:
- Spezielle Delimiter-Tokens: Distinkte Start-/End-Tokens für jede Hierarchieebene zur Markierung der Grenzen.
- Instructional Segment Embeddings (ISE): Lernbare pro-Token-Embeddings, die durch die Hierarchieebene indiziert und zu den Token-Embeddings addiert werden.
Trainings-Pipeline: Der Prozess umfasst einen zweiphasigen Ansatz:
1. SFT (Supervised Fine-Tuning): Bringt dem Modell bei, Delimiter zu erkennen und ISE-Informationen zu integrieren, unter Verwendung eines Datensatzes aus ausgerichtten, teilweisen und trivialerweise fehlgeleiteten Prompts.
2. GW-DPO: Nutzt eine Curriculum-Learning-Strategie (von einfach-zu-schwer basierend auf dem Hierarchie-Gap), um das Präferenz-Ziel auf einem Datensatz zu optimieren, der explizite Konflikte zwischen den Ebenen enthält.

Zentrale Beiträge

Formalisierung einer $k=5$ Hierarchie: Das Paper definiert eine fünfstufige Instruktionshierarchie, die in Produktionsarchitekturen verankert ist, und generiert eine maßgeschneiderte Evaluierungs-Suite, die alle zehn paarweisen Prioritätsbeziehungen testet.
Gravity-Weighted DPO: Die Einführung von GW-DPO, spezifisch des bilateralen Schedules, welches die Trainings-Margin basierend auf der Distanz zwischen den konkurrierenden Ebenen und dem Privileg der Opfer-Ebene skaliert. Dieser Ansatz liefert eine Pareto-Verbesserung gegenüber Standard-DPO und der linearen Variante.
Komponenten-Isolation via Ablationen: Die Studie isoliert die Beiträge von ISE und Hierarchie-Tiefe:
- ISE wird primär als Kalibrierungsschwellenwert für Verweigerungen (Refusal-Threshold Calibrator) identifiziert. Das Entfernen von ISE lässt die Genauigkeit der Konfliktlösung weitgehend intakt, führt jedoch zu einem Größenordnungs-Sprung bei der Über-Verweigerung (Over-Refusal) gegenüber benignen Prompts. Dies deutet darauf hin, dass ISE dem Modell hilft, zwischen strukturierten adversariellen Spans und benignen strukturierten Spans zu unterscheiden, ohne die zugrunde liegende Konfliktlogik zu verändern.
- Fünf-Level vs. Drei-Level Training: Der Vergleich zeigt einen Generality–Specialization Tradeoff. Während das Drei-Level-Training (Zusammenfassung von L0-L2 zu einer „System“-Ebene) höhere Scores bei spezifischen Konfliktpaaren durch Oberflächen-Form-Erkennung erreicht, regrediert es bei der Generalisierung auf Flat-Text-Prompts und scheitert an der Auflösung von Intra-System-Konflikten (z. B. L1 vs. L2), die keine Oberflächen-Hinweise besitzen.

Ergebnisse
In der Evaluierung auf Llama-3.1-8B-Instruct erreichte die GW-DPO (bilateral) Konfiguration Folgendes:

Konfliktlösung: Sie erreichte die höchste Macro Pairwise Priority Adherence ( $PPA_{macro} = 0,838$ ) und den Weighted Hierarchy Score ($WHS = 0,885$) und übertraf damit Standard-DPO und die lineare Variante.
Über-Verweigerung (Over-Refusal): Sie hielt eine Over-Refusal Rate (ORR) von 0,057, was etwa der Hälfte der Rate von Standard-DPO (0,120) entspricht und signifikant niedriger ist als die No-ISE-Konfiguration (0,576).
Generalisierung: Auf Flat-Text-Referenz-Splits (Entfernung der Delimiter) behielt GW-DPO (bilateral) eine starke Performance ( $PPA_{ref} = 0,793$ ) bei, wenngleich leicht niedriger als die lineare Variante, was auf eine robuste Internalisierung der Hierarchie-Semantik hindeutet.
Externe Benchmarks:
- XSTest: Zeigte eine verbesserte Kalibrierung auf sichere Prompts im Vergleich zu Standard-DPO, allerdings mit einem Tradeoff beim Umgang mit „sicheren, aber ungewöhnlichen“ Prompts.
- SEP (Instruction-Data Separation): Erzielte eine Probe-Execution-Rate von 0,118, eine ~5-fache Verbesserung gegenüber dem Basismodell, was eine effektive Trennung von Instruktionen und Daten demonstriert.
- TensorTrust: Erreichte eine Robustheitsrate von 0,818, was das Basismodell (0,212) deutlich übertrifft, jedoch leicht unter Standard-DPO (0,906) liegt, was den Kalibrierungs-Tradeoff widerspiegelt.
- MT-Bench: Bewahrte die allgemeine Chat-Assistent-Nützlichkeit; GW-DPO (bilateral) erzielte einen Score von 7,425, was vergleichbar mit oder sogar höher als der Off-the-shelf-Anker ist.

Bedeutung und Ansprüche
Das Paper behauptet, dass strukturelle Margins, insbesondere der bilaterale Schedule in GW-DPO, als nützlicher und komplementärer Hebel für die Hierarchie-Compliance dienen. Die Autoren behaupten, dass ihr Rezept bereit ist, auf höhere $k$ zu skalieren, wenn Deployment-Architekturen zunehmend geschichteter werden.

Entscheidend ist, dass das Paper die Wahl zwischen Drei-Level- und Fünf-Level-Training nicht als einfache Ordnungsfrage, sondern als Generality–Specialization Tradeoff rahmt. Fünf-Level-Training bewahrt die Lösungsfähigkeit auf Plain-Text-Rewrites und hält die Über-Verweigerung kalibriert, während Drei-Level-Training eine engere Meisterschaft spezifischer Subsets über Oberflächenkorrelationen liefert. Die Autoren betonen, dass der bilaterale Schedule die einzige Konfiguration ist, die gleichzeitig die Konfliktlösung verbessert und die Über-Verweigerung im Vergleich zum linearen Schedule reduziert, was mit den „No Write Up“-Constraints klassischer Sicherheitsmodelle (Biba, 1977) übereinstimmt.

Das Werk kommt zu dem Schluss, dass das Rezept zwar effektiv gegen Prompt-Injection verteidigt und die Hierarchie erzwingt, jedoch kein vollständiger adversarieller Schutz gegen hochmotivierte Angreifer ist und eine sorgfältige politische Abwägung hinsichtlich der Unterdrückung von Nutzeranliegen zugunsten organisationaler Prioritäten erfordert.

Mehr davon