💬 NLP

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

Das Papier stellt SyRuP vor, ein Framework zur Dekodierungszeit, das die Einhaltung von System-Prompts durch Large Language Models verbessert, indem es einen Cross-Attention-Reward-Head trainiert, um Token-Ebene-Adhärenz-Scores für umzuordnende Kandidaten zu generieren, ohne eine Feinabstimmung des Basismodells zu erfordern.

Ursprüngliche Autoren: Seoyeon Kim, Minjae Kang, Jaehyung Kim

Veröffentlicht 2026-07-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Seoyeon Kim, Minjae Kang, Jaehyung Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sprechen mit einem sehr klugen, belesenen Roboter, der fast jedes Buch in der Bibliothek gelesen hat. Dieser Roboter ist ein Large Language Model (LLM). Normalerweise antwortet der Roboter auf eine Frage basierend auf seinem Training. Aber manchmal möchte man ihm eine spezifische Menge an Regeln geben, bevor er anfängt zu sprechen. Man könnte sagen: „Verhalte dich wie ein griesgrämiger Pirat“, oder „Antworte nur in Reimen“ oder „Erwähne niemals Gewalt“. Diese Regeln werden System-Prompts genannt. Sie sind wie die Stellenbeschreibung oder das Kostüm, das der Roboter für ein bestimmtes Gespräch trägt.

Das Problem ist, dass diese Roboter darauf programmiert sind, Anweisungen zu befolgen, die innerhalb des Gesprächs erscheinen, und nicht Regeln, die vor dem Chat als unumstößlich festgeschrieben sind. Wenn die Regeln kompliziert werden – wie etwa „sei ein Pirat, aber verwende die Grammatik des 19. Jahrhunderts, vermeide den Buchstaben 'e' und bleibe dabei lustig“ – vergisst der Roboter die Regeln oft mitten im Gespräch. Er fängt vielleicht an, wie ein Pirat zu sprechen, wechselt dann aber plötzlich zu einem modernen Teenager oder vergisst, den Buchstaben 'e' zu vermeiden. Wissenschaftler haben versucht, dies zu beheben, indem sie den Roboter neu trainieren (was teuer und langsam ist) oder indem sie versuchen, die beste Antwort zu erraten, nachdem sie bereits geschrieben wurde (was so ist, als würde man einen Roman editieren, nachdem der Autor ihn bereits fertiggestellt hat). Die große Frage ist: Können wir den Roboter dazu führen, diese komplexen Regeln zu befolgen, während er schreibt, ohne sein Gehirn zu verändern oder zu warten, bis er am Ende fertig ist?

Hier kommt eine neue Methode namens SYRUP ins Spiel. Stellen Sie sich das Gehirn des Roboters wie eine riesige, eingefrorene Bibliothek vor, in der wir nicht umherräumen dürfen. SYRUP ist wie ein superintelligenter, winziger Bibliothekar, der direkt neben dem Roboter steht, während er schreibt. Jedes Mal, wenn der Roboter das nächste Wort wählt, das er sagen soll, prüft dieser Bibliothekar zwei Dinge: „Passt dieses Wort zur Geschichte?“ und „Paskt dieses Wort zum Piratenkostüm?“

So funktioniert es in der Praxis. Der Roboter hat eine Liste seiner 10 Lieblingswörter, die er als Nächstes sagen möchte. Normalerweise wählt er einfach das Nummer eins Lieblingswort. Aber SYRUP greift ein. Es betrachtet den „System-Prompt“ (das Piratenkostüm) als eine separate, spezielle Speicherkarte. Es verwendet ein spezielles Werkzeug namens Cross-Attention Reward Head, um die aktuellen Gedanken des Roboters zu fragen: „Hey, wenn du dieses Wort sagst, passt das zum Piraten-Vibe?“ Der Bibliothekar gibt dann einen Score für jedes der Top-10-Wörter ab. Wenn der Roboter „Hallo“ sagen möchte, der Piratenkostüm aber „Ahoi“ erfordert, erhöht der Bibliothekar den Score für „Ahoi“ und senkt den Score für „Hallo“. Der Roboter wählt dann das Wort mit dem höchsten kombinierten Score.

Das Paper legt nahe, dass dieser Ansatz viel besser ist als die alten Methoden. Die Forscher testeten SYRUP auf drei verschiedenen Roboter-Gehirnen und fanden heraus, dass es ihnen konsistent half, komplexe Regeln besser zu befolgen als nur dem Roboter einen besseren Prompt zu geben oder Antworten nach dem Schreiben neu zu bewerten. Tatsächlich verbesserte SYRUP in einem Test die Leistung des Roboters um etwa 5,6 % im Vergleich zur nächstbesten Methode. Das mag klein klingen, aber in der Welt der KI ist das ein riesiger Sprung.

Das Paper schließt auch einige andere Ideen aus. Es zeigt, dass es nicht ausreicht, die Regeln einfach in den Hauptgesprächstext einzufügen (wie die Piraten-Anweisungen in die Frage des Nutzers zu verstecken); der Roboter muss die Regeln als separates, eigenständiges Gedächtnis behandeln, um sie wirklich zu befolgen. Es stellte auch fest, dass man den Roboter zwar besser dazu bringen kann, Regeln zu befolgen, indem man ihn von Grund auf neu trainiert, aber das kostet zu viel Zeit und Geld. SYRUP ist eine „Decoding-Time“-Methode, was bedeutet, dass sie arbeitet, während der Roboter denkt, wobei das ursprüngliche Gehirn eingefroren bleibt und nur ein winziges, leichtgewichtiges Add-on trainiert wird.

Interessanterweise fanden die Forscher heraus, dass SYRUP auch bei Regeln funktioniert, die es zuvor noch nicht gesehen hat. Sie trainierten es auf einen Satz komplexer Anweisungen und testeten es dann auf einem völlig anderen Satz von Regeln (wie strikte Formatierungen oder Wortzahlen), und es funktionierte immer noch gut. Dies deutet darauf darauf hin, dass die Methode dem Roboter eine allgemeine Fähigkeit zum „Zuhören auf den Chef“ lehrt, anstatt nur spezifische Antworten auswendig zu lernen.

Das Paper ist jedoch vorsichtig zu betonen, dass dies kein Zauberstab ist, der alles löst. Die Methode fügt dem Denkprozess des Roboters eine winzige Menge an zusätzlicher Zeit hinzu, da der Bibliothekar die Wörter prüfen muss. Die Autoren merken jedoch an, dass diese Kosten im Vergleich zu anderen komplexen Methoden, die dasselbe versuchen, sehr gering sind. Sie warnen auch davor, dass wenn man das „Regelbefolgen“ zu stark erzwingt, der Roboter anfangen könnte, seltsam oder unnatürlich zu klingen, also muss es ein Gleichgewicht geben.

Kurz gesagt: SYRUP schlägt vor, dass man, wenn man möchte, dass ein Roboter einem komplexen Satz von Regeln folgt, ohne sein gesamtes Gehirn neu zu trainieren, sich nicht einfach nur darauf verlassen sollte, dass er sich erinnert. Stattdessen sollte man ihm einen dedizierten Echtzeit-Leitfaden geben, der jedes einzelne Wort, das er sagen möchte, gegen die Regeln prüft und so sicherstellt, dass die endgültige Geschichte der Geschichte des Kostüms treu bleibt, das er von Anfang an trug.

Technisches Resümee: SyRuP – Verbesserung des Befolgens von System-Prompts durch belohnungsgestützte Vorhersage

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend über System-Prompts gesteuert, die Rollen, Stile, Formate und Sicherheitsbeschränkungen definieren. Aktuelle Modelle folgen diesen Prompts jedoch implizit durch In-Context-Learning, was sich bei komplexen oder zusammengesetzten Anweisungen oft als unzureichend erweist. Bestehende Lösungen stehen vor signifikanten Kompromissen:

Methoden zur Trainingszeit (z. B. SFT, RLHF) erfordern kostspielige Parameteraktualisierungen und können eine „Alignment-Steuer“ (Alignment Tax) verursachen, welche die allgemeinen Fähigkeiten verschlechtert.
Methoden zur Dekodierungszeit verlassen sich oft auf implizites Befolgen von Anweisungen oder behandeln den System-Prompt lediglich als Teil einer zusammengeführten Kontextsequenz. Infolgedessen verliert der System-Prompt seine distinkte Rolle als separater Konditionierungsfaktor, und bisherige belohnungsgestützte Ansätze konzentrierten sich auf feste Attribute (z. B. Toxizität, Sentiment) statt auf instanzspezifische Adhärenz gegenüber dem System-Prompt.

Es mangelt an Frameworks, die den System-Prompt explizit als separate Speicherquelle behandeln, um während der Inferenz eine Token-Ebene-Steuerung bereitzustellen, ohne das Basismodell zu modifizieren.

Methodik: SyRuP

Die Autoren schlagen SyRuP (System-prompt following via Reward-guided Prediction) vor, ein Framework zur Dekodierungszeit, das das Basismodell (LLM) eingefroren lässt und nur einen leichtgewichtigen Reward-Head trainiert. Die Kerninnovation besteht darin, das Befolgen des System-Prompts als ein bedingtes Adhärenzproblem auf Token-Ebene zu formulieren.

1. Cross-Attention Reward Head

Im Gegensatz zu Standard-Reward-Modellen, die den System-Prompt, den User-Input und das generierte Präfix zu einer einzigen Sequenz zusammenführen, behandelt SyRuP den System-Prompt als distinkten Key-Value (KV) Speicher.

Architektur: Der Reward-Head verwendet einen Cross-Attention-Mechanismus, bei dem die Hidden States des System-Prompts ( $H(s)$ ) als Keys ( $K_s$ ) und Values ( $V_s$ ) dienen.
Query-Konstruktion: Die Query ( $Q_t$ ) wird aus der Konkatenation des User-Inputs und des generierten Präfixes ( $H(x), H(y_{<t})$ ) abgeleitet.
Scoring: Die Cross-Attention-Ausgabe bezieht sich auf die relevantesten Teile des System-Prompts für den aktuellen Generierungszustand. Diese wird mit der Kontextrepräsentation fusioniert und durch ein zweischichtiges MLP geleitet, um einen Token-Ebene-Adhärenz-Score ( $r_t(v)$ ) für jedes Kandidaten-Token zu erzeugen.
Training: Der Head wird auf system-prompt-konditionierten Präferenzpaaren $(s, x, y^+, y^-)$ unter Verwendung eines Bradley-Terry-Objektivs trainiert. Das Basismodell bleibt eingefroren; nur die Cross-Attention-Projektionen und das Fusions-MLP werden aktualisiert.

2. Reward-Guided Decoding

In der Inferenz ordnet SyRuP die Top- $k$ -Kandidaten der Logits des Basis-LLMs neu an. Der finale Auswahl-Score kombiniert drei Komponenten:
$\text{Score}(v) = \ell_t(v) + \lambda_r r_t(v) + \lambda_c \Delta_t(v)$

$\ell_t(v)$ : Logits des Basis-LLM (Flüssigkeit/Fluency).
$r_t(v)$ : Gelernter Token-Ebene-Reward-Score (explizite Adhärenz).
$\Delta_t(v)$ : Ein optionales kontrastives Signal, das die durch den System-Prompt induzierte Logit-Verschiebung im Vergleich zu einem neutralen Prompt misst ( $\ell_t(v) - \ell^{neu}_t(v)$ ).
$\lambda_r, \lambda_c$ : Hyperparameter, die die Stärke des Reward- und des kontrastiven Signals steuern.

Zentrale Beiträge

Explizite System-Konditionierung: SyRuP ist das erste Framework zur Dekodierungszeit, das den System-Prompt über Cross-Attention als separate Speicherquelle behandelt und so eine explizite Adhärenz-Evaluierung auf Token-Ebene ermöglicht, anstatt sich auf eine implizite Kontext-Absorption zu verlassen.
Leichtgewichtige Steuerung zur Inferenzzeit: Die Methode erfordert keine Aktualisierungen der Parameter des Basismodells, sondern lediglich einen kleinen, trainierbaren Reward-Head, was eine praktische Alternative zum vollständigen Fine-Tuning darstellt.
Hybride Führung: Die Einführung einer hybriden Variante, die explizite Reward-Führung mit einem kontrastiven Signal kombiniert, um systeminduzierte Verteilungsverschiebungen zu erfassen, liefert komplementäre Signale zur Steuerung der Generierung.

Experimentelle Ergebnisse

Die Autoren evaluierten SyRuP auf Multifaceted-Bench (in-domain) und IFEval (out-of-distribution) unter Verwendung von drei Backbone-Modellen (Qwen-2.5-1.5B, Llama-3.2-3B, Llama-3.1-8B).

Leistung: SyRuP übertraf konsistent alle Baselines, einschließlich Prompting-Methoden (z. B. Few-shot, Marked Prompting) und Dekodierungs-Baselines (z. B. OPAD, GenARM, ARGS, BoN, DeAL).
- Auf der Multifaceted-Bench erreichte es die beste durchschnittliche Punktzahl über alle 15 Modell-Aufgaben-Kombinationen hinweg und verbesserte die stärkste Baseline auf Qwen-2.5-1.5B um 5,61 %.
- Auf IFEval erreichte SyRuP ohne aufgabenspezifisches Training die beste durchschnittliche strikte Prompt-Ebene-Genauigkeit, was eine starke Generalisierung auf verifizierbare Einschränkungen demonstriert.
Effizienz: SyRuP bietet einen günstigen Kompromiss zwischen Adhärenz und Kosten.
- Die Reward-only-Variante erhöhte die Latenz im Vergleich zum Basismodell nur um den Faktor 1,04×.
- Die volle hybride Variante verursachte eine Latenzerhöhung von 2,18×, was immer noch signifikant niedriger ist als bei anderen Dekodierungs-Baselines wie ARGS (5,13×) und DeAL (16,83×).
- Der Spitzen-GPU-Speicherverbrauch blieb nahe am Basismodell (3,1 GB im Vergleich zu >10 GB bei einigen Baselines).
Analyse: Ablationsstudien bestätigten, dass die explizite Cross-Attention-Konditionierung eine implizite Single-Stream-Konditionierung übertrifft. Zudem wurde festgestellt, dass die Reward- und die kontrastiven Signale komplementär wirken, wobei der kombinierte Ansatz einzigartige Token-Wahlen lieferte, die von keinem der Signale allein ausgewählt wurden.

Bedeutung und Ansprüche

Das Paper behauptet, dass SyRuP die Hypothese validiert, dass explizite Steuerung auf Token-Ebene ein effektiver und praktischer Mechanismus für zuverlässiges Befolgen von System-Prompts ist. Durch die Entkopplung des System-Prompts vom Generierungskontext und dessen Behandlung als dedizierte Speicherquelle ermöglicht SyRuP es Modellen, komplexen, vielfältigen und instanzspezifischen Einschränkungen nachzukommen, ohne den Rechenaufwand eines Retrainings oder die hohen Inferenzkosten einer Search-basierten Dekodierung zu verursachen.

Die Autoren positionieren SyRuP als einen Schritt in Richtung kontrollierbarerer LLM-Generierung, insbesondere für Szenarien, in denen System-Prompts kritische Rollen, Sicherheitsrichtlinien oder Formatierungsanforderungen definieren, die Standard-In-Context-Learning nicht konsistent erzwingen kann. Sie räumen Einschränkungen ein, wie etwa den zusätzlichen Overhead des hybriden kontrastiven Signals und das Potenzial für Over-Steering, und schlagen zukünftige Arbeiten in den Bereichen adaptive Gewichtung und Sicherheitsfilterung vor.