💬 NLP

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

Het artikel introduceert SyRuP, een raamwerk voor tijdens het decoderen dat de naleving van systeemprompts door Large Language Models verbetert door een cross-attention reward head te trainen om token-niveau nalevingsscores te genereren voor het herrangschikken van kandidaten zonder de basismodellen te hoeven afstemmen.

Oorspronkelijke auteurs: Seoyeon Kim, Minjae Kang, Jaehyung Kim

Gepubliceerd 2026-07-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Seoyeon Kim, Minjae Kang, Jaehyung Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je praat met een zeer slimme, erudiete robot die bijna elk boek in de bibliotheek heeft gelezen. Deze robot is een Large Language Model (LLM). Meestal, wanneer je het een vraag stelt, antwoordt het op basis van zijn training. Maar soms wil je het een specifieke set regels geven voordat het begint te praten. Je zou bijvoorbeeld kunnen zeggen: "Gedraag je als een chagrijnige piraat," of "Antwoord alleen in rijmpjes," of "Noem nooit geweld." Deze regels worden system prompts genoemd. Ze zijn als de functiebeschrijving of het kostuum dat de robot draagt voor een specifiek gesprek.

Het probleem is dat deze robots gewend zijn om instructies te volgen die binnen het gesprek verschijnen, niet regels die vastgelegd zijn voordat het gesprek begint. Wanneer de regels ingewikkeld worden — zoals "wees een piraat, maar gebruik ook 19e-eeuwse grammatica, vermijd de letter 'e', en houd het grappig" — vergeet de robot de regels vaak halverwege. Het kan beginnen met praten als een piraat, maar dan plotseling overschakelen naar een moderne tiener, of vergeten de letter 'e' te vermijden. Wetenschappers hebben geprobe mogelijk geprobeerd dit te oplossen door de robot opnieuw te trainen (wat duur en traag is) of door te proberen het beste antwoord te raden nadat het al is geschreven (wat lijkt op het redigeren van een roman nadat de auteur al klaar is met schrijven). De grote vraag is: Kunnen we de robot begeleiden om deze complexe regels te volgen terwijl hij schrijft, zonder zijn brein te veranderen of te wachten tot het einde?

Dit is waar een nieuwe methode genaamd SYRUP om de hoek komt kijken. Denk aan het brein van de robot als een enorme, bevroren bibliotheek waar we niet aan mogen rommelen. SYRUP is als een superintelligente, kleine bibliothecaris die vlak naast de robot staat terwijl hij schrijft. Elke keer dat de robot een woord kiest om nu te zeggen, controleert deze bibliothecaris twee dingen: "Past dit woord bij het verhaal?" en "Past dit woord bij het piratenkostuum?"

Zo werkt het in de praktijk. De robot heeft een lijst van zijn top 10 favoriete woorden om nu te zeggen. Normaal gesproken kiest hij gewoon het nummer één favoriet. Maar SYRUP grijpt in. Het kijkt naar de "system prompt" (het piratenkostuum) als een aparte, speciale geheugenkaart. Het gebruikt een speciaal hulpmiddel genaamd een cross-attention reward head om de huidige gedachten van de robot te vragen: "Hé, als je dit woord zegt, komt dat dan overeen met de piratenvibe?" De bibliothecaris geeft dan een score aan elk van de top 10 woorden. Als de robot "Hallo" wil zeggen, maar het piratenkostuum vereist "Ahoy", dan verhoogt de bibliothecaris de score voor "Ahoy" en verlaagt hij de score voor "Hallo". De robot kiest vervolgens het woord met de hoogste gecombineerde score.

Het artikel suggereert dat deze aanpak veel beter is dan de oude manieren. De onderzoekers hebben SYRUP getest op drie verschillende robotbreinen en ontdekten dat het er consequent in slaagde om deze robots beter complexe regels te laten volgen dan alleen de robot een betere prompt geven of te proberen antwoorden te herrangschikken nadat ze al zijn geschreven. Sterker nog, in één test verbeterde SYRUP de prestaties van de robot met ongeveer 5,6% vergeleken met de op één na beste methode. Dat klinkt misschien klein, maar in de wereld van AI is dat een enorme sprong.

Het artikel sluit ook een aantal andere ideeën uit. Het laat zien dat het simpelweg samenvoegen van de regels in de hoofdtekst van het gesprek (zoals de piratininstructies verstoppen in de vraag van de gebruiker) niet genoeg is; de robot heeft de regels nodig die als een aparte, onderscheidende herinnering worden behandeld om ze echt te kunnen volgen. Het stelde ook vast dat hoewel je een robot beter regels kunt laten volgen door hem vanaf nul opnieuw te trainen, dat te veel tijd en geld kost. SYRUP is een "decoding-time" methode, wat betekent dat het werkt terwijl de robot nadenkt, waarbij het oorspronkelijke brein bevroren blijft en alleen een kleine, lichtgewicht toevoeging wordt getraind.

Interessant genoeg ontdekten de onderzoekers dat SYRUP zelfs werkt op regels die het nog niet eerder heeft gezien. Ze trainden het op één set complexe instructies en testten het vervolgens op een compleet andere set regels (zoals strikte opmaak of woordtellingen), en het presteerde nog steeds goed. Dit suggereert dat de methode de robot een algemene vaardigheid leert voor "luisteren naar de baas" in plaats van alleen specifieke antwoorden te onthouden.

De auteurs merken echter voorzichtig op dat dit geen toverstaf is die alles oplost. De methode voegt een klein beetje extra tijd toe aan het denkproces van de robot omdat de bibliothecaris de woorden moet controleren. Maar de auteurs suggereren dat deze kosten zeer klein zijn vergeleken met andere complexe methoden die hetzelfde proberen te doen. Ze waarschuwen ook dat als je het "regelen volgen" te hard pusht, de robot vreemd of onnatuurlijk kan gaan klinken, dus moet er een balans zijn.

Kortom, SYRUP suggereert dat als je wilt dat een robot een complexe set regels volgt zonder zijn hele brein opnieuw te trainen, je niet gewoon moet hopen dat hij het onthoudt. In plaats daarvan moet je hem een toegewijde, realtime gids geven die elk enkel woord dat hij wil zeggen controleert tegen de regels, om ervoor te zorgen dat het uiteindelijke verhaal trouw blijft aan het kostuum dat hij vanaf het begin droeg.

Technische Samenvatting: SyRuP – Verbeteren van het opvolgen van systeemprompts via beloningsgestuurde voorspelling

Probleemstelling

Grote taalmodellen (LLM's) worden steeds vaker aangestuurd via systeemprompts die rollen, stijlen, formaten en veiligheidsbeperkingen definiëren. De huidige modellen volgen deze prompts echter impliciet via in-context leren, wat vaak ontoereikend blijkt voor complexe of compositorische instructies. Bestaande oplossingen kampen met aanzienlijke trade-offs:

Trainingsmethoden (bijv. SFT, RLHF) vereisen kostbare parameterupdates en kunnen een "alignment tax" veroorzaken, waarbij algemene capaciteiten worden aangetast.
Decoding-time methoden vertrouwen vaak op impliciet instructie-opvolgen of behandelen de systeemprompt louter als onderdeel van een samengevoegde contextsequentie. Hierdoor verliest de systeemprompt zijn onderscheidende rol als een aparte conditionerende bron, en richt eerdere beloningsgestuurde benaderingen zich op vaste attributen (bijv. toxiciteit, sentiment) in plaats van op instantie-specifieke naleving van de systeemprompt.

Er is een gebrek aan frameworks die de systeemprompt expliciet behandelen als een aparte geheugenbron om tijdens de inferentie token-niveau begeleiding te bieden zonder het basismodel aan te passen.

Methodologie: SyRuP

De auteurs stellen SyRuP voor (System-prompt following via Reward-guided Prediction), een decoding-time framework dat het basis-LLM bevroren houdt en alleen een lichtgewicht beloningskop traint. De kerninnovatie is het herformuleren van het opvolgen van de systeemprompt als een token-niveau conditioneel nalevingsprobleem.

1. Cross-Attention Beloningskop

In tegenstelling tot standaard beloningsmodellen die de systeemprompt, gebruikersinput en gegenereerde prefix samenvoegen tot één enkele sequentie, behandelt SyRuP de systeemprompt als een afzonderlijke Key-Value (KV) geheugen.

Architectuur: De beloningskop gebruikt een cross-attention mechanisme waarbij de verborgen toestanden van de systeemprompt ( $H(s)$ ) dienen als keys ( $K_s$ ) en values ( $V_s$ ).
Query Constructie: De query ( $Q_t$ ) wordt afgeleid van de concatenatie van de gebruikersinput en de gegenereerde prefix ( $H(x), H(y_{<t})$ ).
Scoring: De cross-attention output let op de meest relevante delen van de systeemprompt voor de huidige generatietoestand. Dit wordt gefuseerd met de contextrepresentatie en door een twee-laagse MLP geleid om een token-niveau nalevingsscore ( $r_t(v)$ ) te produceren voor elk kandidaat-token.
Training: De kop wordt getraind op systeemprompt-geconditioneerde voorkeursparen $(s, x, y^+, y^-)$ met een Bradley-Terry objectief. Het basis-LM blijft bevroren; alleen de cross-attention projecties en de fusie-MLP worden bijgewerkt.

2. Beloningsgestuurde Decoding

Tijdens de inferentie herrangschikt SyRuP de top- $k$ kandidaten van de logits van het basis-LM. De uiteindelijke selectiescore combineert drie componenten:
$\text{Score}(v) = \ell_t(v) + \lambda_r r_t(v) + \lambda_c \Delta_t(v)$

$\ell_t(v)$ : Basis-LM logits (vloeiendheid).
$r_t(v)$ : Geleerde token-niveau beloningsscore (expliciete naleving).
$\Delta_t(v)$ : Een optioneel contrastief signaal dat de door de systeemprompt geïnduceerde logit-verschuiving meet ten opzichte van een neutrale prompt ( $\ell_t(v) - \ell^{neu}_t(v)$ ).
$\lambda_r, \lambda_c$ : Hyperparameters die de sterkte van het belonings- en contrastieve signaal controleren.

Belangrijkste Bijdragen

Expliciete Systeem-Conditionering: SyRuP is het eerste decoding-time framework dat de systeemprompt behandelt als een afzonderlijke geheugenbron via cross-attention, wat expliciete evaluatie van naleving op token-niveau mogelijk maakt in plaats van te vertrouwen op impliciete contextabsorptie.
Lichtgewicht Inferentie-controle: De methode vereist geen updates aan de parameters van het basis-LLM, alleen een kleine, trainbare beloningskop, wat een praktisch alternatief biedt voor volledige fine-tuning.
Hybride Begeleiding: De introductie van een hybride variant die expliciete beloningsbegeleiding combineert met een contrastief signaal om systeem-geïnduceerde distributieverschuivingen te vangen, wat complementaire signalen biedt voor het sturen van de generatie.

Experimentele Resultaten

De auteurs evalueerden SyRuP op Multifaceted-Bench (in-domain) en IFEval (out-of-distribution) met drie backbone modellen (Qwen-2.5-1.5B, Llama-3.2-3B, Llama-3.1-8B).

Prestaties: SyRuP presteerde consequent beter dan alle baselines, inclusief prompting-methoden (bijv. Few-shot, Marked Prompting) en decoding-time baselines (bijv. OPAD, GenARM, ARGS, BoN, DeAL).
- Op Multifaceted-Bench behaalde het de beste gemiddelde score over alle 15 model-taak combinaties, waarbij het de sterkste baseline met 5,61% verbeterde op Qwen-2.5-1.5B.
- Op IFEval, zonder enige taakspecifieke training, behaalde SyRuP de beste gemiddelde strikte prompt-niveau nauwkeurigheid, wat een sterke generalisatie naar verifieerbare beperkingen aantoont.
Efficiëntie: SyRuP biedt een gunstige trade-off tussen naleving en kosten.
- De beloningsvariant verhoogde de latentie slechts met 1,04× vergeleken met het basismodel.
- De volledige hybride variant veroorzaakte een latentie-toename van 2,18×, wat nog steeds aanzienlijk lager is dan andere decoding-time baselines zoals ARGS (5,13×) en DeAL (16,83×).
- Het piek GPU-geheugengebruik bleef dicht bij het basismodel (3,1 GB versus >10 GB voor sommige baselines).
Analyse: Ablatie-studies bevestigden dat expliciete cross-attention conditionering beter presteert dan single-stream impliciete conditionering. Bovendien werd vastgesteld dat de belonings- en contrastieve signalen complementair zijn, waarbij de gecombineerde aanpak unieke tokenkeuzes oplevert die niet door een van beide signalen alleen worden geselecteerd.

Betekenis en Claims

Het artikel claimt dat SyRuP de hypothese valideert dat expliciete token-niveau begeleiding een effectief en praktisch mechanisme is voor betrouwbaar opvolgen van de systeemprompt. Door de systeemprompt los te koppelen van de generatiecontext en te behandelen als een toegewezen geheugenbron, stelt SyRuP modellen in staat om complexe, diverse en instantie-specifieke beperkingen na te leven zonder de computationele overhead van hertraining of de hoge inferentiekosten van zoekgebaseerde decoding.

De auteurs positioneren SyRuP als een stap naar meer controleerbare LLM-generatie, met name voor scenario's waar systeemprompts kritieke rollen, veiligheidsrichtlijnen of formateringsvereisten definiëren die standaard in-context leren niet consistent kan afdwingen. Ze erkennen beperkingen, zoals de extra overhead van het hybride contrastieve signaal en het potentieel voor over-sturing, en suggereren toekomstig werk in adaptieve weging en veiligheidsfiltering.