Technische Samenvatting: Redeneren langs de Instructieladder voor Controleerbare Taalmodellen

Probleemstelling

Large Language Models (LLM's) die opereren in real-world besluitvormingscontexten, komen regelmatig scenario's tegen waarin ze concurrerende instructies van meerdere bronnen (bijv. systeemontwerpers, eindgebruikers, externe tools) binnen een enkele prompt moeten verzoenen. Huidige modellen hebben vaak moeite om onderscheid te maken tussen "instructies om op te volgen" en "gebruikersdata om te verwerken", wat leidt tot kwetsbaarheden zoals prompt injection en jailbreaks. Dit probleem, de Instruction Hierarchy (IH) problem genoemd, ontstaat omdat LLM's de neiging hebben alle onderdelen van de input als gelijkwaardig te behandelen, waardoor ze er niet in slagen een gestructureerde ordening af te dwingen waarbij instructies met een hogere prioriteit (bijv. veiligheidsbeleid of systeemregels) instructies met een lagere prioriteit (bijv. gebruikerscommando's) overrulem tijdens conflicten.

Bestaande benaderingen van IH behandelen prioritering vaak als een statische input-respons mapping zonder expliciet redeneren. Hoewel sommige methoden synthetische datasets of onderscheidende embeddings gebruiken om rollen te scheiden, falen ze vaak bij het generaliseren naar out-of-distribution (OOD) scenario's of complexe, compositionele conflicten. Bovendien richten werkzaamheden op veiligheidsgericht redeneren zich vaak nauw op specifieke veiligheidscategorieën, waardoor ze een gebrek aan flexibiliteit hebben om onschuldige of ongevaarlijke conflicten te behandelen die desondanks cruciaal zijn voor controleerbaarheid.

Methodologie

De auteurs stellen Reasoning for Instruction Hierarchy voor, een framework dat instructieprioritering herformuleert als een meta-redeneertaak. In plaats van impliciet te leren prioriteren, wordt het model getraind om expliciet na te denken ("think") over de relatie tussen systeem- en gebruikersinstructies voordat het een respons genereert.

1. De VerIH Dataset

Om deze capaciteit mogelijk te maken, hebben de auteurs VerIH geconstrueerd, een trainingsdataset bestaande uit 7.192 samples afgeleid van de RLVR-IFEval dataset.

• Constructie: De helft van de samples zijn Aligned (systeem- en gebruikersprompts zijn consistent), en de andere helft zijn Conflicting (gebruikersprompts zijn door een LLM herschreven om systeembeperkingen te tegenspreken terwijl de oorspronkelijke intentie behouden blijft).
• Verifieerbaarheid: Elk sample bevat verifieerbare beperkingen op het gebied van responsformaat, hoeveelheid en gebruik van trefwoorden, wat deterministische evaluatie via eenvoudige functies mogelijk maakt.
• Ruis-tolerantie: De generatie van de dataset staat enige ruis toe door imperfecte LLM-herschrijving, aange omdat de kosten voor filtering hoog zijn, maar de dataset blijft effectief voor training.

2. Trainingspipeline (RLVR)

De auteurs maken gebruik van Reinforcement Learning with Verifiable Rewards (RLVR) om algemene redeneercapaciteiten over te dragen naar instructieprioritering.

• SysHint: Een specifieke systeemprompt wordt tijdens de training toegevoegd, waarin het model de instructie krijgt om "stap voor stap na te denken over de relatie tussen de systeemprompt en de gebruikersprompt. Als er een conflict is, heeft de systeemprompt voorrang."
• Output Structuur: Het model genereert een respons $R = (\text{CoT}, \text{Answer})$, waarbij de Chain-of-Thought (CoT) binnen <thought> tags expliciet redeneert over de instructiehiërarchie voordat het uiteindelijke antwoord wordt geleverd.
• Beloningsmechanisme: Een beloningsfunctie $F_{\text{reward}}$ evalueert de output tegen verifieerbare beperkingen. De score dient als het supervisiesignaal voor het RLVR-algoritme (specifiek GRPO).

3. Inferentie

Tijdens inferentie maakt het model gebruik van hetzelfde redeneringsframework. Instructies met een hogere prioriteit (zoals veiligheidsmaatregelen of specifieke beleidsregels) kunnen dynamisch aan de systeemprompt worden toegevoegd om het gedrag te sturen zonder het model opnieuw te trainen.

Belangrijkste Bijdragen

1. Herformulering van IH als Redeneren: Het artikel stelt vast dat het oplossen van de instructiehiërarchie een redeneertaak is die expliciete conflictdetectie en prioritering vereist, in plaats van alleen patroonherkenning.
2. VerIH Dataset: De introductie van een synthetische dataset met verifieerbare antwoorden die zowel gealigneerde als conflicterende systeem-gebruikersparen bevat, specifiek ontworpen om modellen te trainen op hiërarchie-redeneren.
3. Generalisatie naar Veiligheid: Het werk toont aan dat training op niet-veiligheidsspecifieke conflictresolutie (VerIH) generaliseert naar veiligheidskritische scenario's. Door veiligheid te behandelen als een speciaal geval van instructieconflict, verbetert de methode de robuustheid tegen jailbreaks en prompt injections zonder dat er veiligheidsspecifieke trainingsdata nodig is.
4. Efficiëntie en Schaalbaarheid: De methode bereikt significante verbeteringen met behulp van lichtgewicht RLVR op een kleine dataset (~7K samples) over diverse modelfamilies (Qwen3, Phi-4) en groottes (4B tot 35B), inclus�ien Mixture-of-Experts (MoE) architecturen.

Experimentele Resultaten

De auteurs hebben hun methode geëvalueerd op meerdere benchmarks, waaronder instructieopvolging (IFEval, IFBench), instructiehiërarchie (IHEval), algemeen redeneren (MMLU, MATH-500) en veiligheid (Harmbench, WildJailbreak, TensorTrust).

• Prestaties van de Instructiehiërarchie: Training op VerIH leidde tot consistente verbeteringen over alle modelfamilies. In conflictscenario's bereikte de methode een ongeveer 20% absolute verbetering in instructiehiërarchie-benchmarks (bijv. IHEval-conflict). Zo verbeterde Qwen3-8B van 46,48% naar 63,48% op IHEval-conflict.
• Algemeen Redeneren: In tegen tegenoverking van de Supervised Fine-Tuning (SFT) baselines, die vaak de algemene redeneercapaciteiten verslechteren, behield de RLVR-aanpak de prestaties op MMLU en MATH-500 of verbeterde deze zelfs licht.
• Veiligheid en Robuustheid: In out-of-distribution veiligheidsevaluaties verminderde de methode de Attack Success Rates (ASR) met tot wel 20% absoluut op jailbreak en prompt injection benchmarks. Bijvoorbeeld, op WildJailbreak:harmful zag Qwen3-8B een reductie van 64,05% naar 41,25% ASR vergeleken met sterke baselines.
• Ablatie-studies: De resultaten bevestigden dat zowel het redeneringcomponent (CoT) als de inclusie van conflicterende samples noodzakelijk zijn. Training op enkel gealigneerde prompts slaagde er niet in om conflicten effectief op te lossen, en het uitschakelen van redenering tijdens de training leidde tot oppervlakkige naleving.

Betekenis en Claims

Het artikel claimt dat expliciet redeneren over instructiehiërarchieën een praktisch mechanisme biedt voor het verbeteren van de betrouwbaarheid en controleerbaarheid van AI. De belangrijkste punten van betekenis zijn:

• Dynamische Controle: In tegen tegenoverking van eerdere benaderingen die hertraining vereisen om zich aan te passen aan nieuwe principes of OOD-instructies, maakt deze methode voorspelbare en controleerbare gedragsveranderingen mogelijk door simpelweg de hoog-prioritaire systeemprompts tijdens inferentie bij te werken.
• Emergent Veiligheid: De resultaten ondersteunen de visie dat veiligheid een emergente eigenschap is van het vermogen van een model om conflicten tussen adversariële prompts en vooraf gedefinieerde directieven op te lossen, in plaats van een statische, geïnternaliseerde regelset.
• Schaalbaarheid: De aanpak is effectief over variërende modelgroottes en architecturen, wat suggereert dat het vermogen om over instructiehiërarchieën te redeneren een overdraagbare vaardigheid is die in redeneer-ondersteunde LLM's kan worden geïnduceerd via gerichte, lichtgewicht training.

De auteurs concluderen dat dit framework verder gaat dan impliciete principe-lering en een pad biedt naar meer robuuste, controleerbare en aanpasbare taalmodellen die in staat zijn om complexe, multi-source instructieomgevingen te hanteren.