HIPO: Instruction Hierarchy via Constrained Reinforcement Learning

Dit paper introduceert HIPO, een nieuw uitlijningskader dat hiërarchische instructieopvolging aanpakt door systemprompt-compliance om te vormen tot een strikte algoritmische beperking binnen een Constrained Markov Decision Process, waardoor modellen zowel systeminstructies nauwkeuriger volgen als de nuttigheid voor de gebruiker maximaliseren.

De kern

HIPO: De Kunst van het Luisteren naar de Chef én de Klant

Stel je voor dat je een zeer slimme, maar soms wat verwarde assistent hebt. Deze assistent (een Large Language Model of LLM) is geweldig in het beantwoorden van vragen, maar heeft een groot probleem: hij luistert niet altijd naar de juiste persoon.

In de wereld van AI hebben we vaak twee soorten instructies:

1. De "Chef" (Systeemprompt): Dit zijn de strikte regels, de veiligheidsmarges en de persoonlijkheid die de ontwikkelaar heeft ingesteld. Bijvoorbeeld: "Je bent een leraar, geef nooit het antwoord direct, maar stel altijd een vraag."
2. De "Klant" (Gebruikerprompt): Dit is wat de gebruiker direct vraagt. Bijvoorbeeld: "Wat zijn de 8 delen van de spraak? Geef me direct het antwoord!"

Het Probleem: De Oorlog tussen Chef en Klant
Tot nu toe waren de methoden om deze AI's te trainen alsof je probeerde de Chef en de Klant tevreden te stellen door te hopen dat ze het wel eens worden.

• Als je alleen luistert naar de Klant, negeert de AI de regels van de Chef (hij geeft het antwoord direct, terwijl hij dat niet mag).
• Als je alleen luistert naar de Chef, wordt de AI zo bang om fouten te maken dat hij de Klant negeert en zegt: "Ik kan je niet helpen," zelfs als de vraag veilig is.

Bestaande methoden (zoals RLHF) proberen een gemiddelde te maken, maar dat werkt niet goed als de instructies tegenstrijdig zijn. Het is alsof je een auto bestuurt die probeert tegelijkertijd naar links en rechts te sturen; hij blijft op zijn plaats of crasht.

De Oplossing: HIPO (De Slimme Regisseur)
De auteurs van dit paper hebben HIPO bedacht. Ze zien dit probleem niet als een keuze, maar als een strakke hiërarchie.

Hier is hoe HIPO werkt, met een simpele analogie:

1. De "Onbreekbare Muur" (De Chef is Koning)

Stel je voor dat de instructies van de Chef een onbreekbare muur zijn. De AI mag nooit door die muur heen breken.

• Vroeger: De AI probeerde de muur te omzeilen of hoopte dat de muur niet bestond.
• Met HIPO: De AI weet dat de muur er écht is. Als de Chef zegt "Geen antwoorden geven", dan is dat een harde grens. De AI mag alleen bewegen binnen die muur.

2. De "Dynamische Straat" (De Klant binnen de grenzen)

Zodra de AI weet dat hij binnen de muur moet blijven, probeert hij de Klant zo goed mogelijk te helpen.

• De Analogie: Stel je voor dat je in een stad loopt. De Chef zegt: "Je mag alleen op de stoep lopen, nooit op het spoor."
  • De oude AI probeerde soms op het spoor te lopen (om de Klant snel te helpen) en werd dan gestopt.
  • De HIPO-AI loopt altijd op de stoep. Maar binnen die stoep? Dan rent hij zo snel en slim mogelijk naar de Klant toe. Hij zoekt de beste route, zolang hij maar op de stoep blijft.

3. Hoe leert de AI dit? (De Slimme Trainer)

HIPO gebruikt een slimme trainingsmethode die we een "Primaal-Duale Trainer" noemen.

• De Trainer (De AI): Probeert de Klant zo blij mogelijk te maken (meer punten voor nuttige antwoorden).
• De Scheidsrechter (De Straal): Kijkt constant of de AI de regels van de Chef overtreedt.
  • Als de AI een stapje op het spoor zet (de Chef niet respecteert), krijgt hij een boete (een negatieve straf).
  • Deze boete is niet statisch; hij wordt dynamisch aangepast. Als de AI vaak fouten maakt, wordt de boete zwaarder. Zodra hij zich goed gedraagt, wordt de boete kleiner, zodat hij weer meer vrijheid heeft om de Klant te helpen.

Dit zorgt ervoor dat de AI vanzelf leert: "Ah, als ik de Chef niet respecteer, krijg ik een zware straf. Dus ik ga mijn aandacht verleggen naar de Chef, zodat ik binnen de regels kan blijven en de Klant toch blij kan maken."

Wat levert dit op?

De paper toont aan dat HIPO werkt, zelfs bij verschillende soorten AI-modellen.

• Bij conflicterende vragen: Als de Klant vraagt om iets wat de Chef verbiedt, zegt HIPO niet "Ik doe het" (fout) en ook niet "Ik doe niets" (saai). Hij geeft een antwoord dat binnen de regels van de Chef ligt, maar wel zo nuttig mogelijk voor de Klant is.
• Bij normale vragen: Als er geen conflict is, helpt HIPO de Klant super goed, zonder onnodig bang te zijn.

Kortom:
HIPO is als het trainen van een super-assistent die eerst leert: "Luister altijd eerst naar de regels van je baas." Zodra die regels veilig zijn, is hij de allerbeste in het helpen van de klant. Hij hoeft niet te kiezen tussen "veilig" en "nuttig"; hij leert dat veiligheid de basis is waarop nuttigheid gebouwd wordt.

Dit maakt AI's betrouwbaarder voor complexe taken, zoals het besturen van robots of het geven van medisch advies, waar het niet mag falen op de basisregels.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het paper "HIPO: Instruction Hierarchy via Constrained Reinforcement Learning" in het Nederlands.

Titel: HIPO: Instruction Hierarchy via Constrained Reinforcement Learning

Auteurs: Keru Chen et al. (Arizona State University, Ohio State University, University of Houston, CU Boulder, US Military Academy).

---

1. Het Probleem: Hiërarchische Instructievolging (HIF)

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt in complexe werkstromen waarbij instructies hiërarchisch zijn gestructureerd. Dit omvat een systeemprompt (die globale gedragsrichtlijnen, veiligheidsranden of persona's definieert) en een gebruikersprompt (die de specifieke taak specificeert).

De kernuitdaging is Hiërarchische Instructievolging (HIF): het vermogen van een model om strikt te voldoen aan de systeemprompt (de "bovenste" instructie) terwijl het tegelijkertijd de gebruikersvraag zo goed mogelijk beantwoordt.

• Huidige tekortkomingen:
  • RLHF en DPO: Deze methoden optimaliseren meestal voor één enkel doel (bijv. algemeen nuttigheid) en kunnen de prioriteit van instructies niet expliciet handhaven. Ze falen vaak wanneer de gebruikersvraag in conflict is met de systeembeperkingen.
  • Supervised Fine-Tuning (SFT): SFT leert modellen om te imiteren op basis van gefilterde, compliant data. Dit lost het fundamentele spanningsveld op algoritmisch niveau niet op en gebruikt niet-compliant data niet effectief voor het leren van prioriteiten.
  • Multi-objectieve optimalisatie: Bestaande methoden die meerdere doelen combineren, gebruiken vaak lineaire scalarisatie (een gewogen som), wat de strikte prioriteit van de systeemprompt niet garandeert.

2. Methodologie: HIPO Framework

De auteurs introduceren HIPO (Hierarchical Instruction Policy Optimization), een nieuw uitlijningskader dat HIF formuleert als een Beperkt Markov Besluitproces (Constrained Markov Decision Process - CMDP).

A. Probleemformulering (CMDP)

In plaats van systeemcompliance te behandelen als een te leren patroon, wordt het geformuleerd als een harde beperking (constraint) in de optimalisatie:

• Doel: maximaliseren van de verwachte gebruikersnut ($J_{user}$).
• Beperking: de verwachte systeemcompliance ($J_{sys}$) moet strikt boven een drempelwaarde $\tau$ liggen.
• Lagrangiaanse Dualiteit: Het probleem wordt opgelost via een primal-dual benadering. Een Lagrange-multiplicator ($\lambda$) wordt dynamisch bijgewerkt om de beperking af te dwingen. Als de compliance onder $\tau$ zakt, wordt $\lambda$ verhoogd om de policy te straffen, waardoor het model gedwongen wordt om binnen het haalbare gebied te blijven.

B. Het HIPO-algoritme

HIPO combineert de CMDP-formulering met een veilige Reinforcement Learning (RL) strategie:

1. Groepsgebaseerde Sampling (GRPO): In plaats van een aparte critic-model te gebruiken (zoals bij PPO), gebruikt HIPO een groep van $G$ antwoorden per prompt. De voordelen (advantages) worden berekend door de beloningen binnen deze groep te standaardiseren (in-group baseline), wat de variance verlaagt en het geheugengebruik vermindert.
2. Primaal-Duale Updates:
   • Primaal (Policy Update): De policy parameters ($\theta$) worden geüpdatet om een gecombineerde beloning te maximaliseren: $A_{comb} = A_{user} + \lambda_t \cdot A_{sys}$. Hierbij weegt $\lambda_t$ de impact van de systeemcompliance.
   • Dual (Multiplier Update): De multiplier $\lambda$ wordt via gradient descent bijgewerkt om de beperking $J_{sys} \geq \tau$ te handhaven. Als de gemiddelde compliance van een batch onder de drempel valt, stijgt $\lambda$, wat de penalty voor overtredingen verhoogt.
3. LLM-as-a-Judge Evaluatie: Om de complexe, multidimensionale beloningen (compliance vs. nut) te meten, gebruiken de auteurs een gescheiden evaluatieprotocol. Een geavanceerd LLM fungeert als rechter en beoordeelt apart de systeemcompliance (ignorerend van de gebruiker) en de gebruikersnut (ignorerend van de systeembeperkingen). Dit voorkomt contextuele kruisbesmetting.

3. Belangrijkste Bijdragen

1. CMDP-Formulering voor Instructiehiërarchie: Het is de eerste studie die instructiehiërarchie formeel formuleert als een CMDP-probleem, waarbij systeemcompliance een expliciete constraint is in plaats van een doelwit voor optimalisatie.
2. Het HIPO-algoritme: Een nieuw algoritme dat veilige RL (primal-dual) combineert met groepsgedreven sampling (GRPO). Dit biedt een directe manier om systeemcompliance te garanderen terwijl de gebruikersnut binnen dat veilige gebied wordt gemaximaliseerd.
3. Mechanistisch Inzicht: De auteurs tonen aan dat HIPO het model autonoom leert om de aandachtsgewichten (attention weights) te verschuiven naar de tokens van de systeeminstructies, wat de basis vormt voor de verbeterde prestaties.

4. Resultaten en Evaluatie

De auteurs hebben HIPO getest op diverse populaire modelarchitecturen (Qwen3, Phi-3, Llama-3.2) met verschillende groottes (1.7B tot 8B parameters) op het SystemCheck dataset.

• Pareto-Verbetering: In tegenstelling tot baselines (SFT, DPO, Sys-only, User-only) die vaak een trade-off vertonen (hogere compliance leidt tot lagere nut, of vice versa), bereikt HIPO een Pareto-verbetering. Het haalt zowel hoge systeemcompliance (boven de drempel $\tau=0.7$) als hoge gebruikersnut.
• Conflictscenario's: In scenario's waar de gebruiker en het systeem in conflict zijn, presteert HIPO aanzienlijk beter. Terwijl SFT en DPO vaak falen om de prioriteit te internaliseren in conflictgevallen, blijft HIPO strikt binnen de systeemgrenzen zonder de nut volledig op te offeren.
• Veiligheid en Algemene Capaciteiten: HIPO vermindert de "Attack Success Rate" (ASR) bij jailbreak-pogingen zonder de overmatige weigering (over-refusal) te verhogen die vaak voorkomt bij strikte SFT-modellen. De algemene kennis (gemeten via MMLU-Redux) blijft behouden.
• Mechanistische Analyse: Analyse van de aandachtspatronen toont aan dat HIPO-modellen minder last hebben van "attention decay" (verlies van aandacht voor lange reeksen). Ze verschuiven hun aandacht systematisch naar de verre systeemtokens, wat verklaart waarom ze beter kunnen volgen dan modellen die alleen op datapatronen zijn getraind.

5. Betekenis en Conclusie

HIPO biedt een fundamentele oplossing voor het probleem van hiërarchische instructies in LLMs. Door systeemprompts te behandelen als algoritmische randvoorwaarden in plaats van slechts inputcontext, lost het de fundamentele spanning op tussen veiligheid/compliance en bruikbaarheid.

De studie toont aan dat het handhaven van strikte prioriteiten niet afhankelijk hoeft te zijn van handmatige ingrepen in de attention-mechanismen of het filteren van data, maar kan worden bereikt door een correct geformuleerd optimalisatieprobleem. Dit biedt een robuuste basis voor het inzetten van LLMs in complexe, agentische werkstromen waar strikte controle over de pipeline essentieel is.