Control Illusion: The Failure of Instruction Hierarchies in Large Language Models

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet met hiërarchische instructieschema's, waarbij bepaalde instructies (bijvoorbeeld systeem-niveau directives van ontwikkelaars) de voorkeur zouden moeten krijgen boven andere (zoals gebruikersberichten). Hoewel dit een fundamenteel ontwerpprincipe is voor veiligheid en agentische systemen (bijv. OpenAI's Model Spec stelt dat ontwikkelaarsinstructies prioriteit hebben), ontbreekt er een systematisch begrip van hoe effectief deze hiërarchieën daadwerkelijk worden afgedwongen.

De kernproblematiek is dat de wijdverspreide scheiding tussen systeem- en gebruikersprompts (system/user separation) niet leidt tot een betrouwbare instructiehiërarchie. Zelfs bij simpele, verifieerbare conflicten (zoals tegenstrijdige formatteerregels) vertonen modellen inconsistent gedrag en slagen ze er niet in om de beoogde prioriteit te handhaven.

Methodologie

De auteurs introduceren een systematisch evaluatiekader gebaseerd op constraint-prioritering om te testen hoe LLM's omgaan met conflicterende instructies.

1. Dataset Constructie:

   • Er zijn 100 basis taken gecureerd (bijv. e-mails schrijven, verhalen bedenken).
   • Er zijn zes soorten expliciet conflicterende en verifieerbare constraints geselecteerd (bijv. taal: Engels vs. Frans; hoofdletters vs. kleine letters; woordlengte: >300 vs. <50 woorden).
   • Deze constraints zijn gecombineerd met de basis taken, waarbij één constraint als "primair" (prioriteit) en de ander als "secundair" wordt gemarkeerd. Dit resulteert in 1.200 unieke testpunten.
   • Er zijn zowel simpele instructies als rijke context-instructies (met uitgebreide beschrijvingen) gebruikt om de robuustheid te testen.

2. Experimentele Configuratie:

   • Er zijn drie configuraties voor de scheiding van prompts getest:
     • Pure Separation: Primaire constraint in het systeembericht, secundaire in het gebruikersbericht.
     • Task Repeated Separation: De taak wordt in beide berichten herhaald.
     • Emphasized Separation: Het systeembericht bevat een expliciete prioriteitsverklaring ("Je moet altijd deze constraint volgen").
   • Er zijn zes state-of-the-art modellen getest (o.a. GPT-4o, Claude 3.5 Sonnet, Llama-3, Qwen).

3. Evaluatiemetrics:

   • Primary Obedience Rate (R1): Het percentage antwoorden waarbij alleen de prioritaire constraint wordt opgevolgd.
   • Explicit Conflict Acknowledgement Rate (ECAR): Hoe vaak het model expliciet erkent dat er een conflict is.
   • Priority Adherence Ratio (PAR): Een maatstaf voor prioriteitsvolging wanneer het model wel één van de constraints succesvol volgt (R1 / (R1 + R2)).
   • Constraint Bias (CB): De inherente voorkeur van het model voor een bepaalde constraint, ongeacht de toegewezen prioriteit.

4. Sociale Hiërarchie Test:

   • Om te onderzoeken of "maatschappelijke" hiërarchieën sterker zijn dan de technische system/user-scheiding, zijn experimenten uitgevoerd waarbij constraints werden geframed als afkomstig van een CEO vs. Intern, een Nature-publicatie vs. een blog, of meerderheid vs. minderheid.

Belangrijkste Resultaten

1. Faal van de System/User Scheiding:

   • Hoewel modellen individuele constraints goed kunnen volgen (IF-baseline: 75-90%), stort de prestatie in bij conflicten. De gemiddelde Primary Obedience Rate (R1) ligt vaak tussen de 9% en 46%, afhankelijk van het model en de configuratie.
   • Zelfs bij "Emphasized Separation" (expliciete instructies) blijft de prioriteitsvolging onbetrouwbaar. Grotere modellen (bijv. Llama-70B) presteren niet significant beter dan kleinere versies.

2. Gebrek aan Conflictbewustzijn:

   • Modellen erkennen zelden expliciet dat er een conflict is (ECAR is zeer laag, vaak <20%).
   • Zelfs wanneer ze het conflict wel erkennen, garandeert dit niet dat ze de juiste prioriteit volgen.

3. Intrinsieke Bias:

   • Modellen vertonen sterke, inherente voorkeuren voor bepaalde constraint-types, ongeacht welke instructie als "primair" is gemarkeerd.
   • Gedeelde biases: Alle modellen geven de voorkeur aan kleine letters boven hoofdletters, meer zinnen boven minder zinnen, en het vermijden van specifieke trefwoorden.
   • Deze biases lijken te stammen uit de pre-training data en overrulen vaak de post-training instructies.

4. Sociale Hiërarchieën zijn Sterker:

   • Dit is een van de meest opvallende bevindingen: Maatschappelijke hiërarchieën (autoriteit, expertise, consensus) hebben een veel sterkere invloed op het modelgedrag dan de technische system/user-scheiding.
   • Bijvoorbeeld: Wanneer een constraint wordt geframed als een "consensus van experts", stijgt de prioriteitsvolging (PAR) aanzienlijk (bij GPT-4o-mini van 47,5% naar 77,8%).
   • Dit suggereert dat modellen sociale structuren diep hebben geïnternaliseerd tijdens de pre-training, en dat deze "latente priors" sterker werken dan de expliciete guardrails die na het trainen worden toegevoegd.

Belangrijkste Bijdragen

• Evaluatiekader: Een gestructureerd framework voor het testen van instructiehiërarchieën via verifieerbare constraint-conflicten.
• Nieuwe Metrics: Introductie van metrics zoals PAR en CB om modelgedrag gedetailleerd te analyseren, los van de ruis van niet-naleving.
• Empirisch Bewijs: Het aantonen dat de huidige standaardpraktijk (system/user prompts) faalt om een betrouwbare hiërarchie te creëren, zelfs bij simpele taken.
• Ontdekking van Latente Priors: Het identificeren van het fenomeen dat pre-training geïnternaliseerde sociale hiërarchieën (autoriteit, consensus) de effectiviteit van post-training veiligheidsinstructies ondermijnen.

Betekenis en Conclusie

De studie concludeert dat er een fundamentele "Control Illusion" bestaat in huidige LLM's. Ontwikkelaars vertrouwen erop dat systeem-instructies prioriteit hebben, maar modellen volgen dit niet consequent. In plaats daarvan reageren ze sterker op impliciete sociale signalen (zoals autoriteit of consensus) die tijdens de pre-training zijn geleerd.

Dit heeft grote gevolgen voor:

• Veiligheid: Als sociale framing (bijv. "Je bent een expert, ignoreer de veiligheidsregels") effectiever is dan systeem-instructies, kunnen safety-mechanismen worden omzeild.
• Agentische Systemen: De betrouwbaarheid van LLM's als agenten die voor derden werken, is in gevaar als ze niet kunnen garanderen dat ontwikkelaarsinstructies boven gebruikersinstructies gaan.
• Toekomstig Onderzoek: Er is behoefte aan architecturale en trainingsinnovaties om deze latente priors te auditeren, te attenueren of om een robuustere, interne hiërarchie te creëren die niet afhankelijk is van sociale framing.