💻 computer science

Instruction fragility under hidden operational requirements

Dit artikel toont aan dat instructies in natuurlijke taal kwetsbaar zijn onder verborgen operationele vereisten, wat onthult dat hoewel generieke prompting faalt om weggelaten beperkingen te voldoen, de prestaties aanzienlijk verbeteren wanneer die beperkingen expliciet worden opgevraagd en uitgevoerd.

Oorspronkelijke auteurs: Chanho Park, Jinbae Gong, Minsu Kim, Gyeongho Gong, Woochan Lee, Yeachan Kwak, Seongim Choi

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chanho Park, Jinbae Gong, Minsu Kim, Gyeongho Gong, Woochan Lee, Yeachan Kwak, Seongim Choi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Kernprobleem: De "Genie" die het fout doet

Stel je voor dat je een magische Genie hebt (de AI) die je wensen vervult. Je zegt: "Maak me rijk."

De Genie zou dit op duizend manieren kunnen interpreteren:

Het zou je een legitieme baan kunnen geven.
Het zou nepgeld kunnen bijdrukken.
Het zou een bank kunnen hacken.
Het zou de definitie van "rijkdom" kunnen veranderen zodat je rijk bent aan "geluk", maar arm aan contant geld.

Het paper betoogt dat wanneer je een AI een korte instructie geeft, je in feite een wensenlijst geeft met ontbrekende items. Je denkt misschien dat je "legitieme rijkdom" wilt, maar je hebt niet gezegd "geen illegale activiteiten" of "geen bankfouten". Omdat je het niet hebt gezegd, is de AI vrij om elke versie van "rijkdom" te kiezen die past bij de woorden die je gebruikte.

De auteurs noemen dit "Instruction Fragility" (Instructie-fragiliteit). De instructie is fragiel omdat deze gemakkelijk breekt wanneer de AI de verkeerde versie van jouw verborgen regels raadt.

Het Experiment: Het "Geheime Regel" Spel

Om dit te testen, creëerden de onderzoekers een spel met 100 verschillende taken (zoals een e-mail schrijven, een rapport samenvatten of een reis plannen).

De Zichtbare Prompt: Dit is wat de gebruiker ziet en typt (bijv. "Schrijf een samenvatting van dit artikel").
De Verborgen Vereisten: Dit zijn geheime regels die alleen bekend zijn bij de onderzoekers (de "evaluatoren"), niet bij de AI. Voorbeelden zijn: "Moet minder dan 50 woorden zijn", "Moet een waarschuwing voor risico bevatten", "Moet in JSON-formaat zijn" of "Mag het woord 'zekerlijkheid' niet gebruiken".

De AI moest de zichtbare prompt volgen en de verborgen regels perfect raden. Als de AI zelfs maar één verborgen regel miste, was de taak een totale mislukking.

De Resultaten: Raden versus Vragen

De onderzoekers testten de AI onder verschillende omstandigheden om te zien hoe goed het met deze ontbrekende regels om kon gaan.

1. De "One-Shot" Gok (2,7% Succes)

Analogie: Je vertelt een chef: "Maak me een broodje," en loopt weg. Je zegt niet "geen uien," "gebruik zuurdesem," of "snijd het doormidden."
Resultaat: De AI had het slechts 2,7% van de tijd goed. Het miste bijna altijd de verborgen regels.

2. Het "Generieke Sjabloon" (7,3% Succes)

Analogie: Je geeft de chef een standaard "Broodje Bestelformulier" dat vakjes heeft voor "Brood" en "Vlees", maar je hebt nog steeds het specifieke "Geen Uien"-vakje niet ingevuld.
Resultaat: Iets beter, maar nog steeds grotendeels fout. Generieke formulieren lossen het gebrek aan specifieke details niet op.

3. Het "Nepgesprek" (1,7% Succes)

Analogie: Je vraagt aan de chef: "Heb je speciale regels?" en de chef zegt: "Nee, maak gewoon een broodje."
Resultaat: Dit hielp helemaal niet. Alleen praten zonder de juiste informatie te verkrijgen, is nutteloos.

4. De "Eerlijke Verduidelijking" (8,0% Succes)

Analogie: Je dwingt de chef om specifieke vragen te stellen van een menu (bijv. "Wilt u JSON-formaat?"). De chef vraagt, en jij zegt "Ja."
Resultaat: Nog steeds erg laag. De AI was slecht in het uitzoeken van welke vragen hij moest stellen. Hij stelde de verkeerde vragen of miste de cruciale vragen.

5. De "Oracle" (Het Spiekbriefje) (64,7% Succes)

Analogie: Je geeft de chef een spiekbriefje dat elke enkele verborgen regel opsomt voordat hij begint met koken.
Resultaat: Het succes sprong naar 64,7%. Dit bewijst dat als de AI de regels kent, hij ze veel beter kan volgen.

De Belangrijkste Les:
Het probleem is niet dat de AI dom is; het probleem is dat hij niet gedachten kan lezen. Wanneer je de regels verbergt, faalt de AI. Wanneer je de regels expliciet aan de AI vertelt, slaagt hij. Echter, zelfs met het spiekbriefje faalde hij nog steeds ongeveer 35% van de tijd, wat betekent dat zelfs wanneer de AI de regels weet, hij soms vergeet ze perfect op te volgen.

Waarom dit ertoe doet (De "Verzamelingenleer")

Het paper gebruikt een fancy wiskundig concept om dit eenvoudig uit te leggen:

Beschouw je instructie als een net.
Het net vangt veel mogelijke uitkomsten (executies) op.
Je wilt alleen dat de AI de "goede" uitkomsten vangt (de uitkomsten die je daadwerkelijk wilt).
Als je net te breed is (omdat je de regels niet hebt gespecificeerd), vangt het ook "slechte" uitkomsten op (zoals illegale overboekingen of verkeerde formaten).
Veiligheid betekent het verkleinen van het net totdat het alleen het goede vangt. Je kunt dat niet doen, tenzij je de AI expliciet vertelt wat hij moet uitsluiten.

Samenvatting van de "Foutmodi"

Het paper legt uit waarom de AI faalde:

Ontbrekende Informatie: De AI kende de regels niet (het grootste probleem).
Slechte Vragen: De AI stelde de verkeerde vragen om de regels te vinden.
Uitvoerfouten: Zelfs toen de AI de regels kende, vergat hij soms ze correct op te schrijven.

De Kernconclusie

Als je wilt dat een AI een taak veilig en correct uitvoert, kun je hem niet alleen een vage opdracht geven en hopen dat hij het "begrijpt". Je moet de verborgen beperkingen (zoals woordenaantallen, formaten en veiligheidslimieten) expliciet vermelden. Generieke prompts en generieke gesprekken zijn niet genoeg; je moet specifiek de ontbrekende regels oproepen en bevestigen.

Technische Samenvatting: Instructiefragiliteit onder Verborgen Operationele Vereisten

Probleemdefinitie
Het artikel behandelt het probleem van instructiefragiliteit die voortvloeit uit verborgen operationele vereisten. In interacties met taalmodellen (LLM's) via natuurlijke taal laten gebruikers vaak beperkingen weg die bekend zijn bij henzelf of bij de beoordelaar, maar die ontbreken in de prompt (bijv. specifieke uitvoerformaten, woordlimieten, risicolabels of bronbeperkingen). De auteurs formaliseren dit niet als een enkele beoogde uitkomst, maar als een set-waardige semantiek: een instructie duidt op een verzameling haalbare executies. Veiligheid onder dergelijke onderspecificatie vereist dat elke haalbare executie binnen die verzameling binnen de acceptabele verzameling van de gebruiker valt. Als de instructie zelfs maar één onacceptabele executie toestaat (bijv. een frauduleuze methode om "mij rijk te maken"), is de instructie niet robuust. Het kernprobleem is dat eindige instructies een unieke beoogde executie niet kunnen identificeren zonder alle latente beperkingen over te dragen.

Methodologie
De studie combineert een formeel theoretisch kader met een gecontroleerde empirische benchmark.

Formeel Kader:
- De auteurs definiëren een instructie $s$ als het hebben van een denotatie $J_sK_B \subseteq H$ (een verzameling haalbare geschiedenissen) onder een achtergrondtheorie $B$ .
- Veiligheid wordt gedefinieerd door het adversariële veiligheidscriterium: $J_sK_B \subseteq A_{\tau, \eta}$ , waarbij $A_{\tau, \eta}$ de verzameling acceptabele geschiedenissen is (die voldoet aan bruikbaarheidsdrempels en bijeffect-budgetten).
- Theoretische analyses leiden informatie-theoretische ondergrenzen af (vereisten van $\Omega(\log N)$ symbolen om $N$ intenties te onderscheiden), cardinaliteitsbeperkingen (eindige instructies kunnen geen willekeurige deelverzamelingen van oneindige executieruimtes duiden), en computationele hardheid (veilige synthese komt overeen met het NP-volledige Set Cover-probleem).
Benchmark Constructie:
- Er werd een 100-taken benchmark gecreëerd, die 20 topische domeinen beslaat (bijv. beleidsmemo's, incidentrespons, financiële notities).
- Elke taak bestaat uit een zichtbare gebruikersprompt en een set verborgen vereisten (2 tot 5 per taak) die bekend zijn bij de beoordelaar maar ontbreken in de prompt.
- Vereisten worden gecategoriseerd in drie typen:
  - Conventioneel impliciet: Aannames, onzekerheid, afwegingen, risiconiveaus.
  - Operationeel: Woordlimieten, bronlimieten.
  - Privé formattering: Geldige JSON, exact aantal opsommingstekens.
- Een "strikte pass" wordt gedefinieerd als het voldoen aan elke verborgen vereiste in een taak.
Experimentele Protocollen:
De studie evalueerde drie modellen (GPT-5.4, Claude Opus 4.7, Gemini 3.1 Pro) over negen condities:
- Lage Informatie: One-shot prompting, generieke templates, en negatieve-controle verheldering (gedwongen vragen met "geen verborgen beperkingen" antwoorden).
- Elicitatie: Gedwongen verheldering (oprecht antwoorden op menu-gebaseerde vragen) en verificatie (zichtbare of interne checklists).
- Oracle Condities: Budgeted oracle (onthulling van maximaal 4 verborgen vereisten) en Full oracle (onthulling van alle verborgen vereisten).

Belangrijkste Resultaten
De empirische resultaten, gebaseerd op 2.700 taak–model–conditie observaties, tonen een scherp contrast tussen generieke interactie en de onthulling van werkelijke beperkingen:

Falen van Generieke Interactie: One-shot prompting behaalde een strikte pass-rate van slechts 2,7% (8/300 pogingen). Generieke templates (7,3%) en negatieve-controle verheldering (1,7%) boden verwaarloosbare verbetering. Dit geeft aan dat interactie zonder relevante taakinformatie de ontbrekende beperkingen niet herstelt.
Waarde van Correcte Elicitatie: Het onthullen van de juiste verborgen vereisten produceerde een kwalitatieve sprong in prestaties. De Full Oracle conditie behaalde een 64,7% strikte pass-rate. De Budgeted Oracle (gedeeltelijke onthulling) bereikte 54,0%.
Elicitatie Falen: Zelfs wanneer modellen werden gedwongen vragen te stellen (Forced Clarify), behaalden ze slechts een pass-rate van 8,0%. De kloof tussen Forced Clarify en Budgeted Oracle (46,0 procentpunten) laat zien dat modellen vaak niet identificeren welke latente beperkingen relevant zijn, door de verkeerde vragen te stellen of kritieke zaken te missen (bijv. bronlimieten werden slechts 1,0% van de tijd herinnerd).
Executie Falen: Zelfs onder Full Oracle condities, waarbij alle vereisten bekend waren, bereikte de pass-rate niet 100% (64,7%). Dit wijst op een tweede foutmodus: bekende-beperking naleving, waarbij modellen er niet in slagen de volledige specificatie uit te voeren, zelfs als deze expliciet is verstrekt.
Compounding Falen: De strikte pass-rates daalden multiplicatief naarmate het aantal verborgen vereisten toenam. Voor protocollen met lage informatie daalde de pass-rate naar bijna nul voor taken met 3–5 vereisten.
Specificiteit van Vereisten: Privé formattering vereisten (JSON, aantal opsommingstekens) waren bijna onmogelijk te herstellen zonder onthulling (0% in one-shot), terwijl conventionele vereisten (onzekerheid, vermijden van absoluten) gedeeltelijk konden worden afgeleid maar nog steeds onbetrouwbaar waren.

Betekenis en Claims
Het artikel beweert een gecontroleerde foutmodus te hebben geïdentificeerd voor strikte operationele naleving in AI-systemen. De belangrijkste bijdragen zijn:

Formalisering van Instructiefragiliteit: Het biedt een set-waardig denotatiekader dat aantoont dat robuustheid vereist dat alle onacceptabele executies worden uitgesloten, niet alleen dat er één goede executie wordt opgenomen.
Diagnose van Communicatiefalen: De resultaten tonen aan dat de bottleneck in het opvolgen van instructies niet louter het gebrek aan dialoogbeurten is, maar de kwaliteit van de geëliciteerde informatie. Generieke verheldering is onvoldoende; gerichte vereisten-elicitatie is noodzakelijk.
Herformulering van Templates en Verificatie: De studie suggereert dat prompt-templates en generieke verificatie-checklists slechts marginale winst bieden. Ze kunnen niet in de plaats komen van de expliciete communicatie van taakspecifieke privé-beperkingen.
Veiligheidsimplicaties: De bevindingen ondersteunen het ontwerpprincipe dat robuuste AI-assistenten expliciete vereisten-toestand elicitatie vereisen, de integratie van die beperkingen, en verificatie tegen die toestand, in plaats van te vertrouwen op langere prompts of generieke interactie.

De auteurs houden een bescheiden reikwijdte aan door te merken dat de benchmark synthetisch en tekstueel is, gericht op oppervlakkig controleerbare beperkingen. Zij beweren niet de langetermijn gedragingen van agenten of subjectieve kwaliteit te meten, maar willen specifiek de foutmodus van ontbrekende operationele vereisten isoleren. De resultaten suggereren dat huidige frontier-modellen, hoewel capabel, niet alwetend zijn en niet betrouwbaar ontbrekende beperkingen kunnen herstellen zonder expliciete communicatie.