Instruction Stacking Collapse: A Benchmark and the Capability-Dependent Value of Prompt Compilation
Dit artikel introduceert een benchmark die aantoont dat het vermogen om instructies op te volgen in grote taalmodellen niet-lineair afneemt naarmate beperkingen zich ophopen door paargewijze conflicten, en laat zien dat een training-vrije prompt compiler dit probleem effectief mitigeert voor zwakkere modellen, terwijl sterkere modellen er grotendeels onveranderd door worden gelaten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een reeks instructies probeert te geven aan een zeer slimme, maar enigszins letterlijke robotassistent. Je weet dat als je het hem één ding vraagt, zoals "schrijf een verhaal," hij waarschijnlijk een geweldig werk zal leveren. Maar wat gebeurt er als je er twintig verschillende regels tegelijk op stapelt? "Gebruik exact 50 woorden," "formatteer het als een JSON-bestand," "voeg drie citaten toe," "gebruik de letter 'e' niet," "begin met een samenvatting," en "laat het klinken als een piraat"? Dit is de wereld van Large Language Models (LLM's). Dit zijn de AI-hersenen achter veel chatbots en tools die we vandaag de dag gebruiken. Ze zijn getraind om menselijke commando's op te volgen, maar ze zijn niet perfect. Wetenschappers weten al lang dat wanneer je ze te veel regels geeft, ze fouten gaan maken. Maar niemand wist echt hoe erg ze zouden falen, welke regels met elkaar in strijd zijn, of of er een manier was om het op te lossen zonder de hersenen van de robot vanaf nul opnieuw te trainen. Dit artikel duikt in die rommelige stapel regels om te zien waar de robot precies in de war raakt en hoe we hem kunnen helpen dit op te lossen.
De Grote Instructie-stapel Collaps
Denk aan het geven van een prompt aan een AI als het overhandigen van een receptenkaart aan een chef-kok. Als de kaart zegt "Maak een sandwich," is de chef tevreden. Maar stel je voor dat er plotseling een plakbriefje bovenop de kaart zit met "Gebruik alleen rode ingrediënten," een andere met "Geen brood toegestaan," een derde met "Het moet in een blauwe kom geserveerd worden," en een vierde die schreeuwt "Gebruik je handen niet!" Als je twintig van deze conflicterende briefjes op het recept stapelt, raakt de chef niet alleen in de war; hij geeft vaak de helft van de regels volledig op. Hij maakt misschien een sandwich, maar hij vergeet de rode ingrediënten. Hij gebruikt misschien de blauwe kom, maar negeert de regel "geen brood". En het engste deel? De chef vertelt je niet dat hij gefaald heeft. Hij serveert je gewoon een vreemde sandwich en zegt: "Hier is het."
Dit artikel, getiteld "Instruction Stacking Collapse," is een diepe duik in precies hoe dit gebeurt. De onderzoekers bouwden een grote speeltuin waar ze testten hoe goed drie verschillende top-AI-modellen (Claude Sonnet 4.6, GPT-5-mini en Gemini 2.5 Flash) een groeiende stapel instructies konden afhandelen. Ze begonnen met slechts één regel en voegden langzaam meer toe, tot wel twintig regels tegelijk.
De Crash: Wanneer Regels Met Elkaar Vechten
De resultaten waren dramatisch. Wanneer de AI slechts één instructie had om te volgen, was het een superster die het ongeveer 96% van de tijd goed deed. Maar naarmate de stapel regels groeide naar twintig, stortte de prestatie in.
- Het sterkste model (Claude Sonnet) daalde naar ongeveer 60% succes.
- Het middelste model (Gemini) viel naar 43%.
- Het zwakste model (GPT-5-mini) liep tegen een muur aan en slaagde slechts voor 20% van de instructies.
Het was geen langzame, saaie daling. Het was een "collaps" (instorting). De onderzoekers ontdekten dat de regels niet alleen verloren gingen; ze vochten actief tegen elkaar. Ze ontdekten een "conflictkaart". Bijvoorbeeld, als je de AI vertelt om "geldige JSON te produceren" (een specifief computercodeformaat) en het ook vertelt om "markdown headers te gebruiken" (zoals ##Titel), raakt de AI gestrest. Het kan niet beide doen. Als het voor JSON kiest, breekt het stilletjes de markdown-regel. Als het voor markdown kiest, breekt het de JSON-regel. Het artikel vond dat de instructie "output JSON" de grootste boelmaker was, die conflicten veroorzaakte met negen andere veelvoorkomende regels.
De Magische Oplossing: De Instructie-compiler
Is de oplossing dus om de AI gewoon minder regels te geven? Niet noodzakelijkerwijs. De onderzoekers vroegen zich af: "Kunnen we de prompt repareren voordat de AI hem ziet, zonder de AI iets nieuws te leren?"
Ze vonden een tool uit genaamd een Instruction Compiler. Denk aan deze compiler als een supergeorganiseerde assistent die naar jouw rommelige stapel van twintig plakbriefjes kijkt voordat je ze aan de chef overhandigt. De compiler doet drie dingen:
- Groepeert ze: Het zet alle "formaat"-regels bij elkaar en alle "lengte"-regels bij elkaar.
- Versmelt ze: Als twee regels hetzelfde zeggen, combineert de compiler ze tot één duidelijke zin.
- Prioriteert ze: Als twee regels botsen (zoals "gebruik JSON" versus "gebruik markdown"), voegt de compiler een notitie toe: "Hey, als deze twee botsen, doe dan eerst de JSON-regel."
Deze compiler draait één keer, creëert een schone, georganiseerde checklist, en vervolgens wordt diezelfde checklist gebruikt voor elke vraag die de AI beantwoordt. Het is also$ een enkele, perfect geschreven receptenkaart geven in plaats van een rommelige stapel briefjes.
De Verrassing: Wie Wordt Er Geholpen?
Dit is het meest interessante deel van het verhaal. De onderzoekers verwachtten dat deze "schone receptenkaart" iedereen gelijk zou helpen. Maar dat deed het niet. Het voordeel hing volledig af van hoe "slim" de chef (het AI-model) was.
- Voor de zwakkere modellen (zoals GPT-5-mini): De compiler was een reddingsboei. Het verhoogde hun succespercentage met +11 procentpunten. Het veranderde een model dat 80% van de tijd faalde in een model dat slechts 69% van de tijd faalde. Dit is enorm, omdat deze zwakkere modellen het meest worden gebruikt in de echte wereld omdat ze sneller en goedkoper zijn.
- Voor de sterkste modellen (zoals Claude Sonnet): De compiler deed bijna niets. Sterker nog, het schaadde hun prestaties licht (met ongeveer -1,2 punten).
Waarom? Het artikel suggereert dat de sterkste modellen zo slim zijn dat ze de structuur, de conflicten en de prioriteiten al zelf kunnen zien in een rommelige stapel van twintig regels. Ze hebben de compiler niet nodig om de aantekeningen voor hen te organiseren; sterker nog, de extra aantekeningen vervuilen hun denken alleen maar. De zwakkere modellen worden echter overweldigd door de chaos. Zij hebben de compiler nodig om als vertaler te fungeren, die de chaos omzet in een helder, stapsgewijs plan.
Wat Dit Voor Jou Betekent
Dit onderzoek vertelt ons twee belangrijke dingen. Ten eerste, wanneer we een AI vragen complexe dingen te doen met veel regels, kunnen we niet zomaar een muur van tekst naar haar toe gooien en verwachten dat het werkt. De regels zullen instorten en de AI zal stilletjes falen. Ten tweede, we hoeven geen grotere, slimmere robots te bouwen om dit op te lossen. Soms is de oplossing simpelweg betere organisatie.
Het artikel bewijst dat een eenvoudige, gratis tool die instructies reorganiseert, zwakkere AI-modellen kan redden en ze veel betrouwbaarder kan maken voor de taken die we dagelijks gebruiken. Het is een herinnering dat in de wereld van AI, de slimste zet soms niet is om de robot slimmer te maken, maar om de instructies duidelijker te maken. En voor de super slimme robots? Die vinden het waarschijnlijk prima om het zelf uit te zoeken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.