💬 NLP

Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models

Dit artikel presenteert een gecontroleerde evaluatie met behulp van het synthetische "Book of Veyra"-corpus over vijf modellen, waarbij wordt onthuld dat de naleving van instructies instort wanneer het aantal regels de 80 overschrijdt ongeacht het formaat, terwijl de prestaties bij lange contexten worden gekenmerkt door een scherpe degradatie van de herinnering en weigeringspercentages in plaats van hallucinaties, zonder dat er een consistent voordeel is voor markdown ten opzien van platte tekst.

Oorspronkelijke auteurs: Netanel Eliav

Gepubliceerd 2026-07-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Netanel Eliav

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij een taak moet uitvoeren. Je hebt een paar hendels waar je aan kunt trekhen om hem beter te laten werken. Eén hendel is formaat: je kunt je instructies schrijven als een nette lijst, een saaie paragraaf, een chique tabel, of gewoon als platte tekst. Je hebt ook een hendel genaamd schaal: hoeveel instructies je tegelijk aan de robot geeft, en hoeveel achtergrondinformatie (zoals een gigantisch boek) je hem vraagt te onthouden terwijl hij werkt. Voor een lange tijd voerden mensen discussie over welke schrijfstijl het beste was, uitgaande van de veronderstelling dat de robot ze perfect zou begrijpen, ongeacht hoeveel regels je toevoegde of hoe dik het boek was. Maar in de wereld van Kunstmatige Intelligentie, specifiek bij Large Language Models (het soort AI dat verhalen schrijft en vragen beantwoordt), is er een groeiend vermoeden dat deze hendels niet geïsoleerd werken. Als je de robot te veel regels geeft, of hem vraagt om te veel te onthouden, kan de stijl van je schrijven plotseling niet meer uitmaken, of erger nog, het kan op vreemde manieren beginnen te breken. Dit artikel stelt een simpele maar lastige vraag: helpt de manier waarop je je instructies formatteert eigenlijk, of raakt het gewoon verloren in de ruis wanneer de taak enorm wordt?

De onderzoekers achter deze studie, Netanel Eliav van het Machine Human Intelligence Lab, besloten te stoppen met gissen en te beginnen met testen. Ze bouwden een gigantisch, fictief universum genaamd de "Boek van Veyra". Denk aan een enorme, verzonnen encyclopedie met 8.780 unieke fictieve zaken—zoals zonnestelsels, gilden en vreemde wezens—elk met specifieke feiten over hen. Omdat het boek door een computerprogramma was gemaakt en niet door het internet te lezen, kon de AI het niet vooraf hebben opgenomen in zijn geheugen; de AI moest de geleverde pagina's daadwerkelijk lezen om de antwoorden te vinden. Ze namen ditzelfde boek en schreven het op vier verschillende manieren uit: als een Markdown-lijst (met vette koppen en opsommingstekens), als platte tekst (gewoon de woorden), als vloeiende proza (als een verhaal), en als een tabel. Vervolgens plaatsten ze dit boek voor vijf verschillende AI-modellen en voerden ze twee enorme experimenten uit.

Eerst testten ze Instructie-opvolging. Ze gaven de AI een lijst met regels om te volgen tijdens het schrijven van een korte essay. Ze begonnen met 10 regels en bleven er steeds meer aan toevoegen, tot wel 160 regels tegelijk. Ze wilden zien of de AI nog steeds al de regels perfect kon volgen naarmate de lijst langer werd, en of het schrijven van die regels in een chique lijstformaat meer hielp dan het schrijven in een paragraaf. Het resultaat was een harde crash. Het maakte niet uit hoe de regels werden geschreven, zodra de lijst ongeveer 80 regels bereikte, zakte het vermogen van de AI om elke enkele regel perfect op te volgen naar nul. Het maakte niet uit of de regels in een tabel of een lijst stonden; de AI gaf het simpelweg op om alles goed te doen. Verrassend genoeg deed de plek waar je de regels plaatste er meer toe dan hoe ze eruit zagen. Het plaatsen van de regels in de "system prompt" (de verborgen herseninstructies van de robot) versus de "user turn" (het chatbericht) veranderde de resultaten aanzienlijk, maar op verschillende manieren voor verschillende robots. Voor sommige modellen hielp het om de regels in de chat te zetten; voor anderen was het nadelig. Er was geen universele "beste" plek om ze te plaatsen.

Tweede testten ze Geheugen en Eerlijkheid met het Boek van Veyra. Ze voerden de AI stukken uit het boek in, variërend van 2.000 woorden tot een enorme 512.000 woorden. Ze vroegen de AI om specifieke feiten te herinneren, te controleren of de AI zou liegen om een onjuiste bewering te bevestigen (sycophancy/vleierij), of feiten zou verzinnen die er niet waren (hallucinatie). De resultaten waren fascinerend. Tot ongeveer 64.000 tot 128.000 woorden herinnerde de AI alles perfect, ongeacht het formaat. Maar zodra ze die drempel overschreden, werd het een puinhoop. De nauwkeurigheid nam niet geleidelijk af; het stortte in, en hoe het instortte hing volledig af van het formaat en het specifieke AI-model. Voor het ene model was platte tekst verschrikkelijk bij 128k woorden, terwijl lijsten en tabellen goed werkten. Voor een ander model was het tegenovergestelde waar. Er was geen enkel "beste" formaat.

Hier kwam de grootste verrassing: de AI begon niet vaker leugens te verzinnen of mee te gaan in onjuiste beweringen naarmate het boek langer werd. Sterker nog, de snelheid waarmee feiten werden verzonnen was nul, en het instemmen met leugens bleef zeer laag. In plaats daarvan begon de AI iets heel anders te doen: weigeren te antwoorden. Naarmate het boek dichter bij de geheugenlimiet van het model kwam, zei de AI gewoon: "Ik weet het niet" of "Ik kan die vraag niet beantwoorden", waarbij de AI soms tot wel 90% van de tijd weigerde te antwoorden. Het was niet in de war en aan het liegen; het was overweldigd en schakelde zichzelf uit.

Het paper keek ook naar de kosten. Sommige formaten, zoals tabellen, nemen meer "tokens" in beslag (de munteenheid die AI gebruikt om de tekstlengte te meten) dan platte tekst. Wanneer de onderzoekers de scores aanpasten om te zien welk formaat de beste nauwkeurigheid per uitgegeven token gaf, veranderden de winnaars opnieuw. Soms was een formaat dat er iets minder nauwkeurig uitzag eigenlijk een betere deal omdat het goedkoper was om te lezen.

De belangrijkste les is dat je niet zomaar een "beste" formaat kunt kiezen, zoals Markdown of een tabel, en dan kunt aannemen dat het altijd zal werken. Het paper bewijst dat formaat nutteloos is als je niet ook de schaal in overweging neemt. Als je te veel instructies hebt (ongeveer 80 of meer), doet het formaat er niet toe omdat de AI tegen een muur aanloopt. Als je een enorme context hebt (meer dan 128k woorden), doet het formaat er wel degelijk toe, maar het "beste" formaat verandert afhankelijk van welk AI-model je gebruikt. De auteurs concluderen dat de foutmodus waar we ons zorgen over moeten maken niet het liegen van de AI is; het is het opgeven en weigeren te antwoorden wanneer de taak te groot wordt. Ze hebben al hun tools en het fictieve "Boek van Veyra" vrijgegeven zodat iedereen deze grenzen zelf kan testen, want de regels van het spel lijken te veranderen voor elke nieuwe robot die je ontmoet.

Technische Samenvatting: Prompt Design op Schaal

Probleemstelling

Praktijkbeoefenaars die Large Language Model (LLM)-systemen ontwerpen, moeten momenteel drie cruciale beslissingen nemen met weinig gecontroleerd bewijs: hoe instructies en context te formatteren (markdown, platte tekst, proza of tabel), hoeveel gelijktijdige instructies een systeem kan verwerken voordat de naleving verslechtert, en hoeveel context een model kan behouden voordat het geheugen en de eerlijkheid falen. Bestaande literatuur bestudeert deze factoren doorgaans in isolatie—ofwel door het formaat te variëren terwijl de schaal constant wordt gehouden, ofwel door de schaal (instructieaantal of contextlengte) te variëren terwijl het formaat vaststaat. Dit paper betoogt dat een formaat niet geïsoleerd van schaal kan worden geëvalueerd; een formaat dat goed presteert bij een lage schaal kan catastrofaal falen bij een hoge schaal, en vice versa.

Methodologie

De auteurs voerden twee gecontroleerde experimenten uit met gebruik van een enkele, contaminatievrije synthetische corpus, de "Book of Veyra", die deterministisch is gegenereerd vanuit een vaste seed zonder LLM-betrokkenheid. De corpus bevat 8.780 uniek benoemde fictieve entiteiten met onderling verbonden attributen, wat zorgt voor geen pre-training leakage.

De Corpus en Weergaven:
De onderliggende feiten werden in vier verschillende formaten weergegeven, waarbij de inhoud byte-identiek bleef over alle versies:

Markdown: Koppen en vette key-value bullets.
Platte Tekst: Identieke inhoud waarbij alle markup is verwijderd.
Proza: Stromende narratieve zinnen.
Tabel: Markdown key-value tabellen.

Experiment 1: Achteruitgang in Instructie-opvolging

Ontwerp: Modellen kregen de taak om essays te schrijven terwijl ze zich hielden aan $N$ gelijktijdige, programmatisch verifieerbare regels (waarbij $N \in \{10, 20, 40, 80, 120, 160\}$ ).
Variabelen: Het regelblok werd in alle vier de formaten weergegeven en geplaatst in ofwel de system prompt of de user turn.
Modellen: Vijf modellen uit twee capaciteitstiers en drie families: Claude Sonnet 5, Claude Haiku, Gemini Flash, Qwen 27B, en Qwen 35B.
Metriek: Perfect-response rate (alle regels voldaan).

Experiment 2: Hallucinatie over de Context-ladder

Ontwerp: De Book of Veyra werd opgedeeld in een context-ladder variërend van 2k tot 512k tokens.
Probes: Op elk niveau werden drie typen probes getest:
1. Recall: Het ophalen van specifieke, onvoorspelbare feiten.
2. False-Premise: Testen van instemming met gestelde onwaarheden (sycophancy).
3. Absent-Fact: Testen van het fabriceren van feiten die nooit zijn vermeld.
Metrieken: Recall-nauwkeurigheid, sycophancy-rate, fabricatie-rate en weigeringsrate (refusal rate).

Belangrijkste Bijdragen

Joint Decay-and-Placement Analyse: Het paper kruist de achteruitcurven van instructie-aantallen met zowel formaat als prompt-plaatsing (system vs. user turn), en vindt dat plaatsingseffecten de formaateffecten in grootte evenaren of zelfs overtreffen, hoewel de richting model-specifiek is.
Vier-Formaat, Long-Context Factoriaal: Het meet recall, sycophancy en fabricatie gezamenlijk over een 2k–512k token ladder in vier formaten op een enkele corpus, een combinatie die voorheen niet is onderzocht.
Structuur-versus-Syntaxis Decompositie: Door de inhoud identiek te houden in lijst-gestructureerde markdown, tabellen, ongestructureerde platte tekst en proza, isoleert de studie of "structuur" over het algemeen helpt of of "tabulaire structuur" het specifieke actieve ingrediënt is.
Token-Overhead-Aangepaste Nauwkeurigheid: De auteurs demonstreren dat de nauwkeurigheidsvoordelen van formaten niet altijd standhouden wanneer ze worden aangepast voor de token-overhead (22%–37% hoger voor gestructureerde formaten).
VeyraBench: De release van de volledige benchmark-harness, de corpus-generator en de ruwe resultaten voor byte-identieke reproductie.

Belangrijkste Resultaten

Instructie-opvolging (Experiment 1)

De Decay Floor: De perfect-response rates storten in naar nul bij $N=80$ voor elk model, formaat en plaatsing. Dit "vloereffect" is onafhankelijk van het formaat.
Geen Universele Formaatwinnaar: Geen enkel model gaf consequent de voorkeur aan markdown. Eén model (Qwen 35B) gaf bij hoge instructie-aantallen consequent de voorkeur aan platte tekst boven markdown.
Plaatsing Doet Er Toe: Het verplaatsen van het regelblok van de system prompt naar de user turn veranderde de naleving aanzienlijk (tot 8,7 procentpunten) voor vier van de vijf modellen. De richting van het effect was model-specifiek (het hielp sommige modellen, terwijl het anderen benadeelde).
Model-Specifieke Ineenstorting: Gemini Flash vertoonde een scherpe, model-specifieke ineenstorting in prestaties voor proza- en tabelformaten bij $N \ge 40$ , gekoppeld aan een "hidden-reasoning-leakage" faalmodus waarbij het model interne verificatietekst produceerde in plaats van het essay.

Long-Context Hallucinatie (Experiment 2)

Recall Nauwkeurigheid: Recall bleef nabij het plafond (0,98–1,00) tot 64k–128k tokens, waarna het scherp degradeerde. De degradatie was formaat-afhankelijk en volgde de nabijheid van de effectieve context-limiet van het model in plaats van het absolute aantal tokens.
Geen Universele Rangschikking: Noch de hypothese "structuur helpt", noch "tabellen helpen" bleek waar. Proza was de beste performer in verschillende high-stress scenario's, terwijl platte tekst in andere scenario's de slechtste was. De rangschikking van formaten klom om tussen modellen en contextlengtes.
Nulresultaten voor Fabricatie en Sycophancy:
- Fabricatie: 0/5.760 absent-fact probes resulteerden in fabricatie.
- Sycophancy: Instemming met valse premissen bleef verwaarloosbaar ( $\le 8,3\%$ ) gedurende het hele proces.
De Opkomst van Weigering (Refusal): De primaire faalmodus nabij de context-limieten was niet hallucinatie, maar het expliciet weigeren om te antwoorden. De weigeringsrates stegen scherp (tot 89,6% voor Claude Haiku bij zijn limiet) naarmale de contextlengte toenam, een duidelijk onderscheidend faalmechanisme van sycophancy of fabricatie.
Kosten-Aangepaste Nauwkeurigheid: In gevallen waar de ruwe nauwkeurigheid significant verschilde, zorgde de token-overhead van gestructureerde formaten (bijv. tabellen die 1,367× duurder zijn dan platte tekst) er vaak voor dat de rangschikking werd omgedraaid, waardoor platte tekst of proza de meer efficiënte keuze werd.

Betekenis en Claims

Het paper claimt dat de heersende aanname dat een formaat geïsoleerd geoptimaliseerd kan worden, een fout is. De belangrijkste bevinding is dat noch het effect van een formaat, noch de richting ervan, voorspeld kan worden zonder rekening te houden met schaal.

Schaalafhankelijkheid: De prestaties van een formaat zijn onlosmakelijk verbonden met het aantal instructies en de contextlengte. Een "best practice" voor 10 instructies kan een faalmodus zijn voor 100 instructies.
Weigering boven Hallucinatie: Naarmate modellen hun context-limieten naderen, verschuift de dominante faalmodus van het genereren van onjuiste informatie (hallucinatie/sycophancy) naar het weigeren om te antwoorden. Systemen die alleen monitoren op foutieve antwoorden, kunnen deze kritieke degradatie missen.
Model-Specificiteit: Er is geen universeel "beste" formaat of plaatsing. Effecten zijn zeer model-specifiek; een configuratie die werkt voor het ene model, kan de prestaties van een ander model verslechteren.
Praktische Implicatie: Praktijkbeoefenaars moeten niet standaard uitgaan van markdown of een specifiek ander formaat zonder empirische tests op hun specifieke model en schaal. Bovendien, wanneer het aantal instructies de ~40 overschrijdt, is de oplossing waarschijnlijk architecturaal (taken splitsen) in plaats van prompt-engineering (herformateren).

De auteurs concluderen dat claims over optimale prompt-formaten expliciet de schaal (instructieaantal of contextlengte) moeten vermelden waarop ze gemeten zijn om betekenisvol te zijn. Het paper biedt VeyraBench om de gemeenschap in staat te stellen deze drempels naarmate modellen evolueren opnieuw te meten.