Your Prompt Is Not the Only Prompt: How Much Do LLMs Weight Structured-Output Schema Descriptions?
Dit artikel toont aan dat hoewel systeemprompts over het algemeen de veiligste standaard blijven voor instructieplaatsing, schema-beschrijvingen een krachtig en modelafhankelijk instructiekanaal zijn dat prompts kan overstijgen, wat maakt dat verenigd schema-ontwerp en empirische validatie cruciaal zijn voor het optimaliseren van de prestaties van gestructureerde output.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, maar ietwat letterlijke robot probeert te leren hoe hij een stapel gemengd speelgoed moet sorteren. Je hebt twee manieren om hem instructies te geven: je kunt direct tegen hem praten (zoals een leraar die een college geeft), of je kunt hem een speciaal formulier geven met vakjes die hij moet invullen, waarbij de instructies direct naast de vakjes staan geschreven. Dit is de wereld van "Large Language Models" (LLMs), de hersenen achter veel moderne AI-tools. Meestal denken mensen dat het "gesprek" (de prompt) de plek is waar de echte regels leven, en dat het "formulier" (de gestructureerde output-schema) slechts een saai sjabloon is dat de robot moet volgen. Maar de laatste tijd vragen ontwikkelaars zich af: leest de robot de aantekeningen op het formulier eigenlijk wel, of negeert hij ze gewoon en luistert hij alleen naar de leraar? Deze vraag is belangrijk, want als we onze belangrijkste regels op de verkeerde plek zetten, kan de robot het speelgoed volledig verkeerd sorteren, waardoor de apps en tools waar we dagelijks op vertrouwen, kapot gaan.
Een onderzoeker genaamd Sin-Ying (Alina) Lin besloot dit debat te beslechten met een slim experiment. In plaats van erover te discussiëren, zette ze een spel op waarbij een robot korte berichten moest sorteren in vier geheime categorieën, gebruikmakend van verzonnen namen zoals "tomil" en "varek", zodat de robot de antwoorden niet kon raden op basis van algemene kennis. Ze speelde vervolgens een spelletje "stoeltjesdraaien" met de instructies, waarbij ze exact dezelfde definities verplaatste van de lezing van de leraar (de system prompt) naar de aantekeningen op het formulier (de schema description), en soms zelfs de definities in het chatvenster van de gebruiker plaatste.
Wat ze ontdekte was een beetje een verrassing: de oren van de robot zijn niet allemaal even groot. Voor sommige modellen, zoals GPT-4.1 en GPT-5.4 (zonder speciale denkmodi), was de stem van de leraar de koning. Wanneer de definities naar het formulier werden verplaatst, raakten deze robots in de war en daalde hun nauwkeurigheid met ongeveer 11 tot 13 procentpunten. Ze leken te denken: "Het formulier is alleen om in te vullen; de echte regels staan in de toespraak!" Echter, voor andere modellen, zoals Claude Haiku 4.5, was het formulier juist de baas. Wanneer de instructies op het formulier werden veranderd naar iets onjuists, stortte de prestatie van deze robot in van een nauwkeurigheid van 52,5% naar een ellendige 7%. Het bleek dat voor sommige robots de aantekeningen op het formulier zo luid zijn dat ze de juiste instructies van de leraar overstemmen.
Het paper ontdekte ook een "magische truc" om de robots die het formulier negeerden te repareren. Door een verplichte stap toe te voegen waarbij de robot zijn redenering moest opschrijven in een vakje voordat hij het definitieve antwoord kon kiezen, steeg de prestatie met 15 tot 24 procentpunten. Het was alsof het dwingen van de robot om "zijn werk te laten zien" hem ertoe maakte om aandacht te besteden aan de regels die op het formulier stonden geschreven.
De grote les is dus niet dat de ene plek altijd beter is dan de andere. In plaats daarvan suggereert het paper dat elk robotmodel zijn eigen persoonlijkheid heeft en naar verschillende kanalen luistert met verschillende volumes. De veiligste keuze is voorlopig om je belangrijkste regels in de system prompt te houden (de stem van de leraar), maar je moet er wel voorzichtig mee zijn dat je geen tegenstrijdige regels op het formulier zet, of sommige robots zullen de verkeerde regels volgen. De echte les is dat je het niet kunt gokken; je moet elke robot testen om te zien waar hij het beste naar luistert, en soms is het simpelweg veranderen van de vorm van het formulier om een "denkstap" te bevatten een krachtiger middel dan het volledig herschrijven van de instructies.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.