Testing JSON Schema Instruction Artifacts: Distributional Robustness under Validation-Equivalent Serialization and JSON Mode
Deze studie toont aan dat validatie-equivalente JSON Schema-serialisaties statistisch significante en praktisch betekenisvolle veranderingen in de outputdistributies van taalmodellen kunnen induceren, wat onthult dat validatie-equivalentie alleen een onvoldoende regressie-orakel is voor het waarborgen van distributionele robuustheid in ingezette systemen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, maar enigszins letterlijke robot de instructies geeft om een specifiek type sandwich te bouwen. Je schrijft de instructies op een stuk papier. Stel je nu een magische stempel voor met de tekst: "Dit recept voor een sandwich is perfect." Deze stempel controleert of je alle juiste ingrediënten hebt (brood, kaas, ham) en of je niet per ongeluk de mosterd bent vergeten. Maar hier is de crux: de stempel geeft niet om de volgorde waarin je de stappen hebt opgeschreven. Of je nu zegt "Leg de ham op het brood, en dan de kaas" of "Leg de kaas op het brood, en dan de ham", de stempel geeft dezelfde "Perfect"-duim omhoog omdat de uiteindelijke sandwich uit dezelfde onderdelen bestaat.
In de wereld van computerwetenschappen wordt deze "stempel" een JSON Schema genoemd. Dit is een regelboek dat computersystemen vertelt hoe een stukje data eruit moet zien. Wanneer we kunstmatige intelligentie (AI) vragen om code te schrijven of informatie te organiseren, geven we deze vaak dit regelboek als een set instructies. De grote vraag die onderzoekers zich hebben gesteld is: als we de volgorde van de instructies op het papier door elkaar husselen — zonder de eigenlijke regels of de "perfecte" stempel te veranderen — bouwt de AI dan nog steeds exact dezelfde sandwich? Of raakt de AI in de war door de nieuwe volgorde en serveert het iets dat net even anders is, ook al voldoet het aan de controle van de stempel? Dit is belangrijk omdat als de AI van gedachten verandert, alleen maar omdat we de woorden hebben herschikt, het onbetrouwbaar wordt voor belangrijke taken zoals medische dossiers of financiële rapporten.
Dit artikel is als een detectiveverhaal waarin de auteur, Shengyao Sun, onderzoekt of het "brein" van de AI gevoelig is voor de volgorde van woorden in deze regelboeken. De studie testte dit door verschillende AI-modellen dezelfde puzzels te laten oplossen met dezelfde regelboeken, maar met de instructies in een andere volgorde geschreven. Ze vroegen het niet slechts één keer; ze vroegen het vijf keer voor elke versie om er zeker van te zijn dat eventuele veranderingen niet louter op toeval berustten. Ze ontdekten dat voor sommige AI-systemen de volgorde van de woorden er wel toe deed. Wanneer de volgorde van de eigenschappen (zoals "naam" of "leeftijd") werd omgewisseld, begon de AI andere antwoorden te geven, ook al waren de antwoorden technisch gezien nog steeds "correct" volgens het regelboek.
Echter, het verhaal is niet voor elk AI-systeem hetzelfde. De auteur ontdekte dat deze "volgordegevoeligheid" volledig afhangt van welk specifiek AI-systeem je gebruikt. Voor de "Sonnet"- en "Qwen"-systemen zorgde het husselen voor merkbare veranderingen in de antwoorden — ongeveer 5% tot 12% meer onenigheid dan gebruikelijk. Maar voor de "GPT"- en "DeepSeek"-systemen maakte het husselen vrijwel geen verschil. De studie controleerde ook of een speciale "JSON Mode" (een instelling die de AI vertelt extra voorzichtig te zijn met de opmaak) het probleem zou oplossen. Verrassend genoeg deed dat niet; de AI raakte nog steeds in de war door de volgorde van de woorden, zelfs in deze strikte modus.
De belangrijkste les is dat alleen omdat een computerprogramma zegt dat een instructieset "geldig" of "correct" is, het niet betekent dat de AI op dezelfde manier zal handelen als je de opmaak aanpast. De auteur suggereert dat we deze instructiesets niet langer alleen op de "stempel" moeten vertrouwen. In plaats daarvan moeten we deze instructiesets behandelen als softwarecode: we moeten ze vastleggen in een standaardvolgorde (zoals het altijd alfabetisch opsommen van ingrediënten) en ze zorgvuldig testen voordat we ze in de echte wereld in gebruik nemen. De studie bewijst dat validatie niet genoeg is; we moeten controleren of het gedrag van de AI stabiel blijft wanneer de instructies worden gehusseld, want voor sommige AI's is de volgorde van de woorden in het geheim onderdeel van het recept.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.