🤖 AI

Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking

Dit artikel introduceert de Format Sensitivity Index (FSI) en de Parseability Sensitivity Index (PSI) om aan te tonen dat kleine verschillen in de opmaak van prompt-wrappers leiden tot significante, modelafhankelijke scorevariaties en het niet naleven van instructies, waarbij wordt betoogd dat het nauwkeurigheid van benchmarks zonder rekening te houden met deze variantie statistisch fragiel is.

Oorspronkelijke auteurs: Deep Pankajbhai Mehta

Gepubliceerd 2026-07-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Deep Pankajbhai Mehta

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jurylid bent bij een talentenjacht, maar in plaats van naar de zangers te luisteren, mag je alleen hun songteksten lezen. Stel je nu voor dat sommige zangers de opdracht krijgen om hun songteksten op een blanco vel papier te schrijven, terwijl anderen gedwongen worden om ze in een chique, rigide JSON-doos te schrijven, en anderen weer hun woorden moeten verpakken in een specifieke "BEGIN/END"-sandwich.

Je zou verwachten dat het talent van de zanger hetzelfde blijft, toch? Het liedje zou niet moeten veranderen omdat het papier veranderde. Maar volgens dit onderzoek van Deep Pankajbhai Mehta van Adobe is dat precies wat er gebeurt met AI-modellen. Het "papier" (de prompt wrapper) doet er zo veel toe dat het de hele ranglijst kan omdraaien, waardoor een genie een amateur lijkt en een amateur een genie.

De Grote Formaat-Schudding
De onderzoekers voerden een enorm experiment uit, waarbij ze 14o,000 antwoorden genereerden van vier verschillende AI-modellen (variërend van 7 miljard tot 72 miljard "hersencellen") over zeven verschillende vraag-antwoordsessies. Ze testten vijf verschillende "wrapper"-stijlen:

Plain: Alleen het antwoord.
JSON: Strikt computerformaat.
Structured: Key-value paren.
Structured with Delimiters: Key-value paren met speciale tags zoals <BEGIN ANSWER>.
Deliberate: Een kladblok om na te denken, gevolgd door het antwoord.

Het resultaat? De modellen waren extreem gevoelig voor deze formatteringregels. Voor sommige modellen zorgde het veranderen van de wrapper ervoor dat hun nauwkeurigheid wild fluctueerde. Eén model, Phi-4, was een totale dramaqueen: de nauwkeurigheid van het model sprong met een enorme 0,763 (een enorme marge) door het veranderen van de wrapper. In contrast hiermee was de reus Qwen-2.5-72B een relaxte rockster, die nauwelijks bewoog met een schommeling van slechts 0,024.

Het "Kun Je Dit Lezen?" Probleem
Waarom veranderden de scores zo erg? Het artikel suggereert dat dit niet kwam omdat de AI plotseling slimmer of dommer werd in de eigenlijke vragen. Het was vooral een compliance-probleem (nalevingsprobleem).

Denk aan een verkoopautomaat die alleen munten accepteert. Als je probeert een bankbiljet erin te stoppen (zelfs als het een geldig biljet is), wijst de machine het af. In de studie, toen de AI probeerde een strikte JSON-regel te volgen maar per ongeluk een markdown code fence toevoegde (zoals een klein ``` symbool), kon de machine (de antwoord-extractor) het niet lezen. Het antwoord werd gemarkeerd als "onparseerbaar", wat als een fout antwoord werd geteld.

De gegevens tonen een sterke link: wanneer de AI niet "parseerbaar" (machineleesbaar) was, stortte de nauwkeurigheid vaak naar bijna nul. Voor het Phi-4 model met de strikte JSON-wrapper produceerde het in 85,3% van de generaties outputs die begonnen met een markdown code fence, wat resulteerde in een parseerbaarheid van slechts 2,8% en een nauwkeurigheid van 0,7%. De onderzoekers ontdekten dat "parseerbaarheid" een grote voorspeller van succes was, wat ongeveer 82% van de resterende verschillen in scores verklaarde nadat rekening was gehouden met het model en de taak.

Wat Dit Betekent voor de Toekomst
Het artikel betoogt dat het rapporteren van één enkel nauwkeurigheidsgetal voor een AI vergelijkbaar is met het rapporteren van één enkele temperatuur zonder te zeggen of het in Fahrenheit of Celsius is—het is misleidend. Als een keuze voor een wrapper een score met 0,76 kan veranderen, dan is dat enkele getal "statistisch fragiel".

De auteurs suggerelen dat we, wanneer we AI testen, niet zomaar één wrapper moeten kiezen en hopen op het beste. In plaats daarvan moeten we:

De reeks scores over verschillende wrappers rapporteren (zoals een "gevoeligheidsindex").
Controleren of de antwoorden daadwerkelijk parseerbaar zijn.
Voorzichtig zijn met het gebruik van strikte formattering in real-world applicaties, tenzij de AI door zijn decoder (het deel dat de tekst genereert) wordt gedwongen de regels te volgen, en niet alleen door de prompt.

De Kern van het Verhaal
Dit onderzoek zegt niet dat AI kapot is; het zegt dat onze meetlat wiebelig is. De "Format Sensitivity Index" (FSI) en de "Parseability Sensitivity Index" (PSI) zijn nieuwe instrumenten om te meten hoeveel de score van een model afhangt van de wrapper. De bevindingen suggereren dat voor sommige modellen de keuze van de wrapper belangrijker is dan de werkelijke intelligentie van het model. Totdat we dit oplossen, kan de "beste" AI op een ranglijst simpelweg de AI zijn die toevallig de specifieke formatteringstijl van de persoon die de test heeft gebouwd, leuk vond.

Technische Samenvatting: Formaatgevoeligheidsindex en Token-gecontroleerde Prompt-wrappers

Probleemstelling

Benchmarks voor Large Language Models (LLM's) vertrouwen steeds vaker op prompt-wrappers—templates die delimiters, JSON-instructies of stapsgewijze formattering bevatten—om de output van modellen te structureren. Hoewel deze bedoeld zijn als semantisch irrelevant, zijn deze wrappers zelden gestandaardiseerd over onderzoeksartikelen, toolkits of leveranciers. Dit gebrek aan standaardisatie creëert een methodologische foutmodus: de gerapporteerde prestaties van een model kunnen aanzienlijk fluctueren op basis van enkel de keuze van de wrapper, in plaats van de onderliggende capaciteit.

De kern van het probleem is dat veel benchmark-pipelines een enkele nauwkeurigheidsscore rapporteren per model per taak, waarbij structurele output-foutmodi (bijv. naleving van schema's, tool calls) worden genegeerd die dominant zijn in real-world implementaties. Wanneer een model faalt om een output te parsen volgens de extractor van de benchmark (bijv. door markdown code fences of ontbrekende JSON-sleutels), wordt de run als onjuist gescoord. Dit "compliance-probleem" kan ervoor zorgen dat een model bijna willekeurig lijkt te presteren onder een strikte JSON-wrapper, terwijl het goed presteert onder een delimiter-gebaseerde wrapper, wat potentieel tot omgekeerde conclusies op leaderboards kan leiden.

Methodologie

De auteurs stellen een token-gecontroleerd protocol voor om de variantie te isoleren die specifelijk wordt veroorzaakt door de wrapper-formattering, waarbij rekening wordt gehouden met verschillen in promptlengte en tokenaantal.

Experimentele Opzet

Modellen: Vier instructie-getunede modellen die via OpenRouter worden benaderd, variërend van 7B tot 72B parameters: Mistral-7B-Instruct-v0.3, Gemma-2-9B-IT, Phi-4, en Qwen-2.5-72B-Instruct.
Taken: Zeven breed gebruikte QA-stijl benchmarks (BoolQ, PIXI, ARC-Challenge, HellaSwag, WinoGrande, CommonsenseQA, GSM8K), met 200 voorbeelden gesampled per taak.
Wrapper-families: Vijf verschillende wrapper-typen werden geëvalueerd:
1. Plain: Minimale instructies.
2. JSON: Strikte JSON met een answer veld.
3. Structured: Key-value velden.
4. Structured Delim: Key-value velden met expliciete delimiter tokens (<BEGIN ANSWER>).
5. Deliberate: Een scratchpad voor redenering gevolgd door een definitief antwoordveld.
Token Control: Om de confound van variërende promptlengtes te mitigeren, werden prompts opgevuld tot een vast karakterbudget per taak. De gerealiseerde tokenaantallen werden gelogd, en een relatieve token-spreidingsmetriek ( $\Delta_{tok}$ ) werd berekend. Resultaten werden gerapporteerd op de volledige dataset en een gematchte subset gefilterd op $\Delta_{tok} \le 5\%$ .
Generatie: In totaal werden 140.000 generaties geproduceerd (4 modellen $\times$ 7 taken $\times$ 5 wrappers $\times$ 200 voorbeelden $\times$ 5 seeds).

Metrieken

Het paper introduceert twee primaire gevoeligheidsmetrieken:

Format Sensitivity Index (FSI): Het bereik van de nauwkeurigheid veroorzaakt door de keuze van de wrapper voor een gegeven model en taak ( $FSI = \max_f A_{m,t,f} - \min_f A_{m,t,f}$ ).
Parseability Sensitivity Index (PSI): Het overeenkomstige bereik in antwoord-parseerbaarheid ( $PSI = \max_f P_{m,t,f} - \min_f P_{m,t,f}$ ).

Om de ruisgevoeligheid van range-statistieken aan te pakken, rapporteren de auteurs ook een genormaliseerde FSI (nFSI) en bootstrap-betrouwbaarheidsintervallen.

Belangrijkste Resultaten

1. Extreme Variantie over Modellen

Formaatgevoeligheid varieert scherp tussen modellen.

Qwen-2.5-72B vertoonde bijna formaat-invariantie, met een gemiddelde FSI van 0,024 (95% CI [0,014, 0,035]).
Phi-4 vertoonde een hoge gevoeligheid, met een gemiddelde FSI van 0,763 (95% CI [0,607, 0,872]).
De gemiddelde FSI varieerde met meer dan 30 keer over de geteste modellen.
Genormaliseerde gevoeligheid (nFSI) accentueerde dit contrast, waarbij Phi-4 een nFSI van 2,37 liet zien, wat aangeeft dat de keuze van de wrapper de gemiddelde score kan domineren.

2. Parseerbaarheid als Primaire Driver

Nauwkeurigheid en parseerbaarheid zijn sterk gecorreleerd ( $r = 0,825$ ). Een fixed-effects regressieanalyse ( $A_{m,t,f} = \beta P_{m,t,f} + \alpha_m + \gamma_t + \delta_f + \epsilon$ ) toonde aan dat parseerbaarheid een sterke voorspeller is van nauwkeurigheid ( $\hat{\beta} = 0,819$ ), wat een aanzienlijk deel van de residuele variantie verklaart ( $R^2 = 0,82$ ).

Casestudy: Onder de strikte JSON-wrapper produceerde Phi-4 in 85,3% van de generaties outputs met markdown code fences, wat resulteerde in een parseerbaarheid van 2,8% en een nauwkeurigheid van 0,7%.
Dit suggereert dat veel door wrappers veroorzaakte scoreveranderingen worden gedreven door de vraag of de output machine-consumeerbaar is (parseerbaar) dan wel door een gebrek aan redeneervermogen.

3. Wrapper Prestatieverdeling

Geen enkele wrapper is universeel optimaal. Hoewel delimiter-gebaseerde gestructureerde wrappers het meest vaak wonnen (12 van de 28 model-taak combinaties), wonnen "deliberate" en "structured" wrappers ook niet-triviaal. Dit ondersteunt het argument voor het rapporteren van een distributie van scores over wrappers in plaats van het selecteren van een enkel "beste" formaat.

4. Stabiliteit van Token Control

Het token-padding protocol slaagde erin de token-spreiding te verminderen, maar niet te elimineren. De mediane relatieve token-spreiding was 4,1%. Cruciaal is dat de conclusies stabiel bleven wanneer gefilterd werd op lage token-spreiding ( $\Delta_{tok} \le 5\%$ ), waarbij de gemiddelde FSI slechts verschoof van 0,391 naar 0,394.

Betekenis en Aanbevelingen

Het paper betoogt dat het rapporteren van nauwkeurigheid zonder rekening te houden met wrapper-variantie en compliance statistisch fragiel is. De auteurs geven de volgende aanbevelingen:

Voor Benchmarking: Papers en leaderboards zouden moeten rapporteren:
1. De specifieke wrapper-familie die gebruikt is.
2. Prompt token counts.
3. Parseerbaarheidscijfers.
4. Een onzekerheidsbewuste gevoeligheidsmetriek (bijv. FSI met betrouwbaarheidsintervallen) of het nauwkeurigheidsinterval $[\min_f A, \max_f A]$ .
Voor Gestructureerde Output-implementaties: Alleen prompting is vaak onvoldoende voor strikte schema's. Als downstream consumenten broos zijn, kan de ineenstorting van de parseerbaarheid de gemeten nauwkeurigheid domineren. De auteurs suggereren het gebruik van FSI en PSI als diagnostische instrumenten om te bepalen wanneer decoder-tijd beperkingen (bijv. grammatica's, schema-geconstreelde decoding, of vendor structured-output modi) noodzakelijk zijn.

Beperkingen

De auteurs erkennen verschillende beperkingen:

FSI is een range-statistiek die gevoelig is voor uitschieters, hoewel dit wordt gemitigeerd door bootstrapping.
Token control werd bereikt via karakter-padding, niet via strikte token-equalisatie.
De modelset is klein en mengt verschillende schalen, wat betekent dat robuustheid zowel de modelgrootte als de architectuur kan reflecteren.
De studie richt zich op single-turn QA; multi-turn toolgebruik en codegeneratie kunnen andere dynamieken vertonen.
Parser-striktheid varieert; de studie rapporteert over strikte en genormaliseerde extractie, maar benchmarkt niet direct decoder-tijd handhavingsmodi.

Concluderend stelt het paper dat betrouwbare benchmarking en gestructureerde-output systemen vereisen dat men de formaatgevoeligheid meet en vaak reduceert, waarbij prompt-wrappers worden behandeld als een significante, ondergerapporteerde confound in de evaluatie van LLM's.