🤖 AI

Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking

Dieses Paper führt den Format Sensitivity Index (FSI) und den Parseability Sensitivity Index (PSI) ein, um zu demonstrieren, dass geringfügige Formatunterschiede in Prompt-Wrappern signifikante, modellabhängige Score-Variationen und Compliance-Fehler verursachen, wobei argumentiert wird, dass das Benchmarking der Genauigkeit ohne Berücksichtigung dieser Varianz statistisch fragil ist.

Ursprüngliche Autoren: Deep Pankajbhai Mehta

Veröffentlicht 2026-07-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Deep Pankajbhai Mehta

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Juror bei einer Talentshow, aber anstatt den Sängern zuzuhören, dürfen Sie nur deren Songtexte lesen. Stellen Sie sich nun vor, einige Sänger werden angewiesen, ihre Texte auf ein einfaches Blatt Papier zu schreiben, während andere gezwungen sind, ihre Texte in eine schicke, starre JSON-Box zu schreiben, und andere wiederum müssen ihre Worte in ein spezielles „BEGIN/END“-Sandwich einpacken.

Sie würden erwarten, dass das Talent des Sängers gleich bleibt, oder? Das Lied sollte sich nicht ändern, nur weil sich das Papier geändert hat. Doch laut dieser Studie von Deep Pankajbhai Mehta von Adobe ist genau das bei KI-Modellen der Fall. Das „Papier“ (der Prompt-Wrapper) spielt eine so große Rolle, dass es die gesamte Bestenliste umwerfen kann – ein Genie wie einen Anfänger aussehen lassen und einen Anfänger wie ein Genie.

Der große Format-Umschwung
Die Forscher führten ein riesiges Experiment durch, bei dem sie 140.000 Antworten von vier verschiedenen KI-Modellen (mit einer Spanne von 7 Milliarden bis 72 Milliarden „Gehirnzellen“) für sieben verschiedene Fragen-Antwort-Aufgaben generierten. Sie testeten fünf verschiedene „Wrapper“-Stile:

Plain: Nur die Antwort.
JSON: Strenges Computercode-Format.
Structured: Schlüssel-Wert-Paare.
Structured with Delimiters: Schlüssel-Wert-Paare mit speziellen Tags wie <BEGIN ANSWER>.
Deliberate: Ein „Scratchpad“ zum Nachdenken, gefolgt von der Antwort.

Das Ergebnis? Die Modelle reagierten extrem empfindlich auf diese Formatierungsregeln. Bei einigen Modellen verursachte die Änderung des Wrappers massive Schwankungen in der Genauigkeit. Ein Modell, Phi-4, war eine totale Drama-Queen: Seine Genauigkeit sprang allein durch die Änderung des Wrappers um gewaltige 0,763 (eine riesige Spanne). Im Gegensatz dazu war der Gigant Qwen-2.5-72B ein entspannter Rockstar, der sich mit einer Schwankung von nur 0,024 kaum bewegte.

Das „Können Sie das lesen?“-Problem
Warum änderten sich die Punktzahlen? Die Studie legt nahe, dass es nicht daran lag, dass die KI plötzlich klüger oder dümmer bei den eigentlichen Fragen wurde. Es handelte sich hauptsächlich um ein Compliance-Problem.

Stellen Sie sich das wie einen Verkaufsautomaten vor, der nur Münzen akzeptiert. Wenn Sie versuchen, einen Geldschein einzuführen (selbst wenn es ein gültiger Dollar ist), lehnt der Automat ihn ab. In der Studie versuchte die KI, einer strengen JSON-Regel zu folgen, fügte aber versehentlich ein Markdown-Code-Fence (wie ein kleines ``` Symbol) hinzu, wodurch die Maschine (der Antwort-Extraktor) sie nicht lesen konnte. Die Antwort wurde als „nicht parsbbar“ markiert, was als falsche Antwort zählte.

Die Daten zeigen eine starke Verbindung: Wenn die KI nicht „parsbar“ (maschinenlesbar) war, stürzte ihre Genauigkeit oft auf nahezu Null ab. Das Phi-4-Modell, das den strengen JSON-Wrapper verwendete, erzeugte in 85,3 % der Fälle Ausgaben, die mit einem Markdown-Code-Fence begannen, was zu einer Parsbarkeit von nur 2,8 % und einer Genauigkeit von 0,7 % führte. Die Forscher fanden heraus, dass die „Parsbarkeit“ ein großer Prädiktor für den Erfolg war und etwa 82 % der verbleibenden Unterschiede in den Scores erklärte, nachdem für das Modell und die Aufgabe kontrolliert wurde.

Was das für die Zukunft bedeutet
Das Paper argumentiert, dass die Angabe einer einzigen Genauigkeitszahl für eine KI so irreführend ist wie die Angabe einer Temperatur, ohne zu sagen, ob sie in Fahrenheit oder Celsius gemessen wurde. Wenn eine Wahl des Wrappers die Punktzahl um 0,76 verändern kann, ist diese einzelne Zahl „statistisch fragil“.

Die Autoren schlagen vor, dass wir bei der Testung von KI nicht einfach nur einen Wrapper wählen und auf das Beste hoffen sollten. Stattdessen sollten wir:

Die Spanne der Scores über verschiedene Wrapper hinweg angeben (wie einen „Sensitivitätsindex“).
Überprüfen, ob die Antworten tatsächlich parsbar sind.
Vorsichtig bei der Verwendung strenger Formatierungen in realen Anwendungen sein, es sei denn, die KI wird durch ihren Decoder (den Teil, der den Text generiert) gezwungen, den Regeln zu folgen, und nicht nur durch den Prompt.

Das Fazit
Diese Studie sagt nicht, dass die KI kaputt ist; sie sagt, dass unser Maßband wackelig ist. Der „Format Sensitivity Index“ (FSI) und der „Parseability Sensitivity Index“ (PSI) sind neue Werkzeuge, um zu messen, wie sehr die Punktzahl eines Modells vom Wrapper abhängt. Die Ergebnisse legen nahe, dass für einige Modelle die Wahl des Wrappers wichtiger ist als die tatsächliche Intelligenz des Modells. Bis wir das nicht lösen, könnte die „beste“ KI auf einer Bestenliste einfach diejenige sein, die zufällig den spezifischen Formatierungsstil der Person mochte, die den Test aufgebaut hat.

Technisches Resümee: Format-Sensitivitäts-Index und Token-gesteuerte Prompt-Wrapper

Problemstellung

LLM-Benchmarks verlassen sich zunehmend auf Prompt-Wrapper – Templates, die Delimiter, JSON-Instruktionen oder schrittweise Formatierungen enthalten –, um die Ausgaben von Modellen zu strukturieren. Obwohl diese als semantisch irrelevant gedacht sind, sind diese Wrapper in Forschungsarbeiten, Toolkits oder bei Anbietern selten standardisiert. Dieser Mangel an Standardisierung schafft einen methodischen Ausfallmodus: Die berichtete Leistung eines Modells kann signifikant schwanken, basierend allein auf der Wahl des Wrappers statt auf seiner eigentlichen Leistungsfähigkeit.

Das Kernproblem besteht darin, dass viele Benchmark-Pipelines einen einzigen Genauigkeitswert pro Modell und Aufgabe melden und dabei strukturierte Ausgabefehler (z. B. Schema-Adhärenz, Tool-Aufrufe) ignorieren, die in realen Anwendungen dominieren. Wenn ein Modell eine Ausgabe nicht gemäß dem Extrahierer des Benchmarks parsen kann (z. B. aufgrund von Markdown-Code-Fences oder fehlenden JSON-Keys), wird der Durchlauf als falsch gewertet. Dieses „Compliance-Problem“ kann dazu führen, dass ein Modell unter einem strengen JSON-Wrapper nahezu zufällig erscheint, während es unter einem Delimiter-basierten Wrapper gut abschneidet. Dies kann potenziell zu umgekehrten Schlussfolgerungen in Leaderboards führen.

Methodik

Die Autoren schlagen ein token-gesteuertes Protokoll vor, um die durch die Wrapper-Formatierung verursachte Varianz zu isolieren, indem sie die Unterschiede in Prompt-Länge und Token-Anzahl kontrollieren.

Experimenteller Aufbau

Modelle: Vier Instruct-getunte Modelle, die über OpenRouter abgerufen wurden und von 7B bis 72B Parametern reichen: Mistral-7B-Instruct-v0.3, Gemma-2-9B-IT, Phi-4 und Qwen-2.5-72B-Instruct.
Aufgaben: Sieben weit verbreitete QA-Stil-Benchmarks (BoolQ, PIQA, ARC-Challenge, HellaSwag, WinoGrande, CommonsenseQA, GSM8K), wobei 20 0-Beispiele pro Aufgabe gezogen wurden.
Wrapper-Familien: Fünf verschiedene Wrapper-Typen wurden evaluiert:
1. Plain: Minimale Instruktionen.
2. JSON: Strenges JSON mit einem answer-Feld.
3. Structured: Key-Value-Felder.
4. Structured Delim: Key-Value-Felder mit expliziten Delimiter-Tokens (<BEGIN ANSWER>).
5. Deliberate: Ein Scratchpad für das Reasoning, gefolgt von einem finalen Antwortfeld.
Token-Kontrolle: Um den Confound der variierenden Prompt-Längen zu mildern, wurden Prompts auf ein festes Zeichenbudget pro Aufgabe aufgefüllt. Die realisierten Token-Zahlen wurden protokolliert und eine relative Token-Spread-Metrik ( $\Delta_{tok}$ ) wurde berechnet. Die Ergebnisse wurden auf dem vollständigen Datensatz und einer abgeglichenen Teilmenge, die für $\Delta_{tok} \le 5\%$ gefiltert wurde, berichtet.
Generierung: Insgesamt wurden 140.000 Generationen produziert (4 Modelle $\times$ 7 Aufgaben $\times$ 5 Wrapper $\times$ 200 Beispiele $\times$ 5 Seeds).

Metriken

Das Paper führt zwei primäre Sensitivitätsmetriken ein:

Format Sensitivity Index (FSI): Die Spanne der durch die Wahl des Wrappers induzierten Genauigkeit für ein gegebenes Modell und eine gegebene Aufgabe ( $FSI = \max_f A_{m,t,f} - \min_f A_{m,t,f}$ ).
Parseability Sensitivity Index (PSI): Die entsprechende Spanne der Antwort-Parsbarkeit ( $PSI = \max_f P_{m,t,f} - \min_f P_{m,t,f}$ ).

Um die Rauschanfälligkeit von Bereichsstatistiken zu adressieren, berichten die Autoren auch über einen normalisierten FSI (nFSI) und Bootstrap-Konfidenzintervalle.

Kernergebnisse

1. Extreme Varianz über Modelle hinweg

Die Formatsensitivität variiert stark zwischen den Modellen.

Qwen-2.5-72B zeigte eine nahezu format-invariante Leistung mit einem mittleren FSI von 0,024 (95% KI [0,014, 0,035]).
Phi-4 wies eine hohe Sensitivität auf, mit einem mittleren FSI von 0,763 (95% KI [0,607, 0,872]).
Der mittlere FSI variierte um mehr als das 30-fache über die getesteten Modelle hinweg.
Die normalisierte Sensitivität (nFSI) verstärkte diesen Kontrast, wobei Phi-4 einen nFSI von 2,37 zeigte, was darauf hindeutet, dass die Wahl des Wrappers die mittlere Punktzahl dominieren kann.

2. Parsbarkeit als primärer Treiber

Genauigkeit und Parsbarkeit sind stark korreliert ( $r = 0,825$ ). Eine Fixed-Effects-Regression ( $A_{m,t,f} = \beta P_{m,t,f} + \alpha_m + \gamma_t + \delta_f + \epsilon$ ) ergab, dass die Parsbarkeit ein starker Prädiktor für die Genauigkeit ist ( $\hat{\beta} = 0,819$ ) und einen erheblichen Teil der Residuenvarianz erklärt ( $R^2 = 0,82$ ).

Fallstudie: Unter dem strengen JSON-Wrapper produzierte Phi-4 in 85,3 % der Generationen Outputs mit Markdown-Code-Fences, was zu einer Parsbarkeit von 2,8 % und einer Genauigkeit von 0,7 % führte.
Dies deutet darauf hin, dass viele durch Wrapper induzierte Score-Änderungen dadurch getrieben werden, ob die Ausgabe maschinenlesbar (parsbar) ist oder nicht, anstatt durch einen Mangel an Denkvermögen.

3. Wrapper-Leistungsverteilung

Kein einzelner Wrapper ist universell optimal. Während Delimiter-basierte strukturierte Wrapper am häufigsten gewannen (12 von 28 Modell-Aufgaben-Kombinationen), gewannen „Deliberate“- und „Structured“-Wrapper ebenfalls nicht unerheblich. Dies stützt das Argument für die Berichterstattung einer Verteilung von Scores über verschiedene Wrapper hinweg, anstatt nur ein einzelnes „bestes“ Format auszuwählen.

4. Stabilität der Token-Kontrolle

Das Token-Padding-Protokoll reduzierte den Token-Spread erfolgreich, konnte ihn aber nicht eliminieren. Der mediane relative Token-Spread lag bei 4,1 %. Entscheidend ist, dass die Schlussfolgerungen stabil blieben, wenn für einen niedrigen Token-Spread ( $\Delta_{tok} \le 5\%$ ) gefiltert wurde, wobei sich der mittlere FSI nur geringfügig von 0,391 auf 0,394 verschob.

Bedeutung und Empfehlungen

Das Paper argumentiert, dass die Berichterstattung von Genauigkeit ohne Berücksichtigung der Wrapper-Varianz und Compliance statistisch fragil ist. Die Autoren geben folgende Empfehlungen:

Für Benchmarking: Arbeiten und Leaderboards sollten Folgendes melden:
1. Die spezifische Wrapper-Familie.
2. Prompt-Token-Anzahlen.
3. Parsabilitätsraten.
4. Eine Unsicherheit berücksichtigende Sensitivitätsmetrik (z. B. FSI mit Konfidenzintervallen) oder das Genauigkeitsintervall $[\min_f A, \max_f A]$ .
Für Deployments mit strukturierten Ausgaben: Prompting allein ist oft nicht ausreichend für strikte Schemata. Wenn nachgeschaltete Konsumenten brüchig sind, kann der Zusammenbruch der Parsbarkeit die gemessene Genauigkeit dominieren. Die Autoren schlagen vor, FSI und PSI als Diagnostika zu verwenden, um zu bestimmen, wann Decoder-Zeit-Beschränkungen (z. B. Grammatiken, Schema-beschränktes Decoding oder Vendor-gesteuerte strukturierte Output-Modi) notwendig sind.

Limitationen

Die Autoren räumen mehrere Limitationen ein:

FSI ist eine Bereichsstatistik, die anfällig für Ausreißer ist, was jedoch durch Bootstrapping gemildert wird.
Die Token-Kontrolle wurde mittels Zeichen-Padding erreicht, nicht durch strikte Token-Äqualisierung.
Der Modellsatz ist klein und mischt verschiedene Skalen, was bedeutet, dass die Robustheit ebenso sehr die Modellgröße wie die Architektur widerspiegeln kann.
Die Studie konzentriert sich auf Single-Turn QA; Multi-Turn Tool-Use und Code-Generierung könnten andere Dynamiken aufweisen.
Die Strenge des Parsers variiert; die Studie berichtet über strikte und normalisierte Extraktion, testet aber nicht direkt Decoding-Zeit-Erzwingungsmodi.

Zusammenfassend lässt sich sagen, dass das Paper postuliert, dass zuverlässiges Benchmarking und strukturierte Output-Systeme die Messung und oft auch die Reduzierung der Formatsensitivität erfordern, indem der Prompt-Wrapper als ein signifikanter, unterberichteter Confound in der LLM-Evaluierung behandelt wird.