🤖 machine learning

Accuracy, Stability, and Repeated-Run Reliability of Large Language Models on Deterministic Programming Tasks

Diese Arbeit zeigt auf, dass standardmäßige Genauigkeitsmetriken auf Run-Level-Ebene die Zuverlässigkeit großer Sprachmodelle bei deterministischen Programmieraufgaben signifikant überbewerten, indem sie die erhebliche Lücke zwischen dem Erfolg in einem einzelnen Durchlauf und einer konsistenten, ohne Wiederholungen erfolgenden Leistung ignorieren, insbesondere bei Modellen des mittleren Segments, und begründet damit die Notwendigkeit einer Stabilitätsanalyse über wiederholte Durchläufe hinweg für eine präzise Evaluierung.

Ursprüngliche Autoren: Yongxi Zhou, Lai Yun Choi, Jiaxi Wen, Wenbo Ye

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yongxi Zhou, Lai Yun Choi, Jiaxi Wen, Wenbo Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von Köchen ein, die ein bestimmtes Gericht nach einem Rezept zubereiten sollen, das Sie ihnen vorgeben. Sie bitten jeden Koch, das Gericht fünfmal hintereinander zuzubereiten, wobei Sie exakt dieselben Zutaten und Anweisungen verwenden.

Die meisten Menschen würden sich die Ergebnisse ansehen und sagen: „Wow, Koch A hat es 4 von 5 Mal geschafft! Das ist eine Erfolgsquote von 80 %. Er ist großartig.“

Aber dieses Paper stellt eine andere, praktischere Frage: „Wenn ich Koch A jetzt sofort bitten würde, dieses Gericht zu kochen, könnte ich darauf vertrauen, dass es jedes einzelne Mal perfekt wird, oder muss ich ihn immer wieder bitten, es noch einmal zu versuchen, bis er es richtig hinbekommt?“

Die Forscher fanden heraus, dass die herkömmliche Art, Erfolg zu messen (die „80 % Erfolgsquote“), uns oft anlügt. Sie lässt die Köche zuverlässiger erscheinen, als sie tatsächlich sind.

Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Der „Durchschnitt“ vs. die „perfekte Serie“

Das Paper führt zwei Wege ein, um einen Koch (oder ein KI-Modell) zu messen:

Run-Level Pass Rate (Der Durchschnitt): Das ist so, als würde man zählen, wie viele perfekte Teller insgesamt aus der Küche kommen. Wenn ein Koch 100 Teller macht und 80 davon perfekt sind, hat er eine Quote von 80 %. Das ist das, worauf die meisten Leute schauen.
Perfect Stability Rate (Die „Kein-Retry“-Quote): Hier wird gefragt: „Wie viele der Bestellungen hat der Koch beim allerersten Versuch richtig gemacht, ohne jemals einen Fehler zu machen?“

Die große Entdeckung: Der „Durchschnitt“-Wert ist fast immer höher als der „Kein-Retry“-Wert.

Die Analogie: Stellen Sie sich einen Koch vor, der eine Münze wirft, um zu entscheiden, ob er Salz hinzufügt.
- Szenario A: Er bekommt das Gericht 50 % der Zeit richtig, aber wenn er es falsch macht, macht er es richtig falsch. Er ist inkonsistent.
- Szenario B: Er bekommt das Gericht 50 % der Zeit richtig, aber er ist entweder immer perfekt oder immer schrecklich.
- Das Paper fand heraus, dass bei „Mittelklasse“-Köchen (die gut, aber nicht perfekt sind) die Lücke zwischen ihrem „Durchschnitts“-Wert und ihrem „Kein-Retry“-Wert riesig ist. Ein Modell mag im Durchschnitt eine Genauigkeit von 86 % aufweisen, aber wenn Sie es benötigen, um ohne einen zweiten Versuch perfekt zu funktionieren, ist es tatsächlich nur zu 75 % zuverlässig. Das ist eine Differenz von 17,8 % – eine massive Lücke, die darüber entscheidet, wen Sie einstellen würden.

2. Die „Mittelmaß“-Falle

Die Forscher fanden heraus, dass die größten Lügen bei den „Mittelmaß“-Modellen passieren.

Top-Modelle sind so gut, dass sie selten Fehler machen, daher liegen ihre „Durchschnitts“- und „Stabilitäts“-Werte nah beieinander.
Schlechte Modelle sind so schlecht, dass sie fast immer scheitern, weshalb auch ihre Werte (beide niedrig) nah beieinander liegen.
Die Mittelklasse-Modelle: Diese sind die tückischen. Sie sind oft erfolgreich genug, um gut auszusehen, aber sie scheitern oft genug, um nervig zu sein. Da sie „auf dem Zaun sitzen“, schwanken ihre Ergebnisse wild. Das Paper fand heraus, dass bei diesen Modellen der „Durchschnitts“-Wert ihre Zuverlässigkeit um fast 18 Prozentpunkte überbewertet.

3. Der „Prompt“ (Die Rezeptkarte)

Das Team testete, ob die Gabe einer detaillierteren Rezeptkarte (ein „Detailed Prompt“) gegenüber einer kurzen Karte (ein „Minimal Prompt“) die Köche konsistenter macht.

Das Ergebnis: Es hängt ganz vom Koch ab.
Bei einigen Modellen half ein detailliertes Rezept. Bei anderen war ein kurzes Rezept besser. Bei anderen spielte es überhaupt keine Rolle.
Die Lektion: Es gibt keinen „magischen Prompt“, der alle heilt. Man kann nicht einfach einem Mittelklasse-Modell eine bessere Anweisung geben und erwarten, dass es plötzlich perfekt stabil wird.

4. Die „denkenden“ Modelle (Reasoning vs. Standard)

Einige moderne Köche sind darauf trainet, vor dem Kochen „Schritt für Schritt zu denken“ (Reasoning Models). Die Forscher fragten sich, ob dieses „Denken“ sie konsistenter macht.

Das Ergebnis: Nicht unbedingt.
Während einige „Denk“-Modelle überraschend stabil waren, waren andere tatsächlich weniger stabil als ihre Nicht-Denk-Gegenstücke. Der Akt des „Denkens“ garantierte keine perfekte Serie. Tatsächlich führten die zusätzlichen Denk-Schritte bei einigen Modellen zu mehr Möglichkeiten, dass etwas schiefgeht.

5. Warum das wichtig ist

Das Paper argumentiert, dass wir aufhören müssen, nur auf den „Durchschnitt“-Wert zu schauen.

Die reale Welt: Wenn Sie ein Softwaresystem bauen, das automatisch laufen muss (wie ein selbstfahrendes Auto oder ein Bankenskript), wollen Sie kein System, das „meistens“ funktioniert. Sie wollen ein System, das jedes einzelne Mal funktioniert, ohne dass Sie die „Retry“-Taste drücken müssen.
Das Fazit: Um zu wissen, ob eine KI wirklich bereit für die reale Welt ist, muss man sie wiederholt testen. Man muss nicht nur wissen, ob sie das Problem lösen kann, sondern wie zuverlässig sie es beim ersten Versuch löst.

Kurz gesagt: Eine hohe Punktzahl in einem Test bedeutet nicht, dass der Schüler konsistent ist. Dieses Paper zeigt uns, wie wir den Unterschied zwischen „es irgendwann richtig hinbekommen“ und „es jedes Mal richtig hinbekommen“ messen können.

Technisches Resümee: Genauigkeit, Stabilität und Zuverlässigkeit bei wiederholten Durchläufen von Large Language Models bei deterministischen Programmieraufgaben

Problemstellung

Large Language Models (LLMs) werden zunehmend für textgesteuerte Aufgaben mit deterministischen Spezifikationen eingesetzt, wie etwa die Programmsynthese, bei denen die Korrektheit binär ist und durch ausführbare Test-Suites verifiziert wird. Konventionelle Evaluierungs-Benchmarks (z. B. HumanEval, MBPP) berichten typischerweise über die Genauigkeit eines einzelnen Durchlaufs oder Metriken wie den „eventuellen Erfolg“ (eventual success) wie pass@k, welche messen, ob ein Modell mindestens eine korrekte Lösung innerhalb von $k$ Versuchen produziert.

Viele praktische Einsatzszenarien erfordern jedoch Stabilität: die Fähigkeit eines Modells, unter identischen Aufgabenbeschreibungen bei wiederholten Aufrufen konsistente, korrekte Ergebnisse zu liefern. Während jüngste Arbeiten das wiederholte Sampling als eine Form von Inference-Time-Compute gerahmt haben, bleibt der systematische Zusammenhang zwischen Korrektheit und Stabilität – insbesondere die Lücke zwischen dem durchschnittlichen Erfolgsgrad eines Modells pro Durchlauf und seiner Zuverlässigkeit ohne Retries – bisher untererforscht. Diese Arbeit adressiert die Frage, wie viel beobachtete Genauigkeit in zuverlässiges, retry-freies Verhalten übersetzt wird, insbesondere für Systeme mit mittlerer Leistung, bei denen die Variabilität am höchsten ist.

Methodik

Experimentelles Setup

Die Studie nutzt einen kuratierten Datensatz von 100 deterministischen Programmierproblemen (LeetCode-Stil), die basierend auf ihrer Aktualität ausgewählt wurden, um Kontaminationen aus historischen Trainingsdaten zu minimieren. Der Datensatz umfasst 20 Easy-, 50 Medium- und 30 Hard-Probleme und deckt verschiedene algorithmische Themen ab. Alle Probleme sind in sich abgeschlossen, benötigen keinen externen Netzwerkzugriff und werden über eine feste, deterministische Test-Harness bewertet.

Modelle und Konfiguration

Die Evaluierung umfasst 16 Modelle aus fünf Anbieter-Familien (OpenAI, Anthropic, Google, Qwen, DeepSeek), einschließlich sowohl Standard- als auch spezialisierter Reasoning-Architekturen (z. B. o4-mini, DeepSeek-R1).

Protokoll: Jedes Modell wird unter zwei Prompt-Templates (DETAILED und MINIMAL) mit 5 wiederholten Durchläufen ( $R=5$ ) pro Problem evaluiert.
Parameter: Die meisten Modelle verwenden $T=0.3$ und $top\_p=0.9$ , um ein realistisches stochastisches Decoding zu simulieren. Für Reasoning-spezialisierte Modelle und spezifische API-Beschränkungen (z. B. o4-mini) wurden angepasste Token-Budgets oder feste interne Decoding-Regime verwendet.
Gesamtinstanzen: Das Experiment liefert 16.000 Evaluierungsinstanzen.

Metriken

Die Arbeit führt ein Evaluierungsprotokoll für wiederholte Durchläufe mit drei primären Metriken ein:

Run-Level Pass Rate (RLPR): Die Wahrscheinlichkeit, dass ein zufälliger einzelner Aufruf erfolgreich ist.
$RLPR = \frac{1}{NR} \sum_{i=1}^{N} \sum_{r=1}^{R} Y_{i,r}$
Perfect Stability Rate (PSR): Der Anteil der Aufgaben, bei denen das System in allen $R$ Durchläufen ohne Retry erfolgreich war.
$PSR = \frac{1}{N} \sum_{i=1}^{N} \mathbb{I}\left(\sum_{r=1}^{R} Y_{i,r} = R\right)$
Hinweis: PSR ist mathematisch äquivalent zu pass@k bei $k=R$ mit einem „All-Successes“-Schwellenwert, wird hier jedoch als Maß für die Deployment-Zuverlässigkeit und nicht als Maß für die Leistungsfähigkeit interpretiert.
Average Variance (AV): Ein Maß für die Instabilität auf Problemebene, das die Varianz der Erfolgswahrscheinlichkeiten über die Aufgaben hinweg erfasst.

Kernergebnisse

Die Genauigkeits–Stabilitäts-Lücke (Accuracy–Stability Gap)

Die Studie findet eine starke Korrelation zwischen RLPR und PSR ( $r = 0.985$ ), dennoch stellt RLPR die Produktionszuverlässigkeit konsistent über.

Ausmaß der Lücke: Die Differenz $\Delta = RLPR - PSR$ ist nicht uniform über die Modelle verteilt und erreicht ein Maximum von 17,8 Prozentpunkten (beobachtet bei Gemini 2.5 Flash unter dem DETAILED Prompt).
Peak bei mittlerer Genauigkeit: Die Lücke ist am größten bei Systemen mit mittlerer Leistung. Modelle mit intermediären Erfolgswahrscheinlichkeiten weisen die höchste Varianz auf (die Bernoulli-Varianz ist bei $p \approx 0.5$ maximal), was zu signifikanten Diskrepanzen zwischen durchschnittlichem Erfolg und perfekter Stabilität führt.
Ranking-Umkehrungen: RLPR und PSR können zu divergierenden Modell-Rankings führen. Beispielsweise schneidet GPT-4.1 in RLPR besser ab als GPT-4.1-mini (59,6 % vs. 58,4 %), liegt aber in PSR zurück (47,5 % vs. 50,0 %), was durch eine größere Genauigkeits–Stabilitäts-Lücke bei erstermindem Modell bedingt ist.

Variabilität auf Problemebene

Polarisierung vs. Instabilität: Modelle wie Qwen-Turbo weisen ein niedriges AV auf, da ihre Ergebnisse polarisiert sind (entweder konsistent erfolgreich oder in allen Durchläufen fehlerhaft), was trotz geringer Gesamtgenauigkeit zu einer kleinen Lücke führt. Im Gegensatz dazu zeigen Modelle wie Gemini 2.5 Flash ein hohes AV, was auf eine erhebliche Variabilität zwischen den einzelnen Versuchen hindeutet.
Fehlermodi: Der dominante Fehlermodus ist „Wrong Answer“ (~~58 %), gefolgt von „Time Limit Exceeded“ (~~27 %). Instabilität ist nicht nur mit algorithmischer Inkonsistenz verknüpft, sondern auch mit Implementierungsfragilität (Timeouts/Laufzeitfehler), die mit steigender Problemkomplexität zunimmt.

Prompt-Sensitivität und Architektur

Effekte des Prompts: Die Prompt-Sensitivität ist modellabhängig und nicht uniform. Während die meisten Modelle geringe Unterschiede (< 3 pp) zwischen DETAILED und MINIMAL zeigen, gibt es bei einigen (z. B. Claude Sonnet 4.5) Umkehrungen. Kein Template dominiert universell, und die statistische Signifikanz für Prompt-Effekte war angesichts der Stichprobengröße generell gering.
Reasoning-Architekturen: Die Studie untersucht, ob Reasoning-spezialisierte Modelle (z. B. Chain-of-Thought) systematisch kleinere Genauigkeits–Stabilitäts-Lücken aufweisen. Die Ergebnisse sind heterogen: DeepSeek-R1 zeigt eine bessere als erwartete Stabilität, während andere (QwQ-Plus, Gemini 2.5 Flash+Think) größere Lücken aufweisen. Ein Permutationstest ( $p=0.97$ ) fand keinen systematischen Vorteil für Reasoning-Architekturen in dieser Stichprobe, wobei die Analyse aufgrund der geringen Anzahl an Reasoning-Modellen als unterpowert betrachtet wird.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass eine Analyse der Stabilität bei wiederholten Durchläufen eine notwendige Ergänzung zur konventionellen Berichterstattung über die Genauigkeit für deterministische, textgesteuerte Generierung darstellt.

Jenseits der Leistungsbemessung: Während pass@k die Fähigkeit eines Modells misst, schließlich eine Lösung zu finden, misst PSR die Deployment-Zuverlässigkeit (Konsistenz). Diese beiden Metriken zielen auf unterschiedliche nachgelagerte Fragestellungen ab und können erheblich divergieren, insbesondere bei Systemen mit mittlerer Genauigkeit.
Aufdeckung verborgener Risiken: Das alleinige Vertrauen auf RLPR kann eine erhebliche Instabilität maskieren. Ein Modell mit einer Run-Level-Passrate von 60 %, aber nur 47 % perfekter Stabilität hinterlässt einen signifikanten Anteil an Aufgaben in einem „Retry-erforderlichen“ Regime, was in automatisierten Workflows, die reproduzierbares Verhalten erwarten, inakzeptabel sein kann.
Methodischer Beitrag: Die Arbeit etabliert PSR und Average Variance (AV) als primäre Evaluierungsziele. Sie zeigt auf, dass die Genauigkeits–Stabilitäts-Lücke ein beobachtbares, modellspezifisches und praktisch signifikantes Phänomen ist, das nicht allein aus der mittleren Performance abgeleitet werden kann.

Die Autoren kommen zu dem Schluss, dass ihre Erkenntnisse zwar spezifisch für die Evaluierung der Python-Codegenerierung in einem Single-Turn sind, das Framework jedoch eine kritische Perspektive für das Verständnis der Zuverlässigkeit in Reproduzierbarkeits-sensitiven Workflows bietet. Sie weisen darauf hin, dass ihre Ergebnisse eine Momentaufnahme der evaluierten API-Versionen sind und keine breiteren Orchestrierungs- oder Multi-Turn-Abhängigkeiten berücksichtigen.