💻 computer science

CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction

Das Papier stellt CoRE vor, einen fein abgestimmten Benchmark für Code-Reasoning, der große Sprachmodelle hinsichtlich Implementierungsinvarianz und Prozesstransparenz bewertet und offenlegt, dass aktuelle Modelle oft keine Robustheit über äquivalente Code-Implementierungen hinweg aufweisen und sich auf oberflächliche Ausführung statt auf echtes Reasoning für Zwischenzustände verlassen.

Ursprüngliche Autoren: Jun Gao, Yun Peng, Qian Qiao, Changhai Zhou, Yuhua Zhou, Shiyang Zhang, Shichao Weng, Zhenchang Xing, Xiaoxue Ren

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jun Gao, Yun Peng, Qian Qiao, Changhai Zhou, Yuhua Zhou, Shiyang Zhang, Shichao Weng, Zhenchang Xing, Xiaoxue Ren

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Denken KI-Coder tatsächlich „nach"?

Stellen Sie sich vor, Sie stellen einen brillanten Schüler ein, um ein Matheproblem zu lösen. Er schreibt die finale Antwort auf, und sie ist korrekt. Sie geben ihm einen goldenen Stern.

Doch dann bitten Sie ihn zu erklären, wie er dorthin gelangt ist. Er beginnt, Zahlen zu erfinden, Schritte zu vertauschen und sich in der Mitte des Prozesses zu verwirren. Und doch landet er auf irgendeine Weise immer noch bei der richtigen Endzahl.

Das Problem: Aktuelle Tests für KI (Large Language Models oder LLMs) sind wie dieser goldene Stern. Sie prüfen nur die finale Antwort. Wenn die KI die richtige Ausgabe liefert, gehen wir davon aus, dass sie den Code „verstanden" hat. Die Autoren dieses Papiers argumentieren, dass dies eine Falle ist. Die KI könnte raten oder Abkürzungen (Heuristiken) nutzen, anstatt tatsächlich zu simulieren, wie der Code in ihrem „Gedächtnis" ausgeführt wird.

Die Lösung: CoRE (Der „Ehrlichkeitstest" für Code)

Die Autoren haben einen neuen Benchmark namens CoRE (Code Reasoning) entwickelt. Anstatt nur zu fragen: „Was ist die Antwort?", stellt CoRE zwei viel schwierigere Fragen:

Macht es einen Unterschied, wie man fragt? (Implementierungsinvarianz)
Wissen Sie, was in der Mitte passiert ist? (Prozesstransparenz)

Analogie 1: „Derselbe Kuchen, verschiedene Rezepte" (Implementierungsinvarianz)

Stellen Sie sich vor, Sie bitten einen Koch, einen Schokoladenkuchen zu backen.

Standard-Test: Sie geben ihm ein spezifisches Rezept (Rezept A). Er backt es. Es schmeckt gut. Bestanden.
CoRE-Test: Sie geben ihm vier verschiedene Rezepte für exakt denselben Schokoladenkuchen.
- Rezept 1: Verwendet Kakaopulver.
- Rezept 2: Verwendet geschmolzene Schokoladentafeln.
- Rezept 3: Verwendet eine andere Reihenfolge beim Mischen der Schüssel.
- Rezept 4: Verwendet eine andere Ofentemperatur.

Wenn der Koch ein wahrer Meister ist, sollte er in der Lage sein, unabhängig davon, welches Rezept er verwendet, einen perfekten Kuchen zu backen.
Die Erkenntnis des Papiers: Die KI-Modelle haben hier versagt. Sie waren großartig darin, den Kuchen zu backen, wenn sie ein Rezept verwendeten, das ihrem eigenen „Stil" ähnelte. Aber wenn sie ein Rezept erhielten, das von einer anderen KI geschrieben wurde (ein anderer „Stil"), liefen sie oft ins Leere, obwohl die Mathematik identisch war. Sie waren „stilbesessen" statt logikbesessen.

Analogie 2: Der „Filmregisseur" vs. der „Spoiler" (Prozesstransparenz)

Stellen Sie sich vor, Sie schauen einen Film.

Standard-Test: Die KI wird gefragt: „Wer gewinnt den Film?" Sie antwortet: „Der Held gewinnt." Richtig!
CoRE-Test: Die KI wird gefragt: „In Minute 45, als sich der Held im Schrank versteckt, was hält der Bösewicht in der Hand? Und in Minute 60, was ist die Punktzahl des Helden?"

Dies prüft die Zwischenzustände.
Die Erkenntnis des Papiers: Die KI-Modelle bekamen oft die Frage „Wer gewinnt?" richtig, aber sie halluzinierten die Details in der Mitte. Sie rieten das Ende basierend auf Mustern, aber sie „sahen" den Film nicht tatsächlich Schritt für Schritt. Sie führten den Code oberflächlich aus, ohne die Reise wirklich zu verstehen.

Wie sie CoRE aufgebaut haben

Um diesen Test fair und schwierig zu gestalten, haben die Forscher zwei Hauptdinge getan:

Viele Versionen generiert: Sie verwendeten verschiedene KI-Modelle, um Code für dieselben 60 Probleme zu schreiben. Dies schuf eine Bibliothek von 255 verschiedenen Codeversionen. Manche waren lang und unordentlich; manche kurz und clever. Aber alle taten exakt dasselbe.
„Pop-Quiz"-Fragen erstellt: Für jeden Codeabschnitt generierten sie Fragen zum Verlauf des Prozesses.
- Arithmetik: „Was ist genau jetzt die genaue Zahl in dieser Variable?"
- Logik: „Ist diese Bedingung wahr oder falsch?"
- Zustand: „Wie oft wurde diese Schleife bisher ausgeführt?"
- Grenzwert: „Was passiert genau, wenn die Schleife stoppt?"

Was sie fanden (Die Ergebnisse)

Sie testeten 8 der intelligentesten verfügbaren KI-Modelle (wie GPT-5, Claude, DeepSeek usw.) mit diesem neuen Benchmark. Die Ergebnisse waren überraschend:

Die „Stil-Verzerrungs"-Lücke: Die Modelle waren viel besser darin, Code zu verstehen, der von ihrer eigenen „Familie" geschrieben wurde (z. B. verstanden OpenAI-Modelle OpenAI-Code am besten), als Code, der von anderen geschrieben wurde. Dies deutet darauf hin, dass sie Stile auswendig lernen, keine universelle Logik.
Die „Oberflächliche Ausführung"-Lücke: Viele Modelle bekamen die finale Antwort richtig, scheiterten aber am „Pop-Quiz" über die Zwischenschritte. Sie rieten das Ziel, ohne den Weg zu kennen.
Der „RCS"-Score: Die Autoren erstellten einen neuen Score namens Reasoning Consistency Score (RCS). Dieser Score bestraft Modelle, die die richtige Antwort aus den falschen Gründen erhalten. Wenn Sie die Antwort richtig haben, aber die Zwischenschritte verfehlen, sinkt Ihr Score auf null.

Das Fazit

Das Papier kommt zu dem Schluss, dass die richtige Antwort allein nicht ausreicht. Nur weil eine KI die finale Ausgabe eines Code-Schnipsels vorhersagen kann, bedeutet das nicht, dass sie versteht, wie der Code funktioniert.

Aktuelle KI-Modelle sind wie Schauspieler, die die letzte Zeile eines Stücks auswendig gelernt haben, aber den Dialog dazwischen vergessen. CoRE ist der neue Test, der sie zwingt, ihre Arbeit zu zeigen und zu beweisen, dass sie tatsächlich durch den Code „nachdenken" und nicht nur das Ende raten.

Kurz gesagt: CoRE legt offen, dass die heutigen klügsten Code schreibenden KIs oft „vortäuschen", indem sie sich auf Muster und Stile verlassen, anstatt auf echte, schrittweise Schlussfolgerungen.

1. Problemstellung

Trotz der raschen Fortschritte bei Large Language Models (LLMs) in der Code-Generierung bleibt unklar, ob diese Modelle ein echtes Verständnis der Logik der Codeausführung besitzen oder sich lediglich auf oberflächliche Heuristiken verlassen, um korrekte Ausgaben vorherzusagen. Bestehende Benchmarks (z. B. CruxEval, LiveCodeBench-O, REval) leiden unter zwei kritischen Mängeln:

Fehlende Implementierungsinvarianz: Sie bewerten Modelle typischerweise anhand einer einzigen „kanonischen" Code-Implementierung. Dies testet nicht, ob ein Modell konsistent über funktional äquivalente, aber strukturell oder lexikalisch unterschiedliche Code-Variationen hinweg reasoning betreiben kann.
Fehlende Prozess-Transparenz: Sie konzentrieren sich fast ausschließlich auf die Korrektheit der Endausgabe. Modelle können oft die richtige Endantwort liefern, während sie Zwischenzustände der Ausführung halluzinieren, was auf einen Mangel an echtem schrittweises Reasoning hindeutet.

Die Autoren argumentieren, dass reine Ausgaben-basierte Bewertungen unzureichend sind, um robustes Code-Reasoning zu bewerten, und führen CoRE ein, um diese Lücken zu schließen.

2. Methodik: Der CoRE Benchmark

CoRE wurde aus 60 Programmieraufgaben konstruiert, die aus HumanEval und LiveCodeBench ausgewählt wurden, um zwei Kern-Dimensionen zu bewerten: Implementierungsinvarianz und Prozess-Transparenz.

A. Konstruktions-Pipeline

Vielfältige Code-Implementierungen (Stufe I):
- Die Autoren verwendeten sieben diverse LLMs, um für jede Aufgabe mehrere Lösungen zu generieren.
- Bereinigungsprozess: Die Lösungen wurden einer Ausführungsgültigkeitsprüfung unterzogen, um funktionale Äquivalenz sicherzustellen. Um Vielfalt zu gewährleisten, filterten sie nach hoher zyklomatischer Komplexität und niedriger 1-gramm Jaccard-Ähnlichkeit (lexikalische Vielfalt) zwischen Implementierungen derselben Aufgabe.
- Ergebnis: 255 eindeutige Code-Implementierungen über 60 Aufgaben hinweg (durchschnittlich 4,3 Implementierungen pro Aufgabe).
Zwischenzustands-Sonden (Stufe II):
- Mithilfe von Python-Ausführungs-Tracing erfassten die Autoren wahrheitsgemäße Laufzeitwerte für alle Variablen.
- Sie formulierten Zwischen-Sondierungsfragen, die vier Reasoning-Dimensionen adressierten:
  - Arithmetik: Numerische Präzision bei komplexen Operationen.
  - Logik: Auflösung verschachtelter boolescher Bedingungen und Kontrollflüsse.
  - Zustand: Verfolgung des Variablenverlaufs über tiefe Ausführungspfade hinweg.
  - Grenzwerte: Kritische Übergangspunkte (z. B. Schleifenabbrüche).
- Ergebnis: 243 Zwischen-Sonden (durchschnittlich 4,1 pro Aufgabe), wobei jede Sonde durchschnittlich 2,2 Reasoning-Dimensionen abdeckt.

B. Evaluierungsprotokoll & Metriken

Die Autoren schlagen ein ganzheitliches Evaluierungsprotokoll vor, das über einfache Genauigkeit hinausgeht:

Strenge Ausgaben-Konsistenz ( $I$ ): Eine binäre Kennzahl (1 oder 0), bei der das Modell die korrekte Ausgabe für jede diverse Implementierung einer Aufgabe vorhersagen muss.
Prozess-Vertrauenswürdigkeits-Gewicht ( $W_s$ ): Das Verhältnis der korrekt beantworteten Zwischenzustands-Sonden.
Reasoning-Konsistenz-Score (RCS): Die primäre Metrik, definiert als $RCS = I \times W_s$ $R C S = I \times W_{s}$ .
- Diese Formulierung stellt sicher, dass, wenn ein Modell die Implementierungsinvarianz verfehlt (d. h. eine Variante falsch beantwortet) oder sich auf oberflächliche Heuristiken verlässt (niedriges $W_s$ ), die Endpunktzahl stark bestraft oder annulliert wird.

3. Hauptbeiträge

CoRE Benchmark: Ein rigoroser Benchmark bestehend aus 1.978 Stichproben, der Implementierungsinvarianz und Prozess-Transparenz gemeinsam bewertet und eine höhere Komplexität (durchschnittliche zyklomatische Komplexität von 5,0) und Vielfalt als bestehende Benchmarks aufweist.
Identifikation fundamentaler Grenzen: Die Studie deckt zwei kritische Fehlermodi bei fortschrittlichen LLMs auf:
- Robustheitslücke (Stil-Overfitting): Modelle schneiden bei Code, der von ihrer eigenen Familie oder vertrauten Stilen generiert wurde (z. B. OpenAI-Modelle auf OpenAI-Code), signifikant besser ab als bei funktional äquivalentem Code aus anderen Stilen.
- Oberflächliche Ausführung: Modelle gelangen häufig zu korrekten Endausgaben, während sie Zwischenzustände halluzinieren, was beweist, dass sie auf Input-Output-Mapping statt auf echte Ausführungssimulation angewiesen sind.
Ganzheitliches Evaluierungsprotokoll: Die Einführung des Reasoning-Konsistenz-Scores (RCS) bietet eine Methode, echtes Reasoning von heuristischen Abkürzungen zu unterscheiden.

4. Experimentelle Ergebnisse

Die Autoren bewerteten acht fortschrittliche LLMs (darunter GPT-5, o3, Claude-4.5, DeepSeek-V3.2 und Qwen-3) unter Verwendung verschiedener Prompting-Strategien (IO, Chain-of-Thought, Chain-of-Code, RHDA).

Leistungsgefälle: Es besteht eine massive Diskrepanz zwischen der Genauigkeit der Endausgabe und dem intermediären Reasoning. Beispielsweise erreichte GPT-5 unter Standard-Prompting eine strenge Ausgaben-Genauigkeit ( $I$ ) von 84,62 %, aber nur eine Prozess-Vertrauenswürdigkeit ( $W_s$ ) von 18,96 %.
Stil-Bias: Die Heatmap-Analyse (Abb. 5) zeigt eine starke diagonale Dominanz, bei der Modelle bei Code, der von ihrer eigenen Familie generiert wurde, die höchsten Werte erzielen. Dies bestätigt stilistisches Overfitting.
Auswirkung des Promptings: Während Chain-of-Thought (CoT) und Chain-of-Code (CoC) die Prozess-Vertrauenswürdigkeit verbesserten, beseitigten sie die Robustheitslücke oder die oberflächliche Ausführung nicht vollständig.
Dimensionale Schwächen: Modelle hatten die größten Schwierigkeiten mit Arithmetik (numerische Präzision) und Zustand (Aufrechterhaltung des Variablenverlaufs), wobei die durchschnittlichen Prozess-Vertrauenswürdigkeits-Scores im IO-Setting oft unter 50 % lagen.
Wirksamkeit von RCS: Die RCS-Metrik filterte Modelle effektiv heraus, die basierend auf der Ausgabe allein kompetent wirkten, aber bei der Reasoning-Konsistenz versagten.

5. Bedeutung

Das Paper verschiebt das Paradigma der Code-Reasoning-Evaluierung grundlegend. Es zeigt, dass korrekte Ausgabe nicht korrektes Reasoning impliziert. Indem CoRE die Fragilität aktueller LLMs aufdeckt – insbesondere ihre Anfälligkeit für stilistische Verzerrungen und ihre Unfähigkeit, Zwischenzustände zu verfolgen –, bietet es einen notwendigen Standard für die Entwicklung von Modellen, die Code-Ausführung wirklich verstehen. Die Ergebnisse deuten darauf hin, dass zukünftiges LLM-Training und -Evaluation treues schrittweises Reasoning und Robustheit über diverse Implementierungen hinweg priorisieren müssen, anstatt nur die Genauigkeit der Endausgabe zu optimieren.