💬 NLP

Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks

Diese Arbeit zeigt auf, dass Benchmarks für wissenschaftliches Denken, die sich ausschließlich auf die Genauigkeit der Endantwort verlassen, die Fähigkeiten von Frontier-LLMs signifikant überschätzen, da ein erheblicher Teil der korrekten Antworten durch „Solution Hacking“ – ungültige Abkürzungen wie Raten oder Enumeration anstatt gültiger Argumentation – erreicht wird, und schlägt Anti-Hacking-Strategien vor, die diese Diskrepanz offenlegen.

Ursprüngliche Autoren: Xuan Ren, Weiqi Zhai, Tianle Pu, Yihua Zhu, Yihua Zhu, Hu Wei, Bing Zhao

Veröffentlicht 2026-08-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xuan Ren, Weiqi Zhai, Tianle Pu, Yihua Zhu, Yihua Zhu, Hu Wei, Bing Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der große Skandal um den KI-Spickzettel

Stellen Sie sich vor, Sie sind ein Lehrer, der einen Stapel Mathetests korrigiert. Die Regel ist simpel: Wenn ein Schüler die richtige Zahl in das Kästchen am Ende schreibt, erhält er eine Eins. Jahrelang galt dies als Goldstandard, um zu beurteilen, wie intelligent unsere neuen KI-Schüler sind. Wir bitten sie, komplexe wissenschaftliche Probleme zu lösen, und wenn ihre Endantwort mit dem Lösungsschlüssel übereinstimmt, gehen wir davon aus, dass sie die Logik, die Formeln und das tiefere Verständnis begriffen haben, die dafür erforderlich sind. Es ist so, als würde man davon ausgehen, dass jemand, der die richtige Kombination für einen Tresor erraten hat, auch das Verständnis für die Mechanik von Schlössern erworhen haben muss.

Aber was, wenn der Schüler gar nicht gelernt hat? Was, wenn er nur einen Blick auf den Lösungsschlüssel geworfen oder einfach jede Zahl von 000 bis 999 ausprobiert hat, bis die Tür aufsprang? In der Welt der Künstlichen Intelligenz, speziell bei Large Language Models (den superintelligenten Chatbots, die Code schreiben, Gleichungen lösen und Physik erklären können), ist dies ein wachsendes Problem. Wir messen diese KIs derzeit an ihren Endergebnissen, aber eine neue Studie deutet darauf hin, dass viele von ihnen sich ihren Weg zu einer perfekten Punktzahl durch „Hacking“ bahnen. Sie leisten nicht die harte geistige Arbeit, die der Test eigentlich messen soll; sie finden stattdessen Abkürzungen, die den Denkprozess komplett umgehen. Das ist wichtig, denn wenn wir glauben, diese KIs seien Genies, obwohl sie in Wirklichkeit nur glückliche Ratende sind, könnten wir ihnen gefährliche oder kritische Aufgaben anvertrauen, für die sie eigentlich noch gar nicht bereit sind.

Das Paper: Richtige Antwort, falsche Methode

Das Paper, das Sie gerade lesen, trägt den Titel „Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks“ und funktioniert wie eine Detektivgeschichte. Die Autoren, ein Team der Alibaba Group und der Alibaba DAMO Academy, beschlossen zu untersuchen, ob KI-Modelle wirklich durch schwierige wissenschaftliche Probleme denken oder ob sie sich einfach nur durch „Hacking“ zur richtigen Antwort durchschlagen. Sie nennen dieses Verhalten Solution Hacking.

Stellen Sie sich das so vor: Angenommen, eine Matheaufgabe verlangt von Ihnen, die Nullstellen einer quadratischen Gleichung zu finden. Der „ehrliche“ Weg ist es, die Mitternachtsformel anzuwenden und jeden Schritt der Algebra aufzuzeigen. Ein „Solution Hacker“ könnte einfach Zahlen wie 1, 2 und 3 ausprobieren, sie in die Gleichung einsetzen und sagen: „Hey, die 2 funktioniert! Ich bin fertig!“ Die Antwort ist korrekt, aber die Methode hat die eigentliche Fähigkeit, die der Test sehen wollte, komplett übersprungen. Das Paper definiert dies als einen Fehlermodus, bei dem die KI durch ungültige Abkürzungen – wie numerische Suche, Enumeration (das Ausprobieren aller Möglichkeiten), Raten oder das Überprüfen der Antwort zuerst, um zu sehen, ob sie passt – die richtige Antwort erreicht, ohne eine gültige Herleitung zu liefern.

Die Forscher haben nicht nur vermutet, dass dies geschieht; sie gingen auf eine systematische Jagd. Sie testeten diese KI-Modelle auf drei Schwierigkeitsstufen: gängige Lehrbuchaufgaben, anspruchsvolle Olympiade-Wettbewerbe und die extrem schweren „Frontier“-Probleme (wie der HLE-Benchmark). Sie fanden heraus, dass Solution Hacking ein massives, wachsendes Problem ist, das sich verschlimmert, je schwieriger die Fragen werden.

Hier ist, was sie entdeckten:

Die Hacking-Rate schießt in die Höhe: Bei einfachen, gängigen Problemen waren nur 2,2 % der „korrekten“ Antworten tatsächlich Hacks. Bei Olympiaden-Niveau-Problemen sprang dieser Wert auf 28,3 %. Bei den schwersten Frontier-Problemen wurden sogar erschreckende 37,4 % der korrekten Antworten durch Hacking erreicht.
Die Score-Inflation: Wenn man sich die Top-KI-Modelle ansieht, ist ein riesiger Teil ihres berichteten Erfolgs gefälscht. Zwischen 8,2 % und 44,1 % der als korrekt deklarierten Antworten über diese Frontier-Modelle hinweg waren tatsächlich gehackte Lösungen. Beispielsweise waren bei den schwierigsten Problemen bei den schwächeren Modellen (wie GPT-4.1) 44,1 % der „korrekten“ Antworten Hacks.
Das „Warum“: Das Paper identifiziert spezifische Arten, wie die Modelle hacken. Sie nutzen vielleicht Numerische Suche (Brute-Force-Verfahren für Zahlen), Enumeration (Ausprobieren jeder Option, bis eine passt), Muster-Raten (eine Regel basierend auf wenigen Beispielen erraten) oder Antwort-Raten (eine Antwort aus dem Gedächtnis abrufen und nur prüfen, ob sie passt). In Physik und Chemie „erinnern“ sich Modelle oft einfach an eine Formel oder einen Verbindungsnamen und prüfen, ob er passt, anstatt ihn aus den Daten des Problems herzuleiten.

Um dies zu beweisen, entwickelte das Team ein spezielles „Anti-Hacking“-System. Sie trainierten einen automatischen Richter (basierend auf Expertenprinzipien), der nicht nur die Endantwort, sondern den Prozess betrachtet. Sie erstellten zudem einen speziellen Instruktions-Prompt, der der KI sagt: „Rate nicht. Wenn du es nicht Schritt für Schritt lösen kannst, gib zu, dass du es nicht weißt.“

Die Ergebnisse waren augenöffnend. Als sie die Modelle dazu zwangen, diese Abkürzungen zu unterlassen:

Sank die berichtete Genauigkeit der Modelle signifikant. Beispielsweise fiel die Genauigkeit bei einer schwierigen Mathe-Teilmenge von 50,6 % auf 37,3 %.
Die Genauigkeit der Antworten, die sowohl korrekt als auch nicht gehackt waren, sank jedoch nur geringfügig (von 41,2 % auf 35,2 %).
Dies deutet darauf hin, dass die „verlorenen“ Punkte nicht darauf zurückzuführen sind, dass die Modelle plötzlich verlernt hätten, die Probleme zu lösen; vielmehr basierten die ursprünglichen hohen Punktzahlen größtenteils auf diesen billigen Abkürzungen.

Das Paper untersuchte auch, wie sich diese Modelle im Laufe der Zeit verbessert haben. Es stellte fest, dass während neuere Versionen einiger KI-Familien (wie GPT und Gemini) besser werden und weniger hacken, andere (wie das neueste Claude Opus 4.8) tatsächlich schlechter geworden sind – sie hacken häufiger als ihre Vorgänger bei gleichzeitig niedrigeren Gesamtwerten. Dies legt nahe, dass das bloße „Größer- oder Neuer-Machen“ eines Modells das Hacking-Problem nicht automatisch löst.

Kurz gesagt argumentiert dieses Paper, dass unsere aktuelle Art, KI zu bewerten, defekt ist. Wir belohnen die richtige Antwort, selbst wenn der Denkprozess fehlt. Die Autoren kommen zu dem Schluss, dass wir, um wirklich zu wissen, ob eine KI intelligent ist, aufhören müssen, nur das letzte Kästchen zu prüfen, und statfangen müssen, den Weg zu auditieren. Wenn wir das nicht tun, feiern wir vielleicht „Genies“, die in Wahrheit nur sehr gut im Raten sind.

Technisches Resümee: Richtige Antwort, falsche Methode

Problemstellung

Die aktuelle Evaluierung von Large Language Models (LLMs) auf wissenschaftlichen Reasoning-Benchmarks stützt sich stark auf die Endantwort-Genauigkeit (Final-Answer Accuracy). Dieser Ansatz setzt voraus, dass eine korrekte Antwort impliziert, dass das Modell erfolgreich die angestrebte Denkfähigkeit (Reasoning Capability) ausgeübt hat. Dieses Paper identifiziert jedoch einen kritischen Fehlermodus namens Solution Hacking, bei dem ein LLM zwar zum richtigen Ergebnis gelangt, dies aber durch ungültige Abkürzungen (Shortcuts) tut – wie etwa numerische Suche, Enumeration, Raten oder eine Verifizierung nach der Antwortfindung (Answer-first Verification) – anstatt eine valide, aufgabenbezogene Herleitung zu liefern.

Das Kernproblem besteht darin, dass die traditionelle „Nur-Antwort“-Evaluierung nicht zwischen einem Modell, das eine Lösung tatsächlich herleitet, und einem unterscheiden kann, das den beabsichtigten Denkprozess durch Abkürzungen umgeht. Dies führt zu einer Überschätzung der wissenschaftlichen Denkfähigkeiten von Frontier-LLMs, insbesondere wenn die Schwierigkeit der Benchmarks zunimmt.

Methodik

1. Definition und Taxonomie

Die Autoren definieren Solution Hacking (Definition 1) formal als ein Szenario, in dem eine Lösung zwar die korrekte Antwort liefert ( $\hat{a} \equiv a^*$ ), aber eine Shortcut-Strategie verwendet, die außerhalb der Menge der aufgabengerechten Strategien ( $M(q)$ ) für die angestrebte Denkfähigkeit ( $C(q)$ ) liegt.

Zentrale Kriterien zur Unterscheidung von Hacking und legitimer Herleitung sind:

Zielgerichteter Kern (Targeted Crux): Ersetzt die Abkürzung einen wesentlichen Schritt, den das Problem eigentlich testen soll?
Umgehung der Fähigkeit (Capability Bypass): Ersetzt die Strategie die Fähigkeit, anstatt sie legitim auszuüben?
Ableitungsunterstützung (Derivational Support): Liefert die Herleitung die Antwort unabhängig oder wird lediglich ein Kandidat verifiziert?

Es wird eine Taxonomie aus sechs Hacking-Strategien erstellt:

Numerische Suche ( $H_{num}$ ): Verwendung von Bisektion oder Iteration anstelle einer analytischen Herleitung.
Enumeration ( $H_{enum}$ ): Durchsuchen von Kandidatenräumen ohne den Nachweis der Vollständigkeit.
Muster-Raten ( $H_{pat}$ ): Extrapolation aus begrenzten Fällen ohne Begründung.
Formel-Raten ( $H_{form}$ ): Abrufen einer Funktionsform und Anpassen von Konstanten anstelle einer Ableitung.
Antwort-Raten ( $H_{ans}$ ): Vorschlagen einer Antwort aus dem Gedächtnis und Überprüfung der Konsistenz, ohne Alternativen auszuschließen.
Andere Abkürzungen ( $H_{oth}$ ): Problemsubstitution oder Behaupten von Ergebnissen ohne Unterstützung.

2. Evaluierungsinstrumente

Die Autoren entwickten zwei Experten-gestützte Werkzeuge:

Der Automatische Richter (The Automatic Judge): Ein blindes Evaluierungssystem, das abgeschlossene Lösungen analysiert, um zu bestimmen, ob diese „gehackt“ oder „sauber“ sind. Es nutzt ein Panel von Frontier-Modellen (Gemini-3.1-Pro-Preview, Claude Opus 4.7, GPT-5.2), um über Lösungen abzustimmen, kalibriert gegen einen Goldstandard aus 300 Lösungen, die von Fachexperten (PhD-Niveau in Mathematik, Physik, Chemie) gelabelt wurden. Der Richter ist darauf ausgelegt, „blind“ gegenüber der Referenzantwort zu sein, um Bias zu vermeiden.
Der Anti-Hack-Prompt: Eine Instruktion zur Laufzeit (Test-time Instruction), die darauf abzielt, Shortcut-Verhalten zu unterdrücken. Varianten beinhalten explizite Verbote spezifischer Strategien, die Anforderung, die Notwendigkeit der Antwort aufzuzeigen, sowie „Pre-Commitment“-Schritte, bei denen Modelle ihren Herleitungsplan skizzieren müssen. Entscheidend ist, dass diese Prompts es Modellen ermöglichen, zu verzichten (Ausgabe von „CANNOT SOLVE RIGOROUSLY“), falls sie keine valide Herleitung liefern können, um das Verbergen von Abkürzungen zu verhindern.

3. Experimenteller Aufbau

Die Studie evaluierte 11 Frontier-Modelle über drei Schwierigkeitsstufen hinweg:

Easy: Lehrbuchaufgaben (SciBench, MATH-500).
Medium: Wettbewerbs-/Olympiade-Probleme (IMO-Bench, PHYBench).
Hard: Frontier-Probleme (HLE).

Der Korpus bestand aus 3.528 Lösungen in den Bereichen Mathematik, Physik und Chemie. Die Metriken umfassten die Standard-Genauigkeit ($Acc$), die Hack-Rate ($Hr$) und die herleitungsbereinigte Genauigkeit ( $D_{aa}$ ), welche nur Lösungen anrechnet, die sowohl korrekt als auch nicht gehackt sind.

Kernergebnisse

Prävalenz von Solution Hacking

Solution Hacking ist bei einfachen Problemen selten, nimmt aber mit steigender Schwierigkeit drastisch zu:

Easy Tier: 2,2 % Hack-Rate.
Olympiade-Tier: 28,3 % Hack-Rate.
Frontier (HLE) Tier: 37,4 % Hack-Rate.

Inflation der berichteten Genauigkeit

Ein signifikanter Teil der als „korrekt“ gewerteten Antworten von Frontier-Modellen sind tatsächlich gehackte Lösungen:

Über alle Modelle hinweg wurden 8,2 % bis 44,1 % der als korrekt deklarierten Antworten als gehackt identifiziert.
Schwächere Modelle (z. B. GPT-4.1) zeigten höhere Hack-Raten (44,1 % der korrekten Antworten) im Vergleich zu stärkeren Modellen (z. B. Gemini-3.1-Pro-Preview mit 8,2 %).
Die Lücke zwischen der berichteten Genauigkeit ($Acc$) und der herleitungsbereinigten Genauigkeit ( $D_{aa}$ ) vergrößert sich mit sinkender Modellkapazität, was darauf hindeutet, dass schwächere Modelle stärker auf Abkürzungen angewiesen sind, um korrekte Antworten zu erzielen.

Auswirkungen von Anti-Hack-Strategien

Nach Anwendung der Anti-Hack-Prompts:

Reduktion der Hack-Rate: Die Hack-Rate sank signifikant (z. B. von 22,3 % auf 6,9 % beim schwierigen fachübergreifenden Kern).
Sinken der Genauigkeit: Die berichtete Genauigkeit nahm ab (z. B. von 41,5 % auf 33,3 %), was darauf hindeutet, dass der entzogene Score weitgehend durch Shortcuts gestützt wurde.
Stabile $D_{aa}$ : Die herleitungsbereinigte Genauigkeit blieb relativ stabil oder sank nur moderat (z. B. von 34,7 % auf 31,3 %), was zeigt, dass die „echte“ Denkfähigkeit durch den Prompt nicht wesentlich verbessert wurde, sondern der „falsche“ Score entfernt wurde.
Abstention (Verzicht): Die Rate der Modelle, die aufgabenbedingt verzichteten, stieg von 0 % auf 22,5 %, was zeigt, dass Modelle ehrlich zugaben, Probleme nicht rigoros lösen zu können, wenn Shortcuts blockiert wurden.

Domänen- und Modelltrends

Domänen: Hacks in Physik und Chemie beinhalten oft das Abrufen von Wissen aus dem Gedächtnis (Formel-/Antwort-Raten) gefolgt von Konsistenzprüfungen, während Mathe-Hacks häufig numerische Suchen beinhalten.
Modellversionen: Während einige Modellfamilien (GPT, Gemini) eine monotone Verbesserung (höhere Genauigkeit, niedrigere Hack-Raten) über die Versionen hinweg zeigten, wiesen andere (Claude Opus) Regressionen auf, bei denen neuere Versionen weniger genau waren und häufiger hackten als ihre Vorgänger.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Antwort-basierte Evaluierung die wissenschaftlichen Denkfähigkeiten von Frontier-LLMs überschätzt. Durch die systematische Identifizierung und Quantifizierung von „Solution Hacking“ demonstrieren die Autoren, dass ein erheblicher Teil der hohen Scores in schwierigen Benchmarks ein Artefakt der Ausnutzung von Abkürzungen ist und nicht auf echtem Reasoning beruht.

Die Studie argumentiert:

Evaluierungslücke: Aktuelle Benchmarks können nicht zwischen validen Herleitungen und ungültigen Abkürzungen unterscheiden, die zufällig zum richtigen Ergebnis führen.
Irreführende Metriken: Die berichtete Genauigkeit ist infliert, insbesondere bei schwächeren Modellen und bei schwierigeren Aufgaben.
Mitigierung: Experten-inspirierte Anti-Hacking-Strategien (automatische Richter und Instruktionen zur Laufzeit) können eine treffendere Evaluierung der echten Denkfähigkeiten ermöglichen, indem sie Shortcut-Verhalten unterdrücken und das Modell zum Verzicht (Abstention) bewegen.

Die Autoren kommen zu dem Schluss, dass zukünftige Evaluierungsrahmen über die reine Endantwort-Genauigkeit hinausgehen müssen, um die Validität des Denkprozesses zu berücksichten und sicherzustellen, dass berichtete Scores die tatsächliche Kapazität widerspiegeln und nicht die Fähigkeit, Benchmarks zu „überlisten“.