OJBench: A Competition Level Code Benchmark For Large Language Models

Die Studie stellt OJBench vor, einen neuen Benchmark mit 232 anspruchsvollen Wettbewerbsaufgaben aus NOI und ICPC, der zeigt, dass selbst fortschrittliche Sprachmodelle bei der Lösung komplexer Programmierprobleme auf Wettbewerbsniveau erhebliche Schwierigkeiten haben.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr schlauen Roboter, der alles lesen und verstehen kann. Bisher haben wir diesen Roboter getestet, indem wir ihm einfache Aufgaben gestellt haben, wie „Schreibe eine kleine Funktion, die zwei Zahlen addiert" oder „Löse ein einfaches Rätsel". Das war so, als würden wir einen Marathonläufer testen, indem wir ihn nur eine Runde um den Block laufen lassen. Er hat es geschafft, aber wir wissen immer noch nicht, ob er wirklich ein Weltklasse-Athlet ist.

Die Forscher in diesem Papier (OJBench) sagen: „Das reicht nicht!" Sie wollen wissen, ob dieser Roboter auch wirklich schwerste Aufgaben lösen kann – Aufgaben, die nur die allerbesten menschlichen Programmierer der Welt bewältigen.

Hier ist die Geschichte des Papiers, einfach erklärt:

1. Das neue Prüfungsheft: OJBench

Bisher gab es keine richtigen „Olympia-Prüfungen" für KI-Programmierer. Die alten Tests waren wie Schulhausaufgaben. Die Forscher haben sich daher etwas Neues ausgedacht: OJBench.

Stellen Sie sich OJBench wie ein großes, strenges Turnier vor, das aus 232 extrem schwierigen Aufgaben besteht. Diese Aufgaben stammen nicht aus einfachen Übungsheften, sondern aus den echten, härtesten Programmier-Wettbewerben der Welt (wie der NOI in China oder dem ICPC für Studenten).

• Die Aufgabe: Die KI muss nicht nur Code schreiben, sondern komplexe Algorithmen erfinden, die unter Zeitdruck und mit strengen Regeln funktionieren.
• Der Unterschied: Frühere Tests waren wie ein Spaziergang im Park. OJBench ist ein Bergsteigen im Himalaya ohne Sauerstoffmaske.

2. Der Testlauf: Wer ist der Schnellste?

Die Forscher haben 37 verschiedene KI-Modelle (sowohl die kostenlosen, offenen Modelle als auch die teuren, geschlossenen von Firmen wie OpenAI oder Google) durch dieses harte Programm geschickt.

Was sie herausfanden:

• Die „Normalen": Die meisten KIs, die nur darauf trainiert wurden, Code zu schreiben (wie ein Handwerker, der nur einfache Reparaturen kennt), sind an diesen Aufgaben gescheitert. Sie haben bei den schweren Aufgaben fast gar nichts richtig gemacht.
• Die „Denker": Es gibt eine neue Art von KI, die besonders gut im Nachdenken ist (man nennt sie „Reasoning-Models"). Diese KIs haben sich wie ein Schachgroßmeister verhalten: Sie denken lange nach, bevor sie antworten. Sie waren deutlich besser als die anderen.
• Aber: Selbst die allerbesten KIs (die „Super-Genies") haben bei den allerhärtesten Aufgaben noch Probleme. Sie schaffen es nicht immer, die perfekte Lösung zu finden. Es ist, als ob ein Weltklasse-Schachspieler gegen einen Computer spielt, der manchmal noch einen Zug falsch berechnet.

3. Die Sprache der Wahl: Python vs. C++

Im Test haben die KIs zwei Sprachen benutzt: Python (einfach und beliebt) und C++ (schnell, aber kompliziert).

• Die Überraschung: Bei diesen extrem schwierigen Aufgaben war C++ für die KIs oft besser.
• Die Analogie: Stellen Sie sich vor, Sie müssen einen schweren Stein über einen Fluss tragen. Python ist wie ein bequemer Rucksack, aber er ist langsam. C++ ist wie ein sportlicher Gürtel – schwerer zu tragen, aber viel schneller. Da die Aufgaben im Wettbewerb extrem schnell sein müssen, kamen die KIs mit dem „sportlichen Gürtel" (C++) besser zurecht.

4. Lernen aus Fehlern: Der „Debug"-Effekt

Im echten Leben, wenn ein Programmierer einen Fehler macht, sieht er eine Fehlermeldung und korrigiert den Code. Die Forscher haben die KIs auch so getestet:

• Der Versuch: Die KI schreibt Code -> Der Computer sagt „Fehler!" -> Die KI liest den Fehler und versucht es noch einmal.
• Das Ergebnis: Die KIs wurden mit jedem Versuch besser! Besonders bei kleinen Fehlern (wie Tippfehlern) half das sehr gut.
• Das Problem: Bei den wirklich schweren Fehlern (wo der Algorithmus einfach zu langsam ist) half das Nachbessern nicht so gut. Die KI wusste nicht, wie sie den „Motor" des Programms schneller machen sollte. Das zeigt: Die KIs können Fehler reparieren, aber sie haben noch Schwierigkeiten, völlig neue, effiziente Ideen zu entwickeln.

Fazit: Was bedeutet das für uns?

Dieses Papier ist wie ein Warnsignal und eine Landkarte für die Zukunft.

Es sagt uns: „Unsere KIs sind schon sehr schlau, aber wenn es um die absolut schwierigsten mathematischen und logischen Rätsel geht, sind sie noch nicht so gut wie die besten menschlichen Experten."

OJBench ist das neue Maßband, mit dem wir in Zukunft messen werden, ob eine KI wirklich „intelligent" ist oder nur gut auswendig gelernt hat. Es hilft den Entwicklern zu verstehen, wo sie noch an den Motoren ihrer KIs schrauben müssen, damit diese eines Tages echte Probleme der Welt lösen können – nicht nur einfache Aufgaben.

Technische Zusammenfassung

1. Problemstellung

Trotz erheblicher Fortschritte bei Large Language Models (LLMs) in den Bereichen Mathematik und Code-Reasoning fehlen derzeit geeignete Benchmarks, um die Fähigkeiten von Modellen auf kompetitivem Niveau (Wettbewerbsniveau) umfassend zu bewerten.

• Limitationen bestehender Benchmarks: Aktuelle Datensätze wie LiveCodeBench konzentrieren sich hauptsächlich auf Interview-Schwierigkeitsgrade und Basis-Algorithmen. Viele Modelle erreichen hier bereits hohe Leistungen, was eine Differenzierung der fortschrittlichsten Modelle erschwert.
• Fehlende Herausforderung: Es gibt kaum Benchmarks, die echte Programmierwettbewerbe (wie NOI oder ICPC) abbilden, die anspruchsvolle Algorithmen, strenge Zeitkomplexitätsanforderungen und komplexe Logik erfordern.
• Ziel: Die Schließung dieser Lücke durch einen Benchmark, der die Grenzen der aktuellen Code-Reasoning-Fähigkeiten von LLMs wirklich testet.

2. Methodik: OJBench

Das Paper stellt OJBench vor, einen neuen Benchmark, der speziell für kompetitive Code-Reasoning-Aufgaben entwickelt wurde.

• Datensammlung und Quellen:
  • Der Datensatz umfasst 232 Probleme aus den renommiertesten menschlichen Wettbewerben: der National Olympiad in Informatics (NOI) aus China und dem International Collegiate Programming Contest (ICPC).
  • Die Daten stammen von der Plattform Luogu und der offiziellen ICPC-Website.
  • Filterprozess: Nur Probleme mit vollständigen Testfällen und ohne spezielle „Special Judges" (die oft nicht verfügbar sind) wurden ausgewählt. Die Testfälle wurden durch korrekte Einreichungen von Teilnehmern validiert. NOI-Probleme wurden maschinell ins Englische übersetzt und manuell überprüft.
• Schwierigkeitsklassifizierung:
  • Probleme wurden in Easy, Medium und Hard eingeteilt.
  • Für NOI-Probleme basierte dies auf Abstimmungen der Teilnehmer (Skala 0–7).
  • Für ICPC-Probleme wurde ein eigener Score berechnet, der die Erfolgsrate und die Anzahl der Teams berücksichtigt, die das Problem versucht haben.
• Bewertungsmethode:
  • Umfassende Testfälle: Im Gegensatz zu Benchmarks mit wenigen Testfällen nutzt OJBench den vollständigen Satz an Testfällen (oft 17–63 pro Problem), um False Positives zu vermeiden. Ein Modell besteht nur, wenn es alle Testfälle besteht.
  • Zweisprachige Unterstützung: Der Benchmark bewertet Modelle sowohl in Python als auch in C++. Dies ist entscheidend, da C++ in kompetitiven Wettbewerben aufgrund der höheren Laufzeiteffizienz bevorzugt wird.
• Metriken: Verwendung von Pass@n (insbesondere Pass@1 und Pass@8), wobei n Kandidatenlösungen generiert werden.

3. Experimentelles Setup

• Evaluierte Modelle: Insgesamt 37 Modelle wurden getestet, darunter:
  • Open-Source-Modelle (Coder-Modelle wie Qwen2.5-Coder, DeepSeek-Coder, CodeLlama).
  • Reasoning-orientierte Open-Source-Modelle (DeepSeek-R1, Qwen3, QWQ, Olympic-Coder).
  • Closed-Source-Modelle (OpenAI-o1/o3/o4-Serie, Gemini-2.5-pro-exp, Claude-3.7).
• Parameter: Für Reasoning-Modelle wurde ein Kontextfenster von bis zu 64k Tokens verwendet, um lange Chain-of-Thought (CoT)-Prozesse zu ermöglichen.

4. Wichtige Ergebnisse

Die Evaluation ergab folgende zentrale Erkenntnisse:

• Leistungslücke bei Wettbewerbsproblemen: Selbst die fortschrittlichsten Reasoning-Modelle (z. B. o4-mini, Gemini-2.5-pro-exp) haben Schwierigkeiten mit hochkomplexen Wettbewerbsproblemen. Die Pass-Raten im „Hard"-Bereich liegen oft im einstelligen Prozentbereich oder bei Null für viele Modelle.
• Reasoning vs. Non-Reasoning: Reasoning-orientierte Modelle (oft durch Reinforcement Learning oder Distillation trainiert) schneiden signifikant besser ab als reine Coder-Modelle oder nicht-reasoning-orientierte Modelle.
• Closed-Source vs. Open-Source: Closed-Source-Modelle führen im Allgemeinen an, wobei die besten Open-Source-Reasoning-Modelle (z. B. Qwen3-235B-A22B, DeepSeek-R1) jedoch nahe an die Leistung von o1-20241217 herankommen.
• Einfluss der Programmiersprache (C++ vs. Python):
  • Für fortgeschrittene Reasoning-Modelle (wie o4-mini, Gemini-2.5) führt die Verwendung von C++ zu deutlich besseren Ergebnissen als Python. Dies liegt an der höheren Effizienz von C++ bei algorithmisch anspruchsvollen Aufgaben.
  • Bei einigen distillierten Modellen (z. B. Qwen3-Reihe) war Python aufgrund des Trainingsdatensatzes (der stark auf Python basierte) jedoch überlegen.
• Schwierigkeitsverteilung: Die meisten Modelle scheitern bereits an „Medium"-Problemen; „Hard"-Probleme dienen als effektiver Filter, um die Top-Modelle zu unterscheiden.
• Verfeinerung durch Feedback (Refinement): Modelle können ihre Lösungen verbessern, wenn sie Fehlermeldungen (z. B. Compile Error, Wrong Answer) als Feedback erhalten.
  • Compile Errors (CE) lassen sich leicht korrigieren.
  • Time Limit Exceeded (TLE) bleiben jedoch eine große Herausforderung, da sie das Design effizienterer Algorithmen erfordern, was die aktuelle Schwäche der Modelle darstellt.

5. Hauptbeiträge

1. Einführung von OJBench: Ein neuer, herausfordernder Benchmark mit 232 Top-Level-Problemen aus NOI und ICPC, der die Lücke zwischen Interview-Level und echtem Wettbewerbsniveau schließt.
2. Umfassende Evaluation: Eine detaillierte Analyse von 37 Modellen, die die aktuellen Grenzen des Code-Reasoning aufzeigt und zeigt, dass selbst State-of-the-Art-Modelle bei komplexen Aufgaben noch weit von menschlichen Experten entfernt sind.
3. Erkenntnisse für die Entwicklung:
   • Bestätigung, dass C++ für kompetitive Aufgaben oft besser geeignet ist als Python.
   • Demonstration, dass Feedback-Schleifen (Refinement) die Leistung steigern können, aber algorithmische Optimierungen (TLE-Vermeidung) weiterhin eine Hürde darstellen.
   • Nachweis, dass Reinforcement Learning und Distillation entscheidend für die Verbesserung von Reasoning-Fähigkeiten sind.

6. Bedeutung und Ausblick

OJBench etabliert einen neuen Standard für die Bewertung von Code-LLMs. Es zeigt, dass Benchmarks wie LiveCodeBench für die Bewertung der fortschrittlichsten Modelle nicht mehr ausreichen, da diese dort bereits gesättigt sind. OJBench zwingt Modelle dazu, tiefere algorithmische Logik und Effizienz zu beweisen. Die Ergebnisse deuten darauf hin, dass die nächste Generation von Code-Modellen nicht nur mehr Trainingsdaten benötigt, sondern spezifische Verbesserungen im Bereich des algorithmischen Designs und der Fähigkeit, komplexe Zeitkomplexitätsanforderungen zu erfüllen, benötigt. Der Benchmark dient als Leitfaden für die zukünftige Entwicklung von Code-LLMs, insbesondere durch die Integration von C++ und Feedback-Mechanismen.