OJBench: A Competition Level Code Benchmark For Large Language Models

Dit paper introduceert OJBench, een uitdagende benchmark met 232 competitieproblemen die aantoont dat zelfs de meest geavanceerde taalmodellen moeite hebben met het oplossen van complexe codeproblemen op olympiade-niveau.

De kern

Stel je voor dat je een groep slimme robots (deze "Large Language Models" of LLM's) wilt testen op hun programmeervaardigheden. Tot nu toe werden ze vaak getest met simpele taken, zoals het schrijven van een korte functie of het oplossen van een standaard puzzel. Het was alsof je ze vroeg: "Kun je een ei bakken?"

De auteurs van dit paper, OJBench, zeggen: "Dat is leuk, maar dat is niet genoeg om te zien wie écht een meesterkok is." Ze wilden weten of deze robots ook de zware, complexe gerechten kunnen klaarmaken die alleen de beste chefs ter wereld kunnen maken.

Hier is wat ze hebben gedaan, vertaald naar alledaagse taal:

1. De Nieuwe Test: OJBench

De onderzoekers hebben een nieuwe test ontwikkeld genaamd OJBench.

• De Bron: In plaats van simpele oefeningen, hebben ze 232 van de allerzwaarste programmeeropgaven gehaald uit echte, wereldwijde wedstrijden voor programmeurs (zoals de Olympiade voor Informatica en de ICPC).
• De Analogie: Stel je voor dat je tot nu toe alleen de leerlingen van de basisschool hebt getest op het kunnen tellen tot 10. OJBench is alsof je de beste wiskundestudenten van de universiteit uitdaagt om een complexe vergelijking op te lossen terwijl ze rennen. Het is een "topniveau" test.

2. De Resultaten: Zelfs de Slimsten Struikelen

Ze hebben 37 verschillende AI-modellen getest, van open-source projecten tot de duurste, gesloten modellen van grote tech-bedrijven.

• Het Verdict: Zelfs de allerbeste "redenerende" modellen (zoals de nieuwste versies van o4-mini en Gemini) hebben het zwaar. Ze krijgen veel van deze moeilijke opgaven niet goed.
• De Les: Het is alsof je een Formule 1-auto test op een racecircuit, maar de auto blijft steken in de modder. Het laat zien dat AI nog niet klaar is voor de allerzwaarste, meest creatieve programmeerproblemen.

3. Twee Talen: Python vs. C++

In de test hebben ze gekeken of het uitmaakt in welke taal de robot programmeert.

• Python: Dit is de "gemakkelijke" taal, zoals een fiets. Veel mensen (en AI's) gebruiken dit omdat het makkelijk is.
• C++: Dit is de "racefiets" of de "Formule 1". Het is sneller en krachtiger, maar veel moeilijker te besturen.
• De Verrassing: Voor de allerzwaarste problemen bleek dat de slimste AI's het beter deden in C++ dan in Python. Waarom? Omdat de problemen zo snel moeten worden opgelost dat de "snelle fiets" (C++) nodig is. De AI's lijken te begrijpen dat je voor een marathon niet met een wandelstok kunt rennen.

4. De "Herhaal-En-Fout" Methode

In echte wedstrijden mogen programmeurs hun code testen, zien waar het misgaat, en het dan verbeteren. De onderzoekers lieten de AI's dit ook doen.

• Wat gebeurde er? Als de AI een fout maakte (bijvoorbeeld een typfout in de code), kon ze die vaak snel oplossen door de foutmelding te lezen.
• De Moeilijkheid: Maar als de fout zat in de logica (bijvoorbeeld: "Ik heb een te traag plan bedacht"), lukte het verbeteren vaak niet. De AI kon de fout niet "fixen" omdat het hele idee achter de oplossing verkeerd was. Het is alsof je een auto probeert te repareren door de banden te pompen, terwijl de motor kapot is.

5. Waarom is dit belangrijk?

Vroeger dachten we dat AI's bijna alles konden. Deze test laat zien dat er nog een enorme kloof is tussen "goed kunnen programmeren" en "een wereldkampioenschap kunnen winnen".

• Voor de toekomst: Het helpt ontwikkelaars om te zien waar ze hun AI's moeten verbeteren. Ze moeten niet alleen meer data leren, maar vooral leren hoe ze complexe, creatieve problemen moeten oplossen, net als een menselijke kampioen.

Kortom: OJBench is de nieuwe "Olympische Spelen" voor programmeer-AI's. En tot nu toe hebben de robots laten zien dat ze nog veel moeten trainen voordat ze de gouden medaille kunnen winnen.

Technische samenvatting

Probleemstelling

Hoewel grote taalmodellen (LLMs) aanzienlijke vooruitgang hebben geboekt in wiskundig en codeerredeneren, zijn bestaande benchmarks voor code (zoals LiveCodeBench) beperkt in hun vermogen om de volledige reikwijdte van deze vaardigheden te evalueren, vooral op competitieniveau.

• De huidige benchmarks bevatten voornamelijk problemen van interview-niveau die zich richten op basisalgoritmen.
• Veel modellen presteren hierop vergelijkbaar goed, wat het moeilijk maakt om de echte grenzen van hun redeneervermogen te onderscheiden of beperkingen bloot te leggen.
• Er is een gebrek aan benchmarks die daadwerkelijk uitdagende, competitieve programmeeropgaven bevatten die zijn ontworpen voor top-tier programmeurs (zoals in de Olympiades).

Methodologie: OJBench

Om deze kloof te overbruggen, stellen de auteurs OJBench voor, een nieuw en uitdagend benchmark-dataset specifiek ontworpen voor competitie-niveau codeerredeneren.

1. Datacollectie en Bronnen:

• Bronnen: De dataset bestaat uit 232 programmeeropgaven afkomstig van twee prestigieuze bronnen: de National Olympiad in Informatics (NOI, China) en de International Collegiate Programming Contest (ICPC).
• Filtering: Er is een strikt filteringsproces toegepast:
  • Validatie van testcases met correcte inzendingen van deelnemers om onvolledige of foutieve data te verwijderen.
  • Uitsluiting van problemen die een "special judge" vereisten (waarbij de output niet uniek is en een speciaal beoordelingsprogramma nodig heeft), omdat deze vaak niet beschikbaar of moeilijk te repliceren zijn.
  • Vertaling van NOI-problemen naar het Engels met handmatige verificatie.
• Statistieken: De dataset bevat 159 NOI-problemen en 73 ICPC-problemen, verdeeld over moeilijkheidsgraden: Easy (36), Medium (79) en Hard (117).

2. Moeilijkheidsclassificatie:

• NOI: Gebruikmakend van stemmingsdata van deelnemers (schaal 0-7). Scores 2-3 = Easy, 4-5 = Medium, 6-7 = Hard.
• ICPC: Een afgeleide moeilijkheidsscore gebaseerd op vier metrieken uit echte wedstrijden (aantal inzendingen, geaccepteerde oplossingen, deelnemende teams, en pogingen). Een lage succesratio en een hoge pogingsratio wijzen op een moeilijker probleem.

3. Evaluatiemethode:

• Testcases: In tegenstelling tot benchmarks die met een beperkt aantal testcases werken (wat leidt tot valse positieven), evalueert OJBench de gegenereerde code tegen alle beschikbare testcases van de oorspronkelijke wedstrijd. Een oplossing is alleen correct als hij alle testcases passeert.
• Taalondersteuning: OJBench ondersteunt evaluatie in zowel Python als C++. Dit is cruciaal omdat C++ in competitie-programmeren de voorkeur heeft vanwege strikte tijdslimieten en prestatie-eisen, terwijl Python vaak de standaard is in benchmarks.

Belangrijkste Bijdragen

1. Introductie van OJBench: Een competitie-niveau benchmark met 232 top-tier algoritmische problemen uit menselijke wedstrijden.
2. Uitgebreide Evaluatie: Een evaluatie van 37 modellen, inclusief gesloten bron (closed-source), open source, en modellen gericht op redeneren (reasoning-oriented) versus niet-gedreven modellen.
3. Diepgaande Analyse: Onderzoek naar de impact van programmeertalen (Python vs. C++) en het vermogen van modellen om fouten te corrigeren op basis van feedback uit de uitvoeringsomgeving.

Resultaten

De evaluatie omvatte modellen zoals de OpenAI-o1-reeks (o1-mini, o3-mini, o4-mini), Gemini-2.5-pro-exp, DeepSeek-R1, Qwen3-reeks en diverse CodeLlama/DeepSeek-Coder varianten.

• Algemene Prestaties:
  • Gesloten bron-modellen presteren over het algemeen beter dan open source-modellen.
  • Zelfs de state-of-the-art redenerende modellen (zoals o4-mini en Gemini-2.5-pro-exp) worstelen met de meest uitdagende problemen. De pass-rates voor "Hard" problemen blijven laag (bijv. o4-mini: ~5.77%, Gemini-2.5-pro-exp: ~9.48%).
  • Redenerende modellen presteren significant beter dan niet-redenerende modellen, wat aantoont dat technieken zoals reinforcement learning en distillatie essentieel zijn.
• Invloed van Programmeertaal (Python vs. C++):
  • Voor de meeste geavanceerde redenerende modellen (zoals o4-mini en Gemini) presteert C++ aanzienlijk beter dan Python. Dit komt door de hogere efficiëntie van C++, wat beter past bij de strikte tijdslimieten van competitieproblemen.
  • Uitzonderingen zijn modellen die specifiek zijn getraind op C++-oplossingen (zoals Olympic-Coder), waar de prestaties vergelijkbaar zijn.
• Refinement (Iteratieve Verbetering):
  • Modellen kunnen hun prestaties verbeteren door gebruik te maken van feedback (zoals Compile Errors of Time Limit Exceeded) om hun code te corrigeren.
  • Compile Errors (CE) worden het makkelijkst opgelost.
  • Time Limit Exceeded (TLE) blijft echter een grote uitdaging; het vereist het ontwerpen van efficiëntere algoritmen, wat de huidige modellen moeite kost.
• Vergelijking met Bestaande Benchmarks:
  • Modellen die uitstekend presteren op LiveCodeBench (een interview-benchmark), laten een drastische daling zien op OJBench, wat bevestigt dat OJBench aanzienlijk moeilijker is.

Significantie en Conclusie

OJBench biedt een strengere en meer realistische test voor de codeerredeneercapaciteiten van LLMs dan bestaande benchmarks. De resultaten tonen aan dat:

1. Er nog een aanzienlijke kloof bestaat tussen de huidige state-of-the-art modellen en het niveau van menselijke competitieprogrammeurs, vooral bij complexe, tijdgevoelige problemen.
2. Het gebruik van C++ in plaats van Python essentieel is voor het nauwkeurig beoordelen van competitie-niveau vaardigheden.
3. Het vermogen om efficiënte algoritmen te ontwerpen (om TLE-fouten te voorkomen) een van de grootste beperkingen is voor toekomstige code-LLMs.

OJBench dient als een cruciaal hulpmiddel om de grenzen van huidige modellen te identificeren en richt de ontwikkeling van toekomstige code-LLMs naar het overwinnen van deze specifieke uitdagingen in competitieve programmering.