Stel je voor dat je een rechter bent bij een kookwedstrijd. Het doel is niet alleen om een gerecht te maken dat lekker smaakt; het doel is om het sneller te koken dan het originele recept, terwijl de smaak exact hetzelfde blijft.

In de wereld van de computerwetenschappen (coding agents) betreden (AI-programma's) deze kookwedstrijd. Ze krijgen echte softwareprojecten en de opdracht om code-patches te schrijven die de software sneller laten draaien. Om te zien wie er wint, hebben onderzoekers "leaderboards" (scoreborden) gemaakt op basis van drie specifieke wedstrijden: GSO, SWE-Perf en SWE-fficiency.

Dit artikel is als een groep voedselcritici die besloten de wedstrijd zelf te auditeren. Ze vroegen zich af: "Zijn deze scores eigenlijk een indicatie van wie de beste chef is, of zijn de regels van het spel misleidend?"

Dit is wat ze vonden, eenvoudig uitgelegd:

1. Het "Weer"-probleem: Het recept verandert wanneer je van keuken wisselt

Het probleem: De wedstrijd gaat ervan uit dat als een code-patch een programma sneller maakt op één computer, het op elke computer sneller zal zijn. Het is alsof je ervan uitgaat dat een cake in exact 20 minuten gebakken wordt, of je nu in een keuken in New York of in Tokio staat.

De audit: De onderzoekers namen de "officiële winnende recepten" (referentie-patches) en probeerden deze te bakken op vier verschillende soorten computers (verschillende "keukens").

• Het resultaat: In veel gevallen werd het recept dat bedoeld was als het "snelste" juist langzamer of bleef het ongeveer even snel op een andere computer.
• De metafoor: Stel je een hardloper voor die de snelste is op een atletiekbaan in de ochtend, maar die in de middag moe wordt en vertraagt. Het "officiële record" zegt dat hij de snelste is, maar dat record houdt alleen stand onder specifieke omstandigheden.
• De les: Voor een van de wedstrijden (SWE-Perf) waren de "snelheidswinsten" zo klein (slechts 0,03%) dat de interne ruis van de computer (zoals een draaiende ventilator of een achtergrondproces) de resultaten liet omdraaien. De "winnende" patch was eigenlijk niet de winnaar; hij had gewoon geluk met het weer.

2. Het "Scorekaart"-probleem: Eén slecht gerecht kan je hele maaltijd verpesten

Het probleem: Hoe bereken je de eindscore?

• Wedstrijd A (GSO): Het is een simpel pass/fail-systeem. Heb je de referentiesnelheid verslagen? Ja = 1 punt. Nee = 0 punten.
• Wedstrijd B (SWE-fficiency): Deze gebruikt een complexe wiskundige formule (harmonisch gemiddelde) die je zwaar straft als je één echt slecht resultaat hebt.

De audit: De onderzoekers namen dezelfde AI-chefs en scoorden hen met beide regels.

• Het resultaat: De ranglijsten veranderden volledig! Een AI die #1 was in Wedstrijd A, zakte naar #7 in Wedstrijd B.
• De metafoor: Stel je een student voor die een toets maakt.
  • Regel A: Je krijgt 1 punt voor elk goed antwoord.
  • Regel B: Je krijgt 1 punt voor elk goed antwoord, MAAR als je één vraag fout hebt, wordt je hele score gedeeld door 1.000.
  • Onder Regel B kon een student die 99% van de vragen goed had, maar één klein detail miste, eindigen met een lagere score dan een student die 80% van de vragen goed had maar nooit een "catastrofale" fout maakte.
• De les: Het leaderboard laat niet alleen zien wie de beste programmeur is; het laat zien wie het beste is in het vermijden van de specifieke "vallen" die in de scoring-wiskunde zijn gebouwd. In SWE-fficiency droegen de slechtste 10 taken (de "slechte gerechten") 58% tot 82% van het gewicht voor de totale score. Eén slechte patch kon de reputatie van een inzending ruïneren.

3. Het "Al Opgelost"-probleem: De finishlijn verschuift

Het probleem: De benchmarks zijn bedoeld om te laten zien hoeveel vooruitgang AI boekt. Maar zijn de taken nog wel moeilijk?

De audit: De onderzoekers keken naar de top 10 publieke inzendingen voor elke taak. Ze vroegen: "Heeft iemand dit al opgelost?"

• Het resultaat: Voor bijna elke taak (99,8%) had ten minste één AI al een patch geschreven die werkte en sneller was dan de originele code. Voor de meeste taken (85%) had ten minste één AI de "officiële referentie"-snelheid al gehaald of overtroffen.
• De metafoor: Stel je een race voor waarbij het doel is om een mijl onder de 6 minuten te lopen. De onderzoekers controleerden de resultaten en ontdekten dat bijna iedereen al in minder dan 6 minuten had gelopen. De mensen die nog in de race waren, probeerden slechts de laatste paar seconden eraf te halen om het "wereldrecord" te evenaren.
• De les: Het "moeilijke deel" van het vinden van elke oplossing is grotendeels voorbij. De resterende uitdaging is het fijn afstemmen om de specifieke snelheid van de referentie-patch te evenaren. De benchmarks testen niet langer of AI dingen kan "repareren"; ze testen of AI dingen kan "perfectioneren".

Samenvatting: Wat moeten we geloven?

De conclusie van het artikel is dat leaderboard-scores alleen niet genoeg zijn om coding agents te beoordelen.

• Vertrouw het "Officiële Record" niet blindelings: Een patch kan een winnaar lijken op één computer, maar falen op een andere.
• Controleer de Wiskunde: Een ranglijst kan hoog lijken simpelweg omdat de scoringsregel een concurrent heeft gestraft voor een kleine fout, niet omdat ze over het algemeen slechter waren.
• Kijk naar de Details: De meeste taken zijn al "opgelost" door iemand. De echte kloof is niet het vinden van een oplossing; het is het behalen van de laatste paar procentpunten aan snelheid.

Kortom, het scorebord is echt, maar het spel is complexer dan de cijfers doen vermoeden. Om echt te begrijpen wie er wint, moet je onder de motorkap kijken naar hoe de score is berekend en waarin de AI daadwerkelijk succesvol was.