From Programs to Predictions: A Scalable, Multilingual Platform for Automated Evaluation of Machine-Learning Olympiads

Stel je voor dat je op een enorme, prestigieuze kookwedstrijd bent, maar in plaats van een afgewerkt gerecht in te leveren om geproefd te worden, sturen de deelnemers je een geheim receptkaart met een lijst met voorspelde smaken. In de oude dagen waren computerwedstrijden als een strikte smaaktest: je leverde een programma in, de rechter draaide het, en als de output niet exact overeenkwam met het antwoordmodel, faalde je. Maar in deze nieuwe wereld van "Machine Learning Olympiades" zijn de regels veranderd. De jury geeft niet om de vraag of de code perfect draait; ze geven erom of de voorspellingen dicht genoeg bij de waarheid liggen, gebruikmakend van vreemde, op maat gemaakte scoringsregels die voor elk probleem uniek zijn.

Maak kennis met MLCompete, een digitaal platform gebouwd om deze chaotische, hogesnelheids-smaakuitdaging aan te kunnen. Het is de officiële scheidsrechter voor de Roemense Nationale AI Olympiade, en het doet iets wat geen enkel ander systeem doet: het laat duizenden studenten concurreren, hun "smaakvoorspellingen" indienen en direct gescoord worden, zelfs wanneer de scoringsregels zo uniek zijn als sneeuwvlokken.

De Grote Verschuiving: Van Code Draaien naar Gokken Beoordelen

Het artikel betoogt dat je niet zomaar een ouderwetse computerrechter kunt pakken en een beetje kunt aanpassen. Het is alsof je een stopwatch probeert te gebruiken om de smaak van soep te meten. De oude systemen wachten tot een programma klaar is met draaien en spuugt dan een antwoord uit. MLCompete realiseert zich echter dat bij AI-wedstrijden het zware werk plaatsvindt voordat de inzending wordt gedaan. Studenten trainen hun modellen elders (of op het platform), en uploaden dan een bestand vol voorspellingen. De taak van het platform is om dat bestand te nemen, het te vergelijken met een verborgen "antwoordmodel" (ground truth), en een score te berekenen met behulp van een metriek die specifiek kan zijn voor dat ene probleem.

De auteurs sluiten expliciet de mogelijkheid uit dat dit slechts een "grotere versie" is van een standaard programmeerwedstrijd. Ze stellen dat de infrastructuur fundamenteel anders moet zijn omdat de levering geen programma is; het is een set voorspellingen, en de scoring is niet "goed of fout", maar een glijdende schaal van hoe goed de gok is.

Hoe het Werkt: De Lopende Band

Zie MLCompete als een superefficiënte, geautomatiseerde fabriekslijn.

1. De Aflevering: Wanneer een student zijn voorspellingsbestand uploadt, hoeft hij niet te wachten. Het is als een slimme postkamer die je pakketje direct een stempel geeft met "Ontvangen" en zegt: "We komen er zo even naar om te kijken." Dit is het asynchrone deel. De student kan een spelletje gaan spelen terwijl het echte werk op de achtergrond gebeurt.
2. De Wachtrij: De inzending wordt in een digitale wachtrij gedumpt (een message queue). Dit is het geheime ingrediënt. Dit betekent dat als 1.000 studenten op exact hetzelfde moment een inzending doen, het systeem niet crasht; het zet ze gewoon op een rij.
3. De Scoring Crew: Een team van onzichtbare werkers (genaamd "evaluatoren") pakt het volgende bestand uit de rij, draait het specifieke scoringsscript (wat een standaard wiskundige formule kan zijn of een aangepast script geschreven door de auteur van het probleem), en berekent de score.
4. Het Resultaat: Zodra de score klaar is, pusht het systeem deze bijna in real-time terug naar het scherm van de student.

Het artikel laat zien dat deze opzet ongelooflijk snel is. In een venster van 15 dagen verwerkte het systeem meer dan 8,1 miljoen verzoeken. De backend (het brein van de operatie) was zo snel dat hij 95% van de tijd binnen minder dan 255 milliseconden reageerde. Dat is sneller dan een knipoog.

Het "Twee-Fasen" Scorebord

Hier is een lastig deel dat het artikel uitlegt met een slimme truc om valsspelen te voorkomen. Stel je een leaderboard voor dat laat zien hoe je er nu voor staat, maar dat is alleen gebaseerd op een kleine, publieke selectie van de testvragen. Dit houdt studenten betrokken. Maar de echte definitieve ranglijst is gebaseerd op een geheime, private selectie van vragen die niemand heeft gezien.

Het platform berekent beide scores in één keer. Het voorkomt dat studenten "het systeem bespelen" door duizenden keren in te dienen om te zien welke toevallig de geheime antwoorden raakt. Om te winnen, moet een student expliciet zijn twee beste inzendingen kiezen vóór de deadline. Het systeem neemt vervolgens de beste van die twee op het geheime leaderboard. Dit dwingt studenten om op hun beste werk te vertrouwen in plaats van het systeem te spammen.

De "Veilige Kamer" voor Code

Soms moeten studenten hun eigen code direct op de supercomputers van het platform draaien om hun voorspellingen te genereren. Dit is gevaarlijk, want je wilt niet dat de buggy code van een student gegevens steelt of het hele systeem laat crashen.

Het artikel beschrijft een "defense-in-depth" beveiligingsmodel. Voor de meest geavanceerde fase (de National Team Selection Camp) krijgen studenten toegang tot krachtige NVIDIA H200 GPU's. Maar hier is de magie: het platform gebruikt een technologie genaamd MIG (Multi-Instance GPU) om één gigantische GPU op te delen in vijf kleinere, geïsoleerde stukken. Elke student krijgt zijn eigen kleine stukje geheugen en rekenkracht. Het is alsoak elke deelnemer zijn eigen privé, geluiddichte cabine in een enorme bibliotheek heeft. Zelfs als de code van een student ontspoort, kan deze de data van anderen of de rest van de computer niet raken.

Om ervoor te zorgen dat ze niet valsspelen door antwoorden online op te zoeken, gebruikt het platform een "whitelisting proxy". Het is als een strenge bibliothecaris die je alleen boeken laat lezen van een specifieke, vooraf goedgekeurde lijst. Tijdens de wedstrijd kunnen studenten alleen communiceren met het platform, hun identiteitsprovider en de Jupyter coding omgeving. Het internet, publieke model hubs en willekeurige websites zijn volledig geblokkeerd.

De Cijfers: Hoe Goed Ging het?

De auteurs hebben dit niet alleen gebouwd; ze hebben het door het vuur getest van een echte nationale competitie.

• Betrouwbaarheid: Het systeem was bijna perfect operationeel. De "serverfout"-ratio was een minieme 0,007%. Dat betekent dat van elke 10.000 verzoeken er ongeveer 7 faalden.
• Kosten: Ze beheerden dit alles op één enkele, bescheiden computerserver (een "commodity K3s node") voor het dagelijkse, stabiele verkeer. Het is alsof je een groot pretpark runt met een enkele ticketbalie die pas meer loketten opent wanneer de menigte enorm wordt.
• De Piek: Tijdens de National Team Selection Camp steeg het verkeer 3 tot 6 keer hoger dan normaal. Het systeem absorbeerde deze piek zonder te vertragen of te crashen, dankzij de mogelijkheid om automatisch meer "workers" toe te voegen wanneer de rij lang werd.
• Schaalbaarheid: De auteurs hebben simulaties uitgevoerd (computer modellen, geen live tests) om te zien wat er zou gebeuren als honderden studenten tegelijk zouden indienen. Ze ontdekten dat met een pool van slechts 10 workers, het systeem tot wel 5 inzendingen per seconde kon verwerken met bijna nul wachttijd. Als de rij langer werd, voegde het systeem automatisch meer workers toe.

Wat het Niet Is

Het artikel is voorzichtig in het aangeven van wat het niet heeft bewezen. Ze geven toe dat hun live data slechts een venster van 15 dagen beslaat, wat een "bescheiden" wedstrijdpiek bevatte, maar de enorme "lente"-fasen miste waarin honderden studenten strijden. Hoewel het systeem de piek tijdens de teamcamp perfect aanpakte, suggereren de auteurs (in plaats van te bewijzen) dat het nog verder zou schalen voor de grootste evenementen. Ze merken ook op dat hoewel ze sterke beveiliging hebben, ze nog steeds werken aan zelfs nog hardere "kernel-level" sandboxing om de uitvoering van code absoluut onkwetsbaar te maken tegen de meest vastberaden hackers.

De Conclusie

MLCompete bewijst dat je een enorm, meertalig, veilig en goedkoop platform voor AI-wedstrijden kunt bouwen door voorspellingen te behandelen als post en scoring als een fabrieksassemblageproces. Het is geen toverstaf die alle AI-problemen oplost, maar het is een solide, werkend blauwdruk die studenten in staat stelt zich te concentreren op leren en concurreren, in plaats van zich zorgen te maken of de computer zal crashen. Zoals het artikel concludeert: de architectuur werkt, en de data ondersteunt het, wat een nieuwe manier biedt om de toekomst van AI-onderwijs vorm te geven.