From Programs to Predictions: A Scalable, Multilingual Platform for Automated Evaluation of Machine-Learning Olympiads

Stellen Sie sich vor, Sie befinden sich bei einem riesigen Kochwettbewerb mit hohem Einsatz, aber anstatt ein fertiges Gericht zur Verkostung einzureichen, schicken die Teilnehmer eine geheime Rezeptkarte mit einer Liste vorhergesagter Aromen. In den alten Tagen waren Computerwettbewerbe wie ein strenger Geschmackstest: Man reichte ein Programm ein, der Richter führte es aus, und wenn die Ausgabe nicht exakt mit dem Antwortschlüssel übereinstimmte, war man durchgefallen. Aber in dieser neuen Welt der „Machine Learning Olympiaden“ haben sich die Regeln geändert. Den Richtern ist es egal, ob der Code perfekt läuft; es zählt, ob die Vorhersagen nah genug an der Wahrheit liegen, unter Verwendung seltsamer, maßgeschneiderter Scoring-Regeln, die sich für jedes einzelne Problem ändern können.

Hier kommt MLCompete ins Spiel, eine digitale Plattform, die entwickelt wurde, um diese chaotische, hochgeschwindigkeitsorientierte Flavor-Challenge zu bewältigen. Es ist der offizielle Schiedsrichter für Rumäniens Nationale KI-Olympiade und tut etwas, das kein anderes System so macht: Es ermöglicht Tausenden von Schülern, zu konkurrieren, ihre „Aroma-Vorhersagen“ einzureichen und sofort bewertet zu werden, selbst wenn die Scoring-Regeln so einzigartig wie Schneeflocken sind.

Der große Wandel: Vom Ausführen von Code zum Bewerten von Vermutungen

Das Paper argumentiert, dass man einen altmodischen Computer-Richter nicht einfach nur anpassen kann. Es ist, als würde man versuchen, die Suppe mit einer Stoppuhr zu messen. Alte Systeme warten darauf, dass ein Programm fertig läuft und eine Antwort ausspuckt. MLCompete hingegen erkennt, dass die schwere Arbeit bei KI-Wettbewerben vor der Einreichung stattfindet. Die Schüler trainieren ihre Modelle woanders (oder auf der Plattform) und laden dann eine Datei voller Vorhersagen hoch. Die Aufgabe der Plattform besteht darin, diese Datei zu nehmen, sie mit einem verborgenen „Antwortschlüssel“ (Ground Truth) zu vergleichen und einen Score zu berechnen, der eine Metrik verwenden kann, die spezifisch für dieses eine Problem ist.

Die Autoren schließen explizit die Idee aus, dass dies nur eine „größere Version“ eines Standard-Programmierwettbewerbs sei. Sie sagen, dass die Infrastruktur grundlegend anders sein muss, weil das Lieferobjekt kein Programm ist, sondern ein Satz von Vorhersagen, und das Scoring nicht „richtig oder falsch“ ist, sondern eine gleitende Skala dessen, wie gut die Vermutung ist.

Wie es funktioniert: Das Fließband

Stellen Sie sich MLCompete wie eine supereffiziente, automatisierte Fabrikstraße vor.

1. Die Abgabe: Wenn ein Schüler seine Vorhersage-Datei hochlädt, muss er nicht warten. Es ist wie ein intelligentes Postbüro, das Ihr Paket sofort mit dem Stempel „Erhalten“ versieht und sagt: „Wir kümmern uns in einem Augenblick darum.“ Dies ist der asynchrone Teil. Der Schüler kann spielen gehen, während die eigentliche Arbeit im Hintergrund geschieht.
2. Die Warteschlange: Die Einreichung wird in eine digitale Warteschlange (Message Queue) geworfen. Das ist das Geheimrezept. Das bedeutet: Wenn 1.000 Schüler im exakt selben Moment einreichen, stürzt das System nicht ab; es stellt sie einfach in eine Schlange.
3. Die Scoring-Crew: Ein Team von unsichtbaren Arbeitern (genannt „Evaluatoren“) schnappt sich die nächste Datei aus der Schlange, führt das spezifische Scoring-Skript aus (das entweder eine Standard-Mathematikformel oder ein vom Autor des Problems geschriebenes benutzerdefiniertes Skript sein kann) und berechnet den Score.
4. Das Ergebnis: Sobald der Score bereit ist, drückt das System ihn fast in Echtzeit zurück auf den Bildschirm des Schülers.

Das Paper zeigt, dass dieser Aufbau unglaublich schnell ist. In einem Zeitraum von 15 Tagen bearbeitete das System über 8,1 Millionen Anfragen. Das Backend (das Gehirn der Operation) war so schnell, dass es in 95 % der Fälle in weniger als 255 Millisekunden antwortete. Das ist schneller als ein Blinzeln eines Auges.

Das „Zwei-Phasen“-Scoreboard

Hier ist ein kniffliger Teil, den das Paper mit einem cleveren Trick erklärt, um Betrug zu verhindern. Stellen Sie sich eine Bestenliste vor, die Ihnen zeigt, wie Sie gerade jetzt abschneiden, aber diese basiert nur auf einem kleinen, öffentlichen Ausschnitt der Testfragen. Dies hält die Schüler bei der Stange. Aber das reale Endergebnis basiert auf einem geheimen, privaten Ausschnitt von Fragen, die niemand zuvor gesehen hat.

Die Plattform berechnet beide Scores in einem Durchgang. Dies verhindert, dass Schüler das System „austricksen“, indem sie tausendfach Einreichungen tätigen, um zu sehen, welche davon zufällig die geheimen Antworten trifft. Um zu gewinnen, muss ein Schüler vor der Deadline explizit seine zwei besten Einreichungen auswählen. Das System nimmt dann die bessere dieser beiden für die geheime Bestenliste. Dies zwingt die Schüler dazu, ihrer besten Arbeit zu vertrauen, anstatt das System mit Spam zu überfluten.

Der „Safe Room“ für Code

Manchmal müssen Schüler ihren Code direkt auf den Supercomputern der Plattform ausführen, um ihre Vorhersagen zu generieren. Das ist gefährlich, da man nicht möchte, dass der fehlerhafte Code eines Schülers Daten stiehlt oder das gesamte System zum Absturz bringt.

Das Paper beschreibt ein „Defense-in-Depth“-Sicherheitsmodell. Für die fortgeschrittenste Phase (das National Team Selection Camp) erhalten die Schüler Zugang zu leistungsstarken NVIDIA H200 GPUs. Aber hier ist die Magie: Die Plattform nutzt eine Technologie namens MIG (Multi-Instance GPU), um eine riesige GPU in fünf kleinere, isolierte Teile zu zerlegen. Jeder Schüler erhält seinen eigenen winzigen Teil des Speichers und der Rechenleistung. Es ist, als würde man jedem Teilnehmer eine eigene kleine, schallisolierte Kabine in einer riesigen Bibliothek geben. Selbst wenn der Code eines Schülers außer Kontrolle gerät, kann er weder die Daten anderer noch den Rest des Computers berühren.

Um sicherzustellen, dass sie nicht schummeln, indem sie Antworten online nachschlagen, verwendet die Plattform einen „Whitelisting-Proxy“. Es ist wie ein strenger Bibliothekar, der nur Bücher zulässt, die auf einer spezifischen, vorab genehmigten Liste stehen. Während des Wettbewerbs können die Schüler nur mit der Plattform, ihrem Identitätsanbieter und der Jupyter-Coding-Umgebung kommunizieren. Das Internet, öffentliche Model-Hubs und beliebige Websites sind komplett blockiert.

Die Zahlen: Wie gut hat es funktioniert?

Die Autoren haben dies nicht nur gebaut; sie haben es im Feuer eines echten nationalen Wettbewerbs getestet.

• Zuverlässigkeit: Das System lief fast perfekt. Die Rate der „Serverfehler“ war winzige 0,007 %. Das bedeutet, von jeweils 10.000 Anfragen fielen nur etwa 7 fehl.
• Kosten: Sie bewältigten all dies auf einem einzigen, bescheidenen Computer-Server (einem „Commodity K3s Node“) für den stetigen, alltäglichen Verkehr. Es ist, als würde man einen riesigen Themenpark mit einem einzigen Tickethäuschen betreiben, das einfach mehr Fenster öffnet, wenn die Menge größer wird.
• Der Spike: Während des National Team Selection Camp sprang der Verkehr 3- bis 6-mal höher als normal an. Das System absorbierte diesen Anstieg ohne Verlangsamung oder Absturz, dank seiner Fähigkeit, automatisch mehr „Worker“ hinzuzufügen, wenn die Schlange länger wurde.
• Skalierbarkeit: Die Autoren führten Simulationen (Computermodelle, keine Live-Tests) durch, um zu sehen, was passieren würde, wenn hunderte Schüler gleichzeitig einreichen. Sie fanden heraus, dass das System mit einem Pool von nur 10 Workern bis zu 5 Einreichungen pro Sekunde mit fast null Wartezeit bewältigen konnte. Wenn die Schlange länger wurde, fügte das System automatisch mehr Worker hinzu.

Was es nicht ist

Das Paper ist vorsichtig dabei, was es noch nicht bewiesen hat. Sie geben zu, dass ihre Live-Daten nur einen Zeitraum von 15 Tagen abdecken, der einen „bescheidenen“ Wettbewerbs-Spike beinhaltete, aber die massiven „Frühlingsphasen“ verpasste, in denen hunderte Schüler konkurrieren. Daher deuten die Autoren eher an (anstatt zu beweisen), dass das System für die größten Events noch weiter skalieren würde. Sie merken auch an, dass sie zwar eine starke Sicherheit haben, aber noch an noch härteren „Kernel-Level“-Sandboxing arbeiten, um die Code-Ausführung absolut immun gegen die entschlossensten Hacker zu machen.

Das Fazit

MLCompete beweist, dass man eine massive, mehrsprachige, sichere und kostengünstige Plattform für KI-Wettbewerbe bauen kann, indem man Vorhersagen wie Post und Scoring wie eine Fabrik-Fließbandarbeit behandelt. Es ist kein Zauberstab, der alle KI-Probleme löst, aber es ist ein solider, funktionierender Bauplan, der es Schülern ermöglicht, sich auf das Lernen und Konkurrieren zu konzentrieren, anstatt sich Sorgen zu machen, ob der Computer abstürzt. Wie das Paper schließt, funktioniert die Architektur, und die Daten belegen dies, was einen neuen Weg für die Zukunft der KI-Bildung aufzeigt.