From Programs to Predictions: A Scalable, Multilingual Platform for Automated Evaluation of Machine-Learning Olympiads

あなたは、大規模でハイステークスな料理コンテストに参加していると想像してください。ただし、完成した料理を味見に出すのではなく、コンテスタントたちは「予測された味」のリストが書かれた秘密のレシピカードをあなたに送ってきます。昔のコンピュータ・コンテストは、厳格な味覚テストのようなものでした。プログラムを提出し、ジャッジがそれを実行し、出力が正解キーと完全に一致しなければ不合格となるというものでした。しかし、この新しい「機械学習オリンピック」の世界では、ルールが変わりました。ジャッジはコードが完璧に動作するかどうかではなく、予測がどれだけ真実に近いかを気にします。しかも、そのスコアリング・ルールは問題ごとに雪の結晶のようにユニークで、変化していきます。

そこで登場するのが、この混沌とした高速の「味の挑戦」を処理するために構築されたデジタル・プラットフォーム、MLCompeteです。これはルーマニアの国家AIオリンピックの公式レフェリーであり、他のどのシステムとも異なることを成し遂げています。それは、何千人もの学生が「味の予測」を提出し、スコアを受け取れるようにすることです。たとえそのスコアリング・ルールが、その問題専用の非常に特殊なものであったとしても、瞬時にスコアを算出できるのです。

大きな転換：コードの実行から、推測の採点へ

論文では、古い形式のコンピュータ・ジャッジを単に微調整するだけでは、この問題には対処できないと主張しています。それは、スープの味を測るためにストップウォッチを使おうとするようなものです。従来のシステムは、プログラムの実行が終わるのを待ってから答えを出力します。しかし、MLCompeteは、AIコンテストにおいて、重労働は「提出の前」に行われるという事実を理解しています。学生は、プラットフォーム上または別の場所でモデルを訓練し、その後、予測が詰まったファイルをアップロードします。プラットフォームの役割は、そのファイルを受け取り、隠された「正解（グラウンド・トゥルース）」と比較し、その問題に特有の指標を用いてスコアを計算することです。

著者らは、これが標準的なプログラミング・コンテストの単なる「大型版」ではないという考えを明確に否定しています。彼らは、デリバラブル（成果物）がプログラムではなく「一連の予測」であり、スコアリングが「正解か不正解か」ではなく「推測がいかに優れているかという連続的な尺度」であるため、インフラストラクチャは根本的に異なっていなければならないと述べています。

仕組み：組み立てライン

MLCompeteを、超効率的で自動化された工場の組み立てラインと考えてみてください。

1. ドロップオフ（受付）: 学生が予測ファイルをアップロードすると、システムは待機を強要しません。それは、荷物に即座に「受領」のスタンプを押し、「すぐに処理します」と伝えるスマートな郵便局のようなものです。これが**非同期（asynchronous）**な部分です。学生は、実際の作業がバックグラウンドで行われている間、ゲームをして過ごすことができます。
2. キュー（待ち行列）: 提出物はデジタルな待ち行列（メッセージ・キュー）に投入されます。これが秘伝のソースです。これにより、もし1,000人の学生が全く同じ瞬間に提出したとしても、システムはクラッシュせず、単にそれらを列に並べることができます。
3. スコアリング・クルー（採点チーム）: 「エバリュエーター（評価器）」と呼ばれる目に見えない作業員チームが、列から次のファイルを取り出し、特定のスコアリング・スクリプト（標準的な数学公式、あるいは問題作成者が書いたカスタム・スクリプトのいずれか）を実行して、スコアを算出します。
4. 結果: スコアの準備ができ次第、システムは学生の画面にほぼリアルタイムで結果をプッシュします。

論文は、このセットアップが非常に高速であることを示しています。15日間の期間中、システムは810万件以上のリクエストを処理しました。バックエンド（操作の脳にあたる部分）は非常に高速で、95%のケースで255ミリ秒未満で応答しました。これは、まばたきよりも速いスピードです。

「二段階」のリーダーボード

ここで、論文が不正防止のための巧妙なトリックとともに説明している難しい部分があります。想像してみてください。現在の進捗状況を示すリーダーボードがありますが、それは公開されている小さなテスト問題のセットに基づいています。これにより、学生の関心を引きつけます。しかし、本当の最終ランキングは、誰も見たことがない、秘密のプライベートな問題セットに基づいています。

プラットフォームはこれら両方のスコアを一度に計算します。これにより、学生が偶然の正解を当てるために何度も提出して「システムをハックする」ことを防ぎます。勝つためには、学生は締め切り前に自分の最も優れた2つの提出物を明示的に選ばなければなりません。システムは、そのうちの優れた方のスコップを秘密のリーダーボードで使用します。これにより、学生はシステムに大量の提出物を送りつけるのではなく、自分の最高の結果を信じるようになります。

コードのための「セーフ・ルーム（安全な部屋）」

時には、学生が予測を生成するために、プラットフォーム上のスーパーコンピュータ上で直接独自のコードを実行する必要がある場合があります。これは危険です。なぜなら、学生のバグを含んだコードがデータを盗んだり、システム全体をクラッシュさせたりする可能性があるからです。

論文は、「防御の層（defense-in-depth）」によるセキュリティモデルについて記述しています。最も高度なステージ（ナショナル・チーム選抜キャンプ）では、学生は強力なNVIDIA H200 GPUへのアクセス権を得ます。しかし、ここには魔法があります。プラットフォームは、MIG (Multi-Instance GPU) と呼ばれる技術を使用して、一つの巨大なGPUを5つの小さな、隔離された断片にスライスします。各学生には、独自のメモリと計算能力の小さなスライスが割り当てられます。それは、巨大な図書館の中で、すべてのコンテスタントに自分専用の防音ブースを与えるようなものです。たとえ一人の学生のコードが暴走しても、他の誰かのデータやコンピュータの残りの部分に触れることはできません。

また、オンラインで答えを検索して不正を行わないように、プラットフォームは「ホワイトリスト・プロキシ」を使用しています。これは、許可された書籍のリストにある本だけを読ませる、厳格な司書のようなものです。コンテスト中、学生はプラットフォーム、自身のアイデンティティ・プロバイダー、およびJupyterコーディング環境としか通信できません。インターネット、公開モデルハブ、およびランダムなウェブサイトは完全にブロックされます。

数字：どれほど機能したか？

著者らは単にこれを作っただけでなく、実際の国家レベルのコンテストという火の中に投げ込みました。

• 信頼性: システムはほぼ完璧に稼働していました。「サーバーエラー」の発生率はわずか**0.007%**でした。これは、10,000件のリクエストにつき、約7件しか失敗しなかったことを意味します。
• コスト: 彼らは、日常的なトラフィックに対して、単一の控えめなコンピュータ・サーバー（「コモディティK3sノード」）ですべてを管理しました。これは、混雑した時にだけ窓口を増やす、単一のチケット売り場を持つ巨大なテーマパークを運営するようなものです。
• スパイク（急増）: ナショナル・チーム選抜キャンプの間、トラフィックは通常時の3倍から6倍に跳ね上がりました。システムは、列が長くなったときに自動的に「ワーカー」を追加する能力により、速度を落としたりクラッシュしたりすることなく、このスパイクを吸収しました。
• スケーラビリティ（拡張性）: 著者らは、数百人の学生が同時に提出した場合に何が起こるかを調べるために、シミュレーション（ライブテストではなくコンピュータモデル）を行いました。その結果、わずか10個のワーカーのプールがあれば、システムは待ち時間ほぼゼロで、最大毎秒5件の提出を処理できることが分かりました。もし列が長くなれば、システムは自動的にさらに多くのワーカーを追加する仕組みになっています。

それが「やっていないこと」

論文は、自身がまだ証明できていないことについても慎重に述べています。彼らは、ライブデータが15日間の期間のみをカバーしており、そこには「控えめな」コンテストのスパイクは含まれているものの、数百人の学生が競い合う「春」のステージは含まれていないことを認めています。したがって、システムがチームキャンプのスパイクを完璧に処理したことは示されていますが、著者らは、最も大規模なイベントにおいてはさらに拡張可能であることを、証明ではなく「示唆」しています。また、セキュリティは強力ですが、コードの実行を決定的なハッカーに対しても絶対に安全にするために、さらに強力な「カーネルレベル」のサンドボックス化に取り組んでいることも述べています。

まとめ

MLCompeteは、予測を「郵便物」として、スコアリングを「工場の組み立てライン」として扱うことで、AIコンテストのための大規模、多言語、安全、かつ安価なプラットフォームを構築できることを証明しています。これはあらゆるAIの問題を解決する魔法の杖ではありませんが、学生が「コンピュータがクラッシュしないか」を心配するのではなく、学習と競争に集中できるようにするための、堅実で機能するブループリント（設計図）です。論文が結論付けているように、このアーキテクチャは機能しており、そのデータは裏付けられており、AI教育の未来を運営するための新しい方法を提示しています。