OJBench: A Competition Level Code Benchmark For Large Language Models

本論文は、NOI や ICPC からの 232 問の競技プログラミング問題を収録した新しいベンチマーク「OJBench」を提案し、最先端の推論モデルさえも高度な競技レベルのコード推論において大きな課題を抱えていることを示した。

要約

この論文は、**「AI にとっての『オリンピック』のような、超難関なプログラミングテスト」**を作ったというお話です。

タイトルは**「OJBench（オー・ジェイ・ベンチ）」**です。

これまでの AI（大規模言語モデル）は、普通のプログラミング問題ならよく解けるようになりました。でも、それは「学校の定期試験」や「就職試験」レベルの話。本当に頭が良いかどうかを測るには、もっとレベルの高い「世界大会」のようなテストが必要だったんです。

この論文では、その「世界大会」をどう作ったか、そして最新の AI がそこでどう戦ったかを報告しています。

1. なぜ新しいテストが必要だったの？（「練習試合」と「本番」の違い）

これまでの AI のプログラミング能力を測るテスト（LiveCodeBench など）は、どちらかというと**「就職面接で出されるような、基礎的な問題」**が多かったです。

• 今の状況： 多くの AI が「面接問題」なら満点を取れるようになり、もう誰が優れているか分かりにくくなってしまいました。
• 必要なもの： 世界中のトッププログラマーが挑む**「NOI（中国の全国情報オリンピック）」や「ICPC（国際大学生プログラミングコンテスト）」**のような、本当に難しい問題です。

この論文の著者たちは、**「AI に『面接問題』ではなく、『オリンピック本番』を解かせてみよう！」**と考えました。

2. OJBench とはどんなテスト？（「232 問の鬼門」）

彼らは、過去に人間が解いた232 問の超難問を集めてテストを作りました。

• 出題元： 中国の全国大会（NOI）と、世界の大学生の大会（ICPC）の問題。
• 難易度： 「簡単」「中級」「難問」に分類されています。特に「難問」は、人間でも解くのに苦労するレベルです。
• 厳しさ： 正解かどうかは、単に「答えが合ってるか」だけでなく、**「すべてのテストケース（入力データ）」**をクリアしないと合格になりません。少しのバグでもアウトです。

3. 37 種類の AI に挑戦させた結果（「天才でも苦戦」）

彼らは、最新の「推論型 AI（ reasoning-oriented models）」と呼ばれる、よく考える AI を含め、合計 37 種類の AI にこのテストを受けさせました。

• 結果： 残念ながら、「最強の AI」でも、難問はほとんど解けませんでした。
  • 例え OpenAI の「o4-mini」や Google の「Gemini」のような最新モデルでも、難問の正解率は低く、「オリンピック本番」ではまだ人間に勝てないことが分かりました。
  • 簡単な問題は解けるのに、複雑な論理が必要になるとつまずく傾向がありました。

4. 面白い発見：言語によって強さが違う（「Python」vs「C++」）

AI にプログラミングをさせる際、どの言語を使うかも重要でした。

• 人間の常識： プログラミング大会では、**C++**という言語が主流で、高速に動きます。
• AI の傾向： 多くの AI は、普段はPythonという書きやすい言語で練習していますが、OJBench という「本番」では、C++ で書いたほうが正解率が高くなることが分かりました。
  • これは、C++ が計算速度に優れているため、時間制限の厳しい大会問題には向いているからです。
  • ただし、学習データに Python が多すぎる AI は、C++ だと逆に下手になることもありました。

5. 修正機能の効果（「エラーメッセージで直す」）

人間がプログラミングをするとき、エラーが出たら直して再挑戦しますよね。AI も同じようにできるか試しました。

• 結果： AI はエラーメッセージを見て、**「コンパイルエラー（文法ミス）」**はすぐに直せます。
• しかし： **「時間制限超過（TLE）」のような、「アルゴリズム（考え方の仕組み）が非効率すぎる」**というエラーは、AI には直すのが非常に難しいことが分かりました。
  • これは、AI が「もっと賢い解き方」を自分で考え直すのが苦手だからです。ここが今後の AI が伸びるポイントかもしれません。

まとめ：この論文が教えてくれたこと

1. AI は「面接」には強いが、「オリンピック」には弱い。
   今の AI は、基礎的なコードは書けますが、複雑な論理を駆使する超難問にはまだ追いついていません。
2. 新しいテスト「OJBench」ができた。
   これからは、AI の本当の力を測るには、この「オリンピックレベル」のテストを使うべきです。
3. 言語と思考の重要性。
   高速な言語（C++）を使うことや、エラーから学ぶ能力を高めることが、AI をさらに強くする鍵になります。

つまり、**「AI はすでにすごい秀才ですが、まだ『天才プログラマー』にはなれていません。でも、この新しいテストを使って鍛えれば、いつかその壁を越えられるかもしれませんよ！」**という前向きな研究結果です。

技術概要

OJBench: 大規模言語モデルのための競技レベルコードベンチマーク

技術的サマリー（日本語）

本論文は、大規模言語モデル（LLM）のコード推論能力、特に競技プログラミングレベルでの能力を評価するための新しいベンチマーク「OJBench」を提案した研究です。既存のベンチマークでは捉えきれない高度な推論能力の限界を明らかにし、今後のコード LLM の開発指針を提供することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

• 現状の課題: 近年、OpenAI-o1 や DeepSeek-R1 などの「推論指向型（Reasoning-oriented）」LLM は数学やコード生成において飛躍的な進歩を遂げています。しかし、既存のコードベンチマーク（LiveCodeBench など）の多くは、面接レベルの難易度や基礎的なアルゴリズムに偏っており、トップクラスの競技プログラミング（NOI や ICPC 等）で求められる高度な推論能力を十分に評価できていません。
• 既存手法の限界: CodeForces などのプラットフォームを用いた評価（CodeElo など）は存在しますが、問題の難易度が不均一であり、モデルの真の競技レベル能力を厳密にテストするには不十分です。
• 解決すべき課題: 人間のプロフェッショナル向けに設計された、厳格で難易度の高い競技プログラミング問題を用いた、差別化可能な評価基準の欠如。

2. 提案手法：OJBench

OJBench は、中国の全国情報オリンピック（NOI）と国際大学生プログラミングコンテスト（ICPC）から収集された232 問の競技プログラミング問題で構成されるベンチマークです。

データ収集とフィルタリング

• ソース: NOI（159 問）と ICPC（73 問）の公式問題。
• フィルタリング:
  1. 正解コードによるテストケースの検証（不完全なテストケースの排除）。
  2. 特殊なジャッジプログラム（Special Judge）を必要とする問題の排除（自動評価が困難なため）。
  3. NOI の問題記述を英語に翻訳し、人間による検証で意味の整合性を確認。
• 難易度分類:
  • Easy/Medium/Hard: NOI は投票による難易度スコア（0-7）に基づき分類。ICPC は参加チーム数、提出数、正解率などのメトリクスから計算したスコアに基づき分類。
  • 統計：Easy 36 問、Medium 79 問、Hard 117 問。

評価方法

• テストケースベースの厳格評価: 限られたテストケースではなく、すべてのテストケースを通過した場合のみ「正解」と判定します。これは、少数のテストケースによる誤検知（False Positive）を防ぎ、コードの堅牢性を厳しく評価するためです。
• 二言語対応評価: Python と C++（CPP）の両方で評価を行います。競技プログラミングでは時間制約が厳しいため、CPP が主流であることを踏まえ、言語による性能差を分析します。
• 指標: Pass@n（n 回の試行で少なくとも 1 回正解すれば合格）。

3. 主要な貢献

1. OJBench の公開: 人間のトップレベル競技（NOI, ICPC）から選抜された 232 問の難易度別コード推論ベンチマークを初めて導入。
2. 包括的なモデル評価: 37 種類のモデル（オープンソース/クローズドソース、推論指向/非推論指向）を評価し、現在のモデルが複雑なコード推論タスクにおいて直面する限界を明らかにした。
3. 言語とフィードバックの分析:
   • 推論指向モデルにおいて、CPP が Python よりも高い性能を示す傾向を発見。
   • 実行環境からのエラーフィードバック（コンパイルエラー、TLE など）を用いた「改善（Refinement）」プロセスが性能向上に寄与すること、およびその限界（特にアルゴリズム効率化の難しさ）を解明。

4. 実験結果と知見

37 モデル（Qwen3, DeepSeek-R1, o4-mini, Gemini-2.5-pro-exp など）の評価結果は以下の通りです。

• 全体性能:
  • 推論指向モデルは非推論指向モデルを大幅に上回ります。
  • 閉源モデル（o4-mini, Gemini-2.5-pro-exp）が最上位ですが、Hard レベルの問題においても、最上位モデルでさえ 10% 前後の通過率に留まり、多くのモデルは Hard 問題で 0% の通過率でした。
  • 推論指向モデルでも、o4-mini や Gemini-2.5-pro-exp が他をリードしていますが、依然として競技レベルの問題は極めて困難です。
• 言語による差異（Python vs C++）:
  • 高度な推論指向モデル（o4-mini, o1-20241217 など）は、C++ で実行した場合の方が Python よりも顕著に高い性能を示しました。これは C++ の実行効率の高さが、厳密な時間制約のある競技問題に適しているためと考えられます。
  • 一方、DeepSeek-R1 から蒸留された Qwen 系列モデルは、学習データの影響か Python での性能が C++ よりも高い傾向が見られました。
• 改善（Refinement）の分析:
  • 実行エラー（CE, TLE, WA など）をフィードバックとしてモデルに与え、修正を繰り返す実験を行いました。
  • **コンパイルエラー（CE）**は修正により大幅に減少しましたが、**時間制限超過（TLE）**の解決は困難でした。TLE の解決には、より効率的なアルゴリズムやデータ構造の設計が必要であり、これが現在のモデルの大きなボトルネックであることが示されました。
• 既存ベンチマークとの比較:
  • LiveCodeBench では高得点を記録していたモデル（o4-mini など）も、OJBench では性能が大幅に低下しました。これにより、OJBench の難易度が既存ベンチマークよりも高く、モデルの能力をより厳しく差別化できることが確認されました。

5. 意義と結論

• ベンチマークの必要性: 従来のベンチマークでは「天井」が見えていたモデルの能力差を、OJBench は明確に引き離すことが可能であることを示しました。
• 開発への示唆:
  • 単なる大規模な事前学習（Pre-training）だけでは競技レベルのコード推論は達成できず、強化学習（RL）や推論モデルからの蒸留が不可欠です。
  • 推論指向モデルは、実行フィードバックを用いた自己修正能力を持っていますが、アルゴリズムの根本的な効率化（TLE 対策）には依然として課題を抱えています。
  • 競技プログラミングの評価には、Python だけでなく C++ での評価が重要であることが再確認されました。

OJBench は、将来のコード LLM の開発において、より高度な推論能力とアルゴリズム設計能力を追求するための重要な指標となるでしょう。