💻 computer science

Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis

本論文は、50個のProject Eulerの問題に対する26のAIモデルによる3,840回の試行を分析することで、機械の努力量は人間の難易度に対して劣線形にスケールすること（悪化する予測に反して）を示し、成功確率が指数減衰モデルに従うことを明らかにした上で、最終的に最先端の性能の地平における75日の倍増時間を推定している。

原著者： David Holmes, Johannes Schmitt

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： David Holmes, Johannes Schmitt

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな全体像：時間と複雑さとの競争

Project Eulerを、数学の問題が集まる巨大で公開された「ジム」だと想像してみてください。人々（そして今ではAIも）がこれらのパズルを解くために登録します。このジムは、最も速い人間に対してストップウォッチを回し、正解を見つけるまでに正確にどれくらいの時間がかかったかを記録しています。

この論文の著者たちは、ある単純な問いに答えたいと考えました。**「数学の問題が難しくなるにつれて、AIは人間よりも速いペースで性能が悪化していくのだろうか？」**という問いです。

数学者ティモシー・ガウワーズが提唱した理論がありました。それは、AIはすぐに疲れ果ててしまう短距離ランナーのようなものだという示唆でした。その考え方はこうです。「AIは簡単な短距離走には強いが、レースが長く、難しくなるにつれて、AIの努力量は爆発的に増大し、人間に対して後れを取るようになる。」

著者たちは、最近の50個の数学問題と26種類の異なるAIモデルのデータを使用して、この理論をテストしました。判明したことは以下の通りです。

1. 「努力」のテスト：AIは人間よりも早く疲れるのか？

理論： 彼らは、人間が難しい問題を解くために1時間を費やすごとに、AIは（生成されるトークンや単語数で測定される）コンピュータの処理能力において、はるかに多くの1時間を費やすことになると考えました。問題が難しくなるにつれて、AIの努力量は急増すると予想したのです。

比喩： 人間とロボットが山に登っているところを想像してください。

予想： ロボットは麓では優秀ですが、斜面が急になるにつれて、人間が1歩進む間にロボットは100歩進まなければならなくなります。
現実： 著者たちは、その逆の結果を見つけました。最強のAIモデルにとって、山が険しくなればなるほど、ロボットは人間に対して相対的に「より効率的」になっていたのです。
- もし人間が難しい問題を解くのに1時間かかる場合、AIは2時間のコンピュータ作業を必要とするかもしれません。
- もし人間が10時間かかる場合、AIのコンピュータ作業はわずか15時間かもしれません。
- 結果： 「差」は広がるどころか、むしろ縮まっていました。AIはこれらの特定の問題において、人間よりも優れたスケーリング（拡張性）を見せました。著者たちはこの発見を $b < 1$ と呼んでおり、これは基本的には「AIは私たちが予想していたよりも速く、難易度への対処能力を高めている」ことを意味します。

なぜか？ 著者たちは、これらの数学問題には多くの「コーディング」や「実装」のステップが含まれているのではないかと推測しています。人間はコードを打ち込んだりデバッグしたりすることに多くの時間を費やします。AIはタイピングやデバッグにおいて驚異的な速さを持っています。そのため、たとえAIの「思考」の部分が遅かったとしても、「実行」の部分の超スピードが、トータルの時間を非常に効率的なものに見せているのです。

2. 「信頼性」のテスト：AIはただ諦めてしまうのか？

理論： AIは効率的かもしれませんが、難易度が上がると混乱して失敗してしまうのではないか？著者たちは、成功率が予測可能な形で低下するかどうかをテストしました。

比喩： 暗い森の中を歩いているところを想像してください。

理論： 一歩踏み出すごとに、転んでしまう小さな一定の確率が存在します。道のりが長くなればなる（＝問題が難しくなれば）、転倒する可能性は高まります。
現実： データはこのモデルに完璧に合致しました。AIの成功率は、滑らかで予測可能な曲線を描いて低下しました。
- 人間が1時間かかる問題に対し、AIの成功率は90%かもしれません。
- 人間が4時間かかる問題に対し、成功率は約50%にまで落ち込みます。
- 結果： AIは「エネルギー切れ」になったり、「間違った方向を探索」したりしているわけではありません。AIは長期的な作業において信頼性が低いのです。それは、足は速いけれど、レースが長引くと自分の靴紐に躓いてしまうランナーのようなものです。

3. 「ホライゾン（限界）」のテスト：AIはどこまで持ちこたえられるか？

著者たちは「50%ホライゾン（ $h_{50}$ ）」を算出しました。これは、AIが問題を解ける確率が50/50（五分五分）になる地点のことです。

発見： この研究における最高のAIモデルは、人間の時間がおよそ 2.5時間から4.3時間 に達した時点で、50%の成功率に達していました。
比喩： AIを懐中電灯と考えてください。しばらくの間は明るく輝きますが、もし人間が問題を解くために10時間の歩行を必要とするなら、AIの光（正しい軌道に留まる能力）は4時間目までにすでに消えてしまっています。
傾向： 著者たちは、これらの「懐中電灯」がいかに速く明るくなっているかを追跡しました。彼らは、最高のAIが、およそ 75日ごと に能力を倍増させるペースで、その「スタミナ」を向上させていることを見出しました。

4. 「エージェント」のひねり：AIにチームを与える

論文では「エージェント型」のモデルについても調査しました。これらは、単に一度回答するだけでなく、問題を分解し、再試行し、自分の作業をチェックするためのツール（計算機やメモ帳を使う人間のようなもの）を与えられたAIです。

結果： これらの「AIチーム」は、人間がより長い時間を要する問題（50%成功のラインが人間の時間で1.7時間まで）を解くことができました（通常のAIは0.3時間でした）。
注意点： ただし、これらのツールを使っても、トップクラスの人間が10時間以上かけて解くような極めて困難な問題には、依然として及びませんでした。彼らは単に「スタミナの限界」を少し押し上げたに過ぎません。

まとめ：これは何を意味するのか？

この論文は、古い懸念――つまり、問題が難しくなるにつれてAIが単に「ガス欠」を起こし、非効率になるのではないか――という予測は、これらの特定の数学パズルにおいては正しくないと結論付けています。

効率性： AIは、これらのタスクにおいて、難易度が上がるにつれて人間よりも効率的になっています。
真の問題： ボトルネックは効率性ではなく、信頼性です。AIは作業を行うことはできますが、作業が長引くとミスをして道を見失ってしまう傾向があります。
限界： 現在、最高のAIは、人間が約4時間かかる問題を確実に扱うことができます。それ以上に難しい問題になると、AIは推測を始めて失敗し始めます。

要約すると： AIは疲れているのではなく、単に「注意が散漫」になっているのです。AIは極めて優秀で素早い労働者ですが、成功するためには非常に短く集中したタスクを必要とします。もし長期間にわたる複雑なプロジェクトを与えれば、完了する前に自分の靴紐に躓いてしまうことでしょう。

技術要約：Project Eulerにおける人間と機械の数学的困難度

問題提起
本論文は、計算数学の問題において、最先端のAIシステムの努力量と成功確率が、人間の困難度に対してどのようにスケールするかを調査するものである。ティモシー・ガワーズによる証明探索アルゴリズムのスケーリングに関する提案に基づき、著者らは、AIシステムがタスクの難易度が増すにつれて人間よりも悪化してスケールするかどうかを判断しようとしている。具体的には、「機械は単純なタスクにおいては高速かもしれないが、問題の複雑さ（証明の長さや解決への軌跡によって測定される）が増すにつれて、機械の期待実行時間は人間よりもはるかに急速に増大する」という仮説を検証する。本研究では、人間の解法時間が公開されているプラットフォームであるProject Eulerを利用し、50の最新問題（943–992）と26のモデル構成にわたる広範なAI試行データを提供するMathArenaベンチマークを用いている。

方法論
著者らは、「人間の困難度」（ $t_{human}$ ）を、各問題に対する上位5位の最速人間解法時間の幾何平均として定式化し、強力な人間の連続作業時間のプロキシ（代理指標）としている。「機械の努力量」（ $t_{machine}$ ）は、実時間ではなく、成功した回答を得るために生成された総トークン数として定義される。これは、全試行の総トークン数を成功した試行数で割ったものである。

本研究では、3つの異なる分析フレームワークを採用している：

仮説T（時間スケーリングモデル）： べき乗則 $t_{machine} = a \cdot t_{human}^b$ をテストする。指数 $b$ はスケーリング挙動を示す。 $b > 1$ は機械が人間よりも悪くスケールすること（難易度とともに努力量が超線形に増大すること）を意味し、 $b < 1$ は機械がより良くスケールすることを意味する。失敗ケースによる支配を避けるため、経験的な成功率が50%以上のモデルと問題のペアに対してフィッティングを行う。
仮説P（指数的成功モデル）： 成功確率（ $p_{success}$ ）が人間のタスク時間に対して指数関数的に減衰するかどうかをテストする： $p_{success} = p_{model}^{t_{task}}$ 。これは $\log p_{success}$ と $t_{human}$ の間の線形関係としてモデル化され、 $(0, 1)$ を通るように制約される。データは、減衰率を適合させるために分位数ビンに集計される。
METRスタイルのホライゾン（地平線）： 成功確率を人間の時間に対するロジスティック曲線に適合させ、特定の能力ホライゾンである $h_{50}$ （成功率50%となる人間の時間）および $h_{80}$ （成功率80%となる人間の時間）を抽出する。この手法は、METRのタスク長ベンチマーク [KWB+25] から適応されたものである。

データセットは、26のモデル構成（非代表的な1つの構成を除外した後、最終的な適合には25個が含まれる）にわたる3,840の試行で構成されている。統計的な不確実性は、適合パラメータの90%信頼区間を生成するために、ノンパラメトリック・ブートストラップ・リサンプリング（1,000サンプル）を用いて定量化される。

主な結果

スケーリング予測の逆転（仮説T）： 機械は（ガワーズの枠組みから導かれた）「探索効率が悪化する（ $b > 1$ ）」という当初の予測に反し、利用可能な適合が得られた25モデル中20のモデルにおいて $b < 1$ であることが判明した。これには、高いカバレッジを持つ強力なベースモデルである Claude Opus 4.6 ( $b=0.722$ )、GPT-5.4 (xhigh) ( $b=0.644$ )、Gemini 3.1 Pro Preview ( $b=0.467$ ) が含まれる。これらトップモデルの90%ブートストラップ信頼区間は、完全に1を下回っている。これは、この定式化の範囲内では、成功あたりのトークンコストが人間の難易度に対して「劣線形」に増大すること、つまり、問題が難しくなるにつれて機械の相対的な効率が向上することを示唆している。
成功の指数関数的減衰（仮説P）： データは、指数関数的減衰モデルに対して中程度の経験的支持を示している。十分にカバーされた22の構成における中央値のビンレベルの $R^2$ は0.92であり、多くのトップモデルは0.95を超えている。適合された半減期（成功確率が50%に低下するまでの人間の時間）は、Gemini 2.5 Pro の0.12時間から GPT-5.4 xhigh の4.07時間まで幅がある。
能力ホライゾン： 最も強力なベースモデルの構成は、およそ2.5時間から4.3時間の間の人間の作業時間において、 $h_{50}$ ホライゾンに到達する。エージェント・ラッパー（例：GPT-5 Euler Agent, Grok 4 Fast Euler Agent）は、そのベースモデルよりも大幅に大きなホライゾンを示すが、これらの比較は観察的なものである。
進展の軌跡： データセットの約345日間にわたる最先端（SOTA）のベースモデルのログ線形適合は、 $h_{50}$ ホライゾンの倍加時間が約75日であることを示唆しており、0.09時間から4.28時間へと増加している。

意義と主張
本論文は、その知見が、難しい問題に対してAIシステムが急速にスケーリングする探索コストのために人間に対して後退するという、ガワーズの枠組みから派生した特定の「探索効率」のナラティブに異議を唱えるものであると主張している。むしろ、結果は、Project Eulerにおいて、最先端のモデルは難易度が増すにつれて成功あたりのトークンコストに関して、人間よりも「良く」スケールすることを示している。

しかし、著者らはその含意について慎重である。スケーリング自体は有利であるものの、これらのシステムの絶対的な信頼性は依然として限定的であることに注意を払っている。モデルは、人間の作業時間のわずか数時間という段階で50%の成功閾値に達しており、これは人間が単一の問題に対して適用できる持続的な努力には遠く及ばない。著者らは、Project Eulerにおける良好なスケーリングと、研究レベルの数学における目に見える加速の欠如との間の乖離について、5つの推測的な説明を提案している：

実装 vs 思考： Project Eulerの問題は実装（コーディング）に重きを置いており、LLMは人間よりも高速にこれらを処理するため、数学的推論の遅さを隠蔽している可能性がある。
長期間の軌跡における劣化： 蓄積されたエラーや「コンテキストの腐敗（context rot）」により、成功確率は時間の経過とともに減衰し、一貫した推論のホライゾンを制限する。
ツール構築の限界： LLMは標準的なツールの使用には長けているが、研究に必要な新しい数学的枠組みを創出する能力に欠けている可能性がある。
足場架け（スキャフォールディング）のギャップ： 現在のアーキテクチャには、研究に必要な持続的なメモリや長期的なワークフローが欠けている。
オーバーシンキング（考えすぎ）： モデルは簡単な問題に対しても一定のトークン・オーバーヘッド（自己チェックなど）を発生させている可能性があり、それがスケーリングの傾きを人工的に平坦化させている。

論文は、これら3つの分析（スケーリング、減衰、ホライゾン）が、一貫した全体像を提供していると結論付けている。すなわち、これらのシステムにおける制限要因は、探索効率（努力量の劣線形スケーリング）ではなく、信頼性（成功の指数関数的減衰）である。これらの知見は、特定のベンチマークにおける現在の能力の記述的な要約として提示されており、AIの進歩に関する普遍的な法則として提示されているものではない。