💻 computer science

What Makes a Programming Problem Hard for a Language Model? An Empirical Study of Item Difficulty Across Code LLMs on Two Benchmarks

本論文は、コード生成ベンチマークにおける問題の難易度が、HumanEvalにおける仕様の特徴（例：例示やプロンプトの長さ）やMBPPにおける解法の複雑さに起因する、安定かつ転移可能な指標であることを示す実証的研究を提示しており、モデルの集約スコアが飽和する中で、ベンチマーク、自動採点、および教育ツールの設計を改善するための極めて重要な知見を提供するものである。

原著者： TANZIM ISLAM KHAN

公開日 2026-07-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： TANZIM ISLAM KHAN

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、謎解きの巨大で魔法のような図書館を持っていて、そこにさまざまなAI「ソルバー（解決者）」という動物園を招待したとします。中には、大きな脳を持つ小さなハムスター（小規模モデル）もいれば、巨大で超知能を持つゾウ（GPT-4のようなモデル）もいます。通常、私たちはこれらのAIがどれほど賢いかをチェックする際、学校の最終成績のような単一のスコアを与えます。しかし、この論文は、単一の成績をつけることは退屈で誤解を招くものであると主張しています。それは、数学のテストが「難しい」と言われる理由を、「C判定だったから」という理由だけで片付けてしまい、「どの問題が難しかったのか？」を問わないようなものです。それは長い文章題だったのか、それとも例題がない問題だったのか？

著者であるタンジム・イスラム・カーン（Tanzim Islam Khan）は、最終的な成績を見るのをやめ、謎解きそのものに注目することにしました。彼らは、2つの有名なコーディングの謎解きセット（HumanEvalとMBPPと呼ばれます）を取り上げ、大規模な実験を行いました。彼らは31種類の異なるAIモデル（10億パラメータの極小モデルから巨大なGPT-4まで）から回答を集め、その回答が実際に機能するかどうかを確認するために、すべての回答を安全に隔離されたサンドボックス内で再実行しました。これは実に13,400回の実行に相当します！

大きな発見：何が謎解きを難しくするのか？

論文は、私たちの「難易度」に対する考え方を変えるような、驚くべき発見を明らかにしました。

HumanEvalセット（長い説明と多くの例題が含まれる謎解き）では、難易度は解決コードがいかに複雑であるかには依存しませんでした。それは完全に、謎解きがどのように書かれているかに依存していました。

魔法のヒント： もし謎解きに動作する例題（例えば、AIに対して「入力Aはこれ、出力Bはこれ」と示すこと）が含まれていれば、AIはそれを簡単に解きました。例題が多いほど、簡単になりました。
罠：もし謎解きが長く言葉数が多い場合、あるいはそれらの役立つ例題が欠けている場合、たとえ解決するために必要な実際のコードが単純であっても、AIは苦戦しました。
証拠： 著者らは予測マシンを構築しました。プロンプト（指示文）のみをモデルに投入したとき、そのモデルは決定係数 $R^2$ が 0.45 という精度で、その謎解きがどれほど難しいかを予測できました。これはフルモデルのパフォーマンスと一致していました。しかし、解決コードの複雑さ（ループや変数の数など）のみを投入した場合、モデルはほとんど何も分かりませんでした（ $R^2$ は 0.11）。

ひねり：もう一つの謎解き本

次に、彼らはMBPPセットを見ました。これらの謎解きは異なり、まるで一文の囁きのように非常に短く、例題が全くありません。

ここでは、ルールが逆転しました！すべての謎解きが同じように（短く曖昧に）見えるため、テキストはAIに何をすべきかを教えません。代わりに、難易度は解決策そのものがどれほど難しいかに依存しました。
コードに複雑なロジックが必要な場合、AIは失敗しました。コードが単純であれば、AIは成功しました。
教訓： 問題がAIにとって難しいかどうかは、指示のなかで最も変動性が高い部分によって決まります。指示の内容が大きく変化する場合（HumanEvalのように）、指示が支配します。指示がすべて同じである場合（MBPPのように）、答えの複雑さが支配します。

この論文が明確にしていること

この論文は、「より難しいコードは常により難しい問題になる」という考え方に明確に反対しています。

彼らは参照用ソリューションの複雑さ（「循環的複雑度」や「ハルステッド・ボリューム」などを使用）を測定しましたが、HumanEvalにおいては、これらの数値は難易度の予測因子として、プロンプトの特徴よりもはるかに弱いものでした。指示が明確で例題が豊富であれば、解決策が複雑であっても、それを生成することは必ずしも難しくはありませんでした。
また、難易度が、たまたまテストしたAIモデルによる偶然の産物であるという考えも否定しました。彼らは、難易度が問題自体の安定した特性であることを証明しました。ハムスターサイズのAIをテストしようが、ゾウサイズのAIをテストしようが、同じ謎解きは変わらずに難しく、あるいは易しく残ります。彼らは、モデルを一つずつ取り除いて検証しましたが、ランキングは変わりませんでした（相関 $\rho \ge 0.99$ ）。

どの程度確かなのか？

著者らは非常に自信を持っていますが、慎重な言葉を選んでいます。

彼らは、サンドボックス内でコードを13,400回実行することで、これを直接測定しました。
彼らは、より「強化された」テスト（HumanEvalでは80倍、MBPPでは35倍多いチェックを含む）を用いて、難易度の安定性を証明しました。これらのより厳しいテストを用いても、難しい問題と易しい問題のランキングはほとんど変わりませんでした（相関 $\rho = 0.88$ ）。
彼らは、異なる設定（AIをよりランダムにするための「温度」の変更など）で結果をシミュレーション（あるいは再実行）し、難易度のランキングが一貫していることを発見しました（ $\rho = 0.87$ ）。
彼らは、AIが賢くなり、これらの古いテストのほとんどを解けるようになる（飽和する）につれて、依然として何が難しいのかという特定の具体的な問題を見ることがさらに重要になると示唆しています。

将来のコンテキスト

論文はまた、「未来」を覗き見ています（論文のタイムラインにおける2026年6月時点）。最新の超強力なAI（GPT-5.xやClaude Opus 4.8など）は、これらの古い謎解きが彼らにとって簡単すぎるため、基本的にこれらを使わなくなっていると指摘しています。最前線は、より困難な、現実世界のコーディングタスクへと移っています。しかし、教訓は変わりません。簡単な問題が消えていくにつれ、残された難しい問題がなぜ難しいのかを理解することが、より良いツールを構築するための鍵となります。

要約すると

あるコーディング問題がAIにとって難しいかどうかを知りたいなら、書く必要があるコードだけを見るのではなく、指示を見てください！

例題を含む豊かな指示がある場合？ コードがいかに複雑であっても、AIは軽々とこなすでしょう。
曖昧な指示、あるいは例題がない場合？ たとえコードが単純であっても、AIは苦戦するでしょう。
短く一文の指示の場合？ そのときは、コード自体の複雑さが難しさの要因となります。

この論文は、AIを実行することなく、問題を読み取るだけでこれらの苦戦を予測するための地図を提供しています。それは、教師がより良い演習を構築し、エンジニアがより優れたベンチマークを構築するためのツールであり、AIが単に答えを推測できるかどうかではなく、謎解きを本当に理解できるかどうかを確実にテストするためのものです。

技術要約：何が言語モデルにとってプログラミング問題を難しくするのか？

問題提起

コード生成型大規模言語モデル（LLM）の現在の評価手法は、HumanEvalやMBPPといったベンチマークにおけるpass@kのような集計指標に大きく依存している。このアプローチは、すべての問題を互換性のあるものとして扱っており、どの特定の問題がなぜ難しいのかという点を不明瞭にしている。その結果、モデルの一般的な能力と、それが解いた項目の具体的な特性を区別できていない。本論文は、コード生成タスクにおける難易度の決定要因を理解するために、問題（項目）を分析の単位として扱い、項目の難易度をモデルの能力から分離する必要性を論じている。

手法

本研究は、項目応答理論（IRT）と予測モデリングに基づいた、データ駆動型の経験的アプローチを採用している。

データソース: 著者らは、EvalPlusプロジェクトから公開されているグリーディ・コンプリーション（greedy completions）を利用した。研究対象は、31の異なるモデル（約1BからGPT-4規模まで）によるHumanEval（164問題）および22のモデルによるMBPP（378問題）をカバーしている。
実行ハース（Execution Harness）: 事前計算されたスコアをそのまま信頼するのではなく、著者らは13,400件のコンプリーションすべてを、12秒のタイムアウトを設定したサンドボックス化されたPython環境で再実行した。これにより、バイナリ応答行列（HumanEvalについては31×164、MBPPについては22×378）が生成された。
難易度の定式化:
- 経験的難易度: $1 - \text{解決率}$ （特定のモデルがその問題を解けなかった割合）として定義。
- IRTによる検証: モデルの能力（ $\theta$ ）と項目の難易度（ $b$ ）を分離するために、1パラメータ・ロジスティック（ラッシュ）モデルを適合させた。著者らは、生のクロスモデル失敗率がラッシュモデルから導出された難易度とほぼ完全に相関していること（ $\rho \approx 1.00$ ）を確認し、より単純な指標の使用を正当化した。
特徴量抽出: 各問題に対して36個の静的特徴量を抽出し、以下のように分類した：
- プロンプト特徴量: 長さ、可読性、例題（worked examples）の数、型ヒントの有無など。
- 参照解（Reference-Solution）特徴量: コードの複雑性指標（McCabeの循環的複雑度、Halsteadの体積、ASTノード数、ネストの深さなど）。
- テストスイート特徴量: アサーションの数、文字数。
分析: 相関分析（ベンジャミン・ホッホバーグ補正を伴うSpearman/Pearson）および機械学習（Ridge回帰、ランダムフォレスト、勾配ブースティング）を用い、10分割交差検証を実施した。堅牢性は、leave-one-model-out、ブートストラップ・リサンプリング、能力ティア間の転移、強化されたテストスイート（HumanEval+/MBPP+）に対する再採点、および温度サンプリングを通じてテストされた。

主要な結果

1. 難易度は安定した測定可能な特性である

分布: 難易度は広く分布しており、集中していない。HumanEvalにおいて、31モデルのパネル全体での平均解決率は0.29であり、モデルの0%が解けない問題もあれば、100%が解ける問題もあった。
安定性: 難易度のランキングは非常に堅牢である。単一のモデルを取り除いても、ランキングは実質的に変化しない（ $\rho \ge 0.99$ ）。また、このランキングは能力ティア（弱いモデル vs 強いモデル）間でも転移し、Spearman相関はHumanEvalで0.78、MBPPで0.79であった。
Raschとの整合性: ラッシュモデルは、難易度が特定のソルバーパネルに依存しない、項目の潜在的な特性であることを裏付けている。

2. 予測シグナルは仕様のスタイルに依存する

本研究は、2つのベンチマーク間で難易度を予測するものに関する決定的な相違を特定した：

HumanEval（豊かなプロンプト）: 難易度は主にプロンプト特徴量によって予測される（ $R^2 = 0.45$ $R^{2} = 0.45$ ）。これは全特徴量セットの性能（ $R^2 = 0.46$ $R^{2} = 0.46$ ）と一致している。
- 最強の予測因子: 入出力例（worked input-output examples）の数は、難易度と負の相関があり、問題を容易にする。プロンプトが長いことやドックストリングが存在することは、難易度を高める傾向がある。
- 解の複雑性: 参照解の複雑性に関する特徴量のみでは、分散をほとんど説明できない（ $R^2 = 0.11$ ）。
MBPP（簡素なプロンプト）: 難易度は主に解の複雑性特徴量によって予測される（ $R^2 = 0.13$ $R^{2} = 0.13$ ）。
- 背景: MBPPのプロンプトは一様に短く、例題のない単一の文章による記述である。そのため、プロンプト特徴量が寄与できる分散がほとんど存在しない。
- 最強の予測因子: ASTノード数とHalsteadの体積が主要な相関を示す。プロンプトのみの特徴量は負の $R^2$ を示す。
統合: 何が問題を難しくするかは、仕様の中で何が最も変動するかによって決まる。プロンプトが変動する場合（HumanEval）、プロンプトが難易度を左右する。プロンプトが固定されている場合（MBPP）、アルゴリズムの複雑さが難易度を左右する。

3. 堅牢性と汎用性

強化されたテスト: HumanEval+およびMBPP+（それぞれ80倍および35倍のテスト数）に対して再採点を行った結果、全体の合格率は低下したが、難易度のランキング（ $\rho = 0.88$ および $0.beta2$）と「プロンプト対解の複雑性」という予測の分割構造は維持された。
デコーディング・レジーム: グリーディ・デコーディングから温度0.8のサンプリングへの切り替えにおいても、難易度のランキング（ $\rho = 0.87$ ）と予測シグナルの分布は維持された。
2026年の文脈: 125モデルを含む2026年6月のEvalPlusリーダーボードの分析によれば、HumanEvalは飽和状態にある（トップモデルは>96%）。最先端モデル（例：GPT-5.x、Claude Opus 4.8）は、HumanEvalを離れ、リポジトリレベルのベンチマーク（SWE-bench）へと移行しており、そこでもインスタンスごとの難易度モデリングが極めて重要となっている。

主な貢献

再現可能な実行研究: 2つのベンチマークにわたる約68,000件の実行を検証済みのデータセットとして提供し、公開されたコンプリーションをバイナリ応答行列と難易度スケールへと変換した。
安定性の証拠: 項目の難易度が、モデルの削除、リサンプリング、および能力ティアの転移に耐えうる、モデルに依存しない特性であることを実証した。
予測分析: 難易度は静的な特徴量から予測可能であることを示し、ベンチマーク間の重要な知見を提示した。すなわち、予測シグナルは、プロンプトの変動性に基づいて、自然言語による仕様（HumanEval）から解の複雑性（MBPP）へとシフトする。
文脈化: これらの知見を2026年のモデル環境にマッピングし、集計スコアが圧縮されるにつれて、難易度を考慮した分析がますます重要になることを示した。

意義と示唆

本論文は、集計スコアが圧縮していく中で、難易度を考慮したベンチマークが不可欠であると主張している。

ベンチマーク設計に向けて: 飽和を検出し、ベンチマークの識別性を確保するために、単一の集計スコアを超えて、難易度プロファイル（例：容易・中程度・困難な項目の分布）を報告すべきである。静的な難易度予測は、大量のモデルを実行することなく、バランスの取れたベンチマークをキュレーションするための低コストな手法となる。
自動採点と教育に向けて: 静的な難易度推定は、LLM支援型チュータリングにおける信頼信号として機能し得る。もし仕様が「困難」である（例：例題が不足している、または複雑度が高い）とフラグが立てられた場合、アシスタントは人間によるレビューを求めたり、明確化を要求したりすることができる。
教育的整合性: 例題や型ヒントがLLMにとって問題を容易にするという発見は、認知負荷理論における「例題効果（worked-example effect）」と一致している。これは、初心者のプログラマーに有益な足場架け（スキャフォールディング）がLLMにも有益であることを示唆しているが、同時にトレードオフも生む。アシスタントにとって容易な演習（例題が豊富）は、学習者にとって容易すぎる可能性があり、逆に簡素な演習は学習者とアシスタントの両方を困難にさせる可能性がある。

本研究は、難易度はアルゴリズム自体の固有の性質ではなく、仕様の中で最も変動しやすい次元によって決定されると結論づけている。この洞察は、異なる問題設定におけるLLMのパフォーマンスを理解するための枠組みを提供するものである。