💻 computer science

CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction

本論文は、実装不変性とプロセス透明性において大規模言語モデルを評価する細粒度のコード推論ベンチマークである CoRE を導入し、現在のモデルは同等のコード実装間での頑健性を欠き、真の中間状態推論ではなく表面的な実行に依存していることを明らかにする。

原著者： Jun Gao, Yun Peng, Qian Qiao, Changhai Zhou, Yuhua Zhou, Shiyang Zhang, Shichao Weng, Zhenchang Xing, Xiaoxue Ren

公開日 2026-04-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jun Gao, Yun Peng, Qian Qiao, Changhai Zhou, Yuhua Zhou, Shiyang Zhang, Shichao Weng, Zhenchang Xing, Xiaoxue Ren

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、CoRE論文の解説を、創造的なアナロジーを用いて平易な言葉で翻訳したものです。

大きなアイデア：AI コーダーは実際に「思考」しているのか？

ある数学の問題を解くために、天才的な学生を雇ったと想像してください。彼らは最終的な答えを書き出し、それは正解です。あなたは彼にゴールドの星を授与します。

しかし、その後、彼に「どのようにその答えにたどり着いたのか」を説明するように求めます。すると、彼らは数字を捏造し始め、手順を混同し、プロセスの途中で混乱し始めます。それでも、なぜか彼らは最終的に正しい数字にたどり着いています。

問題点： 現在の AI（大規模言語モデル、LLM）に対するテストは、そのゴールドの星のようなものです。それらは最終的な答えだけをチェックします。AI が正しい出力を得れば、私たちはそれがコードを「理解」したと仮定します。この論文の著者たちは、これが罠であると主張しています。AI は実際にコードがどのように実行されるかをその「頭の中で」シミュレートしているのではなく、推測したり、ヒューリスティック（近道）を使ったりしているだけかもしれません。

解決策：CoRE（コードのための「正直さテスト」）

著者たちは、CoRE（Code Reasoning：コード推論）と呼ばれる新しいベンチマークを作成しました。単に「答えは何ですか？」と尋ねる代わりに、CoRE ははるかに難しい 2 つの質問を投げかけます。

尋ねる方法は重要か？（実装不変性）
中間で何が起こったかを知っているか？（プロセスの透明性）

アナロジー 1：「同じケーキ、異なるレシピ」（実装不変性）

シェフにチョコレートケーキを焼くように頼んだと想像してください。

標準的なテスト： あなたは彼に 1 つの特定のレシピ（レシピ A）を与えます。彼はそれを焼きます。味は良いです。合格。
CoRE テスト： あなたは、全く同じチョコレートケーキのための4 つの異なるレシピを彼に与えます。
- レシピ 1：ココアパウダーを使用。
- レシピ 2：溶かしたチョコレートバーを使用。
- レシピ 3：異なる混ぜ順を使用。
- レシピ 4：異なるオーブン温度を使用。

もしシェフが真の名人であれば、どのレシピを使っても完璧なケーキを焼けるはずです。
論文の発見： AI モデルはこのテストに失敗しました。彼らは、彼ら自身が通常書くもの（彼ら自身の「スタイル」）に似たレシピを使用するときは、ケーキを焼くのが得意でした。しかし、異なる AI によって書かれたレシピ（異なる「スタイル」）を与えられると、数学が同一であっても、しばしば失敗しました。彼らは論理よりも「スタイル」に執着していました。

アナロジー 2：「映画監督」対「ネタバレ」（プロセスの透明性）

映画を見ていると想像してください。

標準的なテスト： AI に「映画の勝者は誰か？」と尋ねられます。AI は「主人公が勝つ」と答えます。正解！
CoRE テスト： AI に「45 分目、主人公がクローゼットに隠れているとき、悪役は何を持っていますか？そして 60 分目、主人公のスコアは何ですか？」と尋ねられます。

これは中間状態をチェックしています。
論文の発見： AI モデルは「勝者は誰か？」という質問には正解することが多かったですが、中間の詳細については幻覚（ハルシネーション）を起こしました。彼らはパターンに基づいて結末を推測していましたが、実際に一歩一歩映画を「見て」いたわけではありませんでした。彼らは本質的にコードを実行していましたが、旅路を真に理解しているわけではありませんでした。

CoRE の構築方法

このテストを公平で困難なものにするために、研究者たちは主に 2 つのことを行いました。

多数のバージョンの生成： 彼らは異なる AI モデルを使用して、同じ 60 の問題に対するコードを記述させました。これにより、255 種類の異なるコードバージョンのライブラリが作成されました。一部は長く複雑で、一部は短く巧妙でした。しかし、それらはすべて全く同じことを実行しました。
「小テスト」質問の作成： コードの各部分について、プロセスの中間に関する質問を生成しました。
- 算術: 「今、この変数内の正確な数値は何ですか？」
- 論理: 「この条件は真か偽か？」
- 状態: 「このループはこれまでに何回実行されましたか？」
- 境界: 「ループが停止する直後はどうなりますか？」

発見されたこと（結果）

彼らは、この新しいベンチマークを使用して、利用可能な最も賢い AI モデル 8 種類（GPT-5、Claude、DeepSeek など）をテストしました。結果は驚くべきものでした。

「スタイルバイアス」のギャップ： モデルは、他の誰かによって書かれたコードよりも、彼ら自身の「家族」によって書かれたコード（例えば、OpenAI モデルは OpenAI によって書かれたコードを最もよく理解する）を理解するのがはるかに優れていました。これは、彼らが普遍的な論理を学習しているのではなく、スタイルを暗記していることを示唆しています。
「表面的な実行」のギャップ： 多くのモデルは最終的な答えを正しく得ましたが、中間ステップに関する「小テスト」には失敗しました。彼らは経路を知ることなく、目的地を推測していました。
「RCS」スコア： 著者たちは、**推論一貫性スコア（Reasoning Consistency Score: RCS）**と呼ばれる新しいスコアを作成しました。このスコアは、間違った理由で正解を得たモデルを罰します。答えが正しくても中間ステップに失敗すれば、スコアはゼロに下がります。

結論

この論文は、正解を得るだけでは不十分であると結論付けています。AI がコードスニペットの最終出力を予測できるからといって、それがコードの仕組みを理解しているという意味ではありません。

現在の AI モデルは、劇の最後のセリフを暗記しているが、その間のセリフを忘れている俳優のようです。CoREは、彼らが単に結末を推測しているのではなく、実際にコードを通じて「思考」していることを証明するために、彼らに自分の作業過程を示させる新しいテストです。

要約すると： CoRE は、今日の最も賢いコード作成 AI が、本物の段階的な推論ではなく、パターンやスタイルに依存することで「ふり」をしていることを暴露しています。

以下は、論文「CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction」の詳細な技術的サマリーです。

1. 問題提起

大規模言語モデル（LLM）のコード生成における急速な進展にもかかわらず、これらのモデルがコードの実行ロジックを真に理解しているのか、それとも単に表面的なヒューリスティックに依存して正しい出力を予測しているのかは依然として不明です。既存のベンチマーク（CruxEval、LiveCodeBench-O、REval など）には、以下の 2 つの決定的な欠陥があります。

実装不変性の欠如: これらは通常、単一の「標準的」コード実装に対してモデルを評価します。機能的には同等でありながら、構造的または語彙的に異なるコード変種に対して、モデルが一貫して推論できるかどうかをテストできていません。
プロセス透明性の欠如: これらは最終的な出力の正しさにほぼ専念しています。モデルはしばしば中間実行状態を幻覚させながら、最終的な正解を導き出すことができ、これは真のステップバイステップの推論の欠如を示しています。

著者らは、出力のみの評価が堅牢なコード推論の評価には不十分であると主張し、これらのギャップを埋めるためにCoREを導入します。

2. 手法：CoRE ベンチマーク

CoRE は、HumanEval および LiveCodeBench から選択された 60 のコーディング問題から構築され、実装不変性とプロセス透明性という 2 つの中核的な次元を評価するように設計されています。

A. 構築パイプライン

多様なコード実装（ステージ I）:
- 著者らは 7 つの多様な LLM を用いて、各問題に対して複数のソリューションを生成しました。
- クリーニングプロセス: ソリューションは機能的同等性を確保するために実行検証を受けました。多様性を確保するため、同一問題の実装間において高い循環複雑度と低い1-gram ジャッカール類似度（語彙的多様性）を持つものをフィルタリングしました。
- 結果: 60 の問題にわたる 255 の一意なコード実装（問題あたり平均 4.3 の実装）。
中間状態プローブ（ステージ II）:
- Python の実行トレースを用いて、すべての変数の真のランタイム値を捕捉しました。
- 4 つの推論次元を標的とした中間プローブ質問を策定しました。
  - 算術: 複雑な演算における数値精度。
  - 論理: 入れ子になったブール条件と制御フローの解決。
  - 状態: 深い実行パス全体での変数の履歴の追跡。
  - 境界: 重要な遷移点（例：ループの終了）。
- 結果: 243 の中間プローブ（問題あたり平均 4.1）、各プローブは平均 2.2 の推論次元をカバーしています。

B. 評価プロトコルと指標

著者らは、単純な精度を超えた包括的な評価プロトコルを提案します。

厳密な出力一貫性 ( $I$ ): 問題のすべての多様な実装に対してモデルが正しい出力を予測しなければならない、バイナリインジケーター（1 または 0）。
プロセス忠実度重み ( $W_s$ ): 正しく回答された中間状態プローブの比率。
推論一貫性スコア (RCS): 主要指標として $RCS = I \times W_s$ $R C S = I \times W_{s}$ と定義されます。
- この定式化により、モデルが実装不変性に失敗する（つまり、1 つの変種を間違える）か、表面的なヒューリスティックに依存する（低い $W_s$ ）場合、最終スコアは大幅にペナルティを受け、あるいは無効化されます。

3. 主要な貢献

CoRE ベンチマーク: 実装不変性とプロセス透明性を共同で評価する、1,978 サンプルからなる厳格なベンチマーク。既存のベンチマークよりも高い複雑度（平均循環複雑度 5.0）と多様性を特徴とします。
根本的な限界の特定: 最先端の LLM における 2 つの決定的な失敗モードを明らかにしました。
- 堅牢性のギャップ（スタイル過学習）: モデルは、機能的に同等な他スタイルのコードと比較して、自身のファミリーや慣れ親しんだスタイル（例：OpenAI モデルによる OpenAI コード）で生成されたコードにおいて、著しく高いパフォーマンスを発揮します。
- 表面的な実行: モデルは頻繁に中間状態を幻覚させながら最終的な正解に到達し、これは真の実行シミュレーションではなく、入力 - 出力マッピングに依存していることを証明しています。
包括的な評価プロトコル: 推論一貫性スコア (RCS) の導入は、ヒューリスティックなショートカットから真の推論を区別する手法を提供します。

4. 実験結果

著者らは、GPT-5、o3、Claude-4.5、DeepSeek-V3.2、Qwen-3 を含む 8 つの最先端 LLM を、さまざまなプロンプト戦略（IO、Chain-of-Thought、Chain-of-Code、RHDA）を用いて評価しました。

パフォーマンスのギャップ: 最終出力の精度と中間推論の間には巨大な乖離があります。例えば、GPT-5 は標準的なプロンプト条件下で 84.62% の厳密な出力精度 ( $I$ ) を達成しましたが、プロセス忠実度 ( $W_s$ ) はわずか 18.96% でした。
スタイルバイアス: ヒートマップ分析（図 5）は、モデルが自身のファミリーによって生成されたコードで最も高いスコアを獲得する強い対角優位性を示しており、これはスタイル的過学習を確認します。
プロンプトの影響: Chain-of-Thought (CoT) や Chain-of-Code (CoC) はプロセス忠実度を向上させましたが、堅牢性のギャップや表面的な実行を完全に排除することはできませんでした。
次元ごとの弱点: モデルは特に算術（数値精度）と状態（変数履歴の維持）で苦労しており、IO 設定における平均プロセス忠実度スコアはしばしば 50% 未満でした。
RCS の有効性: RCS 指標は、出力のみの観点からは有能に見えたが、推論の一貫性において失敗したモデルを効果的にフィルタリングしました。

5. 意義

この論文は、コード推論評価のパラダイムを根本的に転換します。それは、正しい出力が正しい推論を意味するわけではないことを実証します。現在の LLM の脆弱性、特にスタイルバイアスへの感受性と中間状態の追跡 inability を露呈させることで、CoRE はコード実行を真に理解するモデルを開発するための必要な基準を提供します。これらの知見は、将来の LLM のトレーニングと評価において、単に最終出力の精度を最適化するのではなく、忠実なステップバイステップの推論と多様な実装にわたる堅牢性を優先すべきであることを示唆しています。