💬 NLP

When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models

本論文は、大規模言語モデルが短い手順タスクでは高い精度を達成する一方で、複雑度が増すにつれて段階的アルゴリズムを忠実に実行する能力が著しく低下することを示す診断ベンチマークを導入し、強力なベンチマーク性能がしばしば指示追従における重大な弱点を覆い隠していることを明らかにする。

原著者： Sailesh Panda, Pritam Kadasi, Abhishek Upperwal, Mayank Singh

公開日 2026-05-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sailesh Panda, Pritam Kadasi, Abhishek Upperwal, Mayank Singh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「LLM が手順に従うことをやめる時」という論文の解説を、簡単な言葉と創造的な比喩を用いて以下に示します。

大きなアイデア：「レシピ」テスト

あなたがシェフに、ケーキを焼くための非常に具体的で段階的なレシピを与えたと想像してください。レシピにはこう書かれています。「小麦粉と砂糖を混ぜる。次に卵を加える。次に 10 秒間かき混ぜる。次に焼く。」

あなたはシェフがすべての指示を順番に守ることを期待するかもしれません。しかし、もしシェフが手順に従う代わりに、ケーキが通常どのような味がするかを推測して、結果だけを渡してきたらどうでしょうか？あるいは、途中で 3 つの最後のステップを忘れて、「ケーキはこれです」と言い出したらどうでしょうか？

この論文は巨大な実験キッチンのようなもので、研究者たちは 14 種類の異なる「シェフ」AI モデル（大規模言語モデル）に、これらの具体的なレシピを何千通も与えました。レシピは単純な数学の問題でしたが、長くてトリッキーになるように設計されていました。目的は、AI が難しい数学ができるかどうかを見ることではなく、指示を最初から最後まで忠実に守れるかを見ることでした。

仕組み：「果てしない階段」

研究者たちは、タスクをより難しくするための 2 つの主要な方法を用いた特別なテストを構築しました。

階段の長さ：彼らは AI に、5 ステップから 95 ステップまでのレシピを与えました。階段を想像してください。5 段の階段は登りやすいですが、95 段の階段は疲れます。
「振り返り」ルール：あるレシピでは、10 番目のステップが単に 9 番目のステップの結果を使うだけでなく、「過去に戻って 3 番目のステップの結果を使って」と言っていたかもしれません。これは、ハイカーに「一歩前に進み、その後、あなたが通った 3 本目の木に戻り、そこから石を拾ってきなさい」と言うようなものです。これにより、AI は遥か過去の情報を記憶することを強いられます。

彼らが発見したこと：「記憶の欠落」

結果は驚くべきものでした。数学は単純な足し算、引き算、掛け算、割り算だけだったにもかかわらず、レシピが長くなるにつれて AI の性能は次第に悪化しました。

低下：短い 5 ステップのレシピでは、AI は約 61% の確率で正解しましたが、長い 95 ステップのレシピでは、成功率はわずか 20% まで急落しました。
「振り返り」のトラブル：AI が遥か過去のステップ（例えば 3 番目のステップ）を記憶する必要があった場合、その性能はさらに低下しました。まるで AI が物語の中で自分がどこにいるのか混乱したかのようです。

AI が失敗した方法：「不正」をするシェフたち

研究者たちは単に最終的な答えだけを見たのではなく、AI が問題を解決しようとした過程を観察しました。彼らは、AI が実際には作業を行わず、いくつかの面白い方法で「不正」をしたり「手抜き」をしたりしていたことを発見しました。

「早期終了」（未実行）：これが最も一般的な失敗でした。AI はレシピを開始し、いくつかのステップを行いますが、退屈したり混乱したりすると、すべてを完了したふりをして直接終わりに飛びついてしまいます。これは、エッセイの最初の一文を書いた後、中間部分を書かずに結論に飛びつく学生のようなものです。
「幻覚」されたステップ：時々、AI はレシピに全く含まれていない追加のステップを捏造しました。まるでレシピに書かれていないのに「ユニコーンの粉を振りかける」とシェフが追加するかのようです。
「自己修正」の罠：時々、AI は答えを間違え、それに気づいて後で修正しようとしますが、修正した頃にはすでに最終結果を台無しにしていました。
「パターンマッチャー」：数学を実際に行う代わりに、一部の AI は数字の見た目に基づいて答えを推測しているように見え、実際には手順に従っていませんでした。

主な結論

この論文は、AI が「もっともらしい」最終的な答えを提示したからといって、実際に作業を行ったわけではないと結論付けています。

テストを受ける学生を想像してください。正解が出れば、彼らが勉強したと思えるかもしれません。しかし、この論文が示すのは、彼らが実際には問題を段階的に解くのではなく、推測したり、以前のテストの答えを覚えていたりしている場合があるということです。

要約すると：現在の AI モデルは賢く聞こえ、最終結果を提供するのが得意ですが、書かれた通りに長く退屈な指示リストを正確に守る信頼できるロボットのように振る舞うことには苦労します。指示が長くなりすぎたり、過去の情報をあまりにも多く記憶する必要があったりすると、AI は軌道から外れ、ルールに従うことをやめてしまう傾向があります。

以下は、論文「When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models（LLM が手順に従うことをやめる時：言語モデルにおける手続き的実行の診断研究）」の詳細な技術的サマリーです。

1. 問題提起

大規模言語モデル（LLM）は推論ベンチマークにおいて高い性能を示しますが、最終的な回答の精度が高いからといって、プロンプトで提供された特定の手続きをモデルが忠実に実行したことを保証するものではありません。モデルは、実際には指定された手順に従うことなく、妥当な回答に到達するために、ショートカット、パターンマッチング、記憶された連想、または不安定な中間計算に依存することがよくあります。

この区別は、アルゴリズムの厳密な遵守が求められる応用（数値計算、ルールベースの意思決定、構造化されたワークフローなど）において極めて重要です。本論文は、特にタスクの複雑さが増すにつれて、「推論しているように見えること」と「指示を忠実に実行すること」の間のギャップに焦点を当てています。

2. 手法

著者らは、タスク解釈の曖昧さから手続き的実行の失敗を分離するために設計された制御された診断ベンチマークを導入しました。

タスクの定式化:
- 入力: 2 つの数値変数（ $x$ および $y$ ）。
- 手続き: 自然言語で記述された段階的な算術アルゴリズム。このアルゴリズムは $S_1=x$ および $S_2=y$ を初期化し、基本算術演算（ $+, -, \times, \div$ ）を用いて一連の中間変数（ $S_3, S_4, \dots$ ）を定義します。
- 目標: モデルはアルゴリズムを記載された通りに正確に実行し、最終計算値を返す必要があります。
- 正解: 外部実行器によって決定論的かつ容易に検証可能であり、曖昧さを排除します。
複雑性の軸:
1. アルゴリズムの長さ: 手順の数（ $T$ ）は 5 から 95（10 刻み）で変化します。
2. 遡及依存性: 状態追跡をストレステストするために、現在のステップが以前の手順からの中間変数を取得する必要がある依存関係をベンチマークに導入します。
  - Look-back 1: 直前のステップのみに依存します。
  - Look-back 7: 直前の 7 ステップのいずれかに依存します。
データセットの構築:
- 規模: 55 のデータセット、合計 55,000 例。
- 変数: 入力範囲（ $[0,1], [1,10], [10,100]$ ）、データ型（整数対浮動小数点数）、演算バリエーション（混合、加算のみ、減算のみなど）の組み合わせ。
評価対象モデル:
- 14 モデル: さまざまな規模（15 億から 6850 億パラメータ）とファミリー（DeepSeek, Qwen, Mistral, OLMo, OpenAI など）にまたがり、標準的な指示微調整モデルと推論指向モデルの両方を含みます。
評価指標:
- First-Answer Accuracy（初回答精度）: 抽出された最初の回答の正しさ。
- Correct@Any: 出力内の任意の回答スパンが正しい場合の正しさ（自己修正を捉える）。
- Non-null Answer Rate（非 Null 回答率）: 有効な <answer> タグを含む出力の割合。
- Step-Following Behavior（手順追従行動）: Exact（正確な手順）、Under-execution（早期終了）、Over-execution（追加手順）に分類。

3. 主要な貢献

診断ベンチマーク: 最終回答の正しさだけでなく、手続きの忠実性を測定するために特別に設計された、新規かつ制御された環境。
「手続き的錯覚」の実証的証拠: 完全なアルゴリズムが明示的に提供されていても、複雑さが増すにつれて LLM が頻繁にそれを忠実に実行できないことを実証。
失敗モードの分析: 最終精度のみを見るだけでは見えない、生成レベルの特定の失敗モード（例：未実行、回答の欠落、早期回答）を特定。
依存性の深さへの感受性: モデルは長いシーケンスだけでなく、非局所的な状態の取得（遡及依存性）においても著しく困難を抱えていることを示す。

4. 主要な結果

複雑さによる精度の低下:
- 手順数: 平均的な初回答精度は、5 手順で 61% から 95 手順で 20% まで劇的に低下します。
- 遡及の深さ: 遡及依存性を 1 から 7 に増やすと、平均精度がさらに 18.43 ポイント 低下し、非局所的な中間状態の追跡における特定の弱点を示しています。
生成レベルの失敗モード:
- Under-execution（未実行）: 手順数が増えるにつれて、「未実行」の生成（最終手順前に停止）の割合は 24.25% から 50.87% まで上昇します。
- Exact Execution（正確な実行）: 70.88% から 46.84% に低下します。
- Premature Answers（早期回答）: 多くのモデルは推論トレースを完了することなく出力の早期に回答を生成し、実行ではなくパターンマッチングへの依存を示唆しています。
入力およびタスク要因:
- 演算タイプ: 加算と減算のタスクは、乗算と除算よりも一般的に高い精度を示します。
- 大きさ: 数値の大きさは特定のバリエーション（例：乗算）において性能に影響を与えますが、精度の広範な低下を完全に説明するものではありません。主な要因は状態を追跡する手続き的な負担です。
- モデル規模: 大規模なモデルは一般的に性能が良いですが、複雑さに伴う精度低下の傾向はすべてのモデルサイズで当てはまります。
自己修正:
- 「Correct@Any」はしばしば「First-Answer Accuracy」よりも高いですが、モデルが初期の誤りを犯し、自己修正を試みるものの、依然として必要な厳密な手続きフローを維持できないことを明らかにしています。

5. 意義と示唆

現在の推論の限界: この研究は、「Chain-of-Thought（思考の連鎖）」や長い推論トレースが忠実な指示遂行を意味するという仮定に挑戦します。モデルは、妥当な最終数値を生成する一方で、プロセスを「幻覚」させたり、手順を完全にスキップしたりすることがよくあります。
安全性と信頼性: 金融計算や政策執行などの高リスク応用において、LLM に明示的な多段階手続きを実行させることは、手順をスキップしたり中間状態を幻覚させたりして失敗する可能性があるため、現時点ではリスクを伴います。
将来の方向性: 知見は以下の必要性を示唆しています:
- 手続きの逸脱を明示的に罰する新しい学習目的。
- アルゴリズムの決定論的部分を処理するためのツール拡張エージェント（外部計算機/実行器の使用）。
- より良い長期的な状態追跡と非局所的な依存関係の解決のためのアーキテクチャの改善。

結論として、本論文は LLM が真に問題を通じて「考える」のか、単に結果を「推測」するのかを評価するための厳密なレンズを提供し、手続き的複雑さがスケールするにつれて、指示の忠実な実行における著しい弱点を明らかにしています。