Instruction Stacking Collapse: A Benchmark and the Capability-Dependent Value of Prompt Compilation
本論文は、制約が累積するにつれて大規模言語モデルにおける指示追従性能がペアワイズの競合によって非線形に低下することを示すベンチマークを導入し、学習を必要としないプロンプトコンパイラが、強力なモデルにはほとんど影響を与えない一方で、より弱いモデルに対してはこの問題を効果的に軽減することを示す。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、非常に賢いが少し融通の利かないロボットの助手に対して、指示を与えようとしているところだと想像してください。もしあなたが「物語を書いて」というように、一つのことを頼めば、おそらく素晴らしい仕事をしてくれるでしょう。しかし、もし一度に20個もの異なるルールを積み上げたらどうなるでしょうか？「正確に50語で書くこと」「JSON形式にすること」「3つの引用を含めること」「文字『e』を使わないこと」「要約から始めること」「海賊のような口調にすること」といった具合に。これが**大規模言語モデル（LLM）**の世界です。これらは、今日私たちが使っている多くのチャットボットやツールの背後にあるAIの脳です。これらは人間の命令に従うよう訓練されていますが、完璧ではありません。科学者たちは、あまりにも多くのルールを与えると、AIが失敗し始めることを以前から知っていました。しかし、どの程度ひどく失敗するのか、どのルール同士が衝突し合うのか、あるいはロボットの脳をゼロから再学習させることなく解決する方法があるのかについては、誰も本当には分かっていませんでした。この論文は、その混沌としたルールの山に深く切り込み、どこでロボットが混乱し、どのようにすれば整理を手助刻めるのかを明らかにします。
指示スタックの崩壊（The Great Instruction Stack Collapse）
AIにプロンプトを与えることを、シェフにレシピカードを手渡すことに例えて考えてみましょう。もしカードに「サンドイッチを作って」とだけ書いてあれば、シェフは喜びます。しかし、もしそのカードの上に突然、「赤い食材だけを使うこと」という付箋、「パンは禁止」という別の付箋、「青いボウルで提供すること」という三つ目の付箋、そして「手を使うな！」と叫んでいる四つ目の付箋が重なったとしたらどうでしょう。もしこれらの矛盾する付箋を20枚もレシピの上に積み重ねたら、シェフは単に混乱するだけでなく、多くの場合、ルールの半分を完全に放棄してしまいます。彼らはサンドイッチを作るかもしれませんが、「赤い食材を使う」というルールを忘れてしまうかもしれません。「青いボウルを使う」ことは守るかもしれませんが、「パン禁止」のルールを無視してしまうかもしれません。そして恐ろしいのは、シェフは自分が失敗したことを教えてくれないことです。彼らはただ、奇妙なサンドイッチを出し、「はい、どうぞ」と言うだけなのです。
**「Instruction Stacking Collapse（指示スタックの崩壊）」**と題されたこの論文は、まさにこれがどのようにして起こるのかを深く掘り下げたものです。研究者たちは、3つのトップクラスのAIモデル（Claude Sonnet 4.6、GPT-5-mini、Gemini 2.5 Flash）が、増え続ける指示の山をどれだけうまく扱えるかをテストするための巨大な遊び場を構築しました。彼らは、たった一つのルールから始め、徐々にルールを追加していき、最終的には一度に20個のルールまで増やしました。
クラッシュ：ルールが互いに戦うとき
結果は劇的でした。AIにたった一つの指示に従わせるだけなら、成功率は約**96%**と、スーパースター級の成績でした。しかし、ルールの数が20個に増えると、パフォーマンスは崩壊しました。
- 最強のモデル（Claude Sonnet）は、成功率が約**60%**まで低下しました。
- 中間のモデル（Gemini）は、**43%**まで落ち込みました。
- 最も弱いモデル（GPT-5-mini）は壁にぶつかり、わずか**20%**の指示しか正しく実行できませんでした。
それは緩やかで退屈な衰退ではありませんでした。それは「崩壊」でした。研究者たちは、ルールが単に失われているのではなく、ルール同士が積極的に戦っていることを発見しました。彼らは「衝突マップ（conflict map）」を見つけ出しました。例えば、AIに「有効なJSONを出力せよ」（特定のコンピュータコード形式）と命じながら、同時に「Markdownの見出しを使用せよ」（##タイトル のような形式）とも命じた場合、AIは行き詰まります。両方を同時に行うことはできないからです。JSONを選べば、Markdownのルールを密かに破ります。Markdownを選べば、JSONのルールを破ります。論文では、「JSONを出力せよ」という指示が最大のトラブルメーカーであり、他の9つの一般的なルールと衝突を引き起こしていることが判明しました。
魔法の解決策：指示コンパイラ（The Instruction Compiler）
では、解決策は単にAIに与えるルールを減らすことなのでしょうか？必ずしもそうではありません。研究者たちはこう問いかけました。「AIがそれを見る前に、プロンプトを修正することはできないだろうか？AIに新しいことを教えることなく。」
彼らは**「指示コンパイラ（Instruction Compiler）」**と呼ばれるツールを考案しました。このコンパイラを、レシピをシェフに渡す前に、あなたの散らかった20枚の付箋をチェックしてくれる、非常に整理整頓されたアシスタントだと考えてください。コンパイラは3つのことを行います。
- グループ化する： すべての「フォーマット」に関するルールをまとめ、「長さ」に関するルールをまとめます。
- 統合する： もし2つのルールが同じことを言っているなら、それを一つの明確な文章に結合します。
- 優先順位をつける： もし2つのルールが衝突する場合（「JSONを使用」対「Markdownを使用」など）、コンパイラは「注意：もしこれらが衝突したら、JSONの方を優先せよ」というメモを追加します。
このコンパイラは一度実行され、クリーンで整理されたチェックリストを作成します。そして、その同じチェックリストが、AIが答えるすべての質問に対して使用されます。これは、シェフに乱雑な付箋の束を渡す代わりに、完璧に書かれた一枚のレシピカードを渡すようなものです。
驚きの結果：誰が助けられるのか？
ここがこの物語で最も興味深い部分です。研究者たちは、この「クリーンなレシピカード」が全員を平等に助けるだろうと予想していました。しかし、そうはなりませんでした。恩恵を受けるかどうかは、完全に「シェフ（AIモデル）」がいかに「賢い」かによって決まりました。
- 弱いモデル（GPT-5-miniなど）にとって： コンパイラは救世主でした。成功率を**+11パーセントポイント**向上させました。80%の確率で失敗していたモデルを、失敗率が69%のモデルへと変えたのです。これは、これらの弱いモデルが、高速で安価であるため、現実世界で最も頻繁に使用されているという点で非常に重要です。
- 最強のモデル（Claude Sonnetなど）にとって： コンパイラはほとんど効果がありませんでした。実際、パフォーマンスをわずかに低下させました（約**-1.2ポイント**）。
なぜでしょうか？論文によれば、最強のモデルは非常に賢いため、乱雑な20個のルールの山を見ても、すでにその構造、衝突、そして優先順位を自力で見分けることができるからです。彼らはコンパイラにメモを整理してもらう必要はありません。むしろ、余計なメモが思考の邪魔になります。しかし、弱いモデルは、その混乱に圧倒されてしまいます。彼らは、混沌を明確なステップ・バイ・ステップの計画へと変換してくれる「翻訳者」としてのコンパイラを必要としているのです。
これがあなたにとって意味すること
この研究は、私たちに2つの大きなことを教えてくれます。第一に、複雑なルールを伴うことをAIに頼むとき、単にテキストの壁を投げつけて動くことを期待してはいけないということです。ルールは崩壊し、AIは静かに失敗します。第二に、これを解決するために、より大きく、より賢いロボットを作る必要はないということです。時には、解決策は単なる「整理整頓」にあります。
この論文は、指示を再構成するシンプルな無料のツールが、より弱いAIモデルを救い、日常的なタスクにおいて信頼性を高めることができることを証明しています。これは、AIの世界において、最も賢い選択はロボットをより賢くすることではなく、指示をより明確にすることである、ということを思い出させてくれます。そして、超高性能なロボットたちにとっては、自分たちで解決する方が好ましいのかもしれません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。