💬 NLP

Beyond Factual Knowledge: Benchmarking and Learning Step-Level Procedural Rule Reasoning in Large Language Models

本論文は、ステップレベルの手続き的ルール推論を評価するための大規模なベンチマークであるRuleWorldを紹介し、KVキャッシュ内にルールを動的に注入および再アテンションすることで、複雑なマルチステップ推論タスクにおけるLLMの性能を大幅に向上させるエンドツーエンドのフレームワークであるDynaRuleを提案する。

原著者： Bohan Yu, Pengfei Cao, Chen Han, Chenxi Zhou, Zhiheng Zhang, Zhiyang Xie, Wenhao Teng, Xiangwen Liao, Jun Zhao, Kang Liu

公開日 2026-08-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bohan Yu, Pengfei Cao, Chen Han, Chenxi Zhou, Zhiheng Zhang, Zhiyang Xie, Wenhao Teng, Xiangwen Liao, Jun Zhao, Kang Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデルは、物語を書き、数学の問題を解き、驚くほど流暢に言語を翻訳することができる、新世代の人工知能を支えるエンジンです。これらのモデルは、膨大な量のテキストを吸収し、言葉がどのように組み合わさって意味を形成するかという統計的なパターンを学習することで機能します。長年、研究者たちは、パリがフランスの首都であることを知っているといった、事実を想起する能力についてこれらのモデルをテストしてきました。しかし、現実世界の思考にとって同様に不可欠な、別の種類の知識があります。それが「手続き的知識」です。これは、「何が真実か」を知ることではなく、一連の指示に基づいて「どのように行動するか、あるいは推論するか」を知ることです。特定の複雑な法律を新しいケースに適用しなければならない弁護士や、希少な疾患を診断するために詳細なプロトコルに従う医師を想像してみてください。これらの状況において、答えは記憶の中に保存されているのではなく、巨大な外部の規則集から、ステップ・バイ・ステップで探し出し、選択し、適用されなければなりません。現在、この分野が直面している問いは、これらの強力なモデルが本当にこれを学習できるのか、それとも単に内部的な推測に頼りながら、ルールを理解しているふりをしているだけなのかということです。

これに答えるため、研究チームは「RuleWorld」と呼ばれる巨大なテスト場を構築しました。モデルに一つのパズルを解くための少数のルールを与えるのではなく、彼らは約500万個の抽象的なルールを含むライブラリを構築しました。これらのルールは、モデルが自身の内部知識を使用できないように、「もし生き物が森に入ったら、それは火に包まれる」といった、日常生活とは無関係で意図的に奇妙なものになっています。ルールは、形式的な論理文と、平易な英語の文章という2つの方法で記述されています。その後、研究者たちはモデルをテストするために3種類のチャレンジを設計しました。1つ目は単純なもので、質問に答えるためのルールを1つ見つけることです。2つ目はより複雑で、それぞれ異なるルールを必要とする複数の質問に一度に答えることです。3つ目は最も困難なもので、最初のステップの答えが次のステップの開始点となる一連の問題を解くことであり、長い論理的シーケンスを通じて進捗を追跡することを要求されます。

既存のモデルをこの新しいベンチマークでテストしたところ、結果は明白でした。利用可能なルールの数が増えると、最も高度なモデルでさえ苦戦しました。数千のルールの中から選ばなければならないとき、モデルはしばなしばしば間違ったものを選んだり、マルチステップの連鎖の途中で迷子になったりしました。回答の前に関連するテキストを検索することでモデルを助けようとする標準的な手法は、脆弱であることが判明しました。それらは最初のステップのための正しいルールは見つけ出しますが、2番目のステップのために検索を更新することに失敗し、エラーの連鎖を引き起こしました。モデルは本質的に、ルールブック全体を一度に頭の中に保持しようとしており、その作業が、各特定の瞬間において何に集中すべきかという彼らの能力を圧倒してしまったのです。

これを解決するために、研究者たちは「DynaRule」と呼ばれる新しいシステムを開発しました。ルールを一度だけ読む静的なリストとして扱うのではなく、DynaRuleは、モデルが思考しながらルールに手を伸ばし、更新できる動的なリソースとして扱うことを教えます。このシステムは、ルールをモデルの内部メモリ構造に直接埋め込むことで機能し、このプロセスにより、モデルは速度を落とすことなくルールにアクセスできるようになります。決定的なのは、モデルがギアを切り替える必要があることを認識するように訓練されている点です。モデルは、一つの推論ステップを終えて次のルールを見つける必要があるときに、特別な内部信号、つまり精神的な「検索」コマンドを発出することを学びます。この信号が作動すると、モデルは即座にルールライブラリ全体を再評価し、以前に使用したルールを破棄し、現在のステップに必要とされる新しいルールへと注意を集中させます。これにより、ルールの探索という行為が、一度限りの検索から、推論の連鎖とともに進化する継続的で学習可能なプロセスへと変わります。

このアプローチの結果は、極めて重要でした。RuleWorldベンチマークにおいて、DynaRuleは強力な外部検索ツールを使用する方法を含め、他のすべての手法を一貫して上回りました。1万個のルールに直面しても、この新システムは高い精度を維持し、最初の試行で85パーセント以上の確率で正しいルールを特定しましたが、他の手法のパフォーマンスは崩壊しました。複数のステップを必要とするタスクにおいて、DynaRuleは既存の最良の代替案と比較して、平均精度を20ポイント近く向上させました。このシステムは、モデルが自身の注意を大規模な指示セットに対して能動的に管理することを教えることで、複雑な論理的風景を確実にナビゲートできることを証明しました。研究者たちは、モデルが単にルールを暗記したのではなく、見たことがないルールに対してテストされたときでも、それらを特定し適用するための一般的な方法を学習したことを発見しました。これは、モデルにタスクが進展するにつれて自身のフォーカスを動的に更新する方法が与えられれば、モデルの膨大な内部知識と、外部の指示に従う能力との間の溝を埋めることができることを示唆しています。

技術要約：事実的知識を超えて — 大規模言語モデルにおけるステップレベルの定型的なルール推論のベンチマークと学習

1. 問題提起

大規模言語モデル（LLM）はテキストの理解と生成には長けているが、外部から提供された**定型的なルール（procedural rules）**を大規模に、かつ確実に特定して適用することには苦慮している。既存のLLMの知識能力に関する評価は、主に事実的な知識に焦点を当てており、定型的な知識（どのように行動するか、あるいは推論するか）を無視していることが多い。さらに、現在のルール推論のベンチマークは、関連するルールをインスタンス固有の前提条件として提供する傾向があり、再利用可能なルールを質問ごとのヒントへと縮小させてしまっている。このような設計は、モデルが以下の能力を備えているかどうかを不明瞭にしている：

特定のクエリに対して、大規模で共有されたルールリポジトリから正しい再利用可能なルールを特定できるか。
ターゲットとなるルールが動的に変化するマルチステップの推論チェーンにおいて、これらのルールを確実に適用できるか。

現在の手法は、主に2つの課題に直面している：

検索と活用の脆弱性： 注入されるルールは非常に抽象的であり、質問の表面的な形式と弱くしか一致しないため、大規模なスケールでの検索と適用が不安定になる。
ステップごとの不安定性： 並列集計やマルチホップ推論において、必要なルールはステップごとに変化する。RAG（検索拡張生成）や内部注入法などの既存のアプローチは、マルチステップ推論におけるセマンティックな不一致や、不安定なルール選択に陥ることが多い。

2. メソドロジー

2.1 RuleWorld ベンチマーク

著者らは、LLMのルール活用能力を測定するために設計された大規模ベンチマークである RuleWorld を導入する。

規模と性質： 494万個の、外部から提供された抽象的、非常識的、かつエンティティに依存しない定型的なルールで構成されている。これにより、モデルが内部化された知識に依存することを防いでいる。
構造： ルールは4つの主要なタイプ（属性、環境、行動、状態）と7つのサブタイプに整理されており、一階述語論理（FOL）と自然言語（NL）の両方で利用可能である。ルールはグローバルに一貫しており、矛盾がなく、あるルールの結論が他のルールの前提として機能することができる。
タスクタイプ： ルール活用の異なるモードを捉えるために、3つのQAタイプを定義している：
1. シングルルールQA： 正確に1つのルールを適用する（5万インスタンス）。
2. 並列マルチルールQA： 1つのインスタンス内で複数の独立したサブ質問を解き、回答を集計する（325万インスタンス、最大8個のゴールドルール）。
3. マルチホップルールQA： 中間的な結論が後続のステップの前提となる逐次的な推論（7.77万インスタンス、最大4ホップ）。
総範囲： ベンチマークは、11のサブタスクにわたる337万のQAインスタンスを含んでいる。

2.2 DynaRule フレームワーク

著者らは、ルールをモデルの内部 KVキャッシュ に注入し、検索を学習可能なステップごとのプロセスへと変換するエンドツーエンドのフレームワーク DynaRule を提案する。

KVキャッシュによるルール注入： 外部ルールは、事前学習済みの文章エンコーダーを使用してエンコードされ、単層のアダプターを介してLLMの埋め込み空間に投影される。これらのルール表現（Key-Valueペア）は、コンテキストトークンと共にKVキャッシュに直接挿入され、アテンションメカニズムをルールセットへと拡張する。
信頼レイヤーの特定： 著者らは、注入されたルールに対するアテンション・エントロピーが最小化される、トランスフォーマー内の特定の「信頼レイヤー（confidence layer）」を特定した。このレイヤーは最も鋭いアテンション分布を示し、関連するルールへの決定的な集中を示す。
スタック型ステップレベル・アテンション学習：
- 各特定の推論ステップで必要なルールへのアテンションを誘導するために、特別な <search> トークン が導入される。
- 学習には スタック型ステップレベル・アテンション損失（Stacked Step-Level Attention Loss） が用いられる。第1ステップでは、検索は質問に条件付けられる。後続のステップ（ $t \ge 2$ ）では、回答の前に <search> トークンが挿入され、このトークンの隠れ状態がクエリとして機能し、ルールセットへ再アテンションを行う。
- 学習目的は、共有候補プール（全ステップのゴールドルールで拡張済み）を構築し、現在のステップにおける正しいルールへの高いアテンションを促すクロスエントロピー損失を適用する。その際、他のステップのルールはハードネガティブとして扱う。
推論プロセス： 推論中、モデルはルール検索と更新を完全に内部空間内で行う。デコーダーが <search> トークンを出力すると、モデルは信頼レイヤーにおいてルールセットへのアテンションを再計算し、新しい選択されたルールによってKVキャッシュ内の古いルールエントリを置き換える。これにより、動的なルールへの再アテンションと更新が可能になり、安定したマルチステップ推論をサポートする。

3. 主な貢献

RuleWorld ベンチマーク： FOLおよびNLにおける数百万の抽象的な定型ルールを含み、4つのタイプ、7つのサブタイプ、および11のQAサブタスクをカバーする大規模ベンチマーク。これは、大規模な共有ルールプールと、シングルルール、並列マルチルール、およびマルチホップ推論の制御された評価を独自に組み合わせている。
DynaRule フレームワーク： 外部ルールをKVキャッシュに注入するエンドツーエンドのルール統合手法。学習可能な <search> 駆動型のステップレベル・アテンションメカニズムを利用して、ルールを動的に選択および更新し、検索を内部的かつ微分可能なプロセスへと変革する。

4. 実験結果

実験は、Qwen2.5-7B-InstructをベースモデルとしてRuleWorldに対して行われ、Prompting、RAG（Dense, BM25, Hybrid）、KBLaM、およびSR-KIを含む強力なベースラインと比較された。

ルール推論パフォーマンス：
- 既存のLLM（DeepSeek V3.2やGPT-5.5を含む）は、大規模なルールプール（例：10Kルール）の下では、精度が急激に低下するという大きな課題に直面している。
- DynaRule は一貫してすべてのベースラインを上回る。最強のベースラインに対して平均QA精度を最大 19ポイント 向上させる。
- 特定のサブタスクでは、最大 48ポイント の利得に達する。
- 10Kルール下において、DynaRuleは 85%以上のRecall@1 と 90%以上のRecall@10 を達成し、最強のベースラインを60ポイント以上上回る。
検索パフォーマンス：
- DynaRuleは優れたルールローカリゼーションを示し、Recall@1において最強のベースラインを最大 61.98ポイント（FOL） および 53.42ポイント（NL） 上回る。
- 複数の検索ステップを行っても差を埋めることができない反復的RAG（IRCoT, ReAct）とは異なり、DynaRuleの内部ステップレベル検索は、ルールローカリゼーションをデコーディングプロセスと一致させている。
効率性：
- DynaRuleは効率的にスケールする。KVキャッシュ注入は $O((M+N)N)$ でスケールし、これは長いルールコンテキストに対する二次関数的なプロンプト注入よりも大幅に安価である。
- 高いトークンスループットを維持しながら、Time to First Token (TTFT) および総推論時間を削減する。
汎用性：
- 未知のルールリポジトリ（未学習のルール）でテストされた際も、DynaRuleは実質的なパフォーマンス（10Kルールで50.20%の完全一致）を維持しており、これはモデルが特定の学習ルールを記憶しているのではなく、転移可能なアライメントを学習していることを示している。
アブレーション：
- 注入されたセットから正しいルールを取り除くと、精度がほぼゼロに崩壊し、モデルが内部知識ではなく注入されたルールに依存していることが確認された。

5. 意義と主張

本論文は、DynaRule がパラメトリックな知識と明示的なルール接地（grounding）の間の決定的なギャップを埋めるものであると主張している。ルール検索、更新、および推論をすべてモデルの内部空間内で統一することにより、本フレームワークはLLMが以下を実現することを可能にする：

各推論ステップにおいて関連する定型ルールを特定する。
安定したマルチステップ推論をサポートするために、古いルールを動的に置き換える。
従来の検索手法が失敗するような、大規模で抽象的なルールプールに直面しても、信頼できる定型的推論を達成する。

本研究は、現在のLLMがステップレベルの定型的ルール推論に苦慮していることを浮き彫りにし、ステップレベルの動的な統合が、より堅牢で信頼性の高い推論能力に向けた実行可能な道であることを示している。著者らは、現在のスコープ（FOL/NLのみ）や、ルールプールが数百万規模に拡大する際の埋め込みのみによるルール表現に内在する情報損失といった限界についても言及しており、階層的インデックス作成やより豊かなルール表現に関する将来の研究を示唆している。