💬 NLP

Retrieved In-Context Principles from Previous Mistakes

本論文は、大規模言語モデルの性能をさまざまな推論ベンチマークで向上させるために、学生モデルの誤りを分析・クラスタリングしてカスタマイズされたタスクレベルの原則を生成する教師・学生フレームワークである「検索型コンテキスト内原則（RICP）」を提案する。

原著者： Hao Sun, Yong Jiang, Bo Wang, Yingyan Hou, Yan Zhang, Pengjun Xie, Fei Huang

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hao Sun, Yong Jiang, Bo Wang, Yingyan Hou, Yan Zhang, Pengjun Xie, Fei Huang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ある学生（学生モデル）に、厄介なパズルの解き方を教えることを想像してみてください。通常、私たちは正しいやり方の完璧な例を示すことで教えます。しかし、この論文は、どこで間違えたかを示し、その理由を説明することで、より効果的に教えることができると主張しています。

著者らは、この新しい方法をRICP（Retrieved In-Context Principles：検索型コンテキスト内原則）と呼んでいます。これは、教師と学生が関与する、賢明な二段階のチュータリングシステムのようなものです。

以下に、簡単な比喩を用いてその仕組みを説明します。

課題：「万人向け」の教科書

従来の方法は間違いから学ぼうとしましたが、それは学生に「間違いを避ける方法」と題された一般的な教科書の章を渡すようなものでした。

欠点: もし学生がピザに関する数学の問題でつまずいている場合、「作業を確認する」といった一般的なルールを読んでも十分な助けにはなりません。逆に、学生が論理パズルを解いている場合、「ピザ数学」に関するルールは役立ちません。
結果: 助言は曖昧すぎたり、さまざまな種類の誤りを十分にカバーしていなかったりしました。

解決策：「個別指導のチューター」（RICP）

RICP 手法は、学生が模擬試験を受ける様子を見て、特定の誤りを分析し、次の試験のためのカスタム学習ガイドを作成する熟練の教師のように機能します。

ステップ 1：「誤りの解剖」（洞察の生成）

まず、学生モデルが一連の練習問題を解こうとします。教師モデル（より賢い AI）は、学生が間違えた問題を確認します。

教師の役割: 「不正解」と言うだけでなく、レポートを作成します。それは根本原因（例：「ピザの価格にチップを加えるのを忘れた」）を特定し、具体的な洞察（例：「常に総費用のすべての要素が含まれているか確認する」）を提供します。

ステップ 2：「教訓のライブラリ」（原則の定式化）

ここで魔法が起きます。教師はこれらの誤りを 2 種類の助言に整理します。

「一般的なルール」（タスクレベルの原則）:
- 比喩: 教科書の章を想像してください。
- 教師は類似した誤りをグループ化します（例：割合に関するすべての数学的誤り）。これらのグループから、あらゆる数学の問題に適用される広範なルールを作成します。
- 例: 「常に算術演算を二度確認する」。
「個人的なチートシート」（質問レベルの原則）:
- 比喩: 今まさに見ている特定の問題に貼られた付箋を想像してください。
- 学生が答えようとしているまさにその質問に対して、教師はライブラリから最も類似した過去の誤りを検索します。そして、この状況にのみ適用される具体的な助言を引き出します。
- 例: 「この特定のピザの問題では、チップの計算だけでなく、基本価格にチップを加えることを忘れないでください」。

ステップ 3：「試験当日」（原則の活用）

学生が新しい問題に直面したとき：

正しい方向に進むよう、一般的なルール（教科書の章）を受け取ります。
その特定の質問に合わせた個人的なチートシート（付箋）を受け取ります。
これらを通常の指示と組み合わせて問題を解決します。

重要なのは: 教師は試験中に立ち会う必要はありません。学生は単に、教師が以前に準備したノートを使用するだけです。これにより、実行が迅速かつ安価になります。

なぜこれが優れているのか

この論文は、数学、常識、論理に関わる 7 つの異なる「試験委員会」（データセット）でこれをテストしました。

カスタマイズ: 従来の方法が全員に同じ助言を与えたのに対し、RICP は特定の質問に対して正しい助言を提供します。
網羅性: 誤りをグループ化することで、学生は最も一般的な誤りだけでなく、多様な誤りから学ぶことを保証します。
結果: これらの「誤りのノート」を標準的な AI プロンプト手法に追加したところ、学生モデルは著しく賢くなり、特に難しい論理問題や数学問題において精度が向上しました。

要約

単に AI に正しいやり方を示すのではなく、この手法は過去の失敗を分析することで、どうすれば間違えないかを教えます。これは、広範な知恵（一般的な安全性のため）と具体的なヒント（即座の問題のため）の両方を提供するハイブリッドガイドを作成し、AI が自らの失敗から学ぶ人間のように推論することを支援します。

技術的概要：検索型コンテキスト内原則（RICP）

問題提起

コンテキスト内学習（ICL）は、正しい例を用いて大規模言語モデル（LLM）を下游タスクに適応させる上で有効であることが証明されていますが、誤りから学習することで性能向上を図ろうとする最近のアプローチには、2 つの重要な限界が存在します：

カスタマイズの欠如: 既存の手法は通常、すべての質問に対して固定された原則のセットを適用します。この静的なアプローチは、個々の問題の具体的なニュアンスを考慮できず、一般化された原則が適用できない場合に混乱を招く可能性があります。
誤りカバレッジの不十分さ: 現在の手法は、原則の分布を調整して広範な誤りのスペクトラムを包含することが十分にできていません。その結果、類似した誤りに過度に焦点が当てられ、対処可能な誤りの範囲が狭まり、不要なトークン消費による推論コストが増大します。

手法：検索型コンテキスト内原則（RICP）

著者らは、学生モデルの誤りから導き出された原則を生成・検索するために設計された、新しい教師 - 学生フレームワークであるRICPを提案します。このフレームワークは、3 つの明確な段階で動作します：

1. 洞察の生成

学生モデルをトレーニングデータセット（ $D_{train}$ ）で評価し、誤った解答（ $D_{neg}$ ）を収集します。より強力な教師モデルが各誤りを分析し、以下のものを生成します：

高レベルな理由（ $R_i$ ）: 誤りの分類（例：「比例の誤用」）。
具体的な洞察（ $I_i$ ）: 将来の類似誤りを防ぐための詳細なガイダンス。

2. 原則の定式化

多様性とカスタマイズのバランスを取るため、RICP は階層的クラスタリングを採用します：

タスクレベルの原則: 高レベルな理由を、ベクトル埋め込み（BGE）を用いた K-means 法でクラスタリングします。同じクラスタ内の質問は、類似した誤りパターンを共有します。教師モデルはこれらのクラスタからサンプリングし、タスク内のすべての質問で共有される一般的なガイドラインとして機能するタスクレベルの原則を定式化します。
質問レベルの原則: 特定の推論質問に対して、システムは各理由クラスタから最も類似した $m$ 個の質問を検索します。これらの検索された質問に関連する洞察をクラスタリングし、サンプリングして質問レベルの原則を生成します。これにより、ガイダンスが現在の質問の意味に極めて特化したものになります。

3. 原則の利用

推論時には、タスクレベルと質問レベルの両方の原則が、学生モデルの既存のプロンプトに追加されます（ $P_{ENHANCED} = P_{TASK} \oplus P_{QUESTION} \oplus P_{BASE}$ ）。重要なのは、推論フェーズにおいて教師モデルが必要とされない点であり、これにより計算オーバーヘッドが削減されます。

主要な貢献

新規フレームワーク: 学生モデルが特定の誤りを繰り返すのを防ぐために、教師が生成した原則を利用する、教師 - 学生フレームワークである RICP の導入。
強化されたカスタマイズとカバレッジ: 階層的クラスタリングを通じて、多様なタスクレベルの原則とカスタマイズされた質問レベルの原則の両方を生成することにより、この手法は誤りカバレッジを大幅に拡大しつつ、正確で質問固有のガイダンスを提供します。
直交性と効率性: RICP は既存のプロンプティング戦略（例：Chain of Thought、Auto CoT）と直交しており、推論中に教師の介入を必要としないため、さまざまなプロンプティング手法とのシームレスな統合と性能向上を可能にします。

実験結果

著者らは、3 つの推論タスクを網羅する7 つのベンチマークで RICP を評価しました。これらは数学的推論（GSM8K、SVAMP、MathQA、AQuA）、常識的推論（CSQA、StrategyQA）、論理的推論（LogiQA）です。実験では、GPT-3.5-Turbo と Qwen-Turbo を学生モデルとして、GPT-4-Turbo を教師モデルとして使用しました。

一貫した改善: RICP は、異なるモデルとベンチマークにおいて、テストされたすべてのプロンプティング手法（Standard、Zero-shot CoT、Few-shot CoT、Auto CoT、Complex CoT）の性能を一貫して向上させました。
顕著な向上: 顕著な相対的改善が観察されました。例えば、GPT-3.5-Turbo を使用した AQuA データセットにおいて、Zero-shot CoT に対して22.6%、Complex CoT に対して**20.0%**の改善が見られました。
アブレーション研究: タスクレベルまたは質問レベルの原則のいずれかを除去すると性能が低下し、両方のコンポーネントの必要性が確認されました。特に、質問レベルの原則は、特定の文脈（例：MathQA における Auto CoT）での誤りを防ぐために不可欠でした。
検索の有効性: 原則のカスタマイズされた検索は、ランダムな選択を大幅に上回って性能を発揮し、検索された洞察の関連性がモデルを効果的に導くために重要であることを示しました。

意義と主張

本論文は、RICP が動的で文脈を認識したガイダンスを提供するメカニズムを通じて、過去の「誤りから学習する」アプローチの限界を効果的に克服すると主張しています。誤りを根本的な理由に基づいてクラスタリングし、特定の質問に関連する洞察を検索することにより、この手法はモデルに包括的かつ正確な指示を提供することを保証します。

著者らは、RICP が数学的推論に prevalent な論理的誤りに対して特に効果的であり、この手法は Retrieval-Augmented Generation（RAG）や外部ツールなどの他の技術とシームレスに統合可能であると強調しています。本研究は、構造化された検索とクラスタリングプロセスを通じて教師が生成した洞察を活用することが、追加の推論コストを伴わずに LLM の推論能力を大幅に強化すると結論付けています。

認められた限界:

この手法は、生成される原則の品質を確保するために、学生モデルよりも著しく高度な教師モデルを必要とします。
推論コストは増加しませんが、直接の Few-shot 学習と比較して、原則の事前構築（洞察の生成とクラスタリング）に関連するオーバーヘッドが存在します。