技術要約：自己発見的仕様に基づくエージェンティック・コンテキスト学習

1. 問題定義：コンテキスト学習のボトルネック

本論文は、大規模言語モデル（LLM）が、事前学習には存在しない、複雑で長いコンテキストから新規かつタスク固有の知識を学習し適用しなければならない推論時のタスクである「コンテキスト学習（Context Learning）」に取り組んでいる。文書理解などの従来の長文脈タスク（関連する事実の検索に焦点を当てるもの）とは異なり、コンテキスト学習では、モデルが新たに定義されたローカルな環境（例：製品マニュアル、規制コード、API仕様書など）の中で動作することを要求される。そこでは、妥当性のルールがしばしば暗黙的なものとなる。

一般的な言語タスクでは強力な性能を示す一方で、最先端のモデルであってもこの設定下では著しく苦戦する。CL-Bench（1,899のタスクを含む、コンテキスト学習用に特別に設計されたベンチマーク）において、最高レベルのモデルでさえ、厳密なタスク成功率は**24%**を下回っている。著者らは、この失敗の原因は単に長いコンテキスト内のコンテンツにアクセスできないことではなく、「ローカルな仕様（local specifications）」――すなわち、回答が妥当であるかどうかを決定する、コンテキスト全体に分散した行動制約、フォーマット、エッジケースの処理規則、および完全性の条件――を獲得できていないことにあると仮定している。

2. 実証的分析と診断

著者らは、これらの失敗の根本原因を診断するために、CL-Benchを用いた包括的な実証研究を行った。

• 失敗モードの分析： 厳密なタスク合格率は低い（22.55%）一方で、ルーブリック（評価基準）レベルの合格率は大幅に高い（76.01%）。これは、モデルがほとんどの要件を満たしてはいるものの、決定的な数個の項目で失敗していることを示している。ちょうど1つのルーブリック項目によって失敗したタスクのうち、**75.3%**は、事実的なコンテンツのエラーではなく、仕様項目（ローカルな行動制約への準拠）であった。
• 要件の分類学： 31,592のルーブリック項目のうち、55.4%が仕様獲得（ローカルなルールの学習）を評価しており、コンテンツ獲得（事実の検索）を評価するものはわずか**22.6%**であった。
• クエリとコンテキストの非対称性： 重要な発見として、仕様項目の76.7%はユーザーのクエリのみからは推論できないものであり、周囲のコンテキスト（例：例示、検証パターン、または繰り返される構造）の中に分散している。しかし、これらの仕様の**95.5%はコンテキストに追跡可能（traceable）**であり、これらが隠れた評価者の好みではなく、学習可能な義務であることを意味している。
• 既存手法の限界： 著者らは、検索、コンテキスト再構成、自己修正、反復的検索にわたる12のベースラインを評価した。いずれも直接的なフルコンテキスト・プロンプティングのベースラインを1パーセントポイント以上上回ることはなかった。これは、クエリに関連するコンテンツを表面化させることに焦点を当てた手法が、回答の形式や手順を規定する「妥当性に関連する仕様」を見落としているためであることを示唆している。

3. 手法：プライベート仕様契約誘導（PSCI）

仕様獲得がボトルネックであるという診断を検証するため、著者らはPSCIを提案する。これは、意図的に単純で、トレーニングを必要としないテスト時のスキャフォールド（足場）である。PSCIは以下の4つの連続したステップで動作する。

1. 仕様の発見（誘導）： モデルは、タスク($x$)とコンテキスト($c$)から、**プライベート仕様契約($K$)*を誘導する。この契約は、ローカルな妥当性に必要な義務項目（フォーマット、検証チェック、順序制約）の構造化された集合である。極めて重要な点は、この契約は生成前*に誘導され、公開されるルーブリックからは決して観測されないことである。
2. 生成： モデルは、タスク、コンテキスト、および誘導された契約$K$に基づき、初期ドラフト回答($y_0$)を生成する。
3. 敵対的チェック： 敵対的チェッカーが、$K$（公開ルーブリックではなく）に対して$y_0$を監査し、どの義務が満たされているか、部分的に満たされているか、あるいは違反しているかを特定する構造化された診断($d$)を生成する。
4. 修復： 修復ステップが、$d$で特定された違反箇所をパッチ修正して最終的な回答($\hat{y}$)を作成する。この際、正しいコンテンツを保持しつつ、契約を強制する。

核心となる革新は、仕様契約を事後的なグレーダー（採点者）としてではなく、生成を形作る**制御オブジェクト（control object）**として扱う点にある。

4. 主な結果

著者らは、GPT-5.1、Qwen3.5-27B、およびGemini 3 Proを用いてCL-Bench上でPSCIを評価した。

• 最先端の性能： PSCIはGPT-5.1 (Medium)を用いて28.14%の厳密な合格率を達成し、直接的なベースライン（22.55%）に対して5.59パーセントポイントの絶対的な向上（24.8%の相対的改善）を実現した。この性能は、元のCL-Bench評価におけるGPT-5.1 (High)の成績（23.7%）さえも上回った。
• モデル間の汎用性： 性能向上はモデル間で一貫していた：
  • Qwen3.5-27B： 14.14%から**19.42%**へ向上（+5.28 pp）。
  • Gemini 3 Pro： 16.14%から**22.31%**へ向上（+6.17 pp）。
• ルーブリックレベルの向上： PSCIはグローバルなルーブリック合格率を**+5.12 pp**向上させた。特筆すべきは、コンテンツ項目（15.5%を解消）よりも仕様項目（23.2%を解消）において、より大きな改善が見られたことであり、この手法が特定されたボトルネックを標的にしていることを裏付けている。
• ベースラインとの比較： 12の代替ベースライン（Self-RAG、Reflexion、反復的検索を含む）はすべて直接的なベースラインの±0.78 pp以内に留まり、PSCIの性能には及ばなかった。

5. アブレーション研究とメカニズムの検証

タスク固有の仕様の役割を分離するために、17のアブレーション研究が行われた。

• タスク固有性の必要性： 契約をシャッフルした（別のタスクの契約を使用した場合）、性能はベースライン（19.80%）以下に崩壊した。これは、仕様が特定のタスクのコンテキストと整合していなければならないことを証明している。
• コンテキストへの接地： ゼロショットのコンテキスト由来の仕様は性能を向上させたが、汎用的な静的仕様は向上させなかった。これにより、仕様は現在のコンテキストから抽出される必要があることが確認された。
• 強制 vs 発見： 「発見」のみ（チェックや修復を行わずに契約を誘導するだけ）では26.09%に達したが、フルパイプライン（28.14%）を用いることで、**「強制（enforcement）」**が極めて重要であることが示された。
• 制御オブジェクト vs 事後グレーダー： 生成後に仕様を誘導する（Answer-firstの順序）と、23.67%に失敗した。これは、契約が単なる修復ガイドではなく、生成プロセスを形作るための制御オブジェクトとして機能しなければならないことを示している。
• 計算効率： 計算量を一致させたコントロール（例：汎用的な自己反省、繰り返される静的な仕様）はPSCIに及ばなかった。これは、得られた利得が単なる推論コストの増加によるものではなく、計算の構造（仕様の発見と強制）に由来することを示している。

6. 意義と主張

本論文は、主に3つの貢献を主張している。

1. 診断： コンテキスト学習における主要なボトルネックは、コンテンツ獲得ではなく、仕様獲得（クエリには暗黙的だがコンテキストには追跡可能なローカルな義務を推論すること）であることを特定した。
2. 手法： これらのローカルな仕様を明示的に誘導し強制することで、最先端の結果を達成する、シンプルでトレーニングを必要としないスキャフォールドであるPSCIを導入した。
3. メカニズム： 広範なアブレーションを通じて、コンテキスト学習には、仕様の発見（コンテキストに接地したもの）と仕様の強制（チェックと修復による）という2段階のプロセスが必要であることを示した。

著者らは、コンテキスト学習は単に正しい事実を検索することではなく、プロンプト内で定義されたローカルな「ゲームのルール」を獲得し、それに従うことにかかっていると結論づけている。また、PSCIは性能を大幅に向上させたものの、「強制」は依然として残存するボトルネックであり、モデルは正しい義務を表面化させることはできても、最終的な出力においてそれらを一貫して実行することには失敗する場合が多いと指摘している。この研究は、コンテキスト学習の今後の進展には、これらのローカルな妥当性条件をより良く内部化し、強制するためのメカニズムが必要であることを示唆している。