技術要約：ニューラル・プロシージャル・メモリ (NPM)

問題提起

大規模言語モデル（LLM）は静的なソルバーとしては優れているが、動的でオープンエンドな環境で動作する自律的なエージェントへと変貌させることは依然として困難である。この移行における決定的なボトルネックは、**持続的なプロシージャル・メモリ（手続き型記憶）の欠如にある。現在のエージェント・アーキテクチャは、主に検索拡張生成（RAG）**に依存して、明示的なテキストによるガイドライン（ワークフローや洞察など）をコンテキストウィンドウに注入している。

しかし、本論文は、記号的なテキスト指示のみに頼ることは**「テキストとアクションの断絶（text-action disconnect）」**を引き起こすと主張している。プロシージャルな知識はしばしば暗黙的かつ抽象的であり、複雑な推論パターンを離散的な自然言語トークンに圧縮すると、必然的に情報の損失が生じる。その結果、エージェントは検索された指示を理解していても、それを厳密に実行に移すことができず、重要な中間ステップを省略したり、検索されたワークフローを実行の軌跡に適合させられなかったりすることが頻繁に起こる。この断絶は、状態の維持や逐次的なロジックへの準拠がテキストのみでは困難な、長期的なタスクにおいて特に顕著となる。

手法：ニューラル・プロシージャル・メモリ (NPM)

これらの限界に対処するため、著者らは、エージェントのメモリを明示的なテキスト指示ではなく、**暗黙的な活性化ステアリング（activation steering）を通じて表現する、トレーニングフリーのフレームワークであるニューラル・プロシージャル・メモリ（NPM）**を提案する。NPMは、エージェントに読ませるためのテキストを検索する代わりに、過去の対照的な経験からプロシージャルなスキルを抽出し、モデルの活性化空間内のステアリング・ベクトルへと蒸留する。

本フレームワークは、以下の3つのフェーズで動作する。

1. 対照的経験の構築

NPMは、過去の失敗から効果的な推論パターンを分離することで、ペアとなる推論セグメント $(x^+, x^-)$ のデータセットを構築する。ここでは、プロシージャルな信号を捉えるために二重の粒度戦略を採用している。

• 軌跡間対照（Inter-trajectory Contrast）: 特定のタスクにおける成功した軌跡（$\tau^+$）と失敗した試行（$\tau^-$）を整合させることで、グローバルな行動の変化を捉える。
• 軌跡内対照（Intra-trajectory Contrast）: 単一の失敗した軌跡内におけるステップレベルの差異を利用する。これは、「退化したステップ（例：冗長なループ、無効なアクション）」を特定し、同じ軌跡内の「効果的なステップ」と対照させるものである。これにより、成功した軌跡が乏しい場合でも、失敗から学習することが可能になる。

2. プロシージャル・メモリの抽出

本フレームワークは、テキストによる対照を、表現空間における連続的な幾何学的変換へとマッピングする。

• 表現（Representation）: 軌跡間ペアの場合、全軌跡の最終トークンの隠れ状態を抽出する。軌跡内ペアの場合、ステップ表現を得るためにトークンに対して平均プーリングを適用する。
• ベクトルの導出: システムは、成功した状態（$h^+$）と退化した状態（$h^-$）の表現間の差分を計算する。主成分分析（PCA）を用いることで、失敗から成功へのシフトを表すステアリング・ベクトル $v$ を形成するための主要な変動方向を抽出する。これらのベクトルは、タスク固有のリポジトリに保存される。

3. 推論時の介入

推論時、NPMはモデルの重みを変更したりコンテキストウィンドウを拡張したりすることなく、動的にステアリング・ベクトルを合成し、注入する。

1. 検索（Retrieval）: 密なリトリーバー（dense retriever）が、現在のクエリに対して最も類似した過去のタスクの上位 $K$ 個を特定する。
2. 合成（Synthesis）: システムは、検索されたタスクから保存された表現を取得し、集合的なメモリプールを形成する。タスク固有のコンセンサス方向 $v_l(q)$ が抽出関数を介して導出される。
3. ステアリング（Steering）: 合成されたベクトルは、ターゲットとなるレイヤー $l$ の各タイムステップ $t$ において、残差ストリームに注入される。
   $$\tilde{h}_{l,t} = h_{l,t} + \alpha \cdot v_l(q)$$
   ここで、$\alpha$ は介入の強さを制御する。これにより、エージェントの推論プロセスとアクション選択が直接的に調整される。

主な貢献

1. NPMフレームワーク: パラメータの更新なしに、内的な行動変調を可能にする、暗黙的な活性化ステアリングをエージェントのメモリに統合する、トレーニングフリーのフレームワークの提案。
2. 二重粒度の抽出: 軌跡間および軌跡内の両方の対照を用いる手法の導入。これは、失敗から学習することを可能にすることで、成功したデモンストレーションへの依存を軽減し、柔軟な介入メカニズムを提供する。
3. 実証的検証: 活性化ステアリングがエージェントのスキルを運ぶ効果的な担体として機能し、特定のタスク行動と相関する解釈可能なベクトルを生み出すことを示す広範な実験。

実験結果

著者らは、MiniCPM3-4BおよびQwen3 (4B/8B) モデルを用い、4つのエージェント・ベンチマーク（ALFWorld、WebShop、ScienceWorld、BabyAI）にわたってNPMを評価した。

• ベースラインとの比較: NPMは静的な暗黙的ベースライン（CAA、Mass-Mean）を上回り、明示的なテキストメモリ・ベースライン（Insights、Workflows）と同等の性能を達成した。いくつかの設定（例：Qwen3-4Bを用いたWebShop）では、NPMは明示的なワークフローを上回った。
• ハイブリッドな相乗効果: 暗黙的なステアリングと明示的なワークフローを組み合わせた「ハイブリッド構成」は、すべてのモデルにおいて最高の全体性能を示した。これは、明示的なテキストが高度な記号的プランニングを提供し、暗黙的なステアリングがニューラル表現の中で直接プロシージャルな遵守を強化することを示唆している。
• 効率性: コンテキストウィンドウの拡張によりプリフィル・レイテンシを大幅に増加させるテキストメモリとは異なり、NPMはベクトル注入が単純な要素ごとの加算であるため、レイテンシを「メモリなし」のベースラインとほぼ同一に維持する。
• 解釈可能性: 表現解析（PCA投影、線形分離可能性テスト）により、成功モードと失敗モードが活性化空間内の異なる領域を占めていることが確認された。特徴量分解により、ステアリング・ベクトルが「冗長な観察」の抑制や「系統的な探索」の増幅といった、一貫したタスク・ロジックをエンコードしていることが明らかになった。

意義と主張

本論文は、暗黙的な活性化ステアリングが、LLMエージェントにおけるプロシージャル・メモリを管理するための有望かつ実用的なアプローチであることを主張している。外部的な言語化から内部的な活性化変調へと移行することで、NPMはRAGベースのプロシージャル・メモリに内在するテキストとアクションの断絶に対処する。

著者らは、彼らのアプローチが既存の手法に対して補完的な利点を提供することを強調している。すなわち、テキストメモリが記号的なガイダンスを提供する一方で、暗入的なステアリングは、生成パスを直接調整することで、長い実行ホライゾンにおけるプランの遵守を保証する。このフレームワークは、ファインチューニングの計算コストやテキストベースの検索によるコンテキストの制限を受けることなく、プロシージャル・メモリを管理するための基盤を提供する。

認められた限界事項:
本論文は、NPMが内部の活性化空間へのアクセスを必要とすること（オープンなアーキテクチャへの適用を制限する）、退化したステップを特定するためにヒューリスティックに依存していること（微妙な論理エラーを見逃す可能性がある）、およびエージェントが初期段階で成功した軌跡をほとんど生成しない環境ではコールドスタート問題に直面することを指摘している。さらに、現在の静的なモジュレーションには、実行ステージに応じて異なる行動プリミティブ間を動的に切り替える柔軟性が欠けている。