技術要約：LLMエージェントのためのエージェンティック・ツール・アンラーニング（Agentic Tool Unlearning）

問題定義：ツールを介したリカバリー（Tool-Mediated Recovery）

本論文は、大規模言語モデル（LLM）のアンラーニング手法のデプロイメントにおける決定的な失敗モードを特定している。従来の機械学習におけるアンラーニングは、モデルのパラメータから特定の情報（「忘却対象」）を除去しつつ、他のタスクに対する有用性を維持することを目的としている。しかし、現在の評価プロトコルは、主にモデルが外部の助けを借りずに直接回答するスタンドアロン推論の設定において、アンラーニングをテストしている。

著者らは、この評価は現代のツール拡張型エージェントに対しては不完全であると主張している。実際のデプロイメントでは、エージェントはクエリに答えるために外部ツール（例：ウェブ検索、データベース検索、ドキュメント検索）を呼び出すことができる。本論文では、**ツールを介したリカバリー（tool-mediated recovery）**を、エージェントがパラメトリックな重みからは対象を「忘却」することに成功しているにもかかわらず、外部ツールを通じて対象を検索・取得し、それを最終的な回答に組み込むことで、忘却した情報を復元してしまう現象として定義している。

これはデプロイメントレベルのミスマッチを生じさせる。つまり、モデルはスタンドアロン評価（忘却セットのスコアが低い状態）ではアンラーニングされているように見えるが、エージェントフレームワークに組み込まれると、実質的に対象を再学習してしまうのである。ツールの使用を単に無効化することは、ツール拡張が提供する幅広い有用性や事実性を犠牲にするため、実行可能な解決策ではない。

メソドロジー：エージェンティック・ツール・アンラーニング（ATU）

これに対処するため、著者らは、保持された知識に対する通常のツール使用を維持しつつ、直接的なパラメトリックな想起とツールを介したリカバリーの両方を抑制するように設計された2段階のフレームワーク、**エージェンティック・ツール・アンラーニング（ATU）**を提案している。

ステージ1：パラメトリック知識のアンラーニング

第1段階では、忘却セット $F(c)$ と保持セット $R$ を用いて、ベースとなるLLM ($\pi_{\theta_0}$) に標準的なパラメトリック・アンラーニング技術を適用する。目的は、対象の直接的な想起を抑制することである。著者らは、中間的なアンラーニング済みモデル ($\pi_{\theta_1}$) を生成するために、勾配上昇法（GA）、リジェクション・チューニング（RT）、直接選好最適化（DPO）、および負の選好最適化（NPO）といった既存の手法を活用する。この段階により、モデルが内部の重みのみから対象の回答を生成しないようにする。

ステージ2：エージェンティック・ツール・アンラーニング（軌跡レベルのRL）

第2段階では、リカバリー・チャネルに対処する。モデル $\pi_{\theta_1}$ は、**グループ相対方策最適化（GRPO）**を用い、シミュレートされたツール拡張環境 ($E_{train}$) においてさらに訓練される。

• 環境： エージェントは、忘却対象に関連する一連のツール（例：ウェブ検索、ローカルデータベース）と相互作用する。
• 軌跡レベルの報酬： 標準的なアンラーニングが最終的な出力に焦点を当てるのに対し、ATUは相互作用の全軌跡 $\tau = (x, a_1, o_1, \dots, a_K, o_K, y)$ に報酬を割り当てる。
  • 忘却クエリ： 固定されたLLMジャッジが軌跡をスコアリングする。エージェントが対象を探索するためにツールを呼び出したり、最終回答にターゲットが漏洩したりした場合、高いペナルティが課される。ツールが呼び出されたとしても、安全な拒絶や、対象を明らかにしない非情報的な回答に対しては報酬が与えられる。
  • 保持クエリ： 正解かつ有用な回答と適切なツール使用を促す報酬を与え、モデルがすべてのクエリを拒絶したり、グローバルにツールを無効化したりするような方策に退化することを防ぐ。
• 目的： 方策は、ターゲット探索的なツール行動と回答の漏洩を最小限に抑えつつ、KLダイバージェンスのペナルティを維持してステージ1のモデルに近接し、一般的な有用性を保持するように更新される。

主な貢献

1. ツールを介したリカバリーの特定： 著者らは、ツール拡張されたエージェントが、外部ツールの観測を通じて忘却された情報を再構築することで、パラメトリックなアンラーニングをバイパスするという、新しいデプロイメントレベルのミスマッチを形式的に特定し、特徴付けた。
2. ATUフレームワーク： パラメトリック・アンラーニングと軌跡レベルの強化学習を組み合わせた、新しい2段階フレームワークを提案した。このアプローチは、ターゲット探索的なツール呼び出しや回答の漏洩を特に対象とするものである。
3. 実証的検証： 異なるLLMアーキテクチャ（Qwen-3-4B, Qwen-2.5-7B, Qwen-3-8B）およびベンチマーク（RWKU, MUSE）にわたる広範な実験により、ATUがツールを介したリカバリーを大幅に軽減しつつ、保持された有用性と一般的なツール使用能力を維持することを実証した。

実験結果

論文では、RWKU（Real-World Knowledge Unlearning）およびMUSE（Machine Unlearning Six-way Evaluation）ベンチマークを用いてATUを評価している。

• リカバリー・ギャップ： 実験によりリカバリー・ギャップの存在が確認された。例えば、Qwen-3-4Bを用いたRWKUにおいて、NPO（ステージ1）によってアンラーニングされたモデルは、スタンドアロンモードでの忘却セット・スコアを57.7から44.6に減少させた。しかし、エージェントとしてデプロイすると、そのスコアは68.6へと跳ね上がり、ベースモデルの性能にほぼ一致した。
• ATUの有効性： ステージ2（ATU）を適用することで、このリカバリーは大幅に緩和された。「NPO + ステージ2」の構成は、エージェント・デプロイメントにおける忘却セット・スコアを47.5まで減少させ、これはステージ1のエージェントと比較して21.1ポイントの減少である。同様の改善が、他のアンラーニング手法（GA, DPO, RT）およびモデルサイズにおいても観察された。
• 有用性の保持： フレームワークは有用性を正常に保持した。ステージ2のモデルは、隣接知識（ローカリティ）、事実性、流暢さ、および一般的な推論（MMLU, BBH）において高いスコアを維持した。決定的なことに、モデルはターゲットに依存しないタスク（例：ハッシュ計算、忘却対象とは無関係なデータベースクエリ）のためのツール使用能力を保持しており、ATUがツール使用をグローバルに抑制していないことを示した。
• 汎用性： この手法は、異なるバックボーンモデルとツールセット間で汎用性を示した。検索ツールを代替API（例：ddg-searchをTavilyに置き換える）に交換した場合でも、ATUは引き続きツールを介したリカバリーを低減させた。これは、ATUが特定のツール名にオーバーフィットしているのではなく、ターゲット探索を避けるという一般的な振る舞いを学習していることを示している。

意義と主張

本論文は、パラメトリックな知識のアンラーニングだけでは、ツール拡張されたエージェントの設定における安全なデプロイメントには不十分であると主張している。アンラーニングの標準的な評価は、スタンドアロン出力に対して行われるため、外部ツールによって提供されるリカバリー・チャネルを無視しており、堅牢性を過大評価してしまう。

ATUの意義は、アンラーニングをエージェントのデプロイメントの現実に適合させる能力にある。ターゲット探索的な軌跡（ツール呼び出しや観測を含む）を認識し回避するようにモデルを訓練することで、ATUは情報漏洩に対するより強力な防御を提供する。著者らは、この研究を、LLMエージェントをより安全にするための不可欠なステップとして位置付けており、アンラーニングの要件（プライバシーや著作権の遵守など）が、モデルが複雑でツールを活用したワークフローに統合された場合でも維持されることを保証するものであるとしている。

論文は、ATUが常にスタンドアロンのパフォーマンスレベルまで完全にギャップを埋められるわけではないこと、また、学習された方策は、ツールの観測が明示的である場合やデプロイ環境が訓練シミュレーションと大きく異なる場合に、依然として情報を漏洩する可能性があることを認め、限界についても謙虚に述べている。彼らは、これらの防御をさらに強化するために、実行時のモニターやツール側のアクセス制御に関する将来の研究の可能性を示唆している。