ALARA for Agents: Least-Privilege Context Engineering Through Portable Composable Multi-Agent Teams

1. 背景と課題 (Problem)

大規模言語モデル（LLM）に基づくマルチエージェントシステムは、ソフトウェア開発や研究、クリエイティブな作業において一般的になりつつありますが、その運用基盤（エージェント・ハーネス）には重大な課題が存在します。

• 仕様の断片化: エージェントの行動定義、ツールアクセス権限、他エージェントとの協調ルールが、プロセの指示ファイル（.cursorrules など）、フレームワーク内部のコード、MCP サーバーなど、複数の異なる形式に散在しています。これらは相互に構成（Compose）できず、共有やバージョン管理が困難です。
• 解釈依存性のリスク: プロセの指示に依存する仕様は、モデルが文脈を正しく解釈するかどうかにかかっています。LLM は意味を「検索」するのではなく「解釈の過程で生成」するため、指示を無視したり誤解したりするリスクが高く、長文脈では特に行動の指針が薄れやすくなります（Attention Dilution）。
• セキュリティと信頼性の欠如: 過剰な権限（Over-privilege）はプロンプトインジェクション攻撃の表面を増大させます。また、仕様不足や設計ミスがエージェントシステムの失敗原因の 44% を占めるという分析結果もあります。
• 既存フレームワークの限界: 現在のベンチマークは、モデルの推論能力とフレームワークのオーケストレーション能力を混同しており、小規模モデルにおけるツール使用の信頼性を適切に評価できていません。

2. 提案手法とアーキテクチャ (Methodology)

著者らは、放射線安全における「ALARA（合理的に達成可能な限り低く）」の原則をエージェントのコンテキスト管理に応用し、**宣言的な「Context-Agent-Tool (CAT) データレイヤー」**と、それを実行するコマンドラインシェル npcsh を提案しました。

核となる概念：最小権限の構造的強制

プロンプトによる「指示」ではなく、ファイル構造による「構造的強制」でエージェントの権限を制限します。ツールがエージェントのスキーマに存在しない限り、モデルがそれを呼び出すことは物理的に不可能になります。

CAT データレイヤーの構成要素

システムは以下の 3 つの関連するファイルタイプで構成されます（図 1 参照）：

1. Context Files (コンテキストファイル):
   • チームレベルで定義され、オーケストレーター（指揮者）とサブチームの階層構造を指定します。
   • 共有リソースのスコープを決定します。
2. NPC Files (NPC ファイル):
   • 個々のエージェント（NPC）を定義します。名前、自然言語の指示、モデル設定、そしてJinx リストを含みます。
   • Jinx リストが、そのエージェントがアクセス可能なツールのカタログであり、同時に権限セットとなります。これにより、エージェントは役割に必要な最小限のツールのみを持ちます。
3. Jinxes (ジンクス):
   • ツールそのものを定義する YAML ファイルです。
   • 名前、自然言語の説明、型付き入力、実行ステップのシーケンスを記述します。
   • 各ステップは python, bash, llm、または他の Jinx をエンジンとして指定できます。
   • 構成可能性: Jinx は他の Jinx を呼び出すことで、有向非巡回グラフ（DAG）として複雑なワークフローを構築できます。これにより、単一のファイルで複雑な処理（例：検索→分析→レポート作成）を定義できます。
   • ポータビリティ: 宣言的な YAML 形式であるため、対話シェル、API サーバー、デスクトップアプリ、ブラウザ IDE、Python 直接インポートなど、あらゆるインターフェースで同一のディレクトリ構成が動作します。

特徴的な設計

• 構造的なセキュリティ: ツールリストにないツールはスキーマに存在しないため、プロンプトインジェクションや注意散漫による誤作動が原理的に防がれます。
• 自律性の連続的な調整: NPC ファイルの Jinx リストを編集するだけで、エージェントの自律性（ツール数）と人間による制御のバランスを調整できます。
• スキルとしての Jinx: 実行コードだけでなく、ドキュメントやメソッドを Jinx として提供し、エージェントが必要な部分のみを参照できるようにします。

3. 評価と結果 (Results)

著者らは、このフレームワークを用いて、0.6B から 35B パラメータまでの 22 種類のローカルホストモデルを対象に、115 件の実用的なタスク（ファイル操作、Web 検索、マルチステップスクリプト、ツールチェーン、マルチエージェント委任など）で評価を行いました。総実行数は約 2,530 回です。

主要な発見

1. ファミリー間の差の支配性:
   • パラメータ数の増加による性能向上（スケーリング）よりも、モデルファミリー間の違いが性能を支配しました。
   • ツール使用に特化してトレーニングされたモデル（例：Qwen3.5）は、4B パラメータで、ツール使用に特化していないモデルが 27B でも達成できないスコアを記録しました。これは「ツール使用能力」が一般的な推論能力とは異なる「訓練された能力」であることを示しています。
2. ツール呼び出し量と成功率の相関:
   • 成功したタスクにおける「1 タスクあたりの平均ツール呼び出し数」が、ベンチマークスコアと最も強く相関していました（r ≈ 0.7）。
   • 高いスコアを出すモデルは、時間をかけたりリトライを繰り返したりするのではなく、適切なツールをより多く呼び出して問題を解決していました。
3. タスクカテゴリごとの難易度とリトライ効果:
   • **委任（Delegation）**はすべてのモデルにとって最も困難なカテゴリでした。
   • リトライによる改善効果はカテゴリによって大きく異なり、Web 検索では約 20% 向上しましたが、委任タスクでは約 3% しか向上しませんでした。
   • 委任タスクでは、失敗からの累積コンテキストがむしろ性能を低下させる（コンテキストの喪失やノイズ）傾向が見られました。
4. MMLU とエージェント性能:
   • 一般的な知識ベンチマーク（MMLU）とエージェント性能には正の相関（r ≈ 0.8）がありますが、外れ値が存在し、トレーニングの転移効率の差が明確になりました。
5. 初回成功率:
   • 成功したタスクの約 80% は初回試行で完了しました。

4. 主要な貢献 (Key Contributions)

1. ALARA 原則に基づく宣言的データレイヤーの提案:
   • エージェントのツールアクセスとコンテキストを、プロンプトではなく構造的なファイル（CAT データレイヤー）でスコープし、最小権限を強制する新しいアプローチを確立しました。
2. npcsh と Jinx の実装:
   • 宣言的な YAML 形式でツールを定義・構成可能にする「Jinx」と、それを実行するシェル「npcsh」を開発し、オープンソースとして公開しました。
3. 大規模なローカルモデル評価ベンチマーク:
   • 22 種類のモデル、115 タスク、2,500 回以上の実行データに基づき、モデルファミリー、タスクカテゴリ、リトライ戦略ごとの信頼性を詳細に分析しました。
4. ツール使用能力の特性解明:
   • ツール使用能力がパラメータ数だけでなく、トレーニングデータとアーキテクチャに依存する「訓練された能力」であることを実証し、既存の一般ベンチマークでは捉えきれない特性を明らかにしました。

5. 意義と結論 (Significance)

この研究は、マルチエージェントシステムの信頼性とセキュリティを向上させるための重要な転換点を提供します。

• セキュリティの向上: プロンプトに依存しない構造的な権限制御により、プロンプトインジェクションへの耐性を本質的に高めます。
• 開発効率と保守性: 設定がファイルシステム上にあり、宣言的であるため、チーム間での共有、バージョン管理、デバッグが容易になります。これは「Infrastructure as Code (IaC)」の原則をエージェントシステムに応用したものです。
• 実用的な知見: 小規模モデルでも適切なツール設計（最小権限と構造的 scaffolding）を行えば、高品質なマルチエージェントシステムを構築可能であることを示しました。また、リトライ戦略はタスクカテゴリに応じて最適化する必要があるという実用的な知見も得られました。

結論として、このフレームワークは、人間と AI の協働における透明性、修正可能性、そして安全性を高めるための実用的な基盤を提供し、オープンソースプロジェクト（npcsh）としてコミュニティに貢献しています。