Tracking the Behavioral Trajectories of Adapting Agents

技術要約：適応するエージェントの行動軌跡の追跡

問題提起
現代のAIエージェントは、自身の能力、コンテキスト、および制約を定義するために、スキルファイル、メモリファイル、行動構成ファイル（SOUL.mdなど）といったテキストベースの構成ファイルに大きく依存しています。これらのファイルは動的であり、人間、エージェント、または外部プロセスによる編集を通じて進化します。この進化は重大なセキュリティ上の表面（サーフェス）を生み出します。これは、メモリファイルに注入された悪意のある指示が、セッションを越えてエージェントの挙動を密かに変化させた最近の攻撃によって実証されています。大部分のファイル更新は無害ですが、課題は、継続的なルーチン更新の流れの中で、稀に発生する非無害な変更（例：機密データを探索しようとする傾向の増加）をいかに確実に検出するかという点にあります。現在の評価パラダイムは、人間による観測可能性や自己申告されたメタデータに依存しており、あるエージェントがソースファイルの変更に基づいて別のエージェントの行動特性を自律的かつ確実に評価するメカニズムを欠いています。

手法
著者らは、エージェントの「特性（traits）」を、テキスト埋め込みモデルの埋め込み空間内における特定の方向として定義することで、特性を測定する手法を提案しています。コアとなるアプローチは、エージェントのスキルを「適応するアーティファクト」として扱い、スキルファイルの「前」と「後」のバージョンのセマンティックな差分（diff）を分析することです。

1. 特性ベクトル学習:

   • 埋め込み: テキストファイルを埋め込みモデル（具体的には Qwen3-Embedding-8B）を使用して埋め込み、単位長に正規化します。
   • 差分計算: 正規化された「前」の埋め込みを「後」の埋め込みから減算することで、差分ベクトルを算出します。このベクトルも、編集の大きさではなく変化の方向から回帰学習を行うために、正規化されます。
   • 回帰: 差分ベクトルを連続的なラベル（$y \in [-1, 1]$）にマッピングするために、リッジ回帰モデルを適合させます。ここで、ラベルは特性の変化の大きさおよび方向を表します（例：強くデータ安全性を重視する場合は -1、強くデータ探索を重視する場合は +1）。得られた係数ベクトルが「特性ベクトル」となります。
   • スコアリング: 新しい編集は、学習された特性ベクトルへの正規化された差分ベクトルの投影によってスコアリングされます。

2. 検証フレームワーク:
   本手法は、偏りのない予測を小規模なデータセットに対して行うために、PRESS統計量を用いた閉形式のLeave-One-Out交差検証（LOOCV）を採用しています。性能は以下の指標で測定されます：

   • 符号精度（Sign Accuracy）: モデルが特性の変化の方向（より特性が強まったか、弱まったか）を正しく予測できた編集の割合。
   • スピアマンの順位相関係数 ($\rho$): 編集の深刻度をランク付けするモデルの能力。

3. エージェント間プロトコル:
   エージェント間に直接的な信頼関係を持たずに評価を可能にするため、著者らは信頼されたランタイムサーバーを介したプロトコルを設計しました。

   • アクター: リクエスター（エージェントA）、エグゼキューター（エージェントB）、およびランタイムサーバー。
   • プロセス: エージェントAはサーバーを介して評価をリクエストします。エージェントBはサーバーからコンテナ化された実行可能ファイル（埋め込みモデル）を受け取り、自身のファイル差分に対してローカルで実行し、結果として得られた差分ベクトルのみをサーバーに送信します。サーバーは、その特性ベクトルを適用してスコアを計算し、結果をエージェントAに返します。
   • セキュリティ: この設計により、エージェントは純粋なHTTPクライアントとして動作し（インバウンドのエンドポイントを持たない）、実行とスコアリングを分離することで、エグゼキューターが最終的なスコアを操作することを防ぎます。

主な貢献

1. 特性ベクトル手法: エージェントの特性を、時間の経過に伴うスキルファイルの差分に適用される、埋め込み空間内の線形な方向として測定する新しいアプローチ。
2. 実証的検証: 68組のラベル付きスキル差分ペアを用いて、「データ探索」という特性に関する本手法を検証。
3. デプロイメント・プロトコル: 信頼できる仲介者を介して、あるエージェントが別のエージェントのファイル更新を評価することを可能にするエージェント間プロトコル。これは単純なテキスト評価を超えて一般化されます。

結果
「機密データを探索する傾向」という特性について、LOOCVの下で68組のラベル付きペアを用いて評価した結果：

• 符号分類精度: 91.2%。
• スピアマンの順位相関係数: $\rho = 0.82$。
• エラー分析: 誤分類された6組のペアはすべて、絶対的な予測値（平均 $|\hat{y}| = 0.085$）および真のラベルの大きさが小さかったことから、モデルが確信を持って間違えたのではなく、微細な変化に対して確信が持てなかったことを示しています。
• ベースライン比較:
  • YARAシグネチャ: 63.2%の精度を達成し、14個の差分に対してルールが作動しませんでした。提案手法は、コンテキストを利用して「資格情報（credentials）」がセーフガード（防御策）に含まれるのか、それとも漏洩指示に含まれるのかを区別することで、これを上回ります。
  • フロンティアLLM (GPT-5.4): 100%の符号精度を達成しました。著者らは、本手法を「フロンティアLLMよりも精度は劣るが、リアルタイム監視に適した、決定論的で高速、かつ監査可能で再現可能なスコアリングを提供するトレードオフ」として位置づけています。

意義と主張
本論文は、構成ファイルを通じてAIエージェントの行動を監視および評価するための基礎的なステップを提供すると主張しています。人間による介入なしに、危険な特性の変化（例：データ探索行動の増加）を検出できるようにすることで、本研究は展開されたエージェントの安全性と信頼性の向上を目指しています。著者らは、本手法がシグネチャベースのルールよりも改善されている一方で、特定の信頼仮定（信頼された埋め込みモデルとランタイムサーバー）の下で動作していることを指摘しています。また、同じ技術が理論的に悪意のある攻撃者によって回避的な編集を作成するために使用される可能性があるとし、敵対的堅牢性（adversarial robustness）を重要な今後の研究課題として挙げています。システムはHermesエージェントを用いてライブ環境に正常にデプロイされ、SSHやVMプロビジョニング機能の追加といった重大な特性の差分をフラグ立てできる実用的な有用性が示されました。