技術的概要：行動によって知られるもの：UI トレースによる LLM ブラウザエージェントの指紋認証

1. 問題の定式化

大規模言語モデル（LLM）エージェントが研究プロトタイプからユーザーに代わってウェブを閲覧する本番システムへと移行するにつれ、重要なセキュリティ上の問いが生じます：ウェブサイトは、エージェントを駆動する特定の基盤モデルを受動的に識別できるでしょうか？現在のボット検出は、通常、人間対自動化という二値分類の問題として捉えられています。しかし、スクリプトによる自動化が LLM エージェントに置き換わるにつれ、脅威環境は変化します。古典的なセキュリティフレームワークにおいて、標的の特定は悪用への前提条件です。敵対者がどのモデルがページを訪問しているかを特定できれば、既知のモデル固有の脆弱性に基づき、既知のコーパスから特定のジャイルブレイクを選択したり、ホワイトボックス敵対的攻撃の探索空間を縮小したりするなど、攻撃をカスタマイズできます。

本論文は、ブラウザエージェントの基盤モデルが、受動的かつページ内でのユーザーインターフェース（UI）トレースのみから推論可能かどうかを調査します。著者らは、エージェントの行動（クリック、スクロール、キー入力）および相互作用のタイミングが、ブラウザヘッダーやネットワーク層のメタデータ（これらは偽装可能）とは独立して、モデル固有の独自の行動指紋をエンコードすると仮説を立てています。

2. 手法

実験設定

本研究は、プロプライエタリモデル（GPT-5.4、Claude Opus 4.6、Gemini-3.1/Flash）およびオープンソースモデル（Qwen3/3.5-VL シリーズ、GLM-4.6V、Gemma-4、UI-TARS-1.5、Seed-2.0-Lite）を含む 14 の最先端マルチモーダル LLM を評価します。

• 環境: エージェントは、モデルの決定を Playwright コマンドに変換する標準化されたブラウザハーネス（Midscene.js）内で動作します。これにより、行動の違いが実行環境ではなくモデル自体に起因することを保証します。
• タスク: エージェントは、4 つのライブウェブ環境にわたってタスクを実行します。2 つの検索ベンチマーク（Wikipedia 上の 2WikiMultiHop、FRAMES）と 2 つのショッピングベンチマーク（Webshop、Amazon 上の Deepshop）です。
• データ収集: 軽量な JavaScript トラッカーがターゲットページに注入されます。これはミリ秒単位の解像度でクライアント側の相互作用イベントを受動的にログ記録し、以下を捕捉します：
  • 行動タイプ（クリック、スクロール、キー入力、ナビゲーション）。
  • 空間座標（クリックの X/Y、スクロール深度）。
  • 時間的ダイナミクス（イベント間隔、初回行動までの時間）。
  • 構造的パターン（リンククリック率、キータイプ）。
• トレース形式: セッションはトレース $\tau = \{(s_t, u_t, \Delta t_t)\}_{t=1}^T$ を生成します。ここで、$s_t$ は観測、$u_t$ は行動、$\Delta t_t$ は前回の行動から経過した時間です。

分類アプローチ

この問題は、発信元モデル $\hat{m} = f(\tau)$ を予測する教師あり分類タスクとして定式化されます。

• 特徴量抽出: 41 のスカラー特徴量が抽出され、時間的ダイナミクス（例：イベント間隔統計）、スクロール行動、クリックの空間分布、ナビゲーション量に分類されます。
• モデル: 5 つの分類器ファミリーが訓練されます：Lasso 回帰、ロジスティック回帰、ランダムフォレスト、XGBoost、および LSTM ネットワーク。XGBoost が主要な性能を発揮するものとして強調されています。
• 評価プロトコル:
  • クローズドセット指紋認証: 分類器は、14 の既知のエージェントの固定セットで訓練およびテストされます。
  • オープンセット指紋認証: 既知のエージェントを未知のエージェントから区別する能力（トレースを未知としてフラグを立てる）をテストするために、「1 エージェント除外（LOO）」プロトコルが使用されます。

3. 主要な結果

クローズドセット識別における高精度

本研究は、エージェントがその行動トレースから極めて識別可能であることを示しています。

• 性能: XGBoost 分類器は、14 のモデル全体でマクロ F1 スコアを最大**96%**達成します。
• 一貫性: 4 つのデータセット（2WikiMultiHop、FRAMES、Webshop、Deepshop）全体で高い性能が観察されます。例えば、Seed-2-lite は 2WikiMultiHop で 96.1% の F1 を達成し、UI-TARS-1.5 は Webshop で 92.1% を達成しました。
• 効率性: 強力な分類器は、利用可能な訓練トレースの 3 分の 1 未満を使用して訓練できます。さらに、モデルの同一性はエピソードの早期に推論可能です。マクロ F1 は観測された行動の最初の 40% 内で急激に上昇し、フルトレースの性能に近い値でプラトーに達します。

オープンセット検出

オープンセット識別（既知と未知の区別）はより困難ですが、依然として実行可能です。

• ほとんどのエージェントは、既知と未知のトレースを区別する際に AUROC > 0.60 を達成します。
• 注目すべきは、クローズドセットとオープンセットの性能の間に乖離があることです。既知の状態で最も識別しやすいエージェント（例：Seed-2-lite）は、オープンセット設定において未知のエージェントから区別するのが最も容易であるとは限りません。

特徴量の重要度と頑健性

• タイミングの支配: 通常の条件下では、時間的特徴量（イベント間隔、初回行動までの時間）が分類精度の主要な駆動因子です。
• 摂動への頑健性: 著者らは、行動間にランダムな遅延（最大 5 秒）を注入することで、これらの指紋の耐性をテストしました。
  • クリーンなトレースで訓練された分類器は、遅延トレースで評価されると性能が急激に低下します。
  • しかし、遅延トレースで再訓練された分類器は、性能を大幅に回復します。これらは純粋なタイミングへの依存から、クリック座標の分散、構造的キー比率、リンククリック率などの頑健な構造的特徴量への依存へとシフトします。これは、タイミングが最も強力なシグナルである一方で、行動の「指紋」はそれだけに依存していないことを示しています。

一般化

• タスク転移: 単一タスク転移（1 つのタスクで訓練し、同じサイト内の別のタスクでテストする）は弱いです。しかし、プールサイト訓練（同じウェブサイト上の複数のタスクからのトレースを組み合わせる）は、強力な帰属性能を回復させます。
• クロスサイト転移: 異なるウェブサイト間（例：Wikipedia から Amazon へ）の転移は依然として弱く、指紋はモデル、タスク分布、およびウェブサイトインターフェースとの特定の相互作用に条件付けられていることを示唆しています。

4. 意義と含意

本論文は、この研究が LLM エージェントに対する新たな攻撃面を確立したと主張します：UI トレースによる受動的モデル帰属。

• 脅威モデル: この攻撃は受動的かつ共在型（敵対者がページを制御）です。ネットワークの可視性や能動的プローブは必要ありません。
• 悪用ベクトル: エージェントが識別されると、敵対者は以下を実行できます：
  1. ターゲット型プロンプトインジェクションの展開: 特定の識別されたモデルに対して効果的であることが知られているジャイルブレイクを選択します。
  2. コストの増大（スポンジ攻撃）: 高コストの最先端モデル（例：Claude Opus、GPT-5.4）のトークン消費を最大化するように設計されたコンテンツを提供し、実質的にユーザーの推論予算に対するサービス拒否攻撃を創出します。
  3. 条件付きアクセス制御: モデル固有のホワイトリストまたはブラックリストを実装するか、他のモデルには無害に見える一方で特定のモデルにのみ見える汚染されたコンテンツを提供します。
• 防御の限界: ランダムなタイミング遅延の導入などの標準的なブラウザ正規化は、敵対者が摂動データ上で分類器を再訓練する意思がある場合、この攻撃から保護するには不十分です。

5. 結論

著者らは、LLM エージェントのページ内行動は、モデル自体に匹敵する永続的な識別シグナルとして機能すると結論付けています。「人間対ボット」の検出から「どのモデルか」の帰属への移行は、展開されたエージェントに対する脅威環境の根本的な変化を表しています。本論文は、行動帰属に関するさらなる研究と対策の開発を促進するために、ラベル付けされたエージェントトレースのコーパスとブラウザハーネスを公開します。

注：本論文は、現在の範囲が単一のエージェントハーネス（Midscene.js）、14 のモデルのクローズドセット、およびまだ完璧ではないオープンセット検出に限定されていることを明示的に述べています。今後の研究として、ハーネス不変のシグナルを特徴付け、適応型敵対者に対する隠蔽防御を評価する必要があります。