🤖 AI

What Does It Take to Detect an AI Agent? Minimal Feature Sets for Behavioral Detection under Browser Automation

本論文は、推論パターンではなくブラウザ自動化に固有のアーティファクトを突く最小限かつ堅牢な行動特徴量セット（具体的にはmouse_event_rateおよびteleport_click_ratio）を通じてAIエージェントを特定することにより、バイナリ形式の人間対ボット分類器の限界を克服する3クラス検出フレームワークを提案し、巧妙な回避試行下においても完全に近い検出精度を達成する。

原著者： Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

公開日 2026-07-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

インターネットを、巨大で賑やかな都市だと想像してみてください。何十年もの間、門に立つ警備員たちの仕事は非常に単純でした。彼らは、たった2種類の人物を見分ければよかったのです。一人目は、自然で少しよろめく足取りで歩き、立ち止まって考え、時には自分の足に躓いたりもする「人間」です。もう一人は、厳格なスケジュールに従って、完璧な直線を描いて行進し、決して躊躇することなく、機械的な精密さで動くロボットのような「ボット」です。警備員たちは、この「人間対ロボット」という二項対立に基づいたシステムを構築していました。もしあなたが人間のように歩けば中に入ることができ、ロボットのように行進すれば阻止される、という仕組みです。

しかし最近、第三のタイプの訪問者が現れ始めました。それが「AIエージェント」です。これらは、地図を読み、複雑なルートを計画し、誰よりも優れたパズルを解くことができる、信じられないほど賢く、超知能を持った観光客のようなものです。しかし、彼らも移動するためには、都市の自動化された地下鉄システム（ブラウザ自動化）を利用する必要があります。問題は、これらのAIエージェントが非常に巧妙であることです。彼らは必要に応じて「人間」のように振る舞うことができますが、それでも移動には都市の自動化ツールを使わなければなりません。従来の「人間かロボットか」を識別するように訓練された古い警備員たちは、混乱しています。AIエージェントは、古い形式のロボットのように見えるのを避けるほど賢いため、警備員たちは彼らを普通の人間だと思い込み、ゲートを通り抜けさせてしまうのです。

これは、ミュンヘン工科大学とKontext Securityの研究チームが解決しようとしたパズルです。彼らはシンプルかつ極めて重要な問いを投げかけました。「マウスの動き方やボタンのクリックの仕方を見るだけで、人間、ロボット、そして賢いAIエージェントの違いを見分けることができるだろうか？」そして、もしできるのであれば、それを実現するために必要な情報の絶対的な最小量はどれくらいだろうか？と。

アイデンティティの危機

研究者たちは、従来のセキュリティシステムが劇的に失敗していることを発見しました。彼らが標準的な「人間対ボット」の検知器をこれらの新しいAIエージェントに対してテストしたところ、結果は散々なものでした。一般的なタイプの検知器（MLPと呼ばれるもの）は、AIエージェントの**39.1%**を人間だと誤認して通してしまいました。より洗練された検知器（SAINTと呼ばれるもの）は、**34.5%**を見逃しました。ランダムフォレスト・モデルでさえ、**30.0%**を見逃したのです。

チームは、これが単に検知器が「愚か」だからではないことに気づきました。それは構造的な問題でした。検知器は、「人間」か「ボット」かの2つの箱に人々を分類するように作られていたのです。スマートなAIエージェントが現れたとき、彼らはどちらの箱にも綺麗に収まりませんでした。そのため、検知器はただ推測するしかありませんでした。研究者たちは、もし単に「エージェント」とラベル付けされた3つ目の箱を追加すれば、検知器は完璧になり、毎回**100%**のエージェントを捕まえられることを証明しました。

秘密は「ゴースト」の動きにあり

では、彼らはどのようにしてそれらを捕まえたのでしょうか？チームは、AIエージェントが捕まる理由は、彼らの「思考」や「巧みな計画」にあるのではないことを発見しました。そうではなく、彼らは**「機械の中の幽霊（ゴースト）」**によって捕まっていたのです。

人間がキーボードでタイピングしたり、マウスを動かしたりすることを想像してみてください。彼らの手は物理的な物体です。重さがあり、慣性があり、カメラやセンサーが捉えることができる、微細で、乱れた、震えるような動きを伴います。しかし、AIエージェントがブラウザ自動化ツール（Playwrightなど）を使用する場合、それは物理的な手を動かしているわけではありません。それはデジタルコマンドを送信しているのです。それは、まるで幽霊がボタンを押しているようなものです。

研究者たちは、これらのデジタルな幽霊が、非常に特殊で目に見えない署名（シグネチャ）を残すことを発見しました：

ジッター（小刻みな揺れ）の欠如： 人間がマウスを動かすとき、多少の揺れが生じます。しかし、AIがクリックするときは、ターゲットの場所に単に「現れる」だけです。クリックに至るまでの、微細で乱れた動きが存在しません。
「ホイール」回転の欠如： マウスホイールでウェブページをスクロールする場合、特定のデータストリームが生成されます。しかし、AIはホイールを完全にスキップして、ページに直接スクロールを指示します。
瞬時のクリック： 人間はマウスボタンを押し下げて離すまでに、ごくわずかな時間を要します。しかし、AIは変動ゼロで、瞬時にそれを行います。

チームは、AIが隠れることができるかどうかをテストするために、「5段階の回避ラダー（梯子）」を構築しました。彼らはあらゆる手段を試みました：

レベル1： AIが通常通りにクリックする。
レベル2： AIが数学的な公式を用いて、人間のような曲線を描こうとする。
レベル3： AIが「GAN」（人間の動きを模倣することを学習する一種のAI）を使用して、偽のマウス経路を生成する。
レベル4： AIが、より人間らしく見えるようにランダムな「ジッター」を加える。
レベル5： AIが、実際の人間がマウスを動かした録画データを再生する。

AIが実際の人間の動きの録画を再生したとき（レベル5）、それでもなお検知されました！なぜでしょうか？マウスの「経路」自体は人間らしく見えても、クリックの「方法」が依然としてデジタルコマンドであったからです。AIは、自分が物理的なマウスホイールを使用していないことや、人間の手の自然な揺れを持っていないという事実を偽装することができなかったのです。「ゴースト」の署名は依然としてそこに存在していました。

魔法の2つの特徴量セット

最もエキサイティングな発見は、実際に必要とされる情報がいかに少ないかという点でした。研究者たちは、すべてのAIエージェントを捕まえることができる最小の機能セットを見つけ出すために、何千もの異なる特徴量の組み合わせをテストしました。

彼らは、AIを見破るために超複雑なシステムは必要ないということを突き止めました。AIを特定するために必要なのは、たった2つのシンプルな要素だけでした：

マウスイベント発生率（Mouse Event Rate）： マウスがどの程度の頻度で動いているか。（AIの動きは、クリックの直前において疎であるか、あるいは存在しません）。
クリック時間の標準偏差（Click Duration Standard Deviation）： クリックにかかる時間のばらつき。（AIのクリックは完璧に一定ですが、人間のクリックは変動します）。

これら2つの手がかりだけで、システムは、たとえAIが高度なトリックを使って隠れようとしても、100%のエージェントを特定できました。もし3つ目の特徴量（タイピング速度やスクロール速度の変動など）を追加すれば、システムは人間、ボット、エージェントをすべて完璧に区別でき、スコアは0.991（ほぼ完璧）に達しました。

これが意味すること

この論文は、AIエージェントを捕まえることは、彼らが人間のように「考えている」かどうかを判断することではないと結論付けています。それは、彼らがウェブ上を移動するために、異なる種類の「筋肉」を使っていることに気づくことです。彼らは物理的な手ではなく、デジタルコマンドを使用しているのです。

研究者たちは、もし単一の特徴量だけで検知器を構築しようとすれば、騙される可能性があると警告しています。例えば、単独では完璧に見えた一つの特徴量は、検知器が実際にはすべての人間に対しても「エージェント」と判定してしまうような結果を招き、使い物にならないものになります。しかし、適切な2つの特徴量を組み合わせれば、検知器は非常に堅牢なものになります。

この発見は、インターネットの未来にとって大きな意味を持ちます。AIエージェントが一般的になるにつれ、ウェブサイトは誰が閲覧しているのかを知る必要があります。この研究は、AIを見破るために巨大で複雑なシステムを構築する必要はないことを示しています。私たちは、デジタルな幽霊が人間のように歩こうとする際に残す、あの小さく目に見えない足跡を見つけるだけでよいのです。彼らが標準的なブラウザツールを使用している限り、その足跡は常にそこに残り続けるのです。

技術要約：ブラウザ自動化下におけるAIエージェントの行動検知のための最小限の特徴量セット

1. 問題提起

セキュリティ業界は、長らくウェブトラフィックは人間かボットかのいずれかであるという二値的な仮定に基づいて運用されてきました。この二分法は、行動バイオメトリクス、CAPTCHA、およびボット管理プラットフォームの開発を推進してきました。しかし、LLM駆動型AIエージェント（例：AnthropicのComputer Use、OpenAIのOperator）の出現により、第三の明確なトラフィッククラスが登場しました。固定されたスクリプトに従う従来のボットとは異なり、これらのエージェントは、Playwrightのような自動化APIを通じて、実ブラウザ上で自律的に閲覧、推論、およびマルチステップのタスクを実行します。

特定された核心的な問題は、二値分類器は構造的に三クラスの世界を表現できないということです。強制的に「人間」か「ボット」かの選択を迫られた際、二値検出器はAIエージェントを誤分類してしまいます。本論文は、これが単なるモデリング能力の問題ではなく、ラベル空間に「エージェント」クラスが欠如しているというアーキテクチャ上の問題であることを示しています。その結果、洗練された二値検出器（MLP、SAINT）は、実際のAIエージェントの約34〜39%を「人間」と誤分類してしまいます。また、これらを捕捉できるモデル（XGBoostなど）は、堅牢なエージェント固有のシグナルではなく、脆弱で偶然的な特徴量に依存していることが多いことが示されています。

2. 手法

データセットの構築

著者らは、以下の要素からなる統合された三クラスデータセットを構築しました。

人間: CaptchaSolve30kから取得した、CAPTCHA解決時のマウスダイナミクスを捉えた14,000以上のセッション。
ボット: 文献に基づいた分布から生成された、3つのアーキタイプ（Headless、Scripted、Sophisticated）に基づく5,000の合成サンプル。「Sophisticated（洗練された）」アーキタイプは、些細な特徴量の分離を防ぐために、意図的に人間の行動と重複させています。
エージェント: Claude（LLM）がPlaywrightを介してChromeブラウザを操作し、10種類の多様なウェブタスク（フォーム、ナビゲーション、ログインなど）を実行した1,025の実際のセッション。

特徴量エンジニアリング

研究では、17個の連続的な行動特徴量（軌跡、クリック、タイミング、およびエージェント固有の比率）と、7個のバイナリ環境特徴量を抽出しました。主な特徴量は以下の通りです。

mouse_event_rate: 生のmousemoveイベントの発生率。
teleport_click_ratio: 生イベントによるジャンプに先行するクリックの割合。
click_duration_std: クリック保持時間の標準偏差。
inter_action_gap_ 特徴量: LLMの「停止・思考・実行」サイクルを捉えるように設計。

モデルアーキテクチャと評価

モデル: MLP、Random Forest、XGBoost、およびSAINT（表形式トランスフォーマー）を評価しました。
三クラス定式化: 構造的なギャップに対処するため、著者らはSAINTを三クラス分類（人間、ボット、エージェント）に適応させました。
回避ラダー（Evasion Ladder）: 堅牢性をテストするために、以下の5段階の回避ラダーを構築しました。
1. なし (None): ネイティブのPlaywright API。
2. ルールベース (Rule-based): ベジェ曲線と人間からサンプリングされた遅延。
3. GAN: WGAN-GPによって生成された軌跡。
4. GAN+: マイクロジッターとフィッツの法則（Fitts' law）に基づくタイミングを伴うGAN軌跡。
5. 人間リプレイ (Human Replay): CaptchaSolve30kから取得した実際の人間のカーソル軌跡をPlaywright経由でリプレイ。
特徴量選択: 計算の実現可能性のために勾配ブースティング決定木（GBM）を用いた、9,401個の特徴量部分集合（ $k=1$ から$5$）に対する徹底的な探索、および前方選択と後方除去を実施しました。

3. 主な結果

二値検出のギャップ

二値検出器は、エージェントと人間を効果的に区別することに失敗します。

MLP: エージェントの39.1%を人間と誤分類。
SAINT: エージェントの34.5%を人間と誤分類。
Random Forest: 30.0%を誤分類。
XGBoost: 100%の検出を達成しましたが、エージェント固有のシグナルではなく、脆弱で偶然的な特徴量（例：スクロールイベントの欠落）に依存していました。

解決策: 三クラス定式化（人間、ボット、エージェント）への切り替えにより、このギャップは完全に解消されました。三クラスで学習されたSAINTモデルは、30回の試行（3つのモデルファミリー × 10のシード値）すべてにおいて、エージェントに対して F1 = 1.000 を達成しました。

回避に対する堅牢性

三クラス検出器は、すべての5段階の回避レベル、特にPlaywright APIを介して実際の人間による軌跡をリプレイした「人間リプレイ」レベルにおいても、**100%のエージェント再現率（Recall）**を維持しました。

重要な洞察: 軌跡レベルでの回避（GANやリプレイ）は、イベントストリームの構造が非人間的であるため、失敗します。自動化API（Playwright）は、物理デバイスが生成する生のポインター移動ストリームやホイールデルタ・ストリームを生成しません。
アーティファクト: 検出シグナルは「不在の署名（absence signatures）」に依存しています。すなわち、クリックに先行する生のイベントによるテレポートのゼロ化、空のホイールデルタ・シリーズ、および空のクリック前mousemoveトラックです。これらは、カーソルパスが人間らしくなったとしても存続します。

最小限の特徴量セット

徹底的な探索と後方除去を通じて、小さな特徴量サブセットで十分であることが特定されました。

2つの特徴量:
- {mouse_event_rate, teleport_click_ratio}（徹底的な探索による）: エージェントの再現率100%、エージェント適合率（Precision）= 0.994、およびMacro-F1 = 0.926を達成。
- {mouse_event_rate, click_duration_std}（後方除去による）: エージェズの再現率100%、エージェント適合率 = 1.000、およびMacro-F1 = 0.904を達成。
5つの特徴量: Macro-F1を ≥0.99 に引き上げ、三クラス間の堅牢な識別を可能にします。
退化ケース ( $k=1$ ): 単一の「完璧な」特徴量（cursor_path_linearity）は診断上の罠です。これは分類器に常に「エージェント」と予測させることを強制し、低い適合率（0.33）とMacro-F1（0.17）をもたらします。

シグナルの起源

判別シグナルは、エージェントの推論（「停止・思考・実行」サイクル）やタスクの複雑性の産物ではありません。

LLMの推論間隔を捉えるための特徴量（例：inter_action_gap_variance）は、再現率に影響を与えることなく後方除去によって削除されました。
シグナルはAPI実行のアーティファクトです。ブラウザ自動化API（Playwright/CDP）がイベントを生成する方法は、物理的な入力デバイスとは根本的に異なります（プログラムによるDOMコール）。
タスク独立性: タスクに関連する特徴量（タイピング、スクロール）を削除してもエージェント検出には影響を与えなかったことは、シグナルがマウスダイナミクスやイベントストリームの存在の中に存在することを裏付けています。

4. 重要性と主張

本論文は、以下の点で世界初であると主張しています。

LLM駆動型ブラウザエージェントを、従来のボットとは異なる独立した検出カテゴリとして扱うこと。
「二値 vs エージェント」の混乱は、ラベル空間のアーキテクチャ上の制限であり、第三のクラスを追加することで解決可能であることを示すこと。
検出が認知的なパターンではなく、低レベルのAPIアーティファクト（生のイベントストリームの欠如）に依存しており、それゆえに軌跡レベルの回避（GAN、人間リプレイ）に対して堅牢であることを示すこと。
実用的な展開のための最小限の特徴量セットを提供し、2つの行動的特徴量だけでエージェントを単位精度（unit precision）で分離できることを証明すること。

限界と範囲:

結果は CDPを介した自動化（Playwright、Puppeteer、Selenium with CDP）に特化しています。
本論文は、ブラウザAPIを完全に回避するエージェント（例：xdotoolやハードウェアエミュレータなどのOSレベルの入力シミュレーションを使用するもの）は、この検出方法を回避する可能性が高いことを明記しています。
ボットクラスは合成されたものです。エージェントの検出は実際のデータで検証されていますが、三クラスの識別におけるMacro-F1スコアは、合成されたボット分布に依存しています。
「人間リプレイ」の回避レベルはPlaywright APIに限定されており、OSレベルのインジェクションについてはテストしていません。

結論として、本論文は、AIエージェントの検出が現在可能かつ堅牢である理由は、それらがイベントストリーム内に独特な非人間的な「不在の署名」を残す自動化APIを通じて動作しているためであると論じています。このシグナルは冗長で最小限（2〜5個の特徴量が必要）であり、最も洗練された軌跡ベースの回避試行（GAN、人間リプレイ）をも生き残ります。