🤖 AI

What Does It Take to Detect an AI Agent? Minimal Feature Sets for Behavioral Detection under Browser Automation

本文提出了一种三分类检测框架，该框架通过识别利用浏览器自动化固有伪影（具体为 mouse_event_rate 和 teleport_click_ratio）而非推理模式的极简且鲁棒的行为特征集，克服了二元人类对机器人的分类器的局限性，即使在复杂的规避尝试下也能实现近乎完美的检测准确率。

原作者： Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Vishisht Choudhary, Lukas Schmidt, Anne Zoë Kenntner, Feras Skhab, Michel Osswald, Jens Ernstberger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网是一座巨大且繁忙的城市。几十年来，城门处的保安们工作非常简单：他们只需要识别两种人。一种是人类，他们走路姿态自然但略显蹒跚，会停下来思考，有时还会被自己的脚绊倒。另一种是机器人，它们就像按照严格时间表运行的机器，走直线、从不犹豫，动作精准得如同机械。保安们建立了一套围绕这种“人类 vs 机器人”二元对立的防御系统。如果你走路像个人类，你就能进去；如果你像机器人一样行进，你就会被拦下。

但最近，第三种类型的访客开始出现了：AI 智能体（AI Agent）。把它们想象成极其聪明、超级智能的游客，它们能看懂地图、规划复杂的路线，并且比任何人都更擅长解谜。然而，它们仍需使用城市的步行道和人行横道来移动。问题在于，这些 AI 智能体非常狡猾。它们足够聪明，在需要时可以表现得像人类一样，但它们仍然必须使用城市的自动化系统（浏览器自动化）来进行移动。那些只受过“人类 vs 机器人”训练的老保安们感到很困惑。他们让这些 AI 智能体溜过了大门，认为它们只是普通的普通人，因为这些智能体太聪明了，不像以前那种老式的机器人那样容易被识破。

这正是来自慕尼黑工业大学和 Kontext Security 的研究团队试图解决的难题。他们提出了一个简单但至关重要的问题：仅仅通过观察鼠标移动和点击按钮的方式，我们能否区分人类、机器人和聪明的 AI 智能体？如果可以，我们究竟需要多少信息才能做到这一点？

伟大的身份危机

研究人员发现，旧的安全系统正面临惨重的失败。当他们在这些新型 AI 智能体身上测试标准的“人类 vs 机器人”检测器时，结果非常混乱。一种常见的检测器类型（称为 MLP）让 39.1% 的 AI 智能体溜了过去，误以为它们是人类。另一种更复杂的检测器（称为 SAINT）让 34.5% 的智能体通过。甚至一个随机森林模型也漏掉了 30.0% 的智能体。

团队意识到，这不仅仅是因为检测器“笨”。这是一个结构性问题。这些检测器的设计初衷是将人分为两个框：要么是“人类”，要么是“机器人”。当一个聪明的 AI 智能体出现时，它并不属于这两个框中的任何一个，所以检测器只能靠猜。研究人员证明，如果他们简单地增加第三个标签为“智能体”的框，检测器就会变得完美，能够百分之百地抓住每一个智能体。

秘密在于“幽灵”动作

那么，他们是如何抓住它们的呢？团队发现，AI 智能体之所以没被抓到，并不是因为它们的“思考”或精妙的计划。相反，它们是被机器中的幽灵出卖了。

想象一下，一个人正在键盘上打字或移动鼠标。他们的手是一个物理实体。它有重量，有惯性，并且会产生微小的、杂乱的、抖动的动作，这是摄像头或传感器可以捕捉到的。但当 AI 智能体使用浏览器自动化工具（如 Playwright）时，它并不是在移动一只物理之手。它是在发送数字指令。这就像是一个幽灵在按按钮。

研究人员发现，这些数字幽灵留下了非常特定的、隐形的特征签名：

无抖动： 当人类移动鼠标时，动作会有些晃动。而当 AI 点击时，它直接“出现在”目标位置。在点击发生前，没有任何细微、杂乱的移动过程。
无“滚轮”旋转： 如果你用鼠标滚轮滚动网页，会产生特定的数据流。而 AI 只是直接命令页面滚动，完全跳过了滚轮的过程。
瞬时点击： 人类按下并释放鼠标按钮需要极短的一段时间。而 AI 是瞬间完成的，没有任何变化。

团队构建了一个“五级规避阶梯”来测试 AI 是否能隐藏行踪。他们尝试了一切手段：

第 1 级： AI 只是进行普通点击。
第 2 级： AI 尝试使用数学公式绘制曲线（模仿人类）。
第 3 级： AI 使用了一种“GAN”（一种学习模仿人类动作的 AI 类型）来生成虚假的鼠标路径。
第 4 级： AI 加入了随机的“抖动”以看起来更像人类。
第 5 级： AI 回放真实人类移动鼠标的录制记录。

即使 AI 回放了真实人类移动鼠标的录制内容（第 5 级），它仍然被抓住了！为什么？因为即便鼠标的路径看起来像人类，点击的方式仍然是一个数字指令。AI 无法伪造出它并非在使用物理鼠标滚轮，或者无法伪造出它没有人类手部那种细微、自然的颤动。那个“幽灵”签名依然存在。

神奇的双特征集

这项发现中最令人兴奋的部分是，到底需要多少信息才能实现这一点。研究人员测试了数千种不同的特征组合，以寻找能够抓住每一个 AI 智能体的最小特征集。

他们发现，你并不需要一个超级复杂的系统。你只需要两个简单的要素就能识破 AI：

鼠标事件频率（Mouse Event Rate）： 鼠标移动的频率。（AI 的移动在点击前通常非常稀疏或不存在）。
点击持续时间标准差（Click Duration Standard Deviation）： 点击所需时间的变异程度。（人类的点击时间具有差异性，而 AI 的点击是高度一致的）。

仅凭这两个线索，系统就能识别出 100% 的 AI 智能体，即使它们使用了最先进的伪装技巧。如果再增加三个特征（例如打字速度的变化或滚动速度的变化），系统就能完美区分人类、机器人和智能体，得分达到 0.991（几乎是完美的）。

这意味着什么

论文的结论是，捕捉 AI 智能体不在于试图弄清楚它们是否像人类一样在“思考”。而在于注意到它们正在使用一种不同的“肌肉”在网络上移动。它们使用的是数字指令，而不是物理之手。

研究人员警告说，如果你试图仅使用一个特征来构建检测器，你可能会被欺骗。例如，有一个特征看起来在单独使用时非常完美，但它实际上会让检测器把所有人都误判为“智能体”，包括真实的玩家，这毫无意义。但有了正确的两个特征，检测器就会变得非常鲁棒。

这一发现对于互联网的未来至关重要。随着 AI 智能体变得越来越普遍，网站需要知道谁在浏览。这项研究表明，我们不需要构建庞大、复杂的系统来识别它们。我们只需要寻找那些数字幽灵在试图模仿人类行走时留下的微小、隐形的足迹。只要它们还在使用标准的浏览器工具，这些足迹就永远会存在。

技术摘要：用于检测浏览器自动化中 AI Agent 的最小化特征集

1. 问题陈述

长期以来，安全行业一直基于一种二元假设进行运作：网络流量要么是人类，要么是机器人（Bot）。这种二分法驱动了行为生物识别、CAPTCHA 以及机器人管理平台的发展。然而，LLM 驱动的 AI Agent（例如 Anthropic 的 Computer Use、OpenAI 的 Operator）的出现引入了第三种截然不同的流量类别。与遵循固定脚本的传统机器人不同，这些 Agent 通过 Playwright 等自动化 API 在真实浏览器中自主浏览、推理并执行多步任务。

本文识别的核心问题是：二元分类器在结构上无法表示一个三类世界。当被强制在“人类”和“机器人”之间做出选择时，二元检测器会错误地对 AI Agent 进行路由。研究表明，这不仅是一个建模能力问题，更是一个架构问题：标签空间缺乏一个“Agent”类。因此，复杂的二元检测器（如 MLP、SAINT）会将约 34–39% 的真实 AI Agent 误分类为“人类”；而那些能够捕捉到它们的模型（如 XGBoost）往往依赖于脆弱且偶然的特征，而非鲁棒的 Agent 特有信号。

2. 研究方法

数据集构建

作者构建了一个统一的三类数据集，包含：

人类（Humans）： 来自 CaptchaSolve30k 的 14,000+ 个会话，捕捉了解题过程中的鼠标动态。
机器人（Bots）： 5,000 个合成样本，根据文献中的分布生成，分为三种原型（无头模式、脚本模式、高级模式）。其中“高级原型”特意与人类行为重叠，以防止出现平凡的特征分离。
智能体（Agents）： 1,025 个真实会话，由 LLM（Claude）通过 Playwright 驱动 Chrome 浏览器完成 10 个多样化的 Web 任务（表单、导航、登录等）。

特征工程

研究提取了 17 个连续行为特征（轨迹、点击、计时和 Agent 特有比例）以及 7 个二进制环境特征。关键特征包括：

mouse_event_rate：原始鼠标移动事件（mousemove）的速率。
teleport_click_ratio：由原始事件跳变（jump）前置的点击比例。
click_duration_std：点击按住时间的标准差。
inter_action_gap_ 系列特征：旨在捕捉 LLM 的“暂停-思考-行动”循环。

模型架构与评估

模型： 研究评估了 MLP、随机森林、XGBoost 和 SAINT（一种表格 Transformer）。
三类公式化： 为了解决结构性差距，作者将 SAINT 适配为三类分类任务（人类、机器人、Agent）。
规避阶梯（Evasion Ladder）： 为了测试鲁棒性，构建了一个五级规避阶梯，从以下级别逐级升级：
1. 无（None）： 原生 Playwright API。
2. 基于规则（Rule-based）： 贝塞尔曲线和人类采样延迟。
3. GAN： 由 WGAN-GP 生成的轨迹。
4. GAN+： 带有微小抖动（micro-jitter）和费茨定律（Fitts' law）时序的 GAN 轨迹。
5. 人类回放（Human Replay）： 通过 Playwright 回放来自 CaptchaSolve30k 的真实人类光标轨迹。
特征选择： 使用梯度提升机（GBM）进行计算可行的穷举搜索，涵盖了 9,401 个特征子集（ $k=1$ 到 $5$），并辅以前向选择和后向消除法。

3. 关键结果

二元检测差距

二元检测器无法有效区分 Agent 与人类：

MLP： 39.1% 的 Agent 被误分类为人类。
SAINT： 34.5% 的 Agent 被误分类为人类。
随机森林： 30.0% 的误分类率。
XGBoost： 虽然实现了 100% 的检测率，但其依赖于脆弱且偶然的特征（例如缺失滚动事件），而非 Agent 特有的信号。

解决方案： 切换到三类公式化（人类、机器人、Agent）完全消除了这一差距。在 30 次运行（3 种模型家族 × 10 个种子）中，经过三类训练的 SAINT 模型对 Agent 的实现 F1 = 1.000。

对抗规避的鲁棒性

三类检测器在所有五个规避级别下均保持了 100% 的 Agent 召回率，包括在“人类回放”级别（即通过 Playwright 回放真实人类轨迹）下。

核心洞察： 轨迹层面的规避（GAN、回放）之所以失效，是因为事件流结构仍然是非人类的。自动化 API（Playwright）不会产生物理设备所产生的原始指针移动流或轮滑增量（wheel-delta）流。
人工痕迹（Artifacts）： 检测信号依赖于“缺失签名”：点击前零原始事件跳变、空的轮滑增量序列以及点击前空的鼠标移动轨迹。即使光标路径看起来像人类，这些特征依然存在。

最小化特征集

通过穷举搜索和后向消除，论文确定了一个极小的特征子集即可满足需求：

两个特征：
- {mouse_event_rate, teleport_click_ratio}（来自穷举搜索）：在实现 100% Agent 召回率的同时，Agent 精确度 = 0.994，且 Macro-F1 = 0.926。
- {mouse_event_rate, click_duration_std}（来自后向消除）：在实现 100% Agent 召回率的同时，Agent 精确度 = 1.000，且 Macro-F1 = 0.904。
五个特征： 可将 Macro-F1 提升至 ≥0.99，从而实现对三个类别的鲁棒判别。
退化情况（ $k=1$ ）： 单一的“完美”特征（cursor_path_linearity）是一个诊断陷阱；它迫使分类器始终预测为“Agent”，导致精确度极低（0.33）且 Macro-F1 仅为 0.17。

信号来源

判别信号并非源于 Agent 的推理过程（“暂停-思考-行动”循环）或任务复杂度。

设计用于捕捉 LLM 推理间隙的特征（如 inter_action_gap_variance）在后向消除过程中被移除，且未影响召回率。
该信号是 API 执行的人工痕迹：浏览器自动化 API（Playwright/CDP）生成事件的方式（程序化 DOM 调用）与物理输入设备有着本质区别。
任务无关性： 移除与任务相关的特征（打字、滚动）并未影响 Agent 检测，这证实了信号存在于鼠标动态和事件流的存在性之中。

4. 重要性与主张

该论文声称是首个做到以下几点的研究：

将 LLM 驱动的浏览器 Agent 视为区别于传统机器人的独立检测类别。
证明了“二元 vs. Agent”的混淆是标签空间的架构局限性，可以通过增加第三类来解决。
表明检测依赖于底层 API 的人工痕迹（缺失原始事件流），而非高层认知模式，这使其能够抵抗基于轨迹的规避手段（如 GAN、人类回放）。
提供了一个最小化特征集用于实际部署，证明仅需两个行为特征即可实现单元精度的 Agent 分离。

局限性与范围：

研究结果特定于 CDP 介导的自动化（Playwright、Puppeteer、使用 CDP 的 Selenium）。
论文明确指出，如果 Agent 完全绕过浏览器 API（例如通过 xdotool 或硬件模拟器等操作系统层级的输入模拟），则可能会规避此检测方法。
机器人（Bot）类是合成的；虽然 Agent 检测经过了真实数据验证，但三类判别的 Macro-F1 分数取决于合成机器人的分布。
“人类回放”规避级别仅限于 Playwright API；它并未测试操作系统层级的注入。

总之，本文认为，目前检测 AI Agent 是可行且鲁棒的，因为它们通过自动化 API 进行操作，会在事件流中留下独特的、非人类的“缺失签名”。这种信号是冗余且极简的（仅需 2–5 个特征），并且即使面对最复杂的基于轨迹的规避尝试也能保持有效。