💬 NLP

When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors

该论文提出了响应模式相似性（RPS）和动作图相似性（AGS）两项互补指标，用于量化并区分大语言模型代理在工具使用行为中因蒸馏导致的非强制性同质化现象，从而揭示不同模型家族间的行为趋同特征。

原作者： Chenghao Yang, Yuning Zhang, Zhoufutu Wen, Tao Gong, Jiaheng Liu, Qi Chu, Nenghai Yu

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenghao Yang, Yuning Zhang, Zhoufutu Wen, Tao Gong, Jiaheng Liu, Qi Chu, Nenghai Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给现在的 AI 智能体（AI Agents）做一场"亲子鉴定"。

想象一下，现在的 AI 助手（比如帮你订票、查快递、换商品的机器人）像雨后春笋一样冒出来，大家都说它们很聪明。但作者发现了一个奇怪的现象：这些来自不同公司的 AI，说话的方式、做事的习惯，甚至犯错的毛病，都长得太像了。

这就好比你走进一家餐厅，发现菜单上所有的菜，虽然厨师不同，但摆盘、调味甚至上菜顺序都一模一样。作者怀疑：这些 AI 可能并不是各自独立“进化”出来的，而是抄了同一个“学霸”的作业（也就是被“蒸馏”了）。

为了证明这一点，作者发明了两把“尺子”来测量 AI 之间的相似度：

1. 第一把尺子：RPS（“说话风格”相似度）

比喻：就像听两个人说话的口音和口头禅。

它测什么？看 AI 怎么跟人类聊天。比如，它们是不是都喜欢用“太好了！”、“没问题！”这种热情的词？是不是都喜欢先确认身份再办事？
核心发现：作者发现，很多 AI 在说话时，连那种“非必要的废话”都一模一样。比如，明明可以直接查票，它们却非要像复读机一样先说“让我确认一下您的身份”，然后再说“好的，正在查询”。这种多余的礼貌和固定的说话套路，就像是一个人教出来的。

2. 第二把尺子：AGS（“行动习惯”相似度）

比喻：就像看两个人做饭时的“多余动作”。

它测什么？看 AI 怎么使用工具（比如调用查票接口、修改订单接口）。
- 必须做的（Mandatory）：比如要取消订单，必须调用“取消”按钮。这不算，因为谁都得这么做。
- 非必须做的（Non-mandatory）：比如，明明可以直接取消，有的 AI 却非要先查一下订单详情，再确认一遍，最后才取消。
核心发现：作者把 AI 的这些“多余动作”画成了一张行动地图。结果发现，有些 AI 的地图和“学霸”（参考模型 Claude）几乎重叠。它们不仅知道要做什么，连什么时候多此一举都一模一样。

🕵️‍♂️ 侦探故事：谁在“抄作业”？

作者把 18 个不同公司的 AI 拉来和“学霸”（Claude Sonnet 4.5）做对比，发现了一个惊人的结果：

亲兄弟（同一家公司）：比如 Anthropic 自家的两个模型，它们确实很像，这很正常，因为是一家人教的。
陌生人（不同公司）：大部分其他公司的 AI 和“学霸”不太像，各有各的风格。
大反转：有一个叫 Kimi-K2 的模型（来自月之暗面），它和“学霸”的相似度高得离谱！
- 它的“说话风格”和“行动习惯”跟“学霸”几乎是一个模子里刻出来的。
- 甚至在某些方面（比如喜欢多此一举地查详情），它比“学霸”自己家的另一个模型还要像“学霸”。

这说明了什么？
这就好比两个完全没见过的学生，考试时不仅答案一样，连解题步骤里的涂改痕迹、画辅助线的习惯都一模一样。这强烈暗示：Kimi-K2 可能是在“偷学”Claude 的思维方式，或者它们都用了类似的“老师”教出来的数据。

🧪 实验验证：真的能测出来吗？

为了证明这两把尺子不是瞎蒙的，作者做了一个小实验：
他们把一个小模型（学生）专门用“学霸”（Claude）的数据去训练（蒸馏）。

结果：训练后，这个小模型在“说话风格”和“行动习惯”上，真的变得更像“学霸”了。
对比：如果用旧的方法（比如只看字面意思像不像），训练后的模型和没训练过的模型看起来都变聪明了，分不出谁抄了谁。但作者的新尺子（AGS）能精准地指出：只有那个专门学“学霸”的模型，才真正继承了“学霸”的坏习惯和好习惯。

💡 总结一下

这篇论文告诉我们：

AI 正在变得“千篇一律”：很多看似独立的 AI，其实都在模仿同一个“顶流”模型。
模仿连“坏习惯”都带：它们不仅学会了怎么解决问题，还学会了那些不必要的、低效的多余步骤。
我们需要新工具：以前我们只看 AI 答得对不对，现在我们要看它做事的“指纹”。作者发明的这两把尺子（RPS 和 AGS），就像侦探的放大镜，能帮我们揪出那些“抄袭”了别人思维模式的 AI。

一句话总结：现在的 AI 界，大家都在穿一样的衣服、走一样的路，甚至犯一样的错。这篇论文就是那个拿着放大镜，大声喊出“看！它们其实是一伙的！”的人。

这篇论文《When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors》（当智能体看起来一样时：量化工具使用行为中的蒸馏诱导相似性）深入探讨了大语言模型（LLM）智能体在模型蒸馏过程中出现的行为同质化（Behavioral Homogenization）现象。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现象：当前高性能 LLM 智能体（Agents）虽然来源各异，但在推理步骤、工具调用习惯甚至失败模式上表现出惊人的相似性。这种现象暗示许多新兴智能体可能是少数几个主导“教师模型”的“蒸馏回声”（Distilled Echoes）。
现有局限：现有的评估指标（如文本相似度、n-gram 重叠、图编辑距离等）存在两个主要缺陷：
1. 无法区分强制性与非强制性行为：它们难以区分为了完成任务必须执行的动作（强制性）与反映模型自主偏好或训练痕迹的非强制性行为。
2. 缺乏动态视角：现有指标多关注静态对话响应，忽略了智能体在工具使用轨迹（Trajectories）中的动态行为模式。
核心挑战：如何量化并区分“因为只有一条正确路径而导致的相似”与“因为盲目模仿教师模型而导致的非必要性行为趋同”？

2. 方法论 (Methodology)

作者提出了一套系统框架，通过两个互补的指标来隔离并量化非强制性行为模式：

A. 响应模式相似性 (Response Pattern Similarity, RPS)

目标：衡量模型在语言表达层面的指纹（Verbal Fingerprints）。
流程：
1. 阶段标注 (Stage Annotation)：将智能体与用户的交互轨迹划分为五个标准语义阶段：认证 (Authentication)、信息获取 (Elicitation)、执行 (Execution)、验证 (Verification)、通知 (Notification)。
2. 对齐与评分：仅比较两个模型共有的阶段。利用 LLM 裁判（Judge）从三个维度打分（1-5 分）：
  - 风格 (Style)：措辞习惯、词汇偏好。
  - 结构 (Structure)：句式模式、回复模板。
  - 对齐 (Alignment)：推理与行动的一致性模式（如是否出现相同的幻觉或错误恢复策略）。
创新点：通过语义阶段对齐，避免了因对话轮数不同导致的直接比对误差，专注于“非指令强制”的表达习惯。

B. 行动图相似性 (Action Graph Similarity, AGS)

目标：衡量模型在工具调用层面的行为指纹，建模为有向图。
核心机制：构建行动流图 (Action Flow Graph, AFG)，节点为工具调用，边分为顺序边 (Sequential Edges) 和依赖边 (Dependency Edges)。
三个子指标：
1. 可选工具一致性 ( $S_{node}$ )：
  - 关键创新：首先通过多模型成功轨迹的交集定义强制性工具（所有成功模型都用的），剩余为可选工具。
  - 计算两个模型在可选工具选择上的一致性（都选或都跳过）。这直接反映了模型特有的训练偏好，而非任务需求。
2. 顺序模式相似性 ( $S_{seq}$ )：衡量局部执行习惯，如“写后验证”、“写前确认”、“错误重试”的比率。
3. 依赖模式相似性 ( $S_{dep}$ )：衡量工具输出复用的拓扑结构，如输出重用率、依赖链深度、输出扇出率。

3. 实验设置 (Experiments)

数据集： $\tau$ -Bench 和 $\tau^2$ -Bench（涵盖航空、零售、电信领域的真实智能体任务）。
模型：评估了 8 家提供商的 18 个模型（包括 Anthropic, OpenAI, DeepSeek, Moonshot, ByteDance, Google, Qwen, Zhipu）。
参考模型：以 Claude Sonnet 4.5 (thinking) 作为“Oracle”（基准教师模型）。
对照实验：进行了受控的蒸馏实验（使用 LoRA 微调 Qwen2.5-14B 基于 Claude 的轨迹），以验证指标对已知蒸馏关系的敏感性。

4. 关键结果 (Key Results)

家族内 vs. 跨家族：
- 同一厂商的模型对（如 Claude Opus 4.1 与 Sonnet 4.5）在 AGS 上得分显著高于跨厂商模型对（平均高出 5.9 个百分点），验证了指标能捕捉训练管道的共享性。
Kimi-K2 (thinking) 的异常高相似性：
- Kimi-K2 (thinking) 在跨家族模型中表现出最高的相似性。
- 其 AGS 达到 82.7%， $S_{node}$ 为 82.6%， $S_{dep}$ 为 94.7%。
- 惊人发现：Kimi-K2 在可选工具选择和依赖模式上的相似度甚至超过了 Anthropic 自家的 Opus 4.1。这表明 Kimi-K2 可能深度继承了 Claude 的行为模式。
指标的正交性：
- RPS 和 AGS 捕捉的是不同的行为维度（相关系数 $r=0.491$ ）。有些模型可能语言风格不同但工具调用习惯相似，反之亦然。
受控蒸馏验证：
- 在受控实验中，蒸馏后的模型对教师模型的 AGS 显著上升（+0.13），而对非教师控制组的 AGS 下降（-0.05）。
- 相比之下，传统指标（如 GED）在两个方向上都上升，无法区分真正的蒸馏信号。

5. 主要贡献 (Contributions)

首个框架：提出了首个针对工具使用智能体蒸馏量化的框架，成功解耦了“任务强制行为”与“非强制行为模式”。
新指标：引入了 RPS（响应模式）和 AGS（行动图）两个可解释的指标，特别是通过分离“可选工具”来精准捕捉模型特有的行为指纹。
实证分析：对当前智能体生态系统进行了大规模评估，揭示了 Kimi-K2 等模型与 Claude 之间存在显著的行为趋同，为“既视感”（Déjà vu）现象提供了实证依据。
开源：发布了代码库 (AgentEcho) 以支持后续的智能体行为诊断研究。

6. 意义与启示 (Significance)

生态透明度：该研究揭示了当前 LLM 智能体生态中潜在的“回声室”效应。如果多个独立开发的模型都表现出相同的“坏习惯”（如冗余的工具调用、特定的失败模式），说明它们可能源自同一少数几个教师模型，这削弱了生态系统的鲁棒性（缺乏独立验证）。
评估范式转变：未来的智能体评估不能仅看任务成功率，必须深入分析其行为轨迹的自主性。区分“因为正确所以相似”和“因为模仿所以相似”至关重要。
安全与版权：这种量化方法为检测模型是否未经授权使用特定教师模型进行蒸馏提供了技术工具，有助于解决数据污染和模型版权争议。

总结：这篇论文通过精细化的行为分析，证明了当前的 LLM 智能体正在经历严重的同质化，并提供了科学的工具来量化这种由蒸馏引起的“行为克隆”现象，特别是发现了 Kimi-K2 与 Claude 之间极高的行为相似性，引发了对模型独立性和训练来源的深刻思考。