🤖 AI

Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis

本文提出并验证了一种用于网络安全领域智能持续学习套件的无标签评估框架，证明了在缺乏标注基准时，通过测量学生模型向更强教师模型的稀疏修正收敛程度，可以作为衡量真实性能提升的可靠代理指标。

原作者： Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何识别一封糟糕的邮件。在人工智能的世界里，我们拥有这些能够像人类一样阅读和写作的超级聪明的“大语言模型”（LLMs）。但为了让它们在安全领域真正发挥作用，我们需要让它们在过程中不断地从错误中学习，这个过程被称为“持续学习”（Continual Learning）。通常情况下，为了测试一个机器人是否学会了，我们会给它一个带有已知答案集的测试（有标签数据）。但在网络安全的现实世界中，坏人每天都在变换花招，我们很少能拥有完美的答案集。我们只有在机器人犯下极其严重、显而易见的错误时，才会得到反馈。这让安全团队陷入了困境：他们有一个需要学习的机器人，却无法判断其新的学习工具究竟是在进步，还是在让情况变得更糟。他们需要一种无需参考答案就能衡量进度的方法。

这篇论文正好解决了这个问题。作者提出了一个巧妙的变通方法，即使用“教师-学生”架构。他们没有等待人类来给机器人评分，而是使用一个规模更大、更聪明的 AI 模型作为“教师”。他们让这个“教师”来为较小的“学生”模型的工作评分。其核心思想是：如果学生在使用了新的学习工具后，表现得越来越像聪明的教师，那么这个工具很可能是有效的。论文指出，这种“相对于教师的”进步是一个可靠的信号，表明该工具在没有人类标签的情况下，也能在真实的人类反馈中发挥作用。然而，作者也发出了响亮的警告：使用与自己规模相当的 AI 来评判工作是一个坏主意。这些“同等强度”的评判者过于有偏见；他们更倾向于自己的同类，并且无法察觉出一个学生是否真的取得了进步。

机器人学校与缺失的答案集

让我们深入了解一下“学习吊架”（Learning Harness）的故事。想象你有一个年轻的学徒机器人（学生），它正在尝试学习如何分类邮件。它表现得还不错，但并不完美。为了帮助它进步，你给它安装了一个“学习吊架”。这并不是某种神奇的大脑升级；它更像是一个装满了便利贴的背包。每当机器人犯错时，人类（或者在这种情况下，是一个更聪明的机器人）会在便签纸上写下一条笔记，解释为什么它是错的以及正确答案是什么。然后，机器人在面对一个新的、类似的难题时，会查看这些笔记。

问题在于，在现实世界中，人类很忙。他们只有在机器人犯下会导致危机的极其严重的错误时，才会写下这些笔记。这意味着机器人得到的笔记非常少，而且这些笔记出现的时间是随机的。那么，你如何知道这个装满笔记的背包是否真的在帮助机器人学习呢？

通常，你会给机器人一个带有答案集的测试。但在网络安全领域，那个答案集尚未存在，因为威胁是全新的。你不能等待一个完美的测试；你需要现在就知道这个学习系统是否有效。

教师-学生技巧

论文的作者提出了一个天才般的解决方案：缩放假设（Scaling Hypothesis）。把这想象成一个机器人家族。你有一个微小的、初级的机器人（学生）和一个巨大的、资深的机器人（教师），它们来自同一个家族。因为资深机器人规模更大，见识更广，所以它几乎总是更聪明。

以下是他们进行的实验：

他们收集了一堆电子邮件，并要求教师对这些邮件进行分类。由于教师非常聪明，作者将教师的答案视为“真相”（尽管他们并没有人类提供的答案集）。
他们给学生看同样的电子邮件。
他们让学生犯错，然后根据教师所认为的正确答案，给它一些“便利贴”（纠正信息）。
他们观察学生在匹配教师答案方面是否变得更加出色。

核心问题是：变得更擅长模仿教师，是否意味着学生在处理实际任务时也变得更好了？

为了验证这一点，他们进行了一项秘密测试。他们准备了一些带有真实人类答案集（“金标准”）的电子邮件，并在学习过程中将其隐藏起来。他们检查了学生向教师靠拢的进步程度，是否与其向真实人类答案靠拢的进步程度相匹配。

结果： 它奏效了！论文发现了一种强关联。当学生学会模仿教师时，它在真实的真人测试中也表现得更好。这表明，如果你使用一个超级聪明的 AI 来评价你的学习系统，并且该系统有所进步，那么你可以确信它在面对真实的人类反馈时也会有所进步。这就像是在说：“如果我的学生开始像我的天才教授一样思考，那么他很可能学到了有价值的东西，即使我还没有拿到最终考试的卷子。”

“同等强度”评判者的陷阱

但这里还有一个转折。作者还测试了另一个许多人都在使用的想法：LLM 作为评判者（LLM-as-a-Judge）。这是指你询问一个与学生规模和智力相当的机器人，来决定哪个版本更好：是带有学习背包的版本，还是没有背包的版本。

想象一下，让两个 10 岁的孩子来评判谁的数学更好。如果其中一个孩子手里拿着参考答案，另一个孩子能察觉出来吗？论文发现，不，他们察觉不出来。

当作者使用“同等强度”的评判者时，结果变得一团糟：

偏见： 评判者经常不管答案是否正确，仅仅因为第一个看到的答案就选择了它。
自我偏好： 评判者倾向于选择那些与自己相似的机器人（即没有背包的那个）给出的答案，并拒绝了改进后的版本。
可靠性： 当评判者正确时，其正确率仅为一半左右（某些模型为 48%，这基本上就是靠运气投硬币）。

论文明确排除了使用同等规模的 AI 来担任此类工作的可能性。它指出，一个机器人无法可靠地识别出另一个与其水平相当的机器人何时取得了进步。这就像是让一个不知道答案的人去给试卷评分；他们根本无法区分一个好的猜测和一个优秀的答案。

这对未来意味着什么

作者谨慎地表示，这并不是要解决所有问题的万灵药。他们指出，当没有标签时，这种“教师-学生”方法是一种衡量学习工具的有效方式。他们证明了，教师与学生之间的智力差距越大，测试就越可靠。如果教师只比学生聪明一点点，测试就会变得模糊不清。

他们还指出，这种方法在纠正信息是“稀疏且高精度”时效果最好——这意味着只有最重要的错误才会被修正，就像现实世界中的情况一样。

所以，对于好奇的青少年来说，结论是这样的：在一个无法总是获得完美答案集的世界上，我们可以使用一个“超级聪明”的 AI 来评价我们的学习工具。如果这个工具能帮助学生表现得更像那个超级聪明的 AI，那么它很可能是一个好工具。但是，不要让普通的 AI 去给它的同伴打分；它们会充满偏见，并且会错过进步的迹象。这为安全团队提供了一种构建更好的、具备自我学习能力的机器人的新方法，而无需依赖海量的人类标注数据。

技术摘要：基于缩放假设评估无标签状态下的智能体学习增强机制能力

1. 问题陈述

在网络安全运营中，“持续学习增强机制”（即通过反馈将大语言模型与检索或记忆相结合以实现适应的系统）对于防御快速变化的威胁变得至关重要。然而，由于标签基准测试（benchmarks）的稀缺性、陈旧性和偏差，评估这些增强机制在现实场景中异常困难。

传统的评估方法在此背景下难以奏效：

有标签基准测试： 通常无法获取、不具代表性，或者过于稀疏，无法提供清晰的有效信号。
LLM-as-a-Judge（大模型作为评判者）： 当评判模型的性能与被评估的智能体模型相当时，该方法会失效。评判者无法可靠地识别出超过其自身基准性能的改进。
蒸馏（Distillation）： 当人类反馈稀疏、零星且形式不规则时，标准的微调或基于适配器（adapter-based）的蒸馏是不可靠的。

因此，从业者缺乏一种严谨的方法，在没有“金标准”标签数据集的情况下，来确定特定的增强机制是否提升了模型的性能，或者用来比较不同的增强机制设计。

2. 方法论

作者提出了一个基于**缩放假设（Scaling Hypothesis）**的框架，用于端到端地评估无需标签基准测试的学习增强机制。其核心前提是：一个更强的“教师”模型可以为较弱的“学生”模型提供稀疏且高精度的修正，而学生向教师的收敛过程可以作为真实性能提升的代理指标。

实验设计

研究针对每个任务采用了三模型设置：

教师（Teacher）： 来自特定家族（如 GPT-4.1, Gemini Pro）的更强大、更高级的模型，在无增强机制状态下运行。
学生（Student）： 来自同一家族的较小、较弱的模型（如 GPT-4.1 Nano, Gemini Flash），在无增强机制状态下运行。
学生*（Student with Harness，带增强机制的学生）： 同一学生模型，配备了特定的持续学习增强机制。

流程：

伪标签生成（Pseudo-Labeling）： 教师模型对大量无标签样本生成预测，将其视为“伪标签”。
稀疏修正（Sparse Corrections）： 数据集被分为若干轮次。在每一轮中，学生*模型进行预测。系统会提取少量随机抽取的“高影响”分类错误（即学生*与教师意见不一致的情况），并将其作为修正反馈。这模拟了安全运营中人类分析师提供的稀疏、高精度反馈循环。
评估： 在多轮之后，测量原始学生模型和学生*模型在留存测试集上的表现，使用两个指标：
- $\Delta_G$ ：相对于**金标准标签（Gold Labels）**的提升（仅用于最终验证）。
- $\Delta_T$ ：相对于**教师伪标签（Teacher Pseudo-Labels）**的提升。

该框架测试 $\Delta_T$ 是否与 $\Delta_G$ 相关。如果增强机制提高了学生与教师的对齐程度，则假设它也提高了学生与真实情况的对齐程度。

增强机制配置

研究评估了三种不同的增强机制设计：

记忆（Memory）： 将过去的错误记录为记录（输入片段、错误预测、修正标签），类似于 MemPrompt 或 Reflexion。
少样本（Few-shot）： 将修正后的内容作为标注示例（输入 $\to$ 正确标签）进行检索以实现泛化，而不展示错误本身。
教训（Lesson）： 另一个学生模型的实例对错误进行反思，生成简短且具有判别性的“教训”（即带有“仅当...时应用”提示的经验法则）。这旨在处理那些因措辞或意图发生翻转而导致正确标签发生变化的边界案例。

范围

实验涵盖了以下内容：

任务： PhishFuzzer（邮件分类）、CTIBench（CVE 到 CWE 的归属分析）以及 ATT&CK 战术分类。
模型： 三个模型家族（Gemini, GPT, Qwen）及其大小变体。
条件： 包括同家族（教师/学生来自同一家族）和跨家族配对，前提是教师在基础任务上的表现优于学生。

3. 关键结果

A. 教师对齐度与真实情况相关

主要发现是 $\Delta_T$ （相对于教师的提升）与 $\Delta_G$ （相对于金标准标签的提升）之间存在强正相关性。

有效性： 在各种安全任务、模型家族和增强机制设计中，能够提升学生与教师对齐度的增强机制，同时也提升了其与金标准的对齐度。
能力差距： 该相关性在同家族和跨家族配对中均成立，前提是存在显著的能力差距。代理指标的有效性取决于学生与教师之间的差距大小，而非仅仅是共享架构。
缩放假设： 在学生与教师发生分歧的情况下，较大的教师模型比较小的学生模型正确出现的频率显著更高，这验证了在缺乏标签的情况下，教师可以作为可靠的真理来源这一假设。

B. LLM-as-a-Judge 的无效性

研究表明，使用与智能体强度相当的 LLM 作为评判者无法产生有效的信号：

自我偏好偏差（Self-Preference Bias）： 学生级别的评判者系统性地偏好其自身的基准输出，即使增强机制产生的输出是正确的。
低可靠性： 与真实情况对比时，同等强度的评判者的可靠性仅约为 48%（接近随机猜测），且在比较学生与教师时下降至 25%，这表明其在识别高于自身基准的性能方面存在系统性无能。
位置偏差（Positional Bias）： 当评判者无法区分质量时，会表现出根据呈现顺序改变判定结果的高比例现象。

4. 意义与主张

本文声称为安全运营人员提供了一种实用的解决方案，用于在缺乏金标准标签的动态环境下评估和比较持续学习增强机制。

人类反馈的代理： 作者认为，如果一个增强机制在使用稀疏修正（来自教师模型）时能产生可衡量的提升，那么它极有可能在修正来自人类分析师时也能产生类似的收益。增强机制仅与“修正内容”交互，而不与“来源（模型或人类）”交互；因此，这种提升机制是可迁移的。
运营实用性： 该框架允许从业者：
1. 判断增强机制是否有助于提升性能。
2. 比较两种不同的增强机制设计以选择最优设计。
3. 避免当智能体已经是前沿模型时使用“LLM-as-a-judge”所带来的陷阱。
局限性与缓解措施： 作者承认，该代理指标依赖于学生与教师之间充足的能力差距。如果差距较小或两者表现都较差，相关性会减弱。他们建议使用缩放假设（比较大模型与小模型）并辅以少量有标签样本进行抽检，以确保在部署代理之前，教师模型已具备足够的胜任能力。

总之，这项工作确立了**相对于教师的提升（teacher-relative lift）**是一个有效的、无需标签的指标，用于评估网络安全领域中智能学习增强机制的价值，为数据稀缺的动态环境提供了严谨的替代方案。