Benchmarking Large Language Models for Zero-shot and Few-shot Phishing URL Detection
本文提出了一项综合基准测试，旨在评估大语言模型在零样本和少样本学习下检测复杂的 AI 生成钓鱼 URL 的效能，证明了少样本提示能显著提升多种模型的性能，以应对快速升级的钓鱼威胁和标注数据的匮乏问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网就像一座巨大且繁忙的城市。多年来，守在大门外的保安们（传统网络安全工具）一直使用着一条简单的规则：“如果一个人的名字在我们的‘黑名单’上，就不准他进入。”对于已知的坏蛋，这套方法非常奏效。但最近，一种新型罪犯出现了。这些罪犯利用“生成式人工智能（Generative AI）”伪造完美的假身份证，并创造出从未见过的、极具迷惑性的全新伪装。由于保安们从未见过这些面孔，旧有的“黑名单”对他们完全失效了。
这篇论文就像是一份针对新型保安的成绩单：大语言模型（LLMs）。这些是超级聪明的 AI 系统，它们几乎读过了互联网上的所有内容。研究人员想看看，这些 AI 保安是否仅凭观察，就能识别出一个虚假的 URL（网页地址），即使它们从未见过这个特定的地址。
以下是他们测试这些保安的方式，使用了简单的类比：
两种测试保安的方式
研究人员在两种不同的“训练”场景下测试了这些 AI 保安：
- 零样本学习 (Zero-Shot，即“盲读”)： 想象一下，你递给一名保安一张陌生人的照片，然后问：“这个人是罪犯吗？”在此之前，你没有给过他任何先前的例子或手册。保安必须完全依靠自己的通用知识和直觉。
- 少样本学习 (Few-Shot，即“展示与讲解”)： 想象一下，你把同一张照片递给保安，但这一次，你先给他看三张已知罪犯的照片和三张无辜者的照片。你对他说：“看到这些坏人了吗？也看到这些好人了吗？现在，看看这个新人。他是像那些坏人还是像那些好人？”
参赛选手
论文将三位最著名的 AI 保安放在一起进行对比：
- GPT-4o（来自 OpenAI）
- Claude-3.7（来自 Anthropic）
- Grok-3（来自 xAI）
他们用一个包含 10,000 个网页地址（一半是真实的，一半是钓鱼陷阱）的大型列表对这些保安进行了测试，以观察谁能最好地分辨差异。
他们的发现
结果就像一场令人惊喜的比赛：
- “展示与讲解”胜出： 在几乎所有情况下，当保安们先看到一些例子时（Few-Shot），他们的表现都要好得多。这就像侦探在看了几个真实的案例以了解要寻找什么之后，识别伪造品的能力会变得更强。
- 冠军： Grok-3 夺得了冠军。当给予一些示例时，它的完成任务的准确率最高（约 94%）。它最擅长对坏链接说“不”，同时又不会误把好链接也说成“不”。
- 权衡取舍： 这里有一个小小的代价。当保安们从“盲读”切换到“展示与讲解”时，他们变得更加严格了。他们开始误判较少的“好”链接（这是好事），但也比单纯靠直觉猜测时漏掉了一些“坏”链接。然而，总分却显著提高了。
- “坏人”问题： 研究人员还测试了如果城市里大部分都是好人，只有 1% 是坏人的情况（这是一个现实的情景）。即使在这种棘手的局面下，AI 保安们依然能站稳脚跟，尤其是 Grok-3，即使在没有任何示例的情况下，它也非常擅长发现坏人。
核心结论
论文得出结论：我们并不总是需要用海量的、全新的数据去重新训练这些 AI 保安，以应对每一次新出现的骗局。相反，我们只需要快速给它们几个例子（Few-Shot prompting），它们就能立即适应，从而捕捉到复杂的钓鱼链接。
简而言之：如果你想让一个 AI 识别出一种新型的网络诈骗，不要只是让它去猜。先给它看几个诈骗长什么样的例子，它就会变成一名更敏锐的侦探。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。