Benchmarking Large Language Models for Cryptanalysis and Side-Channel Vulnerabilities
本文引入了一个基准数据集，用于评估最先进的大型语言模型在各种加密算法上的密码分析能力和泛化能力，揭示了它们在面对欠泛化攻击时的潜在脆弱性，并强调了人工智能在密码学背景下的双重用途安全风险。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个超级聪明的机器人图书管理员（即大语言模型，简称 LLM），它几乎读遍了地球上的每一本书。你向它提一个简单的问题，它能完美地回答。但如果你递给它一条用秘密代码编写的信息，会发生什么？它是能破解这个代码，还是只会对着它发呆？
这篇论文就像是对这些机器人图书管理员进行的一次“压力测试”。研究人员构建了一个巨大的秘密信息游乐场，以观察这些 AI 模型在扮演破译员时表现如何。以下是他们发现的故事，通过简单的语言进行了解释。
游乐场：混合的秘密代码
研究人员创建了一个包含 4,509 条秘密信息的庞大数据集。可以把它想象成一个装满锁着的箱子的图书馆。
- 内容： 这些箱子里装的是关于科学、新闻、莎士比亚甚至笑话的普通句子。
- 锁具： 他们使用 9 种不同类型的“锁”（加密方法）锁住了这些句子。
- 简单锁： 比如简单的字母替换（凯撒密码）或摩斯电码（点和横）。
- 中等锁： 比如在网格中重新排列字母（栅栏密码）或使用秘密关键词（维吉尼亚密码）。
- 困难锁： 比如当今用于保护银行的高科技数字锁（RSA 和 AES）。
测试：机器人能打开锁吗？
研究人员要求各种 AI 模型（如 ChatGPT、Claude 和 Gemini 背后的“大脑”）尝试打开这些箱子。他们通过两种方式进行了测试：
- 零样本学习 (Zero-Shot)： “这是一个锁着的箱子。打开它。”（不提供任何帮助）。
- 少样本学习 (Few-Shot)： “这是一个锁着的箱子及其钥匙。现在，这是另一个锁着的箱子。打开这个。”（给予提示）。
他们的发现：“部分理解”陷阱
1. “熟悉度”偏差
机器人非常擅长打开那些在训练数据中见过无数次的“简单”锁。
- 类比： 想象一个看过一千次红门的孩子。如果你给他看一扇红门，他知道怎么打开。但如果你给他看一扇工作原理完全相同但颜色是蓝色的门，他可能会愣住。
- 结果： AI 可以轻松破解“凯撒”密码（将字母移动 3 位），因为它们经常看到这种模式。但它们在处理“Atbash”密码（反转字母表）时却遇到了困难，尽管这同样简单。它们只是没有见过足够的特定模式来进行泛化。
2. “标记膨胀”问题
某些代码会让信息看起来比实际长度要长得多。
- 类比： 想象你写了一张短便条：“Hello”。但代码将其变成了由符号组成的 50 页书。机器人为了寻找那一个单词，会因为试图阅读整本书而感到不知所措。
- 结果： 像摩斯电码或培根密码（将字母转化为长串的点/横或 A/B 模式）这类代码使文本变得巨大。AI 会感到困惑，因为“单词”变得太长且太奇怪，超出了它们的处理能力，即使其逻辑很简单。
3. “差一点就成功”的危险（部分理解）
这是最重要的发现。即使 AI 无法完美地解锁箱子，它通常也能理解里面的内容。
- 类比： 想象一个尝试翻译外语的机器人。它掌握了句式结构并理解了大致的氛围，但它把一个词换成了听起来相似的另一个词。它不是完美的翻译，但足够接近了。
- 结果： AI 经常可以猜出秘密信息的含义，即使它们无法写回准确的字母。例如，它们可能会把“Patients with hypertension...”（高血压患者……）变成“Patience with your expectations...”（对你期望的耐心……）。它们抓住了“意思”，即便单词错了。
4. “提示”效应（少样本学习）
当研究人员给机器人一个打开特定锁的例子时，机器人的表现会变得好得多。
- 类比： 如果你向机器人展示一次如何开启特定类型的锁，它通常就能学会如何开启另一扇门上的同类锁。
- 结果： 这是一把双刃剑。这意味着如果一名恶意攻击者给 AI 一个关于如何利用秘密代码绕过安全规则的“提示”，AI 可能会瞬间学会这样做。
核心启示：智能 vs. 安全
论文最后对我们如何衡量 AI 安全性提出了警告。
- 悖论： 通常情况下，我们希望 AI 足够聪明，能够理解一切。但在安全领域，理解秘密代码的能力过强反而是一种风险。
- 风险： 如果 AI 可以“部分理解”一条秘密信息，那么恶意攻击者就可以将有害的指令隐藏在代码中。AI 可能无法完美解密，但它可能足以理解并执行这条有害指令。
- 教训： 我们需要教导这些机器人要保持谨慎。仅仅因为它们可以“猜出”一段乱码的意思，并不意味着它们应该根据它采取行动。论文建议，从安全角度来看，我们可能实际上希望这些模型在面对未见过的代码时表现得“差一些”，这样它们才不会让坏事从缝隙中溜进来。
简而言之： 这些超级聪明的 AI 机器人擅长阅读书籍，但涉及到秘密代码时，它们就像是只知道一种游戏规则、一旦规则稍有变化就会感到困惑的孩子。可怕之处在于，它们并不需要达到完美才能被欺骗；只要能“足够好”地理解大意，就足以造成麻烦。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。