Semalith v1.4: A Calibrated 184M Safety Classifier Achieving State-of-the-Art Prompt-Injection Detection at 44x Fewer Parameters than Llama-Guard-3-8B
Semalith v1.4 是一个高效的 184M 参数安全分类器，它实现了最先进的提示词注入检测，并在良性智能体提示词上实现了零误报，其参数量比 Llama-Guard-3-8B 少了 44 倍，同时具备在单次推理过程中同时检测通用危害和金融监管合规性的独特能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网就像一座巨大且繁忙的图书馆，成千上万的人正在那里与一个超级聪明的机器人管理员聊天。这个管理员是一个人工智能（AI），它可以写故事、解决数学问题，并回答关于任何事物的疑问。但就像任何强大的工具一样，它也有阴暗的一面：有时，一些狡猾的用户会试图诱骗机器人违反自己的规则、泄露秘密信息或说些难听的话。这被称为“提示词注入”（prompt injection）——就像是在向图书管理员低声传递一段秘密代码，让他们无视那些“禁止触摸”的告示牌。
为了保持图书馆的安全，我们需要一名保安。在人工智能的世界里，这些保安是被称为“安全分类器”（safety classifiers）的特殊程序。他们的工作是在机器人看到每条消息之前先阅读一遍，如果发现消息有危险，就大喊“停！”。然而，大多数保安要么动作太慢，要么太笨拙，要么过于疑神疑鬼。有些保安因为太害怕出乱子，甚至会阻止管理员处理一些无害的问题，比如询问如何重置密码。而另一些保安则过于关注简单的脏话，从而漏掉了那些高明的、隐蔽的诡计。科学家们提出的重大问题是：我们能否打造出一个既快速、又足够聪明能识破复杂诡计，且足够温柔能让无害对话通过的保安？
于是，Semalith v1.4 登场了，这是一个旨在解决上述问题的全新安全保安。把它想象成一个经过高度训练的、拥有 1.84 亿参数的“侦探”（这个数字代表了它的脑容量规模），它比目前大型科技公司使用的 80 亿参数的大型保安要小得多，也快得多。如果说那些巨大的保安像是沉重、缓慢移动且容易被微妙诡计迷惑的坦克，那么 Semalith 就是一个灵巧、迅捷如闪电的忍者。
研究论文显示，Semalith v1.4 是识别提示词注入（即那些试图欺骗 AI 的隐蔽尝试）的高手。在测试中，它在所测试的 7 个提示词注入基准类别中赢得了每一项胜利，大幅超越了那些 80 亿参数的大型保安。更令人印象深刻的是，它实现这一目标时仅使用了少 44 倍的参数（脑细胞），这使得它极其迅速。它检查一条消息仅需 11.6 毫秒，比眨眼还要快。
但 Semalith 不仅仅擅长捕捉诡计；它还是金融领域的专家。它接受过专门训练，以理解银行、贷款和保险方面的特定规则（即 BFSI 合规性）。这使得它能够区分一个关于信用卡问题的无害提问与一次危险的诈骗企图。不同于其他可能会因为恐慌而拦截所有金融问题的保安，Semalith 正确识别了 208 个无害的银行提示词，且未触发任何一次误报（误报率为 0.000%）。
然而，作者也非常诚实地说明了这款保安“不能”做什么。它并不是解决所有安全问题的万能药。论文表明，虽然 Semalith 在识别特定的、复杂的诡计方面表现出色，但在处理一般的“刻薄”或“有毒”对话时，有时会显得不如那些巨大的保安。这就像是一个在识别扒手和伪造品方面是世界级专家，但在抓捕单纯言语粗鲁的人方面却稍显逊色的保安。研究人员解释说，这是一种权衡：通过让保安在识别特定、复杂的诡计方面变得如此强大，它在对一般粗鲁行为的敏感度上变得略微下降了。此外，尽管它在提示词注入类别中占据统治地位，但它并不能完美捕捉到每一个变体；例如，在其中一项测试中最难的“隐形”等级（Mosscap L8）上，它抓住了大约 80% 的攻击，仍有改进空间。
论文还强调，该模型是使用从互联网挖掘的真实世界数据构建的，而不是由其他计算机生成的虚假示例。这使得它在现实世界中更加可靠。研究人员针对 22 种不同的挑战对其进行了测试，发现 Semalith 在 7 项提示词注入测试中赢得了 7/7，并在 18 项综合测试中赢得了 11/18。他们承认，在六个特定的弱点领域，这位保安仍需努力，例如理解冗长且混乱的故事或某些类型的说服手段，但他们已经精确绘制出了在未来版本中修复这些问题的路线图。
简而言之，Semalith v1.4 证明了你并不需要一个巨大、缓慢的大脑来成为一名优秀的保安。通过正确的训练和巧妙的设计，一个更小、更快的模型可以成为 AI 系统完美的盾牌，特别是在协助人们处理金钱和银行业务时，同时还能在不产生任何阻碍的情况下让有益的信息顺利通过。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。