Leveraging Large Language Models for Trustworthiness Assessment of Web Applications
该研究提出了一种利用大语言模型（LLM）结合提示工程技术与扩展的逻辑偏好评分（LSP）层次化质量模型，通过自动化验证安全编码实践来评估 Web 应用可信度的实证方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文探讨了一个非常实际的问题：我们如何快速、自动地判断一个网站应用程序是否“靠谱”（安全可信）？
想象一下，你开了一家巨大的连锁餐厅（互联网），每天有成千上万的顾客（用户）来点菜。作为老板，你非常担心厨师（程序员）在厨房里会不会乱来，比如把没洗的菜端上来，或者把毒药当成调料。
传统的检查方法就像请一位资深美食评论家（安全专家）去后厨，一道菜一道菜地尝，看看有没有问题。但这太慢了，而且餐厅开得越大，评论家根本忙不过来。
这篇论文提出了一种新办法：雇佣一群超级聪明的 AI 助手（大语言模型，LLM），让它们代替评论家去检查厨房。
以下是这篇论文的核心内容，用通俗的语言和比喻来解释：
1. 核心挑战：信任很难量化
以前，我们检查网站安全，主要是找“已知的漏洞”（比如发现厨房里有只老鼠）。但如果没有老鼠，不代表厨房就是干净的。也许厨师切菜的手法不对，或者调料放错了顺序，这些“坏习惯”虽然没立刻导致中毒，但迟早会出事。
论文认为，要判断一个网站是否“可信”，不能只找漏洞，还要看它是否遵守了“安全烹饪守则”（即安全编码规范，比如 OWASP 标准）。
2. 实验方法：让 AI 当“厨房督察”
研究人员找来了 5 个不同级别的 AI 模型（从便宜的“实习生”到昂贵的“顶级大厨”），让它们去检查一段 Java 代码（就像检查菜谱）。
他们设计了四种不同的“检查指令”（提示词工程），看看哪种方式最有效：
方法一：直接问（零样本）
- 比喻：把菜谱扔给 AI，问：“这道菜符合卫生标准吗？”
- 结果：聪明的 AI（如 GPT-4）能猜对不少，但笨一点的 AI 经常瞎猜，或者只看表面字眼。
方法二：给例子 + 给术语（CWE + 坏例子）
- 比喻：告诉 AI：“这是‘老鼠’（CWE 术语），这是‘没洗的菜’（坏例子），你看到这些就要报警。”
- 结果：这对聪明的 AI 很有用，它们能认出更多问题。但对笨一点的 AI 来说，信息太多反而把它们搞晕了，效果变差。
方法三：给更多背景（函数调用上下文）
- 比喻：不仅给主菜谱，还把厨房里所有辅助工具（切菜机、洗碗机）的说明书都塞给 AI，让它看整个流程。
- 结果：这是个陷阱！ 信息量太大了，AI 被淹没在细节里，反而找不到重点，甚至漏掉了明显的问题。就像给厨师看了一吨说明书，他反而不会炒菜了。
方法四：定死规则（基于规则）
- 比喻：给 AI 一张检查清单：“如果看到生肉没煮熟，打 0 分；如果看到没洗手，打 0 分。必须严格执行。”
- 结果：这是最棒的方法！ 即使能力一般的 AI，只要拿着这张清单，也能变得非常靠谱。它不需要“理解”复杂的逻辑，只要照章办事，就能准确判断。
3. 最终成果：给餐厅打分
研究团队不仅让 AI 找问题，还设计了一个**“可信度计算器”**（基于逻辑的评分模型）。
- 传统做法：AI 直接说：“我觉得这个餐厅 80 分。”（这往往不准，AI 会瞎编）。
- 论文做法：AI 负责找问题（比如：发现没洗手、没消毒），然后把这些结果输入到一个严格的数学公式里。
- 公式规定：只要有一个致命错误（比如没洗手），总分就会大幅下降。
- 这样算出来的分数，既利用了 AI 的查找能力，又保证了分数的客观和准确。
4. 关键发现（总结）
- AI 很聪明，但需要引导：直接让 AI 去“理解”代码很难，但如果给它们明确的规则清单，它们就能成为超级高效的检查员。
- 信息过载是坏事：给 AI 看太多无关的背景代码（比如把整个厨房的说明书都给它），反而会降低它的判断力。
- 小模型也能干大事：通过“规则清单”（Prompt 4），那些便宜、快速的 AI 模型，也能达到和昂贵模型差不多的检查效果。这意味着企业可以用低成本实现大规模的安全检查。
- 不要指望 AI 直接打分：让 AI 直接猜一个“可信度分数”是不靠谱的。应该让 AI 负责找事实，让数学公式负责算分数。
5. 这对我们意味着什么？
以前，检查网站安不安全，得靠专家熬夜看代码，又慢又贵。
现在，我们可以用 AI 自动检查代码是否遵守了“安全守则”。只要给 AI 一套清晰的“检查清单”，它就能在几秒钟内检查完成千上万行代码，并给出一个客观的“可信度分数”。
这对于现代软件开发（比如每天要更新几十次的 APP）非常重要，因为它让“安全”变得可规模化、可自动化，就像给餐厅装上了自动化的食品安全监测仪，而不是靠人眼盯着。
一句话总结：
这篇论文证明了，只要给 AI 配上正确的“检查清单”和“打分公式”，它们就能成为不知疲倦、准确可靠的“网站安全督察员”，让互联网世界变得更安全。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。