A Systematic Evaluation of Traditional Privacy Policy Analysis Tools Against LLMs
本文提出了首次系统性评估，证明了现成的通用大语言模型在无需领域特定训练的情况下，在矛盾检测、合规性检查和实体提取等任务中，能够有效复制或超越专门的隐私政策分析工具的能力。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网就像一座巨大且繁忙的城市，这里的每一家商店、公园和图书馆都有一本名为“隐私政策”的规则手册。这些手册告诉您，店主们（应用程序和网站）计划如何处理您的个人信息——比如您的位置、照片或姓名。多年来，阅读这些规则手册就像是在试图理解用外语编写的秘密代码；它们冗长、晦涩，且充满了复杂的法律术语。为了帮助人们理解这些内容，计算机科学家们建造了特殊的“侦探工具”。这些工具就像是自动化的图书管理员，经过训练可以扫描规则手册，寻找矛盾之处（例如，一家商店声称“我们从不出售您的数据”，但随后又列出了一家他们会出售数据的公司），检查它们是否遵守了法律，或者将整个内容总结成一份简短的清单。
但最近，一种被称为“大语言模型”（简称 LLM）的新型超级智能机器人大脑进入了这座城市。把 LLM 想象成一位才华横溢、博学多才的学生，他读过图书馆里的几乎每一本书，能够理解复杂的概念，发现隐藏的含义，并且无需针对每一项具体工作进行专门训练就能撰写摘要。科学家们面临的一个重大问题是：这种新型的通用型学生能否取代旧有的专门化侦探工具？我们仍然需要那些特定的图书管理员吗，还是说这位“超级学生”能做得更好、更快、更便宜？这正是研究人员着手解决的谜题。
研究人员——一组来自南佛罗里达大学和 IBM 的科学家——决定让这些新的“超级学生”（具体指两种最强大的模型：GPT-4o 和 Gemini-1.5 Pro）与六种最优秀的传统侦探工具进行一场正面交锋。他们不仅是让学生去猜测，而是给了他们与这些工具原本设计用途完全相同的任务：在文本中寻找矛盾、检查规则是否符合 GDPR 等法律，以及总结十个不同流行应用程序的数据处理实践。他们甚至测试了这些学生是否能完成“中间阶段”的工作，比如手动标注句子或通过拆解语法结构来确定“谁对谁做了什么”这类繁琐的任务。
结果有点像是在看一位天才学生走进一群专业专家所在的房间，并在没有任何额外训练的情况下，在几乎所有类别中都超越了他们。研究发现，LLM 不仅达到了旧工具的水平，而且往往比它们做得更好。例如，在寻找矛盾之处时，旧工具几乎一无所获（它们错过了细微的冲突），而 LLM 则发现了数十处真实的矛盾，包括隐藏在长而复杂的句子中的棘手矛盾。在检查应用程序是否守法方面，LLM 更擅长理解规则的“含义”，而不仅仅是寻找特定的关键词。它们能够察觉到公司在隐含地违反法律，而旧有的、基于规则的工具往往会错过这一点。
然而，故事并非简单的“新机器人赢了，扔掉旧工具”。研究人员发现了一些重要的权衡。虽然 LLM 更聪明、更灵活，但它们也带有价格标签。运行这些“超级学生”每提一个问题都要花钱，而旧工具一旦安装在电脑上，就可以免费运行无数次。此外，LLolM 有一点不可预测：如果你以略微不同的方式提问，它们的答案可能会发生变化，而旧工具每次给出的答案都是一致的。研究人员建议，最好的路径可能是建立一个“混合型”团队：利用灵活且聪明的 LLM 来处理规则手册中那些困难、令人困惑的部分，同时保留可靠且廉价的旧工具来复核那些简单的事情。
简而言之，这篇论文表明，为每一个单独的隐私任务都需要一种专门工具的时代可能正在结束。现在，一个经过良好提示（prompting）的 LLM 就可以胜任许多不同工具的工作，而且通常做得更好。但由于成本和对可靠性的需求，隐私分析的未来可能不会是彻底的替代，而是一种伙伴关系——让“超级学生”与“专业图书管理员”共同协作，守护我们的数字城市安全且透明。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。