Annotated Surrogate Retrieval for Polish Statutory Law
本文介绍并评估了三种利用语言模型生成的文档代理进行波兰成文法检索的方法，证明了带有重排序功能的 ASCR-H 级联架构在法律考试问题上的顶层排名准确率显著优于现有基准方法，而一种更具成本效益的替代方案 (DTF) 则以大幅降低的延迟和成本在排名头部实现了相当的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在国家法律的浩瀚图书馆中，寻找能够回答特定法律问题的那个单一段落是一项极其精密的工作。想象一下，一个图书馆里包含了超过八万条不同的条款，每一条都是宏大法律拼图中的一小块。当律师或学生提出一个问题时，答案不是一个概括性的总结或一系列相关想法的集合，而是埋藏在这一座文字大山中的某一个特定的句子。如果一个计算机系统检索到了正确的条款，却将其放在了建议列表的第十位，那么扫描顶部结果的人类读者可能会完全错过它，从而使搜索变得毫无意义。这就是法律条文检索的核心挑战：系统不仅要找到正确的文档，还必须将其置于列表的最顶端。由于语言本身的特性，这个问题变得更加困难。在波兰语中，单词会根据其在句子中的角色而改变形式，这意味着一个问题及其法律答案在表面上可能看起来完全不同，尽管它们具有相同的含义。
研究人员通过测试三种不同的策略来帮助计算机寻找正确的法律条款，旨在解决波兰法律中的这一特定问题。他们的测试基于来自 2024 年和 2025 年波兰法律从业人员入学考试的真实问题。这些是高风险的问题，其正确答案是单一的法律条款。研究团队创建了一个系统，该系统不仅阅读法律的原始文本，还为每条法律附加一个“代理”（surrogate）。可以将这个代理想象成一位聪明的助手在搜索开始前为每一条法律条款编写的一套有用的笔记。这些笔记包括摘要、主题列表以及该条款可能回答的一系列假设性问题。当用户提出问题时，计算机可以针对这些预先写好的笔记进行匹配，这通常能弥合人们提问方式与法律书写方式之间的鸿沟。
该研究测试了使用这些笔记的三种不同方法。第一种方法，研究人员称之为 ASCR-H，其作用就像一位细心的编辑。它首先利用笔记将搜索范围缩小到最有希望的法律，然后使用密集搜索方法寻找其他可能性，最后使用强大的语言模型对排名前列的候选对象进行重新排序。这种方法既慢又昂贵，因为它要求计算机对列表进行多次深度思考。第二种方法 DTF 则要快得多，也便宜得多。它跳过了深度思考和重新排序的过程。相反，它将三种不同搜索方法的结果——一种查看笔记，一种查看原始文本，一种查看法律结构——结合在一起，并使用一个固定的数学规则将它们合并为一个列表。第三种方法是一个折中方案，它取消了重新排序步骤，但保留了初始过滤功能。
结果显示，在列表顶部的精确度与速度之间存在明显的权衡。细心的编辑方法 ASCR-H 在将正确条款置于第一位方面最为成功。它的成功率达到了 72.3%，显著优于所有在预先知道答案之外的其他方法。快速方法 DTF 将正确条款放在顶部的成功率仅为 51.9%，差距超过二十个百分点。然而，如果你观察更深层的列表，情况就会发生变化。虽然细心的编辑在最顶端表现更好，但快速方法很快就赶了上来。当你查看前二十个结果时，这两种方法在统计学上是难以区分的，而且快速方法在更深层次的表现实际上略好一些。这表明，如果人类愿意扫描更长的列表，这个更廉价、更快速的系统同样有效。
研究人员还发现了哪些做法是无效的。他们测试了几种用于其他搜索系统的常见技巧，例如重写用户的提问以使其更清晰，或者使用一种叫做伪相关反馈（pseudo-relevance feedback）的技术，即尝试通过假定排在前面的结果是正确的，并利用它们来优化查询，从而改进搜索。这些技巧都没有起到作用；事实上，有些甚至让结果变得更糟。他们还发现，仅仅使用词典来去除词尾（这是处理复杂语法语言的一种常见修复手段）并没有带来任何益处，因为考试题目本身已经使用了与法律非常接近的语言。
或许最令人惊讶的发现是，将正确的条款排在列表顶端并不一定会让最终答案变得更好。研究人员测试了计算机程序能否扮演法官的角色，根据检索到的条款选择正确的单选题答案。他们发现，计算机凭借自身的内部知识就已经能够非常好地回答这些问题，因此无论正确条款是排名第一还是第五，都不太重要。系统已经饱和了，它不需要文本就能知道答案。这意味着对于这类特定的考试，为了获得完美的顶端排名而投入的巨大努力可能并不划算，因为最终结果是一样的。该研究得出结论，对于法律搜索而言，最好的工具完全取决于目标：如果你需要绝对最高的概率立即看到正确的法律，那么昂贵的、细心的法是更优的选择。但如果你需要快速且廉价地覆盖广泛的可能性，那么快速、简单的方法也是一样好的，只要你愿意向更深层的结果看去。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。