Annotating Topical Legal Insights from Case Proceedings

技术摘要：LeDA —— 一种法律数据标注系统

问题陈述
法律文件具有篇幅巨大且内在复杂性高的特点，这使得信息提取成为研究界的一项重大挑战。虽然现有的技术（如关键词提取、证据提取和证人证言提取）利用了诸如词频-逆文档频率（TF-IDF）和自然语言处理（NLP）模型（如 Bi-LSTM）等方法，但这些方法往往无法捕捉文档的“主题性”或“专题性”视角。当前的方法可能会提取特定的短语（例如“谋杀”、“假释”），但无法有效地合成定义案件“本质内容”（aboutness）的细粒度信息或事件（例如“一个人在假释期间谋杀了他的妻子”）。通过阅读整个文档来识别这些主题概念是非常耗时且费力的，因此有必要将法律文档表示为“概念袋”（bags of concepts），而非扁平文本。

方法论
为了解决这些局限性，作者提出了 LeDA（Legal Data Annotation，法律数据标注），这是一个旨在对法律文档中的实体和概念进行标注与裁决的 Web 端系统。该系统使用 HTML、CSS 和 JavaScript 开发前端，并由基于 Python 的 Django 框架驱动后端，托管在 PythonAnywhere 服务器上。

其核心方法论通过两个主要机制使 LeDA 区别于标准的序列标注工具：

1. 动态标签创建： 不同于依赖静态、预定义本体的工具，LeDA 允许标注者动态创建新标签。这对于法律领域至关重要，因为在这些领域中，概念可能无法提前完全知晓，必须在标注者审查文档的过程中进行发现。如果标注者遇到现有列表未涵盖的细粒度信息，可以申请添加新标签。
2. 元标注与裁决： 系统采用了一个涉及多名标注者和一名“超级标注者”（资深法律专家）的工作流。标注者独立地为文本跨度（spans）标记标签。随后，超级标注者执行“元标注”，充当合并操作，以解决不同标注之间的冲突。该过程包括计算标注者间一致性（IAA），以量化标注质量。对于 IAA 得分较低（例如 < 0.5）的文档，超级标注者通过检查冲突条目并选择最合适的标签或舍弃冲突来解决分歧。

标注过程包括选择文档、高亮特定文本跨度、将其与标签关联（使用预定义列表中的标签或新创建的标签），并将数据以 JSON 格式保存。系统支持通过标签搜索文档，并根据标注的跨度、使用的标签以及句子编号来计算 IAA 得分。

主要贡献

• LeDA 系统： 开发了一个专门的工具，支持动态标签创建和元标注，这些功能在应用于复杂法律数据的通用工具（如 BRAT、GATE 或 Label Studio）中通常是缺失的。
• 概念框架： 提出了一个多样化的法律概念集（例如“假释期间谋杀”、“二次谋杀”、“调查机构”），将法律诉讼程序表示为概念袋。
• 数据集构建： 将 LeDA 应用于标注 200 份印度最高法院的诉讼程序，并获得了来自西孟加拉邦国立司法大学相关法律从业者的输入。
• 创新的 IAA 计算： 引入了一种特定的方法来计算标注者间一致性，该方法考虑了法律标注的细微差别，例如重叠的跨度和单个文本段使用多个标签的情况。

结果
该系统由三名评估者（两名法律专家和一名超级标注者）用于标注 200 份法律文档。从标注数据中可以观察到以下关键点：

• 使用多个标签来标记单个文本跨度以实现细致表达的必要性。
• 标注的跨度经常跨越句子边界，表明需要捕捉超出单个句子范围的信息。
• 跨度长度随标签的变化而变化（例如，“杀人谋杀”可能需要一个句子，而“专家证人证言”可能需要 4-5 个句子）。
• 法律专家的反馈非常令人满意，没有提出新的功能建议，证实了该工具针对其预期用途的有效性。

意义与主张
论文声称 LeDA 有效减少了使用主题概念标注法律文档所需的精力，从而能够构建适用于下游任务的语义表示。作者明确指出，生成的法律概念数据集旨在用于先例检索和判决预测等任务。该系统目前正用于这些目的，作者计划将应用范围扩展到谋杀相关程序之外的其他法律领域。此外，作者打算探索利用标注后的数据集进行自动概念提取，以期在未来减轻人工标注的时间和成本。该论文定位为 JURIX 2023 Demo 论文的扩展版本，强调了该工具在现实世界法律标注场景中的实用价值。