Classifier or Prompt: A Case Study on Legal Requirements Traceability

这是一份关于论文《Classifier or Prompt: A Case Study on Legal Requirements Traceability》（分类器还是提示词：法律需求可追溯性案例研究）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心问题：
随着软件系统日益复杂以及新法规（如欧盟《通用数据保护条例》GDPR）的不断出台，确保软件需求符合法律条款变得至关重要。法律需求可追溯性 (Legal Requirements Traceability, LRT) 是指将软件需求（Requirements）与法律法规条款（Provisions）建立关联的任务。

现有挑战：

• 语言差异 (Language Discrepancy)： 法律文本通常使用通用、抽象且专业的法律术语，而软件需求则使用技术性或领域特定的语言。两者之间存在巨大的词汇和风格鸿沟，导致传统的基于关键词匹配的方法失效。
• 数据稀缺 (Limited Training Data)： 工业界中带有标注的“需求 - 法规”对数据非常稀缺，难以训练大规模模型。
• 现有方法的局限性： 现有的需求可追溯性研究多集中于代码与需求之间，或基于简单的统计模型（如 TF-IDF、LSI），无法捕捉法律与技术文本间深层的语义关系。此外，现有的提示工程（Prompt Engineering）方法往往过于简单，未充分利用大语言模型（LLM）的推理能力。

2. 方法论 (Methodology)

作者提出了两种基于语言模型的自动化解决方案，并进行了广泛的对比实验：

方案一：Kashif (基于分类器的方法)

• 核心思想： 利用句子变换器 (Sentence Transformers, ST) 和语义相似度来预测需求与法规条款之间的可追溯链接。
• 工作流程：
  1. 数据准备： 使用标注好的“需求 - 法规”对作为训练集。
  2. 模型选择与微调： 从 38 种预训练 ST 模型中筛选最佳模型（最终选定 paraphrase-multilingual-mpnet-base-v2），并在特定数据集（HIPAA）上进行微调。微调采用对比学习（Contrastive Learning），通过余弦相似度损失函数，拉近有链接对的向量距离，推远无链接对的向量距离。
  3. 相似度计算与预测： 计算需求与所有法规条款的余弦相似度矩阵。
  4. 阈值策略： 提出了四种阈值设定方法（固定阈值、动态阈值、最大差值截断、微调搜索），最终发现固定阈值 (0.5) 在 HIPAA 数据集上表现最佳。

方案二：Rice LRT (基于提示词的方法)

• 核心思想： 利用大语言模型 (LLM, 具体为 GPT-4o) 结合精心设计的提示词框架来直接生成可追溯链接及推理依据。
• 提示词设计 (Rice 框架)： 基于 Rice 框架（Role, Instruction, Context, Constraints, Examples）进行定制：
  • Context (上下文)： 定义任务为建立软件需求与 GDPR 条款的可追溯性。
  • Examples (少样本示例)： 提供 5 个包含需求、链接及推理理由 (Rationale) 的真实示例，展示如何识别间接链接。
  • Instruction (指令)： 明确要求模型考虑未示例中提到的条款，利用常识识别间接关系，并优先保证召回率 (Recall)（即宁可多预测也要覆盖潜在链接）。
  • Output Indicator (输出格式)： 要求输出按字母排序的法规代码列表，并为每个链接提供推理理由。
• 执行： 使用 GPT-4o 模型，温度设为 0 以保证确定性，通过 API 进行查询。

3. 实验设置与数据集 (Datasets & Baselines)

• 数据集：
  1. HIPAA 数据集： 公开数据集，包含 10 个医疗领域的软件需求文档，对应 10 条 HIPAA 法规条款。用于基准测试 (RQ1, RQ2)。
  2. GDPR 数据集 (新构建)： 作者手动构建的新数据集，包含 4 个不同领域（网络安全、数字服务、数字图书馆、专业认证）的 310 个需求，对应 GDPR 的 26 条相关条款。用于评估复杂场景下的泛化能力 (RQ3, RQ4)。
• 基线模型 (Baselines)：
  • 分类器基线： LSI, LDA, GloVe, TraceBERT, RoBERTa, LLaMa (微调版和零样本版), 以及文献中的概率分类器 B。
  • 提示词基线： 4 种现有的提示词模板 (P1-P3)，包括 RAG 方法、CoT (思维链) 方法等。

4. 关键结果 (Key Results)

研究问题 1 (RQ1): 最佳预训练模型

• 在 HIPAA 数据集的零样本测试中，ST29 (paraphrase-multilingual-mpnet-base-v2) 表现最好 (AUC=0.859)，优于 NLP 社区通常认为表现最好的模型。

研究问题 2 (RQ2): Kashif vs. 现有基线 (HIPAA 数据集)

• Kashif 取得了最高的 F2 分数 (约 63%)，比文献中最好的基线高出 21 个百分点。
• Kashif 的 MAP (平均平均精度) 为 81.4%，AUC 为 0.93，显示出极强的排序和区分能力。
• 相比之下，传统 IR 方法 (LSI/LDA) 和 TraceBERT 表现较差，LLaMa 未经微调时表现接近随机，微调后虽有提升但仍不及 Kashif。

研究问题 3 (RQ3): Kashif 在复杂数据集 (GDPR) 上的表现

• 在未见过的 GDPR 数据集上，Kashif 的表现显著下降，召回率仅为 15%。
• 这表明仅在一个特定法规（HIPAA）上微调的模型，难以直接泛化到结构更复杂、条款更多的 GDPR 场景，且缺乏解释性。

研究问题 4 (RQ4): Rice LRT vs. Kashif 及提示词基线 (GDPR 数据集)

• Rice LRT (GPT-4o) 表现最佳，平均召回率达到 84%，F2 分数为 61%。
• 相比最佳基线提示词，Rice LRT 的 F2 分数提升了 34 个百分点。
• 效率分析： Rice LRT 仅需分析师审查约 9.5% 的法规条款（即预测出的链接），就能覆盖 84% 的真实链接。这大大减少了人工工作量。
• 可解释性： Rice LRT 能生成详细的推理理由，帮助分析师判断链接的合理性，甚至能发现一些地面真值（Ground Truth）中未包含但具有实际意义的潜在链接。

5. 主要贡献 (Key Contributions)

1. 提出了两种自动化 LRT 方案：
   • Kashif： 基于句子变换器的分类器，证明了在特定领域微调的 ST 模型能显著优于传统统计方法和通用深度学习模型。
   • Rice LRT： 基于 Rice 框架设计的结构化提示词，利用 GPT-4o 实现了高召回率和可解释性，证明了精心设计的提示词在复杂法律场景下的优越性。
2. 构建了新的 GDPR 基准数据集： 填补了现有研究缺乏复杂、多领域 GDPR 需求可追溯性数据集的空白，包含 310 个需求与 26 条法规的标注。
3. 全面的实证评估： 对比了从传统 IR 到最新 LLM 的 7 种分类器基线和 4 种提示词基线，揭示了现有技术在处理法律 - 技术语言鸿沟时的不足。
4. 揭示了提示工程的重要性： 证明了简单的 Yes/No 提示或通用提示在 LRT 任务上效果不佳，而包含上下文、少样本示例和推理指令的复杂提示能显著提升 LLM 性能。

6. 意义与结论 (Significance & Conclusion)

• 实践意义： 该研究为软件工程师和合规专家提供了有效的自动化工具。特别是 Rice LRT 方案，能够大幅减少人工审查法规条款的时间（从审查所有 26 条减少到仅审查约 2-3 条），同时保证高覆盖率，有效降低了合规风险。
• 理论启示：
  • 法律需求可追溯性是一个特殊的 NLP 任务，通用的预训练模型或简单的微调不足以解决法律与技术文本间的深层语义鸿沟。
  • 提示工程 (Prompt Engineering) 在缺乏大量标注数据的情况下，利用 LLM 的通用推理能力，比传统的监督学习分类器更具泛化潜力。
  • 未来的 LRT 系统应结合 LLM 的推理能力和人类专家的判断（Human-in-the-loop），并针对特定法律领域进行知识增强。

总结： 本文通过对比分类器（Kashif）和提示词（Rice LRT）两种范式，证明了在复杂的法律需求可追溯性任务中，基于精心设计的提示词的大语言模型（GPT-4o）是目前最有效的解决方案，能够显著平衡召回率与人工审查成本。