💻 computer science

Adaptive Multi-Stage Patent Claim Generation with Unified Quality Assessment

本文提出了一种用于自适应多阶段专利权利要求生成的创新三阶段框架，该框架利用关系感知相似性分析、具有动态 LoRA 选择的领域自适应课程学习以及统一质量评估，在跨司法管辖区泛化、语义建模以及与人类专家评估的一致性方面显著超越了现有模型。

原作者： Chen-Wei Liang, Bin Guo, Zhen-Yuan Wei, Mu-Jiang-Shan Wang

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Chen-Wei Liang, Bin Guo, Zhen-Yuan Wei, Mu-Jiang-Shan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位大师级建筑师，正试图为一项新发明编写法律层面的“蓝图”（称为专利权利要求书）。这些蓝图极其棘手：它们必须足够精确以保护你的发明，同时又要具备足够的灵活性以涵盖所有变体。如果蓝图过于模糊，别人就会抄袭你；如果过于具体，你可能会错失保护构思的机会。

目前，尝试编写这些蓝图的计算机程序就像是只会说一种英语方言且注意力极短的机器人。它们在切换不同国家的法律体系（如美国与欧洲）时表现挣扎，难以捕捉发明与现有理念之间的微妙联系，并且不擅长自我评分。

这篇论文介绍了一种更智能的新系统，名为自适应多阶段专利权利要求生成技术。你可以将它想象成将那个机器人升级为一支由三个不同阶段组成的专业专家团队。

三阶段“专家团队”

1. 侦探（关系感知相似性分析）

问题： 旧系统以固定的微小块（Chunk）来阅读专利文档（就像读一本书时只看每一句而忽略了整个段落）。此外，它们使用简单的“相似度测量仪”，仅仅检查单词是否匹配，从而忽略了深层含义。
解决方案： 新系统就像一个拥有 8 副不同眼镜的侦探。

它不再以固定大小的块进行阅读，而是根据文本的复杂程度动态调整阅读块的大小（就像侦探根据线索放大或缩小视野，或者退后一步观察全景）。
“8 副眼镜”（专门的注意力头）会寻找特定类型的关系：这项新想法是对旧想法的“改进”吗？是“矛盾”吗？还是“等价”的？这使得系统能够理解发明的“故事”，而不仅仅是单词本身。

2. 变色龙（领域自适应权利要求生成）

问题： 一份关于新型化学药物的专利听起来与一份关于机械齿轮的专利截然不同。旧模型就像一只被困在单一颜色中的变色龙；它们试图用同一种“声音”来编写所有内容，这在切换领域（如机械与软件）或国家（美国与欧洲）时会失效。
解决方案： 该系统使用了一套动态“衣橱”适配器。

想象一下，AI 是一位可以瞬间变换装束的作家。当它看到机械发明时，它会穿上“机械适配器”以符合特定的风格。当它看到软件发明时，它会切换到“软件适配器”。
它还使用了课程学习（Curriculum Learning），这就像是一个学生老师。它从练习简单、易懂的专利开始，逐渐过渡到复杂、困难的专利。这有助于 AI 比直接被扔进深水区学习时更快、更有效地掌握知识。

3. 法官（统一质量评估）

问题： 目前，为了给一份专利评分，你可能需要五位不同的法官，每人负责一项指标（一位检查语法，一位检查逻辑，一位检查清晰度）。他们经常给出相互冲突的分数，因为他们彼此并不沟通。
解决方案： 该系统使用一个带有交叉通信网络的超级法官。

这个系统不是五个独立的法官，而是一个同时观察五个标准（完整性、清晰度、术语、逻辑和整体质量）的单一法官。
至关重要的是，法官的“眼睛”是相连的。如果法官注意到逻辑错误，该信息会立即更新其对清晰度评分的看法。这创造了一个更加一致且可靠的评分，与人类专家的判断高度吻合。

结果：它到底有多出色？

作者使用来自美国和欧洲的真实专利数据，将这个新的“专家团队”与现有的顶尖系统（包括 GPT-4o 和 Llama-3.1）进行了对比测试。

更好的写作能力： 新系统编写的专利权利要求书在准确性和可读性上显著提高。它大幅超越了 GPT-4o（在标准质量评分中领先了 7.6 分）。
更好的评分能力： 当系统对自己的工作进行评分时，它与人类专家的一致率达到了 84.7%。之前的系统一致率仅为 62%。这就像是一个靠猜题来估算成绩的学生与一个真正理解评分标准的学生的区别。
更好的迁移能力： 当系统从编写美国专利转向编写欧洲专利时，它保留了 89.4% 的性能。而旧系统的性能则下降到了 76% 左右。这就像是一个在两个国家都能流利使用当地语言的旅行者，而不是一个一过边境就会感到困惑的游客。

总结

简而言之，这篇论文展示了一种更智能的计算机编写和评分专利蓝图的方法。通过赋予计算机理解关系的专门工具、适应不同行业的装束以及一个用于评估自身工作的统一大脑，该系统生成的法律文档质量更高，且更接近人类专家的水平。

技术摘要：基于统一质量评估的自适应多阶段专利权利要求生成

1. 问题陈述

目前的自动化专利权利要求生成系统面临三个根本性的局限性，这些局限性阻碍了其在现实世界专利审查工作流中的实际部署：

跨司法管辖区泛化能力差： 现有的模型通常是在特定专利局（如 USPTO 或 EPO）的有限数据集上训练的，难以适应不同司法管辖区的不同语言和法律要求。
语义关系建模不足： 传统的相似度系统依赖于固定的标记分割（例如 512 个标记）和简单的余弦相似度。这些方法无法捕捉长程依赖关系，也无法区分权利要求与现有技术之间复杂的语义关系，例如等同、改进或矛盾。
质量评估不可靠： 当前的评估框架通常针对每个质量标准（如清晰度、完整性）采用独立的模型，导致评分机制不一致，且与人类专家判断的相关性较差。

2. 方法论

作者提出了一种创新的三阶段自适应框架，旨在通过统一的架构解决上述局限性。

第一阶段：自适应专利相似度分析

为了克服固定长度分割和简单相似度度量的限制，系统采用了：

自适应分块（Adaptive Chunking）： 系统不再使用固定大小，而是根据内容复杂度（ $\kappa$ ）动态确定分块大小（ $s$ ），其中 $\kappa$ 考虑了权利要求和附图在总标记数中的比例。大小范围在 256 到 1024 个标记之间，以保留语义边界。
关系感知多头注意力机制（Relationship-Aware Multi-Head Attention）： 系统利用具有八个专门注意力头（ $H=8$ $H = 8$ ）的多头注意力机制。与标准注意力不同，这些头经过显式训练以模拟特定的关系类型：
- 第 1–2 头：等同关系 (Equivalence)
- 第 3–4 头：改进关系 (Improvement)
- 第 5–6 头：矛盾关系 (Contradiction)
- 第 7–8 头：技术相似性 (Technical Similarity)
  这使得模型能够区分专利语境下细微的语义关系。

第二阶段：领域自适应权利要求生成

为了解决跨司法管辖区和跨领域挑战，生成模块集成了：

动态 LoRA 适配器选择： 系统将输入专利分类为五个领域之一（机械、电气、软件、化学、生物技术），并动态选择相应的低秩自适应（LoRA）适配器。这使得基础大语言模型（LLM）能够高效地调整其参数以适应特定的技术领域，而无需进行全量微调。
课程学习（Curriculum Learning）： 难度递进机制（ $\tau(t)$ ）引导训练过程经历三个阶段：简单提取、结构化生成和复杂权利要求构建。这加速了收敛并提高了鲁棒性。

第三阶段：统一质量评估

为了解决评分不一致的问题，作者使用统一多任务架构取代了独立的评估模型：

交叉注意力机制（Cross-Attention Mechanism）： 共享编码器（Longformer）处理拼接后的参考权利要求和生成的权利要求。交叉注意力应用于该共享表示与五个特定维度的查询嵌入（完整性、清晰度、术语、逻辑和整体质量）之间。这明确地模拟了不同质量维度之间的相互依赖关系。
自适应边际学习（Adaptive Margin Learning）： 系统根据专利领域动态调整质量阈值，学习构成“高质量”权利要求的领域特定标准。

3. 核心贡献

本文概述了四项主要贡献：

架构设计： 一种原则性的设计，通过自适应分块和跨司法管辖区课程学习，明确解决了固定相似度匹配约束和单领域训练偏差问题。
集成架构： 一种将关系感知相似度分析（通过专门的多头注意力）与领域自适应权利要求生成（通过动态 LoRA 选择）无缝集成的创新系统。
统一评估协议： 一个利用统一多任务评估和自适应边际学习的综合评估框架，在自动化指标和人类专家相关性方面均表现出一致的提升。
实证验证： 通过广泛的消融研究和分析见解，验证了每个架构组件的具体贡献。

4. 实验结果

该框架在 USPTO HUPD 数据集、EPO 专利集合以及 Patent-CE 基准测试上进行了评估。基础模型使用的是 Llama-3.1-8B。

性能提升：

生成质量： 所提方法在 USPTO HUPD 基准测试中实现了 52.8 的 ROUGE-L 分数，分别比 GPT-4o (45.2) 高出 7.6 分，比 PatClaimEval (48.1) 高出 4.7 分。
语义相似度： 与 Llama-3.1-8B 相比，其 BERTScore 提升了 8.3% (91.2 vs. 84.1)，BLEU 提升了 12.1%。
跨司法管辖区保留能力： 在使用 EPO 数据进行训练后测试 USPTO 数据时，该方法保持了 89.4% 的性能保留率，显著优于基准方法 (76.2%)。
质量评估相关性： 统一评估模型实现了 0.847 的人类专家判断相关性，较之使用独立评估模型的 0.623 取得了实质性的提升。

效率与训练：

课程学习方法相比标准训练实现了 15% 的收敛加速。
领域分类准确率在第 10 个 epoch 内达到了 91.3%。

5. 重要性与主张

本文将这项工作定位为自动化专利审查工作流的全面解决方案。通过建立一个在不同司法管辖区和技术领域都能保持高性能，并与人类专家评估高度一致的系统，作者声称已经解决了泛化、语义建模和可靠评估方面的关键瓶颈。

作者强调，他们的方法为未来的自动化专利处理提供了基础，特别指出统一评估框架显著增强了自动化评分的可靠性，这对于将 AI 工具集成到专业法律和技术工作流中至关重要。该工作建立在先前基准（如 Han 等人，2025）的基础上，证明了在跨司法管辖区任务中具有更优越的性能，比这些基准方法在准确率上提升了 15%。