Pointer-Augmented Autoregressive Generation of Patent Claims with Joint Topology and Content Decoding
本文介绍了 SPG，一种结构感知型专利生成框架，该框架通过指针头进行拓扑预测，并结合违规加权偏好目标来克服扁平自回归解码的局限性，从而显著提高了生成专利权利要求中的层级一致性和前件准确性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人写故事。通常，我们会让机器人一个词接一个词地写作，就像串起一串珠子一样。这对于简单的故事效果很好，但如果故事不是一条直线呢？如果它是一棵家族树，其中每一个新角色都必须明确知道谁是他们的父母，而且随着家族谱系的深入，故事的规则变得越来越严格呢？这就是“层级化生成”（hierarchical generation）的挑战。在人工智能领域，大多数模型非常擅长编写流畅的句子（即那些“珠子”），但在需要构建复杂结构（即那棵“树”）时，它们往往会迷失方向。它们可能会写出一个听起来完美的句子，但在逻辑上却与三个段落前写的句子相矛盾。这至关重要，因为在法律或编程等领域，一个微小的结构性错误不仅仅是一个拼写错误，它会破坏整个系统。
这篇论文解决了一个非常具体且高风险的版本：编写专利权利要求书（patent claims）。一组专利权利要求书就像是一个法律意义上的家族树。它始于一个宽泛的“独立权利要求”（祖父），然后分支成“从属权利要求”（子孙）。专利的金科玉律是：每一个从属权利要求都必须缩小其父权利要求的保护范围，就像一个不断收紧的漏斗。如果一个子权利要求不小心扩大了范围，或者忘记提及它的父权利要求，整个专利都可能被法律驳回。作者 Yongmin Yoo、Zhangkai Wu 和 Longbing Cao 发现，标准的 AI 模型即使规模非常大，也难以在编写文本时追踪这种树状结构。它们往往能把词写对，但把家族树搞错。
为了解决这个问题，研究人员构建了一个名为 SPG（结构感知专利生成，Structure-aware Patent Generation）的新系统。SPG 不仅仅是在写字，它更像是一位在创作音乐的同时也在指挥的指挥家。在 AI 开始编写一个新的从属权利要求时，它同时也会做出一个“指针”决策：“谁是我的父亲？”它指向它所属的那个特定的前序权利要求。这个决策不是事后做出的，而是在生成文字的过程中同步发生的。这迫使 AI 在生成内容的同时学习其结构。他们还增加了一条特殊规则：你在树中深入得越深，父项与子项之间的联系就必须越紧密，从而确保范围能够正确缩小。最后，他们通过展示 AI 自身的错误来教导它。由于真实的专利通常是那些“好”的、获得批准的专利，AI 必须生成它自己的“坏”草稿，并且系统学会了如果违反了大规则（例如丢失了整条分支），则比违反小错误（例如漏掉一个逗号）受到更严厉的惩罚。
结果表明，这种方法效果出奇地好。在一组专利说明书的测试集上，该系统正确识别从属权利要求父项的准确率达到了 79.0%，而这一指标甚至并未在训练过程中被显式监督。此外，与标准训练的模型相比，它将权利要求回溯文本早期部分的能力（前序一致性，antecedent consistency）从 0.292 提升到了 0.478。有趣的是，论文指出，仅仅通过扩大 AI 模型规模（从 60 亿参数增加到 1410 亿参数）并不能解决结构性问题；大型模型虽然依然流畅，但在结构上依然混乱。论文认为，秘诀不在于规模更大，而在于一种更好的方式，让 AI 在写作时能“看到”树状结构。然而，作者也谨慎地指出，这只是针对美国专利的特定测试，系统仍需人类专家在提交之前对最终输出进行审查，因为它目前尚不理解发明背后的深层法律策略。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。