💬 NLP

Heterogeneous Dependency Graph-Guided Attentionfor Patent Representation Learning

本文介绍了 PHAGE，一种新型专利异构注意力图编码器，它通过类型化图和连接掩码对权利要求级别的依赖层次结构进行建模，从而增强专利表示学习，以克服预训练语言模型中扁平化令牌序列的局限性。

原作者： Yongmin Yoo, Qiongkai Xu, Zhangkai Wu, Longbing Cao

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Yongmin Yoo, Qiongkai Xu, Zhangkai Wu, Longbing Cao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图理解一份复杂的法律文件，比如一项专利。传统上，计算机阅读这些文件就像阅读一本标准小说：它们从第一个词读到最后一个词，逐行进行。它们假设相邻的词是相关的，而相距较远的词则不相关。

问题：“扁平化”的误解
在专利中，这种“扁平化”的阅读方式是一场灾难。专利不仅仅是一个故事；它是一个依赖树。

权利要求 1 可能写道：“一种带有轮子的机器。”
权利要求 2 可能写道：“权利要求 1 所述的机器，其中轮子由橡胶制成。”
权利要求 5 可能写道：“权利要求 3 所述的机器，其中轮子是红色的。”

请注意，权利要求 5 依赖于权利要求 3，而不是紧挨着它的（权利要求 4）。如果计算机按直线顺序阅读，它就会感到困惑。它会认为权利要求 5 与权利要求 4 相关，从而错过了回到权利要求 3 的关键法律联系。这就像试图通过按字母顺序阅读姓名列表来理解家谱，而不是看清谁是谁的父母。

解决方案：PHAGE（“智能连接器”）
作者创建了一个名为 PHAGE（专利异构注意力引导图编码器）的新系统。将 PHAGE 想象成一位聪明的图书管理员，它不仅仅是读书；在读取任何一个词之前，它首先绘制一张地图，展示各项权利要求是如何相互连接的。

以下是 PHAGE 的工作原理，使用简单的类比：

1. 绘制地图（异构图）

PHAGE 首先构建一个“权利要求依赖图”。它查看专利，并在各项权利要求之间绘制箭头，以显示谁依赖于谁。

“法律”箭头：这些是官方的、坚如磐石的链接（例如，“权利要求 1 所述的方法……"）。计算机将这些视为高速公路——非常可靠且快速。
“技术”箭头：这些是基于词语用法的较松散链接（例如，一项权利要求中的“一个轮子”在另一项权利要求中变为“该轮子”）。计算机将这些视为本地道路——有用，但可能稍微嘈杂一些。

通过将这两类连接分离为不同类型的道路，PHAGE 知道哪些连接具有法律约束力，哪些仅仅是技术提示。它不会将嘈杂的技术提示与严格的法律规则等同对待。

2. 智能交通灯（连接掩码与偏置）

标准人工智能模型（如 Transformer）就像一个拥挤的房间，每个人同时向其他人喊叫。PHAGE 设置了交通灯。

掩码（守门人）：这是一条硬性规则。如果两项权利要求在地图上未连接，交通灯就会变红。计算机被禁止倾听它们。这迫使人工智能只关注相关的权利要求。
偏置（音量旋钮）：即使两项权利要求已连接，它们也可能需要以不同的音量被听到。PHAGE 为每种类型的连接配备了小小的“音量旋钮”。它学会调高“法律”高速公路的音量，并调低“技术”本地道路的音量。这有助于计算机理解关系的强度。

3. 从两个角度学习（双粒度训练）

为了在此方面变得非常擅长，PHAGE 练习两种不同的训练：

训练 A（大局观）：它学习将属于同一类别的专利分组（例如“汽车”与“自行车”）。
训练 B（内部作业）：它学习理解单个专利的内部结构。它练习将“父”权利要求与其“子”权利要求进行匹配。

通过同时进行这两项训练，人工智能了解到，专利的内部结构（其自身权利要求之间的关系）实际上比仅仅观察它如何与其他专利相关联，是理解该专利的更强线索。

最大的惊喜

最有趣的发现是，内部地图比外部网络更重要。
通常，研究人员试图通过向人工智能展示数百万项专利如何相互引用（一个巨大的外部网络）来提供帮助。PHAGE 发现，你不需要那个庞大的网络。如果你只是教会人工智能非常透彻地理解单个专利的内部家谱，它就会成为一个更优秀的专家。

最棒的部分：之后不再需要地图

这里是魔法所在：PHAGE 需要绘制地图来学习如何阅读。但一旦它学会了，它就不再需要地图了。
当你给 PHAGE 一项新专利进行分析时，它不需要先绘制图。它已经“记住”了权利要求如何连接的图案。它只是正常地遍历文本，但它的大脑现在已布线，能够自动知道哪些权利要求是相关的，即使没有可视化的地图。

总结：
PHAGE 是一个不再按直线阅读的专利阅读器。相反，它学会看到每项专利内部隐藏的“家谱”。它学会区分严格的法律规则与松散的技术提示，一旦它掌握了这项技能，它就能立即阅读任何新专利，而无需先绘制图表。

技术摘要：用于专利表示学习的异构依赖图引导注意力机制

问题陈述

预训练语言模型（PLMs）通过将权利要求编码为扁平的令牌序列，推动了专利分类和检索的发展。然而，这种方法忽视了专利权利要求之间固有的有向依赖层次结构。在专利文档中，从属权利要求继承前序权利要求的限制并添加更窄的技术细节，形成了一种相邻文本未必相关、而远距离权利要求可能通过依赖引用直接相连的结构。

当前基于 PLM 的编码器（如 BERT-for-Patents、PatentBERT）在令牌层面运行，捕捉语义相关性，但未能编码显式的法律依赖关系。这种将结构上邻近但无关的权利要求混为一谈的做法，模糊了法律范围和技术依赖。此外，将层次结构融入自注意力机制面临两个具体挑战：

异构可靠性：权利要求依赖涉及可靠性各异的关联类型。若不加区分地将嘈杂的技术关系与干净的法律引用信号同等对待，会破坏表示质量。
粒度不匹配：当在权利要求层面定义依赖图时，其与 Transformer 的令牌级操作不一致。广播权利要求层面的邻接关系会稀释无关令牌对之间的结构信息。

现有的基于图的方法通常将结构视为文档层面的外部监督或辅助输入，而非将权利要求层面的依赖直接注入编码器的表示流中。

方法论：PHAGE

作者提出了专利异构注意力引导图编码器（PHAGE），该模型将权利要求层面的依赖结构直接集成到预训练编码器的自注意力机制中。该框架分为三个阶段运行：

1. 异构权利要求依赖图（CDG）的构建

PHAGE 构建了一个确定性的异构有向无环图（DAG） $G = (V, E, \psi)$ ，其中节点为权利要求，边表示依赖关系。边集被划分为四种不同的关系类型，以处理不同的提取可靠性：

$r_{cite}$ （显式引用）：源自正式法律引用（例如“权利要求 1 的方法……"）。这些几乎是确定性的。
$r_{term}$ （技术术语流）：追踪技术名词短语（不定冠词）的引入及其后续指代（定冠词/指示代词）。
$r_{func}$ （功能耦合）：通过动词 - 宾语三元组的句法解析捕捉功能关系（例如“耦合”、“连接”）。
$r_{both}$ ：当术语流和功能耦合信号同时出现时分配，作为高置信度信号。

该图由每种关系类型对应的独立邻接矩阵 $\{A^{(r)}\}$ 表示，使模型能够为每种类型学习不同的权重。

2. 关系感知注意力机制

PHAGE 利用两个组件将 CDG 注入 Transformer 编码器（具体为 BERT-for-Patents）的自注意力机制中：

连通性掩码（ $C$ ）：一种硬性结构门控，限制注意力仅关注结构上相关的权利要求。如果令牌对 $(u, v)$ 不对应 CDG 中相连的权利要求对，则注意力分数被掩码为 $-\infty$ 。[CLS] 令牌除外，以确保无约束的文档级聚合。
可学习的关系感知偏置（ $B^{(l)}$ ）：一组轻量级的可学习标量参数，添加到注意力 logits 中。这些偏置以特定边类型（ $r \in \{r_{cite}, r_{term}, r_{func}, r_{both}\}$ ）和层深度 $l$ 为条件。这使得模型能够根据依赖语义调节信息流的强度，而无需显著增加模型容量（每层仅增加 5 个标量参数）。

3. 双粒度对比微调

为了细化嵌入空间，PHAGE 采用结合两个监督级别的联合目标函数：

文档级目标（ $L_{doc}$ ）：基于国际专利分类（IPC）分类法，利用对比损失对齐专利表示（将同一子类的专利拉近，将不同子类的专利推远）。
权利要求级目标（ $L_{claim}$ ）：基于 CDG，该损失强制权利要求之间的拓扑邻近性。关键在于，它为每种关系类型分配可学习权重 $w_r$ ，使模型能够根据边类型的可靠性校准对齐压力。

最终损失为 $L = L_{doc} + \lambda L_{claim}$ 。

主要贡献

作为归纳偏置的文档内权利要求拓扑：作者指出，权利要求之间的有向依赖层次结构是现有编码器丢弃的有用信号。PHAGE 直接将此拓扑注入编码器的表示流中，而非将其视为辅助输入。
拓扑注入式专利编码器：一种新颖架构，结合了确定性异构图构建流程、连通性掩码和可学习的关系感知偏置，将权利要求层面的依赖集成到自注意力中。
关于结构归纳偏置的实证发现：实验表明，专利内权利要求拓扑比专利间引用结构提供了更强的归纳偏置。此外，学习到的结构先验被内化到模型权重中，使模型在推理时无需构建图即可有效运行。

实验结果

PHAGE 在专利分类、检索和聚类三个任务上进行了评估，使用了 CLEF-IP、USPTO-70k 和 DAPFAM 数据集。评估协议采用冻结编码器，仅优化关系感知偏置和对比权重，以确保与基线的公平比较。

分类：PHAGE 优于所有基线，包括领域自适应模型（BERT-for-Patents）和感知引用的模型（PaECTER, PatEmbed）。在 CLEF-IP 上，其 Macro-F1 达到 0.635，较 BERT-for-Patents 显著提升 +9.7。值得注意的是，应用于嵌入的图神经网络（GNN）基线事后处理导致性能下降，表明将结构直接注入编码器优于后处理。
检索：在 DAPFAM 基准测试中，PHAGE 的 NDCG@100 达到 0.498，优于最佳感知引用基线（QaECTER, 0.379）11.9 个百分点，优于 BERT-for-Patents 27.0 个百分点。
聚类：PHAGE 在 CLEF-IP 上取得了最高的 NMI（0.653）和同质性（0.704），表明权利要求层面的拓扑提高了簇内纯度。

消融研究证实：

结构注入（CDG + 注意力）是性能提升的主要驱动力。
硬性连通性掩码比软性关系偏置更为关键，尽管两者均有贡献。
可学习的关系权重提供了持续的提升，模型学会在较低层上调权隐式关系，并在较高层放大权利要求内的偏置。

意义与主张

该论文主张，专利表示学习的结构瓶颈在于专利内部（文档内权利要求拓扑），而非专利之间（专利间引用网络）。

作者强调的关键发现包括：

文档内结构的优越性：尽管仅使用专利内的依赖关系，PHAGE 仍超越了利用数百万审查员验证的跨专利链接的感知引用基线。这表明单个专利内显式的继承和范围缩小为表示学习提供了更强大的信号。
结构偏置的内化：模型在训练过程中成功内化了结构归纳偏置。在推理时，PHAGE 作为标准的前向传播运行，无需构建图，却保留了几乎所有的性能提升。这消除了部署期间构建图的计算开销。
深度特异性：学习到的偏置诱导了 Transformer 各层的特异性，较低层专注于跨权利要求聚合，而较高层则细化权利要求内的表示。

作者总结道，PHAGE 通过将复杂的法律和技术依赖内化到模型参数中，为专利分析提供了一种可扩展的解决方案，在推理阶段无需外部图结构，同时显著优于现有的领域自适应和感知引用的方法。