技術的概要：特許表現学習のための異種依存グラフ誘導アテンション

問題定義

事前学習済み言語モデル（PLM）は、請求項を平坦なトークン列として符号化することで、特許分類および検索を進展させてきた。しかし、このアプローチは、特許請求項間に存在する本質的な有向依存階層を見落としている。特許文書において、従属請求項は先行請求項からの制限を継承し、より狭い技術的詳細を追加するため、隣接するテキストが必ずしも関連しているわけではない一方、遠く離れた請求項が依存参照を介して直接接続される構造が生じる。

現在の PLM ベースのエンコーダ（例：BERT-for-Patents、PatentBERT）はトークンレベルで動作し、意味的相関を捉えるものの、明示的な法的依存関係を符号化できていない。構造的に近接しているが無関係な請求項を混同することは、法的範囲と技術的依存関係を曖昧にする。さらに、自己アテンションに階層性を組み込むことは、以下の 2 つの具体的な課題を提示する：

1. 異種信頼性： 請求項依存関係には、信頼性が異なる関係タイプが含まれる。ノイズの多い技術的関係を、クリーンな法的引用信号と無差別に扱うことは、表現を汚染する可能性がある。
2. 粒度の不一致： 請求項レベルで定義された依存グラフは、Transformer のトークンレベルの操作と整合しない。請求項レベルの隣接性をブロードキャストすることは、無関係なトークン対にわたって構造的な情報を希薄化させる。

既存のグラフベースのアプローチは、多くの場合、構造をドキュメントレベルでの外部教師信号または補助入力として扱うにとどまり、請求項レベルの依存関係をエンコーダの表現フローに直接注入していない。

手法：PHAGE

著者は、事前学習済みエンコーダの自己アテンション機構に請求項レベルの依存構造を直接統合するモデル、**特許異種アテンション誘導グラフエンコーダ（PHAGE）**を提案する。このフレームワークは 3 つの段階で動作する：

1. 異種請求項依存グラフ（CDG）の構築

PHAGE は、ノードが請求項でエッジが依存関係を表す、決定論的かつ異種有向非巡回グラフ（DAG）$G = (V, E, \psi)$を構築する。エッジセットは、抽出の信頼性の違いを処理するために、4 つの明確な関係タイプに分類される：

• $r_{cite}$（明示的引用）： 形式的な法的参照（例：「請求項 1 の方法...」）から導出される。これらはほぼ決定論的である。
• $r_{term}$（技術用語フロー）： 技術名詞句（不定冠詞）の導入と、その後の参照（定冠詞/指示代名詞）を追跡する。
• $r_{func}$（機能的結合）： 動詞 - 目的語の三項関係（例：「結合する」、「接続する」）の構文解析を通じて機能的関係を捉える。
• $r_{both}$： 用語フローと機能的結合の両方の信号が同時に発生する場合に割り当てられ、高信頼性の信号として機能する。

グラフは、各関係タイプごとに固有の隣接行列 $\{A^{(r)}\}$ で表現され、モデルが各タイプに対して異なる重みを学習することを可能にする。

2. 関係認識アテンション機構

PHAGE は、2 つのコンポーネントを使用して、CDG を Transformer エンコーダ（具体的には BERT-for-Patents）の自己アテンション機構に注入する：

• 接続マスク（$C$）： 構造的に関連する請求項にのみアテンションを制限するハード構造ゲート。トークン対 $(u, v)$ が CDG 内の接続された請求項対に対応しない場合、アテンションスコアは $-\infty$ にマスクされる。[CLS] トークンは例外とし、ドキュメントレベルの集約を無制限に確保する。
• 学習可能な関係認識バイアス（$B^{(l)}$）： アテンションのロジットに追加される軽量な学習可能なスカラーパラメータのセット。これらのバイアスは、特定のエッジタイプ（$r \in \{r_{cite}, r_{term}, r_{func}, r_{both}\}$）と層の深さ $l$ に条件付けられる。これにより、モデルはモデル容量を大幅に増加させることなく（層あたりわずか 5 つのスカラーパラメータ）、依存関係の意味に基づいて情報フローの強度を調節できる。

3. 双粒度対照的ファインチューニング

埋め込み空間を洗練させるため、PHAGE は 2 つのレベルの教師信号を組み合わせた結合目的関数を採用する：

• ドキュメントレベル目的（$L_{doc}$）： 国際特許分類（IPC）分類体系に基づいて特許表現を整合させる対照的損失（同一小分類の特許を近づけ、異なる小分類を遠ざける）。
• 請求項レベル目的（$L_{claim}$）： CDG に基づき、この損失は請求項間のトポロジ的近接性を強制する。重要なのは、各関係タイプに学習可能な重み $w_r$ を割り当て、エッジタイプの信頼性に基づいて整合圧力を較正できるようにすることである。

最終的な損失は $L = L_{doc} + \lambda L_{claim}$ である。

主要な貢献

1. ドキュメント内請求項トポロジを帰納的バイアスとして： 著者は、請求項間の有向依存階層が、既存のエンコーダによって廃棄された情報豊富な信号であることを特定した。PHAGE は、これを補助入力として扱うのではなく、このトポロジをエンコーダの表現フローに直接注入する。
2. トポロジ注入型特許エンコーダ： 決定論的異種グラフ構築パイプラインと、接続マスクおよび学習可能な関係認識バイアスを組み合わせ、請求項レベルの依存関係を自己アテンションに統合する新規アーキテクチャ。
3. 構造的帰納的バイアスに関する実証的発見： 実験により、特許内請求項トポロジが、特許間引用構造よりも強力な帰納的バイアスを提供することが示された。さらに、学習された構造的事前分布はモデル重みに内在化され、グラフ構築を必要とせずに推論時に効果的に動作する。

実験結果

PHAGE は、CLEF-IP、USPTO-70k、DAPFAM のデータセットを用いて、特許分類、検索、クラスタリングの 3 つのタスクで評価された。評価プロトコルでは、関係認識バイアスと対照的重みのみを最適化する凍結エンコーダを使用し、ベースラインとの公平な比較を確保した。

• 分類： PHAGE は、ドメイン適応モデル（BERT-for-Patents）や引用認識モデル（PaECTER、PatEmbed）を含むすべてのベースラインを上回った。CLEF-IP において、Macro-F1 は 0.635 を達成し、BERT-for-Patents より +9.7 の大幅な改善を示した。注目すべきは、埋め込みに対して 事後 適用されたグラフニューラルネットワーク（GNN）ベースラインが性能を低下させたことで、エンコーダに構造を直接注入することが、事後処理よりも優れていることを示唆している。
• 検索： DAPFAM ベンチマークにおいて、PHAGE は NDCG@100 で 0.498 を達成し、最良の引用認識ベースライン（QaECTER、0.379）を 11.9 ポイント、BERT-for-Patents を 27.0 ポイント上回った。
• クラスタリング： PHAGE は CLEF-IP において最高値の NMI（0.653）および Homogeneity（0.704）を達成し、請求項レベルのトポロジがクラスター内純度を鋭化させることを示した。

アブレーション研究は以下のことを確認した：

• 構造的注入（CDG + アテンション）が性能向上の主要な駆動力である。
• ハード接続マスクはソフトな関係バイアスよりも重要であるが、両方が寄与する。
• 学習可能な関係重みは一貫した向上を提供し、モデルは下位層で暗黙的関係をアップウェイトし、上位層で請求項内バイアスを増幅することを学習する。

意義と主張

本論文は、特許表現学習における構造的ボトルネックが、特許間（特許間引用ネットワーク）ではなく、特許内（ドキュメント内請求項トポロジ）にあると主張する。

著者が強調する主要な発見は以下の通りである：

1. ドキュメント内構造の優位性： 特許内の依存関係のみを使用しているにもかかわらず、PHAGE は数百万の審査官検証済み特許間リンクを活用する引用認識ベースラインを上回る。これは、単一の特許内での明示的な継承と範囲の狭小化が、表現学習にとってより強力な信号を提供することを示唆している。
2. 構造的バイアスの内在化： モデルは訓練中に構造的帰納的バイアスを正常に内在化する。推論時、PHAGE はグラフ構築なしに標準的なフォワードパスとして動作するが、ほぼすべての性能向上を維持する。これにより、展開時のグラフ構築の計算オーバーヘッドが排除される。
3. 深さ方向の専門化： 学習されたバイアスは Transformer 層全体に専門化を誘起し、下位層は請求項間集約に焦点を当て、上位層は請求項内表現を洗練させる。

著者は、PHAGE が複雑な法的および技術的依存関係をモデルパラメータに内在化することで、特許分析のためのスケーラブルな解決策を提供し、推論時の外部グラフ構造の必要性を排除しながら、既存のドメイン適応および引用認識アプローチを大幅に上回る性能を発揮すると結論づけている。