Pointer-Augmented Autoregressive Generation of Patent Claims with Joint Topology and Content Decoding

技術要約：ポインタ拡張型自己回帰による特許請求の範囲の生成：結合されたトポロジーおよびコンテンツ・デコーディング

問題提起
自己回帰型言語モデルは、テキストを平坦なトークン列として生成するため、出力セグメント間の階層関係を推論するための明示的なメカニズムを欠いている。この限界は、特許請求の範囲（クレーム）の生成において顕著である。クレーム集合は「クレーム依存フォレスト（Claim Dependency Forest）」を形成するからである。この構造において、独立クレームはツリーの根となり、従属クレームは階層的な参照を通じて先行するクレームを引用しなければならない。決定的なことに、この階層構造には法定上の制約が伴う。すなわち、保護の範囲は深さとともに単調に狭まらなければならない。この制約（例：従属クレームが親クレームの範囲を広げてしまう、あるいは有効な先行詞への引用に失敗するなど）に従わないことは、特許庁による拒絶の根拠となる。

既存のアプローチは、主に以下の3つの制限に苦しんでいる。

1. アーキテクチャの分離： 標準的な自己回帰デコーディングは非線形な親子依存関係をモデル化できず、しばしば壊れた依存関係の連鎖を生じさせる。トポロジーをコンテンツから隔離して予測する方法や、表面的な文法のみを強制する方法は、内容の整合性と共に、従属クレミの語彙が親の範囲を反映していることを保証できない。
2. スコープの正規化の欠如： 既存の手法には、依存関係が深まるにつれてスコープが狭まるという法定要件に対する帰納バイアスが存在しない。そのため、モデルが親の範囲を不注意に広げたり、矛盾したりする従属クレームを生成してしまう。
3. 負の信号の不在： これらの制約にモデルを適合させるには、不備のある出力の対照的な例が必要である。しかし、公開されている特許コーパスはほぼすべてが登録済みの申請書で構成されており、モデルが学習するための「負の信号（欠陥のあるフォレスト）」が存在しない。

手法：SPG (Structure-aware Patent Generation)
著者らは、トポロジーを自己回帰パスの内部で予測するフレームワークであるSPGを提案する。これにより、あるクレームのトークンを放出している表現が、そのクレームがどこに付着するかを決定する表現と同じであることを保証する。本フレームワークは2段階で動作する。

• ステージ I：構造認識学習

  • ポインタ拡張型デコーディング： 自己回帰デコーダーはポインタヘッドによって拡張される。各従属クレームの開始デリミタにおいて、このヘッドは先行するクレームの集合から親を選択する。決定的なことに、このポインタはトークン予測に使用されるものと同じ隠れ状態を読み取る。これにより、ポインタによる親選択タスクからの勾配がデコーダーの表現を再形成することを可能にし、デコーダーを本質的にトポロジー認識型にする。
  • 補助的目的関数：
    • 構造一貫性損失： クロスエントロピー損失を用いて、ポインタによる親選択を正解のリンクに対して監督する。
    • 階層的スコープ正規化： 深さに応じたマージン制約により、従属クレームの表現が親の表現の近くに留まるよう促す。許容される距離の半径は深さとともに幾何級数的に縮小し、深さが増すにつれてスコープが狭まるという法定要件を強制する。

• ステージ II：法的選好最適化 (LPO)

  • ステージIのポリシーから異なる温度設定でサンプリングすることにより、登録済み特許コーパスにおける負の信号の欠如に対処する、不備のある候補を合成する。
  • 決定論的なスコアリング関数（PatentScorerule）が、クレーム数、構造的パターン、先行詞の一貫性、長さ、および内容の重複に基づいてこれらの候補を評価する。
  • 違反重み付け目的関数： すべての選好ペアを等しく扱う標準的な直接選好最適化（DPO）とは異なり、SPGは拒絶されたサンプルにおける不備の深刻度に基づいて対照的損失をスケーリングする。これにより、モデルが欠落したセミコロンを、欠落したサブツリー全体と同じペナルティとして扱ってしまうような「モード崩壊」を防ぐ。

主な貢献

1. 結合デコーディング： ポインタヘッドが自己回帰パス内で親の依存関係を予測することで、別途のパース工程を経ることなく、トポロジーとコンテンツを単一のフォワードパスで学習することを可能にする。
2. スコープ正規化： 幾何学的に減衰する半径を持つ深さ適応型マージンが、深さが増すにつれて親子の結合を緊密にし、ポインタ目的によって特定された特定のペアに対して作用する。
3. 深刻度認識型アライメント： 拒絶されたサンプルの不備に基づいて選好ペアをスケーリングすることで、構造化生成タスクにおけるモード崩壊（一様な重み付けによって誘発される失敗モード）を回避する。
4. 経験的解離： 本研究は、構造的遵守がパラメータサイズやドメイン事前学習によってスケールしないことを実証している。6Bから141Bのパラメータを持つモデルは、明示的な帰納バイアスがない限り階層的な能力を学習できない一方で、流暢性は自然にスケールする。

結果
Llama-3-8B-InstructをバックボーンとしてHUPD-DCGデータセットで評価した結果：

• 構造的正確性： SPGは、訓練報酬によって直接監督されていない指標である「依存エッジ精度（Dependency-Edge Accuracy）」において、正解の親リンクの79.0%を復元した。
• 参照一貫性： モデルは先行詞の一貫性（AC）を、監督学習ベースラインの0.292から0.478に向上させた。これは、深いツリー構造における参照の解決能力が向上したことを示している。
• 流暢性： モデルは、微調整されたモデルの中で最高水準のBLEU（37.66）およびROUGE-1（64.18）スコアを達成し、監督学習ベースラインと同等の流暢さを維持しつつ、構造的指標において大幅に上回った。
• 専門家評価： 2名の特許実務家が、フルモデルを監督学習ベースライン（3.52）およびゼロショットベースラインよりも有意に高い総合評価（4.05）で評価し、自動評価指標の妥当性を裏付けた。
• スケーリング則： モデルサイズを6Bから141Bに増やしても流暢性は向上したが、構造的パターンスコアは向上しなかった。これは、階層的な能力には容量ではなく、明示的なアーキテクチャ的バイアスが必要であることを裏付けている。

意義および主張
本論文は、出力が強制力のある構造（法的またはプログラム的）を伴う生成タスクにおいては、構造的決定は事後的に処理したり表面的な制約として扱うのではなく、生成プロセスの中に統合されなければならないと主張している。著者らは以下の3つの知見を提示している：

1. 規模は構造的監督の代わりにはならない： 隣接しないセグメント間の関係を伴うタスクでは、モデルサイズを大きくする前に、明示的な構造メカニズムが必要である。
2. 選好最適化には深刻度認識型の重み付けが必要である： 構造化生成において、不備は互換性のあるものではない。違反の深刻度によって勾配を重み付けすることが、崩壊を防ぐために必要である。
3. 構造とコンテンツは時間的に分離されている方が良い： 構造的な足場を先に制約し（ステージI）、その後にその足場の中でコンテンツを最適化する（ステージII）ことは、競合する目的関数を同時にバランスさせるよりも優れた結果をもたらす。

著者らは、システムは特許専門家を支援することを目的としており、専門家のレビューを必要とすることを述べ、自らの主張に対して謙虚な姿勢を保っている。また、管轄区域固有の依存ルール（例：EPOの複数依存 vs USPTPの単一親依存）や、評価が有意性検定なしの単一実行に基づいていることなどの限界も認めている。本研究は、厳密にクレームのテキストと依存構造に焦意しており、より広範な特許起案戦略（新規性の議論など）は対象外としている。