💬 NLP

Heterogeneous Dependency Graph-Guided Attentionfor Patent Representation Learning

Dieser Beitrag stellt PHAGE vor, einen neuartigen Patent-Heterogenen-Aufmerksamkeits-Graphen-Encoder, der das Lernen von Patentrepräsentationen verbessert, indem er Abhängigkeits-Hierarchien auf Ebene der Ansprüche durch einen typisierten Graphen und eine Konnektivitätsmaske modelliert, um die Einschränkungen flacher Token-Sequenzen in vorab trainierten Sprachmodellen zu überwinden.

Ursprüngliche Autoren: Yongmin Yoo, Qiongkai Xu, Zhangkai Wu, Longbing Cao

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yongmin Yoo, Qiongkai Xu, Zhangkai Wu, Longbing Cao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes juristisches Dokument, wie etwa ein Patent, zu verstehen. Traditionell lesen Computer diese Dokumente wie einen Standardroman: Sie lesen vom ersten bis zum letzten Wort, Zeile für Zeile. Sie gehen davon aus, dass nebeneinander stehende Wörter miteinander verbunden sind, während weit voneinander entfernte Wörter keine Beziehung zueinander haben.

Das Problem: Das „flache" Missverständnis
In einem Patent ist diese „flache" Lesart eine Katastrophe. Ein Patent ist nicht nur eine Geschichte; es ist ein Abhängigkeitsbaum.

Anspruch 1 könnte lauten: „Eine Maschine mit einem Rad."
Anspruch 2 könnte lauten: „Die Maschine nach Anspruch 1, wobei das Rad aus Gummi besteht."
Anspruch 5 könnte lauten: „Die Maschine nach Anspruch 3, wobei das Rad rot ist."

Beachten Sie, dass Anspruch 5 von Anspruch 3 abhängt, nicht von dem direkt danebenstehenden (Anspruch 4). Wenn ein Computer sie in einer geraden Linie liest, gerät er in Verwirrung. Er denkt, Anspruch 5 beziehe sich auf Anspruch 4, und übersieht den entscheidenden juristischen Rückbezug zu Anspruch 3. Es ist, als würde man versuchen, einen Stammbaum zu verstehen, indem man eine Liste von Namen in alphabetischer Reihenfolge liest, anstatt zu sehen, wer der Elternteil von wem ist.

Die Lösung: PHAGE (Der „intelligente Verbindungsmechanismus")
Die Autoren haben ein neues System namens PHAGE (Patent Heterogeneous Attention-Guided Graph Encoder) entwickelt. Stellen Sie sich PHAGE als einen intelligenten Bibliothekar vor, der nicht nur das Buch liest; er zeichnet zunächst eine Karte darüber, wie die Ansprüche miteinander verbunden sind, bevor er ein einziges Wort liest.

So funktioniert PHAGE, unter Verwendung einfacher Analogien:

1. Das Zeichnen der Karte (Der heterogene Graph)

PHAGE baut zunächst einen „Claim-Abhängigkeitsgraphen" auf. Es betrachtet das Patent und zeichnet Pfeile zwischen den Ansprüchen, um zu zeigen, wer von wem abhängt.

Die „juristischen" Pfeile: Dies sind die offiziellen, unerschütterlichen Verbindungen (z. B. „Das Verfahren nach Anspruch 1..."). Der Computer behandelt diese wie eine Autobahn – sehr zuverlässig und schnell.
Die „technischen" Pfeile: Dies sind lose Verbindungen, die darauf basieren, wie Wörter verwendet werden (z. B. „ein Rad" in einem Anspruch, das zu „das Rad" in einem anderen wird). Der Computer behandelt diese wie Landstraßen – nützlich, aber möglicherweise etwas lauter.

Indem PHAGE diese in verschiedene Straßentypen unterteilt, weiß es, welche Verbindungen rechtlich bindend sind und welche nur technische Hinweise darstellen. Es behandelt einen lauten technischen Hinweis nicht gleich wie eine strikte juristische Regel.

2. Die intelligente Ampel (Connectivity Mask & Bias)

Standard-KI-Modelle (wie Transformer) sind wie ein überfüllter Raum, in dem alle gleichzeitig zu allen anderen schreien. PHAGE stellt Ampeln auf.

Die Maske (Der Türsteher): Dies ist eine harte Regel. Wenn zwei Ansprüche auf der Karte nicht verbunden sind, schaltet die Ampel auf Rot. Der Computer darf ihnen nicht zuhören. Es zwingt die KI, sich nur auf die relevanten Ansprüche zu konzentrieren.
Der Bias (Der Lautstärkeregler): Selbst wenn zwei Ansprüche verbunden sind, müssen sie möglicherweise in unterschiedlichen Lautstärken gehört werden. PHAGE verfügt über kleine „Lautstärkeregler" für jeden Verbindungstyp. Es lernt, die Lautstärke auf den „juristischen" Autobahnen zu erhöhen und die Lautstärke auf den „technischen" Landstraßen zu senken. Dies hilft dem Computer, die Stärke der Beziehung zu verstehen.

3. Lernen aus zwei Perspektiven (Dual-Granularity Training)

Um darin wirklich gut zu werden, übt PHAGE zwei verschiedene Übungen:

Übung A (Das große Ganze): Es lernt, Patente zu gruppieren, die derselben Kategorie angehören (wie „Autos" vs. „Fahrräder").
Übung B (Die Innenaufgabe): Es lernt, die interne Struktur eines einzelnen Patents zu verstehen. Es übt das Zuordnen der „Eltern"-Ansprüche zu ihren „Kind"-Ansprüchen.

Indem es beides tut, lernt die KI, dass die interne Struktur eines Patents (wie seine eigenen Ansprüche zusammenhängen) tatsächlich ein stärkerer Hinweis zum Verständnis ist als nur der Blick darauf, wie es sich auf andere Patente bezieht.

Die große Überraschung

Das interessanteste Ergebnis ist, dass die interne Karte wichtiger ist als das externe Netzwerk.
Normalerweise versuchen Forscher, der KI zu helfen, indem sie ihr zeigen, wie Millionen von Patenten sich gegenseitig zitieren (ein riesiges externes Netz). PHAGE hat festgestellt, dass man dieses massive Netz nicht braucht. Wenn man der KI einfach beibringt, den internen Stammbaum eines einzelnen Patents sehr gut zu verstehen, wird sie zu einem viel besseren Experten.

Das Beste daran: Später wird keine Karte mehr benötigt
Hier ist der Trick: PHAGE muss die Karte zeichnen, um zu lernen, wie man liest. Aber sobald es gelernt hat, braucht es die Karte nicht mehr.
Wenn Sie PHAGE ein neues Patent zur Analyse geben, muss es nicht zuerst den Graphen zeichnen. Es hat das Muster, wie Ansprüche zusammenhängen, bereits „auswendig gelernt". Es läuft einfach normal durch den Text, aber sein Gehirn ist nun so verdrahtet, dass es automatisch weiß, welche Ansprüche zusammenhängen, auch ohne die visuelle Karte.

Zusammenfassung:
PHAGE ist ein Patentleser, der aufhört, in einer geraden Linie zu lesen. Stattdessen lernt es, den verborgenen „Stammbaum" in jedem Patent zu sehen. Es lernt, zwischen strikten juristischen Regeln und losen technischen Hinweisen zu unterscheiden, und sobald es diese Fähigkeit erlernt hat, kann es jedes neue Patent sofort lesen, ohne zuvor ein Diagramm zeichnen zu müssen.

Technische Zusammenfassung: Heterogene, von Abhängigkeitsgraphen geleitete Aufmerksamkeit für das Repräsentationslernen von Patenten

Problemstellung

Vorab trainierte Sprachmodelle (PLMs) haben die Patentklassifizierung und -suche vorangebracht, indem sie Ansprüche als flache Token-Sequenzen kodieren. Dieser Ansatz übersieht jedoch die inhärente gerichtete Abhängigkeits-Hierarchie zwischen Patentansprüchen. In Patentdokumenten erben abhängige Ansprüche Einschränkungen von vorangehenden Ansprüchen und fügen spezifischere technische Details hinzu, wodurch eine Struktur entsteht, bei der benachbarter Text nicht notwendigerweise zusammenhängt, während entfernte Ansprüche über Abhängigkeitsverweise direkt verbunden sein können.

Aktuelle PLM-basierte Encoder (z. B. BERT-for-Patents, PatentBERT) arbeiten auf Token-Ebene, erfassen semantische Korrelationen, kodieren jedoch keine expliziten rechtlichen Abhängigkeiten. Diese Vermischung strukturell benachbarter, aber inhaltlich nicht verwandter Ansprüche verwischt den rechtlichen Schutzumfang und die technischen Abhängigkeiten. Darüber hinaus stellt die Integration von Hierarchien in die Selbst-Aufmerksamkeit zwei spezifische Herausforderungen:

Heterogene Zuverlässigkeit: Anspruchsabhängigkeiten beinhalten Relationstypen mit unterschiedlicher Zuverlässigkeit. Die unkritische Behandlung verrauschter technischer Relationen zusammen mit sauberen rechtlichen Zitier-Signalen kann die Repräsentation verfälschen.
Granularitäts-Mismatch: Wenn Abhängigkeitsgraphen über Ansprüche definiert sind, stimmen sie nicht mit der token-level Operation von Transformern überein. Das Ausbreiten von Nachbarschaften auf Anspruchs-Ebene kann strukturelle Informationen über nicht verwandte Token-Paare verwässern.

Bestehende graphenbasierte Ansätze behandeln Struktur oft als externe Überwachung oder als zusätzlichen Input auf Dokumentenebene, anstatt anspruchsspezifische Abhängigkeiten direkt in den Repräsentationsfluss des Encoders zu injizieren.

Methodik: PHAGE

Die Autoren schlagen den Patent Heterogeneous Attention-Guided Graph Encoder (PHAGE) vor, ein Modell, das die anspruchsspezifische Abhängigkeitsstruktur direkt in den Selbst-Aufmerksamkeitsmechanismus eines vorab trainierten Encoders integriert. Das Framework arbeitet in drei Stufen:

1. Konstruktion des heterogenen Anspruchs-Abhängigkeitsgraphen (CDG)

PHAGE konstruiert einen deterministischen, heterogenen gerichteten azyklischen Graphen (DAG) $G = (V, E, \psi)$ , wobei Knoten Ansprüche sind und Kanten Abhängigkeiten darstellen. Die Kantenmenge ist in vier verschiedene Relationstypen kategorisiert, um unterschiedliche Extraktionszuverlässigkeiten zu handhaben:

$r_{cite}$ (Explizite Zitierung): Abgeleitet von formellen rechtlichen Referenzen (z. B. „Das Verfahren nach Anspruch 1..."). Diese sind nahezu deterministisch.
$r_{term}$ (Technischer Term-Fluss): Verfolgt die Einführung technischer Nominalphrasen (unbestimmte Artikel) und deren nachfolgende Referenzierung (bestimmte Artikel/Demonstrativa).
$r_{func}$ (Funktionale Kopplung): Erfasst funktionale Beziehungen durch syntaktische Analyse von Verb-Objekt-Tripletts (z. B. „koppeln", „verbinden").
$r_{both}$ : Wird zugewiesen, wenn sowohl Term-Fluss- als auch funktionale-Kopplungssignale gemeinsam auftreten, und dient als Signal hoher Konfidenz.

Der Graph wird durch distinkte Adjazenzmatrizen $\{A^{(r)}\}$ für jeden Relationstyp repräsentiert, was dem Modell ermöglicht, differenzielle Gewichte für jeden Typ zu lernen.

2. Relationsbewusster Aufmerksamkeitsmechanismus

PHAGE injiziert den CDG in den Selbst-Aufmerksamkeitsmechanismus eines Transformer-Encoders (speziell BERT-for-Patents) unter Verwendung zweier Komponenten:

Konnektivitäts-Maske ( $C$ ): Ein harter struktureller Gate, der die Aufmerksamkeit auf strukturell verwandte Ansprüche beschränkt. Wenn ein Token-Paar $(u, v)$ keinem verbundenen Anspruchspaar im CDG entspricht, wird der Aufmerksamkeitswert auf $-\infty$ maskiert. Der [CLS]-Token ist ausgenommen, um eine uneingeschränkte Aggregation auf Dokumentenebene sicherzustellen.
Lernbarer relationsbewusster Bias ( $B^{(l)}$ ): Eine leichte Menge lernbarer skalare Parameter, die zu den Attention-Logits addiert werden. Diese Biases sind vom spezifischen Kantentyp ( $r \in \{r_{cite}, r_{term}, r_{func}, r_{both}\}$ ) und der Schichttiefe $l$ abhängig. Dies ermöglicht dem Modell, die Stärke des Informationsflusses basierend auf der Semantik der Abhängigkeit zu modulieren, ohne die Modellkapazität signifikant zu erhöhen (nur 5 skalare Parameter pro Schicht).

3. Dual-Granularitäts-Kontrastives Fine-Tuning

Um den Embedding-Raum zu verfeinern, verwendet PHAGE eine gemeinsame Zielfunktion, die zwei Überwachungsebenen kombiniert:

Dokumenten-Level-Ziel ( $L_{doc}$ ): Aligniert Patentrepräsentationen basierend auf der Internationalen Patentklassifikation (IPC)-Taxonomie unter Verwendung eines Kontrastverlusts (Ziehen von Patenten derselben Unterklasse zusammen, Schieben verschiedener Unterklassen auseinander).
Anspruchs-Level-Ziel ( $L_{claim}$ ): Fundiert im CDG, erzwingt dieser Verlust topologische Nähe zwischen Ansprüchen. Entscheidend ist, dass er lernbare Gewichte $w_r$ für jeden Relationstyp zuweist, was dem Modell erlaubt, den Alignierungsdruck basierend auf der Zuverlässigkeit des Kantentyps zu kalibrieren.

Der finale Verlust ist $L = L_{doc} + \lambda L_{claim}$ .

Hauptbeiträge

Intra-dokumentare Anspruchstopologie als induktiver Bias: Die Autoren identifizieren, dass die gerichtete Abhängigkeits-Hierarchie zwischen Ansprüchen ein informatives Signal ist, das von bestehenden Encoren verworfen wird. PHAGE injiziert diese Topologie direkt in den Repräsentationsfluss des Encoders, anstatt sie als zusätzlichen Input zu behandeln.
Topologie-injizierter Patent-Encoder: Eine neuartige Architektur, die eine deterministische heterogene Graph-Konstruktionspipeline mit einer Konnektivitäts-Maske und lernbaren relationsbewussten Biases kombiniert, um anspruchsspezifische Abhängigkeiten in die Selbst-Aufmerksamkeit zu integrieren.
Empirische Erkenntnis zu strukturellem induktivem Bias: Experimente zeigen, dass die intra-patente Anspruchstopologie einen stärkeren induktiven Bias liefert als inter-patente Zitationsstrukturen. Darüber hinaus werden die erlernten strukturellen Priors in die Modellgewichte internalisiert, sodass das Modell während der Inferenz effektiv arbeitet, ohne dass ein Graph konstruiert werden muss.

Experimentelle Ergebnisse

PHAGE wurde in drei Aufgaben bewertet: Patentklassifizierung, -suche und -clustering, unter Verwendung der Datensätze CLEF-IP, USPTO-70k und DAPFAM. Das Evaluierungsprotokoll verwendete einen eingefrorenen Encoder, wobei nur die relationsbewussten Biases und Kontrastgewichte optimiert wurden, um einen fairen Vergleich mit Baselines zu gewährleisten.

Klassifizierung: PHAGE übertraf alle Baselines, einschließlich domainsadaptierter Modelle (BERT-for-Patents) und zitierungsbewusster Modelle (PaECTER, PatEmbed). Auf CLEF-IP erreichte es ein Macro-F1 von 0,635, eine signifikante Verbesserung von +9,7 gegenüber BERT-for-Patents. Bemerkenswerterweise verschlechterten Graph Neural Network (GNN)-Baselines, die post-hoc auf Embeddings angewendet wurden, die Leistung, was darauf hindeutet, dass das direkte Injizieren von Struktur in den Encoder der Nachverarbeitung überlegen ist.
Suche: Auf dem DAPFAM-Benchmark erreichte PHAGE einen NDCG@100 von 0,498 und übertraf die beste zitierungsbewusste Baseline (QaECTER, 0,379) um 11,9 Punkte und BERT-for-Patents um 27,0 Punkte.
Clustering: PHAGE erreichte die höchste NMI (0,653) und Homogenität (0,704) auf CLEF-IP, was darauf hindeutet, dass die anspruchsspezifische Topologie die Reinheit innerhalb der Cluster schärft.

Ablationsstudien bestätigten, dass:

Die strukturelle Injektion (CDG + Aufmerksamkeit) der Haupttreiber für Leistungssteigerungen ist.
Die harte Konnektivitäts-Maske kritischer ist als der weiche relationsbasierte Bias, obwohl beide beitragen.
Lernbare Relationsgewichte konsistente Gewinne liefern, wobei das Modell lernt, implizite Relationen in unteren Schichten hochzuwichten und intra-anspruchsspezifische Biases in oberen Schichten zu verstärken.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der strukturelle Engpass im Repräsentationslernen von Patenten innerhalb von Patenten (intra-dokumentare Anspruchstopologie) liegt und nicht zwischen ihnen (inter-patente Zitationsnetzwerke).

Von den Autoren hervorgehobene Schlüsselerkenntnisse umfassen:

Überlegenheit der intra-dokumentaren Struktur: Trotz der Verwendung nur von Abhängigkeiten innerhalb des Patents übertrifft PHAGE zitierungsbewusste Baselines, die Millionen von prüferverifizierten patentübergreifenden Links nutzen. Dies deutet darauf hin, dass die explizite Vererbung und Verengung des Schutzumfangs innerhalb eines einzelnen Patents ein potenteres Signal für das Repräsentationslernen liefert.
Internalisierung des strukturellen Bias: Das Modell internalisiert den strukturellen induktiven Bias erfolgreich während des Trainings. Während der Inferenz arbeitet PHAGE als standardmäßiger Vorwärtsdurchlauf ohne Graphkonstruktion, behält jedoch nahezu alle Leistungssteigerungen bei. Dies eliminiert den Rechenaufwand für die Graphkonstruktion während des Einsatzes.
Tiefen-spezifische Spezialisierung: Die erlernten Biases induzieren eine Spezialisierung über Transformer-Schichten hinweg, wobei sich untere Schichten auf die Aggregation über Ansprüche hinweg konzentrieren und obere Schichten Repräsentationen innerhalb von Ansprüchen verfeinern.

Die Autoren schließen, dass PHAGE eine skalierbare Lösung für die Patentanalyse bietet, indem es komplexe rechtliche und technische Abhängigkeiten in die Modellparameter internalisiert, die Notwendigkeit externer Graphstrukturen während der Inferenz beseitigt und gleichzeitig bestehende domainsadaptierte und zitierungsbewusste Ansätze deutlich übertrifft.