Technische Samenvatting: Heterogene Afhankelijkheidsgraf-Gestuurde Aandacht voor Octrooirepresentatieleren

Probleemstelling

Voortraingtaalde taalmodellen (PLM's) hebben octrooiclassificatie en -retrieval verbeterd door conclusies te coderen als vlakke tokenreeksen. Deze aanpak negeert echter de inherente gerichte afhankelijkheidshiërarchie tussen octrooiconclusies. In octrooidocumenten erven afhankelijke conclusies beperkingen van voorgaande conclusies over en voegen ze bredere technische details toe, waardoor een structuur ontstaat waarbij aangrenzende tekst niet noodzakelijk gerelateerd is, terwijl verre conclusies rechtstreeks verbonden kunnen zijn via afhankelijkheidsverwijzingen.

Huidige op PLM's gebaseerde encoders (bijv. BERT-for-Patents, PatentBERT) werken op token-niveau, vangen semantische correlaties op maar falen in het coderen van expliciete juridische afhankelijkheden. Deze vermenging van structureel nabije maar niet-gerelateerde conclusies vervaagt de juridische reikwijdte en technische afhankelijkheden. Bovendien stelt het integreren van hiërarchie in self-attention twee specifieke uitdagingen:

1. Heterogene Betrouwbaarheid: Concluzie-afhankelijkheden omvatten relatietypes met variërende betrouwbaarheid. Het indiscriminaat behandelen van ruisachtige technische relaties met schone juridische citatiesignalen kan de representatie corrumperen.
2. Granulariteitsmismatch: Wanneer afhankelijkheidsgrafen worden gedefinieerd over conclusies, sluiten ze niet aan bij de token-niveau werking van Transformers. Het uitspreiden van conclusie-niveau adjacentie kan structurele informatie verdunnen over niet-gerelateerde tokenparen.

Bestaande op grafen gebaseerde benaderingen behandelen structuur vaak als externe supervisie of aanvullende invoer op documentniveau, in plaats van conclusie-niveau afhankelijkheden direct in de representatiestroom van de encoder te injecteren.

Methodologie: PHAGE

De auteurs stellen de Patent Heterogeneous Attention-Guided Graph Encoder (PHAGE) voor, een model dat conclusie-niveau afhankelijkheidsstructuur direct integreert in het self-attention-mechanisme van een voortraingtaalde encoder. Het kader werkt in drie fasen:

1. Constructie van Heterogene Conclusie-Afhankelijkheidsgraf (CDG)

PHAGE construeert een deterministische, heterogene gerichte acyclische graf (DAG) $G = (V, E, \psi)$ waarbij knopen conclusies zijn en randen afhankelijkheden voorstellen. De randset wordt gecategoriseerd in vier distincte relatietypes om variërende extractiebetrouwbaarheid te hanteren:

• $r_{cite}$ (Expliciet Citeren): Afgeleid van formele juridische verwijzingen (bijv. "De werkwijze van conclusie 1..."). Deze zijn bijna-deterministisch.
• $r_{term}$ (Technische Termstroom): Traceert de introductie van technische zelfstandig naamwoordfrases (onbepaalde lidwoorden) en hun daaropvolgende verwijzing (bepaalde lidwoorden/demonstrativa).
• $r_{func}$ (Functionele Koppeling): Vangt functionele relaties via syntactische parsing van werkwoord-object tripletten (bijv. "koppelen", "verbinden").
• $r_{both}$: Toegewezen wanneer zowel termstroom- als functionele-koppelingsignalen gelijktijdig optreden, dienend als een hoogbetrouwbaar signaal.

De graf wordt weergegeven door distincte adjacentiematrices $\{A^{(r)}\}$ voor elk relatietype, waardoor het model differentiële gewichten voor elk kan leren.

2. Relatie-bewuste Aandachtmechanisme

PHAGE injecteert de CDG in het self-attention-mechanisme van een Transformer-encoder (specifiek BERT-for-Patents) met behulp van twee componenten:

• Connectiviteitsmasker ($C$): Een harde structurele poort die aandacht beperkt tot structureel gerelateerde conclusies. Als een tokenpaar $(u, v)$ niet overeenkomt met een verbonden conclusiepaar in de CDG, wordt de attentiescore gemaskeerd naar $-\infty$. Het [CLS]-token is vrijgesteld om onbeperkte aggregatie op documentniveau te garanderen.
• Leerbaar Relatie-bewuste Bias ($B^{(l)}$): Een lichtgewicht set van leerbare scalair parameters die worden toegevoegd aan de attentielogits. Deze biases zijn gekoppeld aan het specifieke randtype ($r \in \{r_{cite}, r_{term}, r_{func}, r_{both}\}$) en de laagdiepte $l$. Dit stelt het model in staat de sterkte van informatiestroom te moduleren op basis van afhankelijkheidssemantiek zonder de modelcapaciteit significant te vergroten (slechts 5 scalair parameters per laag).

3. Dual-Granulariteit Contrastief Finetunen

Om de embeddingruimte te verfijnen, hanteert PHAGE een gezamenlijke objectiviteitsfunctie die twee niveaus van supervisie combineert:

• Document-niveau Doel ($L_{doc}$): Aligneert octrooirepresentaties op basis van de International Patent Classification (IPC)-taxonomie met behulp van een contrastief verlies (trekt octrooien in dezelfde subclassie samen, duwt verschillende subclassies uit elkaar).
• Conclusie-niveau Doel ($L_{claim}$): Gebaseerd op de CDG, dwingt dit verlies topologische nabijheid tussen conclusies af. Cruciaal, het wijst leerbare gewichten $w_r$ toe aan elk relatietype, waardoor het model de aligniedruk kan kalibreren op basis van de betrouwbaarheid van het randtype.

Het uiteindelijke verlies is $L = L_{doc} + \lambda L_{claim}$.

Belangrijkste Bijdragen

1. Intra-document Conclusie Topologie als Inductieve Bias: De auteurs identificeren dat de gerichte afhankelijkheidshiërarchie tussen conclusies een informatief signaal is dat door bestaande encoders wordt weggegooid. PHAGE injecteert deze topologie direct in de representatiestroom van de encoder in plaats van deze als aanvullende invoer te behandelen.
2. Topologie-Injected Octrooencoder: Een nieuwe architectuur die een deterministische heterogene grafconstructiepijplijn combineert met een connectiviteitsmasker en leerbare relatie-bewuste biases om conclusie-niveau afhankelijkheden in self-attention te integreren.
3. Empirische Vinding over Structurele Inductieve Bias: Experimenten tonen aan dat intra-octrooiconclusie topologie een sterkere inductieve bias biedt dan inter-octrooiciteringsstructuren. Bovendien worden de geleerde structurele prioren geïnternaliseerd in modelgewichten, waardoor het model effectief presteert bij inferentie zonder grafconstructie.

Experimentele Resultaten

PHAGE werd geëvalueerd op drie taken: Octrooiclassificatie, Retrieval en Clustering, met behulp van de datasets CLEF-IP, USPTO-70k en DAPFAM. Het evaluatieprotocol gebruikte een bevroren encoder, waarbij alleen de relatie-bewuste biases en contrastieve gewichten werden geoptimaliseerd, wat een eerlijke vergelijking met baselines garandeerde.

• Classificatie: PHAGE presteerde beter dan alle baselines, inclusief domein-geadaptede modellen (BERT-for-Patents) en citatie-bewuste modellen (PaECTER, PatEmbed). Op CLEF-IP behaalde het een Macro-F1 van 0,635, een significante verbetering van +9,7 ten opzichte van BERT-for-Patents. Opmerkelijk is dat Graph Neural Network (GNN) baselines die post-hoc op embeddings werden toegepast, de prestaties verslechterden, wat suggereert dat het direct injecteren van structuur in de encoder superieur is aan nabewerking.
• Retrieval: Op de DAPFAM-benchmark behaalde PHAGE een NDCG@100 van 0,498, wat 11,9 punten beter is dan de beste citatie-bewuste baseline (QaECTER, 0,379) en 27,0 punten beter dan BERT-for-Patents.
• Clustering: PHAGE behaalde de hoogste NMI (0,653) en Homogeniteit (0,704) op CLEF-IP, wat aangeeft dat conclusie-niveau topologie de zuiverheid binnen clusters scherpt.

Ablatiestudies bevestigden dat:

• De structurele injectie (CDG + aandacht) de primaire drijver is van prestatiewinst.
• Het harde connectiviteitsmasker kritischer is dan de zachte relatiebias, hoewel beide bijdragen.
• Leerbare relatiegewichten consistente winsten bieden, waarbij het model leert om impliciete relaties in lagere lagen op te wegen en intra-conclusie biases in hogere lagen te versterken.

Betekenis en Claims

Het artikel beweert dat de structurele bottleneck in octrooirepresentatieleren binnen octrooien ligt (intra-document conclusie topologie) in plaats van tussen hen in (inter-octrooiciteringsnetwerken).

Belangrijke bevindingen benadrukt door de auteurs zijn:

1. Superioriteit van Intra-document Structuur: Ondanks het gebruik van alleen binnen-octrooie afhankelijkheden, overtreft PHAGE citatie-bewuste baselines die gebruikmaken van miljoenen door examinator-geverifieerde kruisoctrooie links. Dit suggereert dat de expliciete overerving en verenging van reikwijdte binnen een enkel octrooi een krachtiger signaal biedt voor representatieleren.
2. Internalisatie van Structurele Bias: Het model internaliseert de structurele inductieve bias succesvol tijdens training. Bij inferentie werkt PHAGE als een standaard forward pass zonder grafconstructie, maar behoudt bijna alle prestatiewinst. Dit elimineert de rekenkundige overhead van grafconstructie tijdens implementatie.
3. Diepte-gewijze Specialisatie: De geleerde biases induceren specialisatie over Transformer-lagen, waarbij lagere lagen zich richten op kruis-conclusie aggregatie en hogere lagen intra-conclusie representaties verfijnen.

De auteurs concluderen dat PHAGE een schaalbare oplossing biedt voor octrooianalyse door complexe juridische en technische afhankelijkheden te internaliseren in de modelparameters, waardoor de noodzaak voor externe grafstructuren tijdens inferentie wordt verwijderd, terwijl het aanzienlijk beter presteert dan bestaande domein-geadaptede en citatie-bewuste benaderingen.