Pointer-Augmented Autoregressive Generation of Patent Claims with Joint Topology and Content Decoding

Technische Samenvatting: Pointer-Augmented Autoregressieve Generatie van Octrooi-claims met Gezamenlijke Topologie- en Inhoudelijke Decodering

Probleemstelling
Autoregressieve taalmodellen genereren tekst als platte tokensequenties, zonder expliciete mechanismen om te redeneren over hiërarchische relaties tussen outputsegmenten. Deze beperking is acuut bij de generatie van octrooi-claims, waarbij een reeks claims een "Claim Dependency Forest" (claim-afhankelijkheidsbos) vormt. In deze structuur vormen onafhankelijke claims de wortels van bomen, en moeten afhankelijke claims via hiërarchische referenties naar voorafgaande claims verwijzen. Cruciaal is dat de hiërarchie wettelijke beperkingen met zich meebrengt: de reikwijdte van bescherming moet monotoon afnemen met de diepte. Het niet naleven van deze beperkingen (bijv. een afhankelijke claim die de reikwijdte van de ouder verbreedt of faalt in het citeren van een geldige antecedent) vormt een grond voor afwijzing door octrooi-instanties.

Bestaande benaderingen lijden onder drie primaire beperkingen:

1. Architecturale Scheiding: Standaard autoregressieve decodering kan niet-lineaire ouder/kind-afhankelijkheden modelleren, wat vaak resulteert in gebroken afhankelijkheidsketens. Methoden die topologie in isolatie van inhoud voorspellen of oppervlaktegrammatica afdwingen zonder semantische consistentie, slagen er niet in te waarborgen dat de bewoording van een afhankelijke claim de reikwijdte van de ouder weerspiegelt.
2. Gebrek aan Reikwijdte-regularisatie: Geen enkele bestaande methode biedt een inductieve bias voor de wettelijke vereiste dat de reikwijdte afneemt met de diepte, wat leidt tot modellen die afhankelijke claims genereren die onbedoeld de reikwijdte van hun ouder verbreden of tegenspreken.
3. Afwezigheid van Negatieve Signalen: Het afstemmen van modellen op deze beperkingen vereist contrastieve voorbeelden van gebrekkige outputs. Echter, publieke octrooidatasets bestaan bijna uitsluitend uit verleende aanvragen, waardoor er geen "negatief signaal" (defecte bossen) beschikbaar is voor het model om van te leren.

Methodologie: SPG (Structure-aware Patent Generation)
De auteurs stellen SPG voor, een framework dat topologie binnen de autoregressieve pass voorspelt, waardoor wordt gegarandeerd dat de representatie die de tokens van een claim emitteert, dezelfde is als de representatie die beslist waar de claim zich aansluit. Het framework werkt in twee stadia:

• Stadium I: Structuur-bewuste Training

  • Pointer-Augmented Decoding: De autoregressieve decoder wordt uitgebreid met een pointer-kop. Bij het openingskenmerk van elke afhankelijke claim selecteert deze kop een ouder uit de verzameling voorafgaande claims. Cruciaal is dat de pointer dezelfde verborgen toestanden (hidden states) leest die worden gebruikt voor tokenvoorspelling. Dit stelt de decoder in staat om de representaties die de topologie begrijpen, te hervormen.
  • Auxiliaire Doelstellingen:
    • Structure Consistency Loss: Een cross-entropy loss superviseert de ouderselectie van de pointer tegen de grondwaarheid van de links.
    • Hiërarchische Reikwijdte-regularisatie: Een diepte-adaptieve marge-constraint moedigt de representatie van een afhankelijke claim aan om dicht bij de representatie van de ouder te blijven. De toegestane straal voor deze afstand krimpt geometrisch met de diepte, wat de wettelijke vereiste afdwingt dat de reikwijdte afneemt naarmate de boom dieper wordt.

• Stadium II: Legal Preference Optimization (LPO)

  • Om het gebrek aan negatieve signalen in verleende octrooidatasets aan te pakken, synthetiseren de auteurs gebrekkige kandidaten door te samplen uit de Stage I policy bij verschillende temperaturen.
  • Een deterministische scorefunctie (PatentScorerule) evalueert deze kandidaten op basis van claimaantal, structurele patronen, antecedent-consistentie, lengte en inhoudelijke overlap.
  • Violation-Weighted Objective: In tegenstelling tot standaard Direct Preference Optimization (DPO), die alle voorkeursparen gelijk behandelt, schaalt SPG de contrastieve loss op basis van de ernst van de tekortkoming in het afgewezen monster. Dit voorkomt "mode collapse", waarbij het model een ontbrekende puntkomma met dezelfde straf zou behandelen als een ontbrekende volledige subboom.

Kernbijdragen

1. Gezamenlijke Decodering: Een pointer-kop voorspelt afhankelijkheden van ouders binnen de autoregressieve pass, waardoor topologie en inhoud in één enkele forward pass kunnen worden geleerd zonder een aparte parsing-fase.
2. Reikwijdte-regularisatie: Een diepte-adaptieve marge met geometrisch afnemende radii verstevigt de ouder-kind koppeling naarmate de diepte toeneemt, werkend op de specifieke paren die door de pointer-doelstelling zijn geïdentificeerd.
3. Severity-Weighted Alignment: Door voorkeursparen te schalen op basis van de ernst van de tekortkoming in het afgewezen monster, voorkomt de methode mode collapse, een faalmodus die wordt veroorzaakt door uniforme weging in gestructureerde generatietaken.
4. Empirische Dissociatie: De studie toont aan dat structurele naleving niet schaalt met de parameteromvang of domein-pretraining. Modellen variërend van 6B tot 141B parameters falen in het leren van hiërarchische competentie zonder expliciete inductieve biases, terwijl vloeiendheid (fluency) natuurlijk schaalt.

Resultaten
Geëvalueerd op de HUPD-DCG dataset met een Llama-3-8B-Instruct backbone:

• Structurele Nauwkeurigheid: SPG herstelt 79,0% van de gouden ouderlinks (Dependency-Edge Accuracy), een metriek die nooit direct gesuperviseerd is door de trainingsbeloning.
• Referentiële Consistentie: Het model verbetert de antecedent-consistentie (AC) van 0,292 (gesuperviseerde baseline) naar 0,478, wat wijst op een betere resolutie van referenties over diepe boomstructuren heen.
• Vloeiendheid: Het model bereikt state-of-the-art BLEU (37,66) en ROUGE-1 (64,18) scores onder de gefinetuned modellen, waarbij de vloeiendheid van de gesuperviseerde baseline wordt geëvenaard terwijl het significant beter presteert op structurele metrieken.
• Expert Evaluatie: Twee octrooispecialisten beoordeelden het volledige model aanzienlijk hoger (4,05 totaal) dan de gesuperviseerde baseline (3,52) en zero-shot baselines, wat de automatische metrieken bevestigt.
• Scaling Laws: Het vergroten van de modelomvang van 6B naar 141B parameters verbeterde de vloeiendheid, maar verbeterde de structurele patroonscores niet, wat bevestigt dat hiërarchische competentie expliciete architecturale bias vereist in plaats van louter capaciteit.

Betekenis en Claims
Het artikel betoogt dat voor generatietaken waarbij de outputs een afdwingbare structuur dragen (juridisch of programmatisch), structurele beslissingen geïntegreerd moeten worden in het generatieproces in plaats van achteraf of via oppervlaktebeperkingen te worden afgehandeld. De auteurs stellen drie bevindingen vast:

1. Schaalgrootte is geen vervanging voor structurele supervisie: Expliciete structurele mechanismen zijn vereist voordat de modelomvang wordt vergroot wanneer taken verbanden bevatten tussen niet-aangrenzende segmenten.
2. Voorkeursoptimalisatie vereist ernst-bewuste weging: In gestructureerde generatie zijn tekortkomingen niet uitwisselbaar; het wegen van gradiënten op basis van de ernst van de overtreding is noodzakelijk om instorting te voorkomen.
3. Structuur en inhoud zijn beter gescheiden in de tijd: Het eerst strikt reguleren van de structurele scaffold (Stage I) en vervolgens de inhoud binnen die scaffold optimaliseren (Stage II) levert betere resultaten op dan het gelijktijdig balanceren van concurrerende doelstellingen.

De auteurs blijven bescheiden over hun claims en merken op dat het systeem bedoeld is om octrooispecialisten te ondersteunen en een deskundige beoordeling vereist. Ze erkennen beperkingen met betrekking tot jurisdictie-specifieke afhankelijkheidsregels (bijv. meerdere afhankelijkheden in de EPO versus een enkele ouder in de USPTO) en het feit dat hun evaluatie rust op enkelvoudige runs zonder significantietoetsing. Het werk richt zich strikt op de tekst van de claims en de afhankelijkheidsstructuur, en sluit bredere strategieën voor het opstellen van octrooien, zoals argumentatie over nieuwheid, uit.