Technische Samenvatting: Is het Nieuw en Waarom? Gedetailleerde Voorspelling van Octrooienieuwheid Gebaseerd op Passage Retrieval

Probleemdefinitie

De beoordeling van octrooienieuwheid is een kritisch onderdeel van het octrooieonderzoek, waarbij onderzoekers moeten vaststellen of een uitvinding is onthuld in de stand van de techniek. Traditioneel is dit gemodelleerd als een binaire classificatietask op het niveau van de vordering (nieuw vs. niet-nieuw). De auteurs betogen echter dat deze formulering om twee hoofdzaken gebrekkig is:

1. Gebrek aan Granulariteit: Een binaire label geeft geen inzicht in welke specifieke kenmerken van een vordering zijn onthuld of nieuw, wat de praktische bruikbaarheid voor octrooiberoepsbeoefenaren beperkt.
2. Schijnverbanden: Eerder werk heeft aangetoond dat classificatoren op vorderniveau vaak hoge nauwkeurigheid bereiken door oppervlakkige shortcuts te exploiteren (bijv. lengte van de vordering, verwijzingsnummers of specifieke taalkundige patronen) in plaats van echte semantische redenering over de relatie tussen de vordering en de stand van de techniek uit te voeren.

Het artikel stelt dat een robuust systeem voor nieuwheidsbeoordeling moet opereren op het kenmerkenniveau, waarbij modellen specifieke passages in de stand van de techniek moeten identificeren die individuele kenmerken van een vordering onthullen, en moeten bepalen welke kenmerken een vordering nieuw maken.

Methodologie

Het FiNE-Patents Dataset

Om een gedetailleerde evaluatie te ondersteunen, introduceren de auteurs FiNE-Patents, een dataset van 3.658 eerste octrooivorderingen afgeleid van onderzoeksverslagen van het Europees Octrooibureau (EPO).

• Bron: De dataset is samengesteld uit Europese Zoekopinion-documenten (ESOP), waarbij onderzoekers aanvankelijke aanvragen (A1) afwijzen wegens gebrek aan nieuwheid en gedetailleerde, op kenmerken gebaseerde verwijzingen naar het dichtstbijzijnde document van de stand van de techniek ($D$) verstrekken.
• Annotatie: In tegenstelling tot eerdere datasets die geaggregeerde paragraafreeksen uit Europese Zoekrapporten (ESR) gebruiken, extraheren FiNE-Patents precieze passageverwijzingen voor elk specifiek kenmerk van een vordering.
• Mitigatie van Bias: Om schijnverbanden aan te pakken, hebben de auteurs het volgende geïmplementeerd:
  • Lengtestratificatie: Sub-sampling om ervoor te zorgen dat nieuwe en niet-nieuwe vorderingen identieke lengteverdelingen hebben.
  • Verwijdering van Verwijzingsnummers: Het verwijderen van verwijzingsnummers (bijv. "apparaat (10)"), die vaak tijdens de procedure worden toegevoegd en dienen als sterke shortcuts.
  • Adversarial Test Set: Een subset van 278 vorderingen die zijn gefilterd om verkeerd te worden geclassificeerd door een standaard BERT-classificator getraind op vorderingstekst alleen, dienend als diagnose voor modellen die vertrouwen op shortcuts.

Evaluatieprotocol

De auteurs stellen een evaluatiekader met drie subtasks voor:

1. Passage Retrieval: Het ophalen van relevante passages uit het document van de stand van de techniek voor elk kenmerk van de vordering.
2. Identificatie van Nieuwe Kenmerken: Het identificeren van welke kenmerken van een vordering nieuw zijn (doorgaans corresponderend met tekst die tijdens de procedure is toegevoegd om bezwaren te overwinnen).
3. Voorspelling van Vorderingnieuwheid: Het voorspellen van de binaire nieuwheidsstatus van de gehele vordering.

LLM-workflows

De auteurs implementeren en evalueren workflows voor Large Language Models (LLM) met behulp van open-weight modellen (Qwen-serie) via DSPy. Ze vergelijken twee benaderingen:

1. Een-staps Onderzoek: Het model ontvangt de volledige vordering en het document van de stand van de techniek en geeft in één stap een gestructureerd antwoord (passages, kenmerknieuwheid, vorderingnieuwheid).
2. Hiërarchisch Onderzoek: Een meerstapsproces waarbij:
   • De vordering wordt opgesplitst in kenmerken.
   • Elk kenmerk individueel wordt geanalyseerd tegen de stand van de techniek om passages op te halen en nieuwheid te bepalen.
   • Resultaten worden geaggregeerd om een definitieve voorspelling op vorderniveau te vormen.

Belangrijkste Resultaten

Passage Retrieval en Identificatie van Kenmerken

• Prestaties: Op LLM gebaseerde workflows presteren aanzienlijk beter dan baselines op basis van embedding (bijv. Qwen3-8B-Embeddings) en baselines op basis van lexicaal overlap (ROUGE-L).
• Hiërarchisch Voordeel: De hiërarchische workflow levert consistente verbeteringen op in passage retrieval en identificatie van nieuwe kenmerken. Bijvoorbeeld, op het 30B-model verbeterde hiërarchisch onderzoek de F1-score voor identificatie van nieuwe kenmerken van 38,6 naar 53,7.
• Granulariteit: Prestatieverschillen tussen modellen zijn op kenmerkenniveau duidelijker dan op vorderniveau, wat de noodzaak van gedetailleerde evaluatie bevestigt.

Voorspelling van Vorderingnieuwheid

• Kwetsbaarheid van Baselines: Een fijngefineerde BERT-classificator behaalde 75,2% nauwkeurigheid op de testset zonder toegang tot het document van de stand van de techniek, wat de aanwezigheid van exploiteerbare schijnverbanden bevestigt.
• Robuustheid van LLM: Daarentegen toonden LLM-workflows (met name die met "denk"-modi) robuustheid. Bij evaluatie op de adversarial testset (waar de BERT-classificator faalde), behielden de LLM's hun prestaties, met een lage overeenstemming met de BERT-classificator (negatieve Cohen's Kappa op de adversarial set). Dit suggereert dat LLM's vertrouwen op semantische redenering in plaats van dataset-shortcuts.
• Voorspellingsbias: Hoewel modellen met redeneringsmogelijkheden gebalanceerde voorspellingen toonden, vertoonde de niet-denkende Qwen3-30B-Instruct extreme bias, waarbij slechts 3,2% van de vorderingen als nieuw werd voorspeld.
• Beperkingen: Hiërarchisch onderzoek verbeterde de voorspellingsnauwkeurigheid op vorderniveau niet en verlaagde deze in sommige gevallen zelfs (bijv. dalend naar 57,9% nauwkeurigheid voor het 30B-model), wat suggereert dat tussentijdse samenvattingen ruis kunnen introduceren.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

1. Paradigmaverschuiving: Het daagt het paradigma van binaire classificatie voor octrooienieuwheid uit en pleit voor een verschuiving naar retrieval en redenering op kenmerkenniveau om transparantie en praktische bruikbaarheid te waarborgen.
2. FiNE-Patents Dataset: Het biedt de eerste dataset met gedetailleerde, op kenmerken gebaseerde verwijzingen naar de stand van de techniek, geëxtraheerd uit ESOP-documenten, wat een rigoureuze evaluatie van modelredenering mogelijk maakt.
3. Bewijs van Robuustheid: Het toont aan dat terwijl traditionele classificatoren vatbaar zijn voor schijnverbanden in octrooigegevens, LLM's robuust kunnen zijn tegen deze shortcuts als ze worden geprompt om gestructureerde redenering uit te voeren.
4. Actiegericht AI: De voorgestelde workflows bieden een weg naar AI-systemen die transparante, verifieerbare assistentie bieden aan octrooionderzoekers door voorspellingen expliciet te koppelen aan specifieke bronpassages, in plaats van ondoorzichtige binaire labels te geven.

De auteurs concluderen dat hoewel absolute prestatieniveaus nog verbetering behoeven, het vermogen van LLM's om schijnverbanden te vermijden en gedetailleerde analyses uit te voeren een belangrijke stap voorwaarts is naar betrouwbare, transparante hulpmiddelen voor octrooianalyse.