Technische Samenvatting: Large Language Models voor Patentclassificatie

Probleemstelling

Patentclassificatie in Cooperative Patent Classification (CPC)-codes is een fundamentele taak voor het analyseren van technologische verandering, maar het vormt aanzienlijke uitdagingen vanwege de hiërarchische, multi-label en sterk ongebalanceerde aard ervan. Hoewel supervised encoder-gebaseerde modellen (bijv. BERT, SciBERT) de de facto standaard zijn geworden voor grootschalige classificatie, vertonen zij een goed gedocumenteerde bias naar frequente subklassen, waarbij ze moeite hebben met het accuraat classificeren van zeldzame, opkomende of cross-domein technologieën. Daarentegen bieden Large Language Models (LLM's) zero-shot en few-shot capaciteiten die de "long-tail" categorieën mogelijk beter kunnen afhandelen. De vraag blijft echter in hoë mate LLM's encoders kunnen aanvullen in dit specifieke domein, en of hun voordelen opwegen tegen hun aanzienlijk hogere computationele en milieukosten, wat een open empirische vraag blijft.

Methodologie

De auteurs voeren een systematische vergelijking uit tussen supervised encoder-gebaseerde classifiers en open-weight instruction-tuned LLM's met behulp van de USPTO-70k benchmark dataset (70.250 patenten). De studie maakt gebruik van een temporeel gesplitst protocol (training: 2006–2017; validatie: 2018; test: 2019) om realistische implementatiecondities te simuleren.

Geëvalueerde Modellen

1. Encoder Baselines: Drie Transformer-gebaseerde encoders werden gefinetuned op de trainingsdata:
   • BERT: Algemeen doel.
   • SciBERT: Domein-adaptief voor wetenschappelijke literatuur.
   • PatentSBERTa: Specifiek op patentcorpora aangepast.
2. Large Language Models: Vier instruction-tuned LLM's in de range van 7–8B parameters (gekozen vanwege haalbaarheid op single-GPU werkstations) werden geëvalueerd zonder aanvankelijk volledige fine-tuning:
   • Phi-3 Mini, Mistral-7B, LLaMA-3.1-8B, en Qwen-2.5-7B.

Inferentie-strategieën voor LLM's

LLM's werden geëvalueerd onder vier prompting-configuraties om de impact van context te beoordelen:

• Zero-shot: Geen voorbeelden verstrekt.
• Few-shot: Bevat 5 gelabelde voorbeelden (2 statisch, 3 dynamisch opgehaald op basis van semantische gelijkenis).
• Retrieval-Augmented Generation (RAG): Haalt de top-20 CPC subclass definities (codes en beschrijvingen) op die relevant zijn voor de patenttekst om de outputruimte te beperken.
• Hybride: Combinaties van Few-shot en RAG.

Adaptatie en Externe Validatie

• Parameter-Efficient Fine-Tuning: De best presterende LLM (Qwen-2.5-7B) werd verder aangepast met behulp van LoRA (Low-Rank Adaptation) om te testen of lichtgewicht supervised leren de prestatiekloof kon dichten.
• Externe Validatie: Om de generaliseerbaarheid te beoordelen, werden de modellen geëvalueerd op een onafhankelijke dataset van 10.000 Europese Octrooibureau (EPO) patenten (2019–2022) zonder hertraining.
• Efficiëntie-metrieken: Computationele kosten, inferentietijd en energieverbruik (CO2-emissies) werden gekwantificeerd met behulp van het CodeCarbon framework.

Evaluatie-metrieken

Prestaties werden gemeten met behulp van Micro-F1 (gedomineerd door frequente labels), Macro-F1 (label-gebalanceerd) en Hiërarchische F1 (rekening houdend met de CPC-taxonomie structuur). Statistische significantie werd beoordeeld met gepaarde non-parametrische tests (Wilcoxon signed-rank) op per-subclass prestaties.

Belangrijkste Resultaten

1. Prestatie-trade-offs: Frequentie vs. Zeldzaamheid

• Dominantie van Encoders op Frequente Subklassen: Supervised encoders, met name SciBERT, behaalden superieure Micro-F1 scores (0.439 vs. 0.182 voor de beste LLM-configuratie). Deze prestatie wordt gedreven door hun vermogen om de hoogfrequente subklassen die de dataset domineren, correct te classificeren.
• LLM Voordeel op Zeldzame Subklassen: LLM's, vooral wanneer ze worden uitgebreid met Few-shot + RAG, vertoonden aanzienlijk betere prestaties op zeldzame en minder frequente subklassen (onderste 20% van de frequentieverdeling). Ze behaalden hogere Macro-F1 en Hiërarchische F1 scores, wat wijst op een betere dekking van de long tail.
• LoRA Beperkingen: Parameter-efficiënte fine-tuning (LoRA) van Qwen-2.5-7B leverde geen consistente verbeteringen op ten opzichte van alleen prompt-gebaseerde inferentie, wat suggereert dat voor deze taak contextualisatie tijdens de inferentie (prompting en retrieval) effectiever is dan lichtgewicht supervised adaptatie.

2. Computationele en Milieu-kosten

• Efficiëntiekloof: Encoder-gebaseerde modellen zijn ordes van grootte efficiënter. Zij voltooien inferentie in 1–2 minuten met een energieverbruik van ~0.01 kWh.
• LLM Overhead: LLM-inferentie vereist 30 minuten tot meer dan 4 uur per run, met een verbruik van 0.2–2.1 kWh. Encoders zijn ongeveer 15–250× sneller en 20–200× energie-efficiënter dan LLM's.
• Zero-shot Inefficiëntie: Zero-shot LLM-configuraties bleken bijzonder inefficiënt, waarbij ze lage classificatieprestaties boden tegen hoge energiekosten.

3. Externe Validiteit

De prestatie-trade-offs waargenomen op de USPTO-dataset waren robuust bij toepassing op de EPO-dataset. Encoders behielden superieure Micro-F1, terwijl LLM's nog steeds een betere dekking van zeldzame subklassen lieten zien, wat bevestigt dat de bevindingen niet specifief zijn voor één enkel octrooibureau of dataset.

Betekenis en Bijdragen

Het artikel betoogt dat geen van beide benaderingen universeel superieur is; in plaats daarvan vervullen ze complementaire rollen in patentclassificatie:

1. Hybride Potentieel: De studie motiveert hybride classificatiebenaderingen waarbij efficiënte encoders routinematige, hoog-volume classificatie van gevestigde technologieën afhandelen, terwijl LLM's selectief worden ingezet om te assisteren bij zeldzame, opkomende of cross-domein technologieën waar encoders een lage recall vertonen.
2. Methodologische Reflexiviteit in de Scientometrie: De auteurs benadrukken dat de keuze van een classificatiemodel systematisch de zichtbaarheid van technologische categorieën in downstream-analyses vormgeeft. Het uitsluitend vertrouwen op encoders kan een bias introduceren die opkomende of zwak geïnstitutionaliseerde technologieën "onzichtbaar" maakt in patentometrische indicatoren.
3. Verantwoorde AI-implementatie: De bevindingen onderstrepen de noodzaak om voorspellende prestaties af te wegen tegen duurzaamheid. De hoge energiekosten van LLM's maken ze ongeschikt voor ongerichte, grootschalige toepassing, wat suggereert dat hun gebruik gericht en doelgericht moet zijn.

Concluderend biedt het artikel een gecontroleerde empirische basis voor het begrijpen van de trade-offs tussen de schaalbaarheid van encoder-gebaseerde modellen en de semantische flexibiliteit van LLM's, en pleit het voor een pluralistische aanpak van patentclassificatie die rekening houdt met data-imbalans, computationele beperkingen en de specifieke doelen van de analyse.