TRIZ-RAGNER: A Retrieval-Augmented Large Language Model for TRIZ-Aware Named Entity Recognition in Patent-Based Contradiction Mining

Probleemstelling

Het identificeren van technische tegenstrijdigheden in octrooitexten is een fundamentele taak voor systematische innovatie en het toepassen van de TRIZ-theorie (Theory of Inventive Problem Solving). Een technische tegenstrijdigheid treedt op wanneer het verbeteren van één systeemparameter leidt tot de verslechtering van een andere.
Bestaande methoden voor het automatiseren van deze taak hebben echter aanzienlijke beperkingen:

• Regelgebaseerde systemen: Gebaseerd op handmatige patronen en sleutelwoorden, wat leidt tot slechte schaalbaarheid en gebrek aan robuustheid bij diverse octrooivormuleringen.
• Traditionele Machine Learning (ML) en Deep Learning: Modellen zoals BiLSTM-CRF of BERT-CRF zijn vaak afhankelijk van oppervlakkige token-labeling en annotatiegegevens. Ze worstelen met semantische ambiguïteit, lange-afstandsafhankelijkheden en het begrijpen van impliciete technische betekenissen in complexe octrooitalen.
• Grote Taalmodellen (LLMs): Hoewel LLMs sterke semantische begrijpingscapaciteiten hebben, lijden ze bij directe toepassing aan "hallucinaties" (het genereren van onjuiste parameters) en gebrek aan gronding in gestructureerde TRIZ-kennis. Dit maakt ze onbetrouwbaar voor de precisie die vereist is bij het construeren van geldige tegenstrijdigheidsparen.

Methodologie: TRIZ-RAGNER

Het artikel introduceert TRIZ-RAGNER, een framework dat Retrieval-Augmented Generation (RAG) combineert met Large Language Models om TRIZ-bewuste Named Entity Recognition (NER) uit te voeren. In plaats van traditionele token-labeling, wordt de taak herformuleerd als een semantische NER-taak, waarbij het doel is conceptuele entiteiten (verbeterende en verslechterende parameters) te extraheren.

Het framework bestaat uit drie hoofdfasen:

1. Retrieval van TRIZ-kennis:

   • Een inputzin uit een octrooi wordt geëncodeerd naar een semantische vector.
   • Er wordt gezocht in een externe TRIZ-kennisbank (bestaande uit de 39 standaard TRIZ-technische parameters, definities, synoniemen en voorbeelden uit het PaTRIZ-dataset).
   • Dichte vectorretrieval (dense retrieval) selecteert de meest semantisch relevante kennisfragmenten.

2. Cross-Encoder Herordening (Reranking):

   • Om ruis te verminderen die ontstaat door ruwe retrieval, wordt een cross-encoder model gebruikt.
   • Dit model berekent een nauwkeurige relevantiescore tussen de inputzin en de geïntegreerde kennisfragmenten.
   • Alleen de hoogst gerankte contexten worden geselecteerd voor de volgende stap, wat zorgt voor een gefocuste en precieze kennisinvoer.

3. Gestructureerde Prompting en LLM-inferentie:

   • Een gestructureerde prompt wordt samengesteld die de instructie, de geselecteerde TRIZ-context en de doelzin bevat.
   • De LLM wordt gevraagd om de output in een specifiek formaat (bijv. JSON) te genereren, wat consistentie garandeert.
   • Door de externe kennis in het redeneerproces van de LLM te injecteren, worden hallucinaties verminderd en wordt de extractie van parameters (verbeterend vs. verslechterend) nauwkeuriger.

Belangrijkste Bijdragen

1. Herformulering van de Taak: De auteurs transformeren TRIZ-tegenstrijdigheidsmining van een traditionele token-level labeling naar een semantische NER-taak, beter geschikt voor abstracte technische concepten.
2. Het TRIZ-RAGNER Framework: Een nieuw architectuur dat RAG integreert om domeinspecifieke TRIZ-kennis te injecteren in LLM-inferentie, wat leidt tot robuustere extractie.
3. Cross-Encoder Reranking: De introductie van een herordeningmechanisme om de relevantie van opgehaalde kennis te maximaliseren en ruis te filteren.
4. Empirische Validatie: Uitgebreide experimenten op het PaTRIZ-dataset die aantonen dat de methode superieur is aan zowel traditionele sequence labeling-modellen als LLM-baselines.

Resultaten

De prestaties zijn getest op het PaTRIZ-dataset (ongeveer 3.000 geannoteerde octrooizinnen). De resultaten tonen een significante verbetering ten opzichte van bestaande methoden:

• TRIZ-RAGNER prestaties:
  • Precisie: 85,6%
  • Recall: 82,9%
  • F1-score: 84,2%
• Vergelijking met Baselines:
  • Traditionele modellen (BiLSTM-CRF, BERT-CRF) haalden F1-scores tussen 60,7% en 71,7%.
  • LLM-baselines (GPT met prompt engineering) haalden een F1-score van 76,9%.
  • TRIZ-RAGNER behaalt een absolute verbetering van 7,3 procentpunten in F1-score ten opzichte van de sterkste baseline (GPT + Prompt Engineering).
• Ablatiestudie: De studie bevestigt dat elk onderdeel essentieel is. Het verwijderen van de retrieval-module liet de F1-score dalen naar 78,1%, en het verwijderen van gestructureerde prompting liet deze dalen naar 76,6%.

Betekenis en Toekomstperspectief

De studie demonstreert dat het combineren van symbolische domeinkennis (gestructureerde TRIZ-parameters) met de semantische redeneercapaciteiten van LLMs een krachtige oplossing biedt voor complexe technische informatiewinning.

• Praktische Toepassing: Het framework biedt een betrouwbare basis voor geautomatiseerde octrooianalyse, intelligente uitvindingsondersteuning en computer-ondersteunde innovatiesystemen. Het stelt onderzoekers in staat om verborgen innovatiekansen sneller te ontdekken door technische tegenstrijdigheden nauwkeurig te identificeren.
• Beperkingen en Toekomst: Huidige beperkingen omvatten de rekenkundige overhead door externe kennisretrieval en de focus op zinsniveau. Toekomstig werk zal gericht zijn op adaptieve retrieval-strategieën, documentniveau-analyse en meertalige ondersteuning.

Kortom, TRIZ-RAGNER bewijst dat "grounding" van LLMs in gestructureerde domeinkennis cruciaal is voor het overwinnen van hallucinaties en het bereiken van hoge nauwkeurigheid in gespecialiseerde technische taken.