TRIZ-RAGNER: A Retrieval-Augmented Large Language Model for TRIZ-Aware Named Entity Recognition in Patent-Based Contradiction Mining

1. Il Problema: Estrazione di Contraddizioni Tecniche dai Brevetti

L'estrazione di contraddizioni tecniche basate sulla teoria TRIZ (Teoria della Risoluzione Inventiva dei Problemi) è fondamentale per l'innovazione sistematica e l'analisi dei brevetti. Una contraddizione tecnica si verifica quando il miglioramento di un parametro tecnico porta al peggioramento di un altro.
Tuttavia, l'automazione di questo processo presenta sfide significative:

• Ambiguità Semantica: Il linguaggio dei brevetti è complesso, implicito e ricco di terminologia specifica di dominio.
• Limiti dei Metodi Tradizionali: I sistemi basati su regole o modelli di machine learning tradizionali (come CRF o BiLSTM) faticano a generalizzare, dipendono da caratteristiche superficiali e non catturano bene le relazioni semantiche profonde.
• Allucinazioni degli LLM: Sebbene i Large Language Models (LLM) abbiano ottime capacità di comprensione semantica, la loro applicazione diretta all'estrazione di parametri TRIZ è problematica a causa della mancanza di conoscenza strutturata di dominio, che porta a previsioni incoerenti o "allucinate" (parametri inventati o errati).

2. Metodologia: Il Framework TRIZ-RAGNER

Per superare questi limiti, gli autori propongono TRIZ-RAGNER, un framework di Retrieval-Augmented Generation (RAG) progettato specificamente per il riconoscimento di entità nominate (NER) consapevole di TRIZ. Il problema viene riformulato non come una semplice etichettatura di token, ma come un'attività di NER a livello semantico.

L'architettura si articola in tre fasi principali:

1. Costruzione della Knowledge Base TRIZ:

   • Viene creato un database di conoscenza strutturato contenente i 39 parametri ingegneristici standard TRIZ, le loro definizioni, sinonimi ed esempi annotati (derivati dal dataset PaTRIZ).
   • Ogni voce viene codificata in vettori densi per la ricerca semantica.

2. Recupero e Reranking (Retrieval & Reranking):

   • Recupero Densso: La frase del brevetto di input viene codificata e confrontata con la Knowledge Base TRIZ per recuperare i contesti più rilevanti (i parametri potenzialmente coinvolti).
   • Cross-Encoder Reranking: Un modello cross-encoder riordina i contesti recuperati calcolando un punteggio di rilevanza fine-granularità tra la frase del brevetto e le voci di conoscenza. Questo passaggio è cruciale per filtrare il rumore semantico e selezionare solo le informazioni TRIZ pertinenti.

3. Prompting Strutturato e Inferenza LLM:

   • I contesti filtrati vengono inseriti in un prompt strutturato insieme alla frase originale.
   • Il prompt istruisce esplicitamente l'LLM a estrarre la coppia di parametri (miglioramento e peggioramento) in un formato JSON specifico.
   • Questo approccio guida il modello a basare le sue inferenze sulla conoscenza TRIZ recuperata, riducendo le allucinazioni e garantendo coerenza.

3. Contributi Chiave

Il lavoro apporta quattro contributi principali:

1. Riformulazione del Task: Trasformazione dell'estrazione delle contraddizioni TRIZ da un problema di etichettatura di token a un problema di Riconoscimento di Entità Nominate (NER) a livello semantico, focalizzato su concetti piuttosto che su semplici span di testo.
2. Framework Ibrido TRIZ-RAGNER: Integrazione di un LLM con un meccanismo di recupero della conoscenza di dominio specifico (TRIZ) per migliorare l'accuratezza e la robustezza.
3. Meccanismo di Reranking: Introduzione di un cross-encoder per affinare la pertinenza delle conoscenze recuperate, migliorando significativamente la precisione dell'estrazione.
4. Validazione Sperimentale: Dimostrazione empirica che l'approccio supera sia i modelli sequenziali tradizionali che i baselines basati su LLM puri.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset PaTRIZ, che contiene circa 3.000 istanze di contraddizioni tecniche annotate da esperti.

• Performance Complessiva: TRIZ-RAGNER ha raggiunto un Precisione dell'85,6%, un Recall dell'82,9% e un F1-score dell'84,2%.
• Confronto con i Baselines:
  • Ha superato i modelli tradizionali (BiLSTM-CRF, BERT-CRF) che si sono fermati a un F1-score massimo di circa il 71,7%.
  • Ha superato l'LLM più forte (GPT con Prompt Engineering) che ha ottenuto un F1-score del 76,9%.
  • Il miglioramento assoluto rispetto al baseline più forte è di 7,3 punti percentuali sull'F1-score.
• Studio di Ablazione: L'analisi ha dimostrato che ogni componente è essenziale:
  • Senza il modulo di recupero, l'F1 scende al 78,1%.
  • Senza il reranking, scende al 79,8%.
  • Senza il prompt strutturato, scende al 76,6%, evidenziando l'importanza della guida del formato di output.

5. Significato e Implicazioni

Il paper dimostra che integrare la conoscenza ingegneristica strutturata (TRIZ) nei Large Language Models attraverso tecniche di RAG è una strategia vincente per compiti di estrazione di informazioni tecniche complesse.

• Riduzione delle Allucinazioni: L'ancoraggio a una Knowledge Base esterna mitiga il rischio che l'LLM generi parametri inesistenti.
• Generalizzazione: Il modello riesce a gestire meglio le parafrasi e le espressioni implicite tipiche dei testi brevettuali.
• Applicazioni Pratiche: Questo approccio abilita sistemi di supporto all'invenzione più affidabili, facilitando l'analisi evolutiva della tecnologia, la raccomandazione di principi inventivi e la scoperta di opportunità di innovazione dai vasti corpus brevettuali.

In sintesi, TRIZ-RAGNER rappresenta un passo avanti significativo verso l'automazione intelligente dell'analisi dei brevetti, combinando la potenza semantica degli LLM con la precisione della conoscenza di dominio strutturata.