TRIZ-RAGNER: A Retrieval-Augmented Large Language Model for TRIZ-Aware Named Entity Recognition in Patent-Based Contradiction Mining

1. Problématique et Contexte

L'extraction de contradictions techniques à partir de brevets est une tâche fondamentale pour l'innovation systématique et la conception assistée par ordinateur. Basée sur la théorie TRIZ (Théorie de la Résolution de Problèmes Inventifs), cette tâche vise à identifier, au sein de textes techniques complexes, les paires de paramètres « améliorés » (ce qui s'améliore) et « détériorés » (ce qui se dégrade).

Cependant, l'automatisation de cette extraction rencontre plusieurs obstacles majeurs :

• Ambiguïté sémantique et langage spécifique : Les brevets utilisent un vocabulaire technique dense et des structures implicites que les modèles traditionnels peinent à interpréter.
• Limites des approches existantes :
  • Les systèmes basés sur des règles manquent d'évolutivité et de robustesse face à la diversité des expressions.
  • Les modèles d'apprentissage automatique traditionnels (comme les modèles de étiquetage de séquence type BERT-CRF) dépendent trop des caractéristiques de surface et des données annotées, ce qui limite leur capacité à généraliser et à capturer des entités abstraites non explicites.
  • Les Grands Modèles de Langage (LLM) seuls, bien que puissants en compréhension sémantique, souffrent d'hallucinations et d'un manque d'ancrage dans les connaissances structurées de la TRIZ, conduisant à des prédictions de paramètres incohérentes ou incorrectes.

2. Méthodologie : Le cadre TRIZ-RAGNER

Pour surmonter ces limites, les auteurs proposent TRIZ-RAGNER, un cadre d'inférence basé sur un Grand Modèle de Langage (LLM) augmenté par la récupération (Retrieval-Augmented Generation - RAG). L'objectif est de reformuler l'extraction de contradictions comme une tâche de Reconnaissance d'Entités Nommées (NER) au niveau sémantique, plutôt que comme un simple étiquetage de tokens.

L'architecture du modèle se décompose en trois étapes principales :

A. Construction de la Base de Connaissances TRIZ

Une base de connaissances externe ($K$) est créée à partir de :

• Les 39 paramètres d'ingénierie standard de la TRIZ et leurs définitions.
• Des exemples annotés issus du jeu de données PaTRIZ.
• Des connaissances de domaine étendant les liens entre les paramètres et les scénarios d'ingénierie réels.
  Chaque entrée est vectorisée dans un espace sémantique partagé.

B. Récupération et Réordonnancement (Retrieval & Reranking)

1. Récupération Dense : Une phrase de brevet ($s_i$) est encodée en vecteur. Une recherche de similarité (cosinus) est effectuée dans la base de connaissances pour récupérer les $k$ contextes les plus pertinents ($C_i$).
2. Réordonnancement par Cross-Encoder : Pour affiner la pertinence et réduire le bruit, un modèle cross-encoder réévalue chaque paire (phrase, contexte candidat) pour calculer un score de pertinence précis. Seuls les contextes les mieux notés forment l'ensemble raffiné $\hat{C}_i$.

C. Inférence Structurée par LLM

Un prompt structuré est généré en combinant :

• L'instruction de la tâche.
• Le contexte TRIZ récupéré et réordonné ($\hat{C}_i$).
• La phrase cible du brevet.
  Le LLM est contraint de générer une réponse dans un format JSON strict (ex: {"Improving_Parameter": ..., "Worsening_Parameter": ...}), assurant ainsi la cohérence et la structure de la sortie.

3. Contributions Clés

1. Reformulation de la tâche : Passage d'une approche d'étiquetage de tokens à une NER sémantique axée sur la compréhension conceptuelle des paramètres TRIZ.
2. Intégration RAG : Proposition d'un cadre hybride injectant des connaissances de domaine structurées directement dans le processus de raisonnement du LLM pour réduire les hallucinations.
3. Mécanisme de Réordonnancement : Introduction d'un module cross-encoder pour filtrer les connaissances récupérées, améliorant ainsi la précision de l'extraction.
4. Validation Empirique : Démonstration de l'efficacité du cadre sur un jeu de données de référence (PaTRIZ), surpassant significativement les modèles de séquence et les LLM seuls.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données PaTRIZ (environ 3 000 instances annotées de contradictions techniques).

• Performance Globale : TRIZ-RAGNER atteint les scores suivants :
  • Précision : 85,6 %
  • Rappel : 82,9 %
  • Score F1 : 84,2 %
• Comparaison avec les SOTA (State-of-the-Art) :
  • Le modèle dépasse les approches traditionnelles (BiLSTM-CRF, BERT-CRF) qui plafonnent autour de 71,7 % de F1.
  • Il surpasse également les LLM seuls (GPT avec prompt engineering) qui atteignent 76,9 % de F1.
  • Gain significatif : Une amélioration absolue de 7,3 points de pourcentage en F1 par rapport au meilleur baseline (GPT + Prompt).
• Étude Ablative :
  • La suppression du module de récupération fait chuter le F1 à 78,1 %.
  • La suppression du réordonnancement le fait descendre à 79,8 %.
  • L'absence de prompting structuré réduit le score à 76,6 %.
  • Conclusion : Chaque composant (récupération, réordonnancement, prompt structuré) est indispensable et complémentaire.

(Note : Le document original contient une figure 2 et une description de courbes de perte systémique qui semblent être un artefact d'un autre article ou une erreur de copier-coller dans le texte fourni, car elles ne correspondent pas au contexte de l'extraction de brevets TRIZ. Le résumé se base donc uniquement sur les données cohérentes avec le titre et le corps principal de l'article.)

5. Signification et Conclusion

L'article TRIZ-RAGNER démontre que l'intégration de connaissances symboliques structurées (TRIZ) avec la puissance de raisonnement sémantique des LLM via une architecture RAG est une voie prometteuse pour l'analyse de brevets.

• Impact Scientifique : L'étude prouve que l'ancrage des LLM dans une base de connaissances de domaine spécifique est crucial pour résoudre les problèmes d'ambiguïté et d'hallucination dans des tâches d'extraction technique de haute précision.
• Impact Pratique : Le cadre offre une solution robuste pour l'analyse automatique de brevets, facilitant la découverte d'opportunités d'innovation, la recommandation de principes inventifs et l'analyse de l'évolution technologique.
• Limites et Perspectives : Bien que performant, le système introduit une surcharge computationnelle due à la récupération. Les travaux futurs visent à développer des stratégies de récupération adaptatives et légères, ainsi qu'à étendre l'approche au niveau du document entier et à des langues multiples.

En résumé, TRIZ-RAGNER établit un nouvel état de l'art pour l'extraction de contradictions techniques, prouvant que l'hybridation entre bases de connaissances expertes et modèles de langage génératifs est la clé pour une innovation assistée par l'IA fiable.