💬 NLP

From Prompt to Graph: Comparing LLM-Based Information Extraction Strategies in Domain-Specific Ontology Development

Cette étude évalue trois stratégies basées sur les grands modèles de langage — le prompting pré-entraîné, l'apprentissage en contexte et le fine-tuning — pour automatiser la construction d'ontologies spécifiques au domaine de la fonderie, afin d'identifier finalement l'approche la plus efficace pour construire et valider un graphe de connaissances avec l'apport d'experts.

Auteurs originaux : Xuan Liu, Ziyu Li, Mu He, Ziyang Ma, Xiaoxu Wu, Gizem Yilmaz, Yiyuan Xia, Bingbing Li, He Tan, Jerry Ying Hsi Fuh, Wen Feng Lu, Anders E. W. Jarfors, Per Jansson

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuan Liu, Ziyu Li, Mu He, Ziyang Ma, Xiaoxu Wu, Gizem Yilmaz, Yiyuan Xia, Bingbing Li, He Tan, Jerry Ying Hsi Fuh, Wen Feng Lu, Anders E. W. Jarfors, Per Jansson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une immense bibliothèque de vieux livres techniques désordonnés sur la fonderie (le processus de verser du métal en fusion dans des moules pour fabriquer des objets). Ces livres regorgent de connaissances précieuses, mais elles sont enfouies dans des paragraphes de texte, rédigées dans des styles différents et éparpillées partout.

Pour rendre ces connaissances utiles aux ordinateurs, les ingénieurs doivent construire une carte numérique (appelée ontologie). Cette carte organise l'information en catégories claires (comme « Matériaux », « Défauts » ou « Équipement ») et trace des lignes reliant les idées liées (comme « La Température contrôle le Temps de Solidification »).

Le problème ? Construire cette carte à la main, c'est comme essayer de lire chaque page de ces livres, de surligner les mots importants et de dessiner les lignes de connexion soi-même. Cela prend un temps infini, coûte très cher et est très ennuyeux.

Cette étude pose la question suivante : Pouvons-nous utiliser une IA super intelligente (un grand modèle de langage ou LLM) pour faire le gros du travail à notre place ?

Les chercheurs ont testé trois façons différentes de demander à l'IA de lire ces livres et de construire la carte. Voici comment ils ont procédé, expliquée avec des analogies simples :

Les trois « Assistants IA » testés

1. L'assistant « Connaissances Générales » (LLM pré-entraîné)

Comment ça marche : Vous donnez à l'IA une série d'instructions (un prompt) du type : « Lis ce texte et dis-moi quels sont les mots importants et comment ils se connectent. » Vous ne lui montrez aucun exemple de ce que vous voulez ; vous espérez simplement qu'elle possède déjà assez de connaissances grâce à son entraînement général.
Le résultat : C'est comme demander à un bibliothécaire très cultivé de deviner ce dont vous avez besoin. Il réussit certaines choses, mais passe à côté de beaucoup de détails. Il a trouvé environ 77 % des bons mots, mais a manqué de nombreuses connexions. C'est rapide et peu coûteux, mais pas assez détaillé pour une carte parfaite.

2. L'assistant « Montre-moi un exemple » (Apprentissage en contexte ou ICL)

Comment ça marche : Avant de demander à l'IA de lire le nouveau texte, vous lui montrez quelques exemples de ce que vous voulez. C'est comme dire : « Voici une page d'exemple où j'ai surligné "Métal" et tracé une ligne vers "Moule" avec la mention "est fait de". Maintenant, fais la même chose pour cette nouvelle page. »
Le résultat : C'est comme donner une fiche de révision au bibliothécaire. Il a trouvé beaucoup plus de mots que la première méthode (presque trois fois plus !). Cependant, il avait une habitude étrange d'être incohérent. Parfois, il appelait une connexion « traité par », et d'autres fois « fabriqué par », même s'ils voulaient dire la même chose. Il avait aussi du mal à repérer quand deux mots différents signifiaient exactement la même chose (synonymes).

3. L'assistant « Stagiaire qui a étudié vos notes » (Affinage ou Fine-Tuning)

Comment ça marche : Au lieu de simplement montrer des exemples à l'IA, vous la « formez » spécifiquement sur votre petit ensemble de données étiquetées. Vous lui présentez les exemples encore et encore jusqu'à ce qu'elle apprenne les règles spécifiques et le style que vous souhaitez. C'est comme embaucher un nouvel employé et passer une semaine à lui enseigner exactement comment votre entreprise organise ses dossiers.
Le résultat : Ce fut le grand gagnant. Parce qu'elle a été spécifiquement entraînée sur votre style, elle était incroyablement précise. Elle a trouvé les bons mots 94 % du temps et les bonnes connexions 87 % du temps. Elle était aussi bien meilleure pour repérer que « Point de fusion » et « Température de fusion » sont la même chose.

Le résultat final

Les chercheurs ont utilisé la meilleure méthode (le « Stagiaire » qui a été affiné) pour construire une véritable Ontologie de la Fonderie.

Ils ont injecté des milliers de phrases provenant de livres techniques.
L'IA a extrait les termes clés et les relations.
Ils ont nettoyé les doublons et tout organisé dans une base de données de graphes numériques (Neo4j).
La preuve : Des experts humains (de vrais ingénieurs en fonderie) ont examiné le travail de l'IA. Ils ont confirmé que 97 % des concepts et 93 % des relations étaient corrects.

L'essentiel à retenir

L'étude conclut que, bien que vous puissiez simplement demander à une IA intelligente de faire le travail, il est préférable de l'enseigner spécifiquement pour votre domaine.

IA Générale : Bonne pour un premier jet rapide, mais désordonnée.
IA basée sur des exemples : Bonne pour trouver des éléments, mais désordonnée dans les étiquettes.
IA entraînée : La plus précise et la plus fiable, capable de construire une carte de connaissances professionnelle et de haute qualité, même avec une petite quantité de données d'entraînement.

Cette étude prouve qu'avec le bon entraînement, l'IA peut transformer des documents d'ingénierie désordonnés et non structurés en une base de connaissances numériques propres, organisées et utilisables, épargnant aux experts le travail fastidieux de l'annotation manuelle.

Résumé technique : Du prompt au graphe : Comparaison des stratégies d'extraction d'informations basées sur les LLM pour le développement d'ontologies spécifiques à un domaine

Énoncé du problème
Les ontologies sont essentielles pour structurer les connaissances d'un domaine afin de faciliter l'interopérabilité, le partage de données et le raisonnement, particulièrement dans des secteurs industriels complexes comme la fonderie. Cependant, la construction traditionnelle d'ontologies est laborieuse, coûteuse et repose lourdement sur l'annotation manuelle de documentations fragmentées et non structurées. Bien que les grands modèles de langage (LLM) offrent un potentiel pour automatiser l'extraction de connaissances, la recherche existante manque de comparaisons directes entre différentes approches basées sur les LLM. De plus, de nombreuses ontologies de fabrication existantes sont informelles, manquant de triplets concept-relation complets, et les études antérieures supposent souvent l'accès à de grands ensembles de données bien structurés, ce qui n'est pas typique des environnements de fabrication traditionnels.

Méthodologie
Cette étude propose un cadre d'apprentissage d'ontologie semi-automatisé pour extraire des termes et des relations à partir de textes spécifiques au domaine (articles académiques et livres techniques) en utilisant des données limitées. La recherche évalue et compare trois stratégies distinctes basées sur les LLM :

Méthode pilotée par un LLM pré-entraîné : Utilise un modèle général pré-entraîné (ChatGPT 4.1 mini) guidé par des prompts optimisés basés sur la méthodologie de la chaîne de pensée (Chain-of-Thought - CoT). Cette méthode extrait les termes et les relations directement sans exemples annotés par l'humain, en s'appuyant sur les connaissances intrinsèques du modèle.
Méthode d'apprentissage en contexte (In-Context Learning - ICL) : Un processus en deux étapes (extraction de termes suivie de l'extraction de relations) qui utilise des exemples $k$ -shot à partir d'un petit ensemble d'entraînement pour guider le LLM. Pour garantir la pertinence sémantique, l'étude emploie le modèle Universal AnglE Embedding (UAE)-Large-V1 pour récupérer les $k$ échantillons (fixé à 16) les plus similaires à l'entrée de test.
Méthode de réglage fin (Fine-tuning) : Une approche de réglage fin supervisé en deux étapes où deux modèles personnalisés (un pour l'extraction de termes, un pour l'extraction de synonymes/relations) sont entraînés sur l'ensemble du jeu de données étiqueté. Cette méthode met à jour les paramètres du modèle pour adapter le modèle de base (OpenAI GPT-4.1-mini) au domaine spécifique de la fonderie sans nécessiter d'exemples $k$ -shot lors de l'inférence.

Configuration expérimentale
L'étude s'est concentrée sur le domaine de la fonderie, guidée par six concepts de haut niveau : matériaux, processus de fonderie, propriété du produit, paramètre de fonderie, défaut de fonderie et équipement de fonderie.

Données : Un jeu de données d'entraînement de 173 textes courts et un jeu de données de test de 30 longs paragraphes ont été constitués.
Annotation : Des experts humains ont étiqueté manuellement 538 termes et 321 triplets de relations dans l'ensemble d'entraînement, et 590 termes et 481 relations dans l'ensemble de test.
Évaluation : La performance a été mesurée via la précision, le rappel et le score F1. Les connaissances extraites ont été structurées sous forme de triplets (sujet, objet, relation) et implémentées dans une base de données orientée graphe Neo4j.

Résultats clés

LLM pré-entraîné : A atteint environ 77,3 % de précision dans l'extraction de termes et 79,5 % dans l'extraction de relations. Cependant, il a extrait nettement moins d'entités (142 termes, 36 relations) que la vérité terrain et manquait d'informations positionnelles, empêchant le calcul du rappel et du score F1. Il était sujet aux hallucinations et aux classifications non pertinentes.
Méthode ICL : A extrait 421 termes (Précision : 79,8 %, Rappel : 56,9 %, F1 : 66,4 %) et 424 triplets de relations (Précision : 63,9 %, Rappel : 56,3 %, F1 : 59,9 %). Bien qu'efficace pour les textes longs, elle a souffert d'une dénomination de relation incohérente (par exemple, des synonymes variés pour une même relation) et d'une faible reconnaissance de synonymes (n'identifiant qu'un seul couple sur 22 annotés).
Méthode de Fine-tuning : A démontré la performance supérieure sur tous les indicateurs. Elle a atteint un score F1 d'extraction de termes de 90,6 % (Précision : 93,8 %, Rappel : 87,6 %) et un score F1 d'extraction de relations de 79,5 % (Précision : 86,7 %, Rappel : 73,4 %). Elle a montré une plus grande cohérence dans la dénomination des relations et une bien meilleure reconnaissance de synonymes (identifiant 10 paires sur 22).

Construction de l'ontologie
La méthode de fine-tuning a été sélectionnée pour construire l'ontologie finale de la fonderie. Après consolidation des synonymes et suppression des doublons, 273 concepts uniques et 620 relations validées ont été conservés. La validation par des experts a confirmé une précision des concepts de 97 % et une précision des relations de 93 %. L'ontologie résultante a été visualisée dans Neo4j, démontrant une organisation hiérarchique de la terminologie de la fonderie.

Signification et contributions
L'article revendique trois contributions principales :

Une évaluation comparative de trois méthodes basées sur les LLM (prompting pré-entraîné, ICL et fine-tuning) pour l'extraction de termes et de relations dans un contexte spécifique à un domaine avec des données limitées.
La proposition d'une stratégie d'extraction de relations basée sur le prompt, conçue pour améliorer la construction d'ontologies dans les applications de fabrication.
Le développement d'une ontologie de fonderie de haute qualité et validée, dérivée de la littérature académique et technique, comblant ainsi le fossé des ontologies informelles dans la fabrication.

L'étude conclut que si les modèles pré-entraînés servent de point de départ utile et que l'ICL offre une certaine efficacité de coût, l'approche de fine-tuning est la plus efficace pour le développement d'ontologies de haute qualité lorsque les ressources le permettent. Les auteurs notent que l'étude est limitée par la petite taille de l'ensemble de données et suggèrent que les travaux futurs devraient valider ces méthodes sur des corpus plus vastes et plus diversifiés afin d'évaluer leur extensibilité dans des contextes industriels réels.

Les trois « Assistants IA » testés

Le résultat final

L'essentiel à retenir

Articles similaires