Résumé technique : Exploiter les grands modèles de langage pour la génération d'ontologies de sujets de recherche

Problématique

Les ontologies et les taxonomies sont fondamentales pour organiser la connaissance scientifique, facilitant ainsi la classification, la diffusion et la recherche des productions de recherche (ex. : articles, brevets, jeux de données). Cependant, la création et la maintenance de ces systèmes d'organisation des connaissances (SOC) sont coûteuses, chronophages et reposent lourdement sur l'effort coordonné d'experts du domaine. Par conséquent, les ontologies existantes souffrent souvent d'une couverture disciplinaire inégale, d'une faible connectivité interdisciplinaire et de mises à jour peu fréquentes qui ne parviennent pas à refléter le progrès scientifique rapide. Bien que des tentatives antérieures d'automatisation de la génération d'ontologies aient utilisé des outils linguistiques et l'apprentissage automatique, elles peinent à produire des représentations à grande échelle et à granularité fine en raison de la complexité et de la spécialisation inhérentes des domaines de recherche. Cette étude aborde la lacune consistant à évaluer systématiquement la capacité des grands modèles de langage (LLM) à identifier les relations sémantiques entre les sujets de recherche, une tâche centrale dans la construction et l'affinement des ontologies académiques.

Méthodologie

L'étude étudie les performances de 12 LLM en poids ouverts (allant de 3 à 27 milliards de paramètres) à travers trois stratégies d'optimisation distinctes :

1. Apprentissage Zero-Shot (ZSL) : Évaluation des modèles sans entraînement préalable sur la tâche spécifique en utilisant deux stratégies de prompting :
   • Prompting Standard : Un modèle prédéfini définissant la tâche et le format de sortie.
   • Chaîne de pensée (CoT) bidirectionnelle : Une technique de prompting en deux étapes où le modèle définit d'abord les sujets et construit une phrase, puis classifie la relation, le processus étant répété en inversant la position des sujets pour résoudre les divergences.
2. Fine-Tuning (Ajustement fin) : Adaptation des modèles via l'adaptation de bas rang (LoRA) sur un nouvel ensemble de données.
3. Scénarios d'évaluation : L'étude emploie un design expérimental modulaire testant :
   • Spécifique à la discipline : Entraînement et test au sein du même domaine.
   • Transdisciplinaire : Entraînement sur un domaine et test sur un autre.
   • Multidisciplinaire : Entraînement et test sur un ensemble de données combinées.

Le jeu de données PEM-Rel-8K

Pour soutenir cette analyse, les auteurs ont introduit PEM-Rel-8K, un benchmark novateur contenant plus de 8 000 relations sémantiques extraites de trois taxonomies majeures :

• IEEE Thesaurus : Ingénierie et Informatique (~3 200 relations).
• PhySH (Physics Subject Headings) : Physique (~875 relations).
• MeSH (Medical Subject Headings) : Biomédecine (~4 000 relations).

Le jeu de données catégorise les relations en quatre classes mutuellement exclusives :

• Plus large (Broader) : Le sujet A englobe le sujet B.
• Plus étroit (Narrower) : Le sujet A est englobé par le sujet B.
• Équivalent (Same-as) : Les sujets sont sémantiquement équivalents.
• Autre (Other) : Aucune relation sémantique n'existe (exemples négatifs).

La construction du jeu de données a impliqué une supervision manuelle d'experts, particulièrement pour l'identification des relations « équivalent », qui ne sont pas toujours explicitement définies dans les taxonomies sources (ex. : distinguer les synonymes des étiquettes alternatives).

Contributions clés

1. Analyse exhaustive des LLM : Une évaluation systématique de 12 LLM à travers trois disciplines scientifiques (Ingénierie, Physique, Biomédecine) pour identifier les relations sémantiques.
2. Comparaison méthodologique : Une comparaison rigoureuse des approches Zero-Shot, Chain-of-Thought et Fine-Tuning pour les tâches de génération d'ontologies.
3. Étude de la transférabilité transdisciplinaire : Une investigation pour déterminer si les modèles ajustés sur une discipline peuvent se généraliser à d'autres, révélant le potentiel de modèles multidisciplinaires unifiés.
4. Benchmark PEM-Rel-8K : L'introduction et la publication d'un jeu de données modulaire et multidisciplinaire conçu spécifiquement pour l'entraînement et l'évaluation des modèles sur l'identification des relations entre sujets de recherche.
5. Publication en Open Source : Mise à disposition du code complet, des jeux de données et des modèles de prompts pour assurer la reproductibilité.

Résultats

Les expériences ont produit les conclusions clés suivantes :

• Supériorité du Fine-Tuning : L'ajustement fin des LLM sur PEM-Rel-8K a nettement surpassé les approches de prompting Zero-Shot et Chain-of-Thought. Le meilleur modèle, gemma-2-27b-it, a atteint un score F1 de 93,5 % sur l'ensemble de test multidisciplinaire.
• Performance de la CoT : Bien que la CoT bidirectionnelle surpasse le prompting standard dans les contextes Zero-Shot (améliorant le F1 d'environ 5,1 %), elle reste nettement en retrait par rapport aux modèles ajustés.
• Généralisation transdisciplinaire : Les modèles ajustés sur une seule discipline ont démontré une forte transférabilité. Par exemple, un modèle entraîné sur des données de Physique a obtenu des résultats compétitifs lors de tests sur la Biomédecine. De manière cruciale, un modèle ajusté sur l'ensemble combiné PEM-Rel-8K a atteint un score F1 moyen sur les trois disciplines qui n'était que de 1,2 % inférieur aux modèles ajustés exclusivement sur des jeux de données spécifiques à chaque discipline.
• Variabilité des modèles : Bien que gemma-27b soit le meilleur performeur global, d'autres modèles comme phi-4 et mistral-22b ont également montré de fortes capacités, avec des performances variant selon la discipline (ex. : phi-4 a été le plus performant sur MeSH, tandis que gemma-9b a excellé sur PhySH).
• Analyse d'erreurs : La relation la plus difficile à classifier était « équivalent » (F1 moyen : 88,5 %), souvent confondue avec des relations hiérarchiques en raison du chevauchement lexical et des définitions incohérentes entre les ontologies. La catégorie « autre » (paires non liées) était la plus facile à identifier.

Signification et affirmations

L'article affirme que cette étude représente la première investigation à grande échelle de l'utilisation des LLM pour identifier les relations sémantiques entre les sujets de recherche à travers un large éventail de disciplines scientifiques. La principale signification réside dans la démonstration que l'ajustement fin des LLM sur un jeu de données multidisciplinaire organisé peut produire des modèles robustes capables de se généraliser à différents champs scientifiques.

Les auteurs soutiennent que cette approche offre une voie viable pour surmonter la fragmentation et la couverture inégale des ontologies de recherche actuelles. En démontissant qu'un seul modèle peut traiter efficacement l'ingénierie, la physique et la biomédecine avec une perte de performance minimale par rapport aux modèles spécialisés, l'étude suggère un passage de la curation manuelle coûteuse d'ontologies séparées vers des systèmes d'organisation des connaissances automatisés et unifiés. Les résultats indiquent que les LLM peuvent réduire considérablement la barrière à la création et à la maintenance d'ontologies de haute qualité et actualisées, améliant ainsi la découvrabilité et l'analyse de la littérature scientifique.

Les auteurs restent modestes quant aux limites actuelles, notant que bien que les LLM soient des outils d'assistance puissants, ils font toujours face à des défis de cohérence et de précision qui peuvent nécessiter une supervision humaine, particulièrement pour les relations sémantiques complexes comme « équivalent ». Des travaux futurs sont proposés pour s'étendre aux sciences sociales et humaines, ainsi que pour développer des systèmes de mise en correspondance et d'évolution des ontologies.