💬 NLP

SciDef: Datasets and Tools for Automated Definition Extraction from Scientific Literature with LLMs

L'article présente SciDef, une suite de ressources complète comprenant le benchmark DefExtra, les jugements de similitude DefSim et un pipeline ouvert basé sur les LLM pour faire progresser l'extraction automatisée de définitions scientifiques, tout en identifiant le filtrage sensible à la pertinence comme le principal défi pour les systèmes entièrement automatiques.

Auteurs originaux : Filip Kučera, Christoph Mandl, Isao Echizen, Radu Timofte, Timo Spinde

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Filip Kučera, Christoph Mandl, Isao Echizen, Radu Timofte, Timo Spinde

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un dictionnaire géant et universel pour les scientifiques. Le problème est que chaque chercheur écrit ses propres règles. Un chercheur pourrait définir le « biais médiatique » comme des « informations orientées », tandis qu'un autre l'appelle un « biais interne dans les articles ». Ils parlent de la même chose, mais utilisent des mots différents. Cela rend extrêmement difficile la comparaison de leurs travaux ou la création d'outils capables de comprendre la science dans son ensemble.

Les auteurs de ce document, SciDef, sont comme une équipe de bibliothécaires et d'ingénieurs qui ont décidé de régler ce désordre. Ils ont construit une boîte à outils pour aider les ordinateurs à trouver, lire et comparer automatiquement ces définitions scientifiques.

Voici comment leur boîte à outils fonctionne, divisée en trois parties principales :

1. Le dictionnaire « Gold Standard » (DefExtra)

Considérez DefExtra comme un immense jeu de cartes mémoire soigneusement organisé.

Ce que c'est : Une collection de 268 définitions réelles extraites manuellement de 75 articles acadiques différents.
Le piège : Ils n'ont pas simplement saisi n'importe quelle phrase qui ressemblait à une définition. Ils ont filtré les descriptions vagues et n'ont conservé que les définitions « énoncées par l'auteur » — celles que les scientifiques ont réellement écrites pour expliquer leurs termes.
Pourquoi c'est important : Avant cela, si vous vouliez tester un programme informatique pour voir s'il pouvait trouver des définitions, vous deviez créer votre propre test. Désormais, tout le monde peut utiliser ce même jeu « Gold Standard » pour voir qui fait le meilleur travail.

2. Le « Test de goût » (DefSim)

Trouver une définition est facile ; savoir si deux définitions signifient la même chose est difficile.

Le problème : Si un ordinateur dit « Le biais médiatique est un mauvais reportage » et que la réponse humaine est « Le biais médiatique est une couverture orientée », sont-ils identiques ? Une vérification informatique simple pourrait dire « Non, les mots sont différents ».
La solution : DefSim est un petit ensemble de 6iodes paires de définitions où des humains ont attribué un « score de similitude » de 1 à 5 (comme noter deux chansons sur la façon dont elles sonnent).
Le but : Cela sert de « test de goût » pour voir si la logique mathématique de l'ordinateur (sa métrique de similitude) est en accord avec l'intuition humaine. L'article a découvert qu'un type spécifique de logique d'IA (appelée NLI) est très doué pour réussir ce test de goût.

3. Le Bibliothécaire Robot (Pipeline SciDef)

C'est la machine qui effectue réellement le travail.

Comment ça marche : Imaginez un robot qui prend un PDF d'un article scientifique, le découpe en petits morceaux (comme trancher une miche de pain), puis demande à un grand modèle de langage (LLM) de « Trouver les définitions dans cette tranche ».
L'expérience : Les auteurs ont testé 16 modèles d'IA différents en utilisant différentes façons de poser la question (prompts) et différentes façons de découper l'article (chunking).
Les résultats :
- La stratégie du « Tout-en-un » : Certains réglages ont permis au robot de trouver presque toutes les définitions (86,4 % d'entre elles !). Cependant, il a aussi trouvé beaucoup de déchets. C'était comme un détecteur de métaux qui bipe pour chaque morceau de métal, y compris les bouchons de bouteilles et les clous, et pas seulement pour les pièces d'or.
- La stratégie « Intelligente » : La configuration la plus performante utilisait une technique d'optimisation spéciale (DSPy). Elle ne trouvait pas chaque définition, mais celles qu'elle trouvait étaient de haute qualité et pertinentes. Elle a obtenu un score de 0,397, ce qui est le plus élevé du groupe.
- Le goulot d'étranglement : Le problème principal n'est pas de trouver les définitions, mais de les filtrer. Les robots sont excellents pour lancer un filet large, mais ils ont du mal à jeter l'« écho inutile » (le bruit) sans l'aide humaine.

La grande conclusion

Les auteurs ne prétendent pas que les robots peuvent désormais lire et comprendre parfaitement la science de manière autonome. Au contraire, ils disent :

Nous avons les outils : Ils ont donné au monde les données (DefExtra, DefSim) et le robot (SciDef) pour continuer à s'améliorer.
Les robots sont bons pour le « Rappel élevé » : Ils peuvent trouver presque tout ce que vous cherchez, mais ils ramènent beaucoup de désordre.
L'humain est toujours nécessaire : Parce que les robots sur-génèrent (trouvent trop de déchets), la prochaine étape pour les chercheurs est de construire de meilleurs filtres pour séparer les « pièces d'or » des « bouchons de bouteilles ».

En résumé, SciDef est un kit de démarrage pour quiconque souhaite apprendre aux ordinateurs comment comprendre le langage de la science, complet avec un jeu de test, une grille de notation et un prototype fonctionnel.

Résumé technique : SciDef – Jeux de données et outils pour l'extraction automatisée de définitions à partir de la littérature scientifique avec les LLM

Problématique

Les concepts scientifiques sont fréquemment définis de manière incohérente dans les articles académiques, ce qui crée des barrières à la comparaison des résultats, à la réutilisation de la terminologie et à la construction de ressources fiables en aval. Alors que le volume de publications augmente, l'identification et la consolidation manuelles des définitions pour des mots-clés spécifiques deviennent impossibles. Bien que les modèles de langage de grande taille (LLM) soient prometteurs pour reconnaître les énoncés définitionnels au-delà des simples motifs de mots-clés superficiels, la recherche reproductible dans ce domaine est entravée par l'absence de benchmarks publics pour les définitions extraites, de jeux de données dédiés pour évaluer la similitude des définitions, et d'une infrastructure réutilisable pour comparer les pipelines d'extraction et les stratégies de prompting.

Méthodologie

Les auteurs présentent SciDef, une suite de ressources complète comprenant deux jeux de données et un pipeline open-source basé sur les LLM. La méthodologie est structurée autour de trois composantes principales :

1. Construction des jeux de données

DefExtra (Benchmark d'extraction) : Un jeu de données de 268 définitions validées par des humains, énoncées par les auteurs, extraites de 75 articles académiques sélectionnés (publiés entre 1987 et 2025), se concentrant principalement sur le domaine du biais médiatique. Le jeu de données inclut les métadonnées de la source, les segments de contexte et des étiquettes distinguant les définitions explicites (citations directes) et implicites (reformulées mais claires). Il signale également les articles hors domaine pour tester la robustesse des modèles. La construction a impliqué un processus multi-étapes : une récupération et une annotation initiales basées sur l'effort TaxoMatic, suivie d'un filtrage manuel strict par deux auteurs pour ne conserver que les définitions vérifiables et énoncées par les auteurs, et enfin une extension avec des articles supplémentaires annotés par un groupe distinct de 11 annotateurs.
DefSim (Benchmark de similitude) : Une ressource de validation contenant 60 paires de définitions avec des étiquettes de similitude sémantique humaine (notées de 1 à 5). Les paires incluent des combinaisons gold-prediction, gold-gold et prediction-prediction pour couvrir les cas exacts, partiels et non correspondants. Ce jeu de données est conçu pour valider les métriques de correspondance sémantique plutôt que pour les ajuster.

2. Le pipeline SciDef

SciDef est un pipeline modulaire et reproductible pour le prétraitement des PDF, le découpage (chunking), l'extraction de définitions, l'optimisation du prompt et l'évaluation.

Prétraitement : Les PDF sont analysés via GROBID.
Découpage (Chunking) : Quatre stratégies sont évaluées : par section, par paragraphe, par phrase, et une fenêtre glissante de trois phrases.
Stratégies d'extraction : Le pipeline compare plusieurs approches de prompting :
- OneStep : Extrait directement les définitions d'un segment.
- MultiStep : Détermine d'abord si un segment contient une définition avant de l'extraire.
- Variantes Few-Shot : Inclut des exemples d'entraînement (OneStep-FS, MultiStep-FS).
- Optimisation DSPy : Implémente et optimise les prompts en utilisant BootstrapFewShot, BootstrapFewShotWithRandomSearch et MIPROv2. Lors de l'optimisation, les modèles prédisent les segments de contexte locaux comme un signal d'ancrage auxiliaire.
Protocole d'évaluation : Le pipeline évalue 16 LLM (ouverts et propriétaires) contre DefExtra. Puisque la correspondance exacte de chaînes de caractères est insuffisante pour les définitions paraphrasées, les auteurs sélectionnent une métrique par paire basée sur des benchmarks de similitude sémantique générale (STS3k, SICK, MSRP, QQP). Ils identifient l'Inférence de Langage Naturel (NLI) comme la métrique supérieure et utilisent DefSim pour valider son alignement avec les jugements humains.
Scoring : Un score de meilleure correspondance bidirectionnelle est calculé. Il mesure la couverture des annotations humaines (rappel) tout en pénalisant la surproduction (précision) en combinant la similitude sémantique (via la métrique NLI) avec l'accord sur les types explicites/implicites.

Principales contributions

Le papier présente quatre contributions majeures :

DefExtra : Un benchmark de 268 définitions extraites par des humains avec des métadonnées riches, incluant des étiquettes de type de définition et des indicateurs hors domaine.
DefSim : Une ressource de validation spécifique à la tâche de jugements de similitude de paires de définitions.
SciDef : Un pipeline LLM ouvert, documenté et versionné supportant le prétraitement des PDF, le découpage, l'extraction, l'optimisation du prompt et l'évaluation.
Expériences de validation : Un benchmarking complet de 16 LLM à travers plusieurs stratégies de prompting et schémas de découpage, démontrant l'utilité des ressources publiées pour comparer les performances d'extraction.

Résultats

Les auteurs ont validé les ressources en utilisant le biais médiatique comme une étude de cas complexe en raison de ses définitions incohérentes selon les disciplines.

Validation des métriques : Les métriques basées sur la NLI ont surpassé la similitude cosinus des embeddings et le scoring "LLM-as-a-Judge" sur des benchmarks de similitude sémantique générale. Sur DefSim, la métrique NLI a montré une forte corrélation de Pearson ( $\rho = 0,937$ ) avec les jugements de similitude humaine, et les annotateurs humains ont montré un haut degré d'accord ( $\alpha = 0,924$ ).
Performance d'extraction :
- La configuration la plus performante au niveau de l'ensemble (un extracteur optimisé par DSPy utilisant un modèle de la famille Qwen avec un découpage par section) a obtenu un score de 0,397.
- La configuration à couverture la plus élevée (un extracteur OneStep-Few-Shot) a fait correspondre au moins une prédiction à 86,4 % des définitions "gold". Cependant, cette configuration a considérablement sur-généré des définitions candidates (moyenne de 39,13 prédictions par article), entraînant un score global plus faible.
- Les extracteurs ayant les meilleurs scores (principalement basés sur DSPy) ont démontré un meilleur équilibre entre couverture et spécificité, avec un nombre moyen de prédictions de l'ordre de 5 à 12 par article.
Constat clé : Bien que les LLM puissent récupérer un pourcentage élevé de définitions scientifiques, une couverture élevée se fait souvent au détriment de la pertinence. Le benchmark distingue efficacement les modèles qui trouvent de nombreux candidats plausibles de ceux qui identifient les définitions spécifiques et pertinentes.

Signification et affirmations

Le papier positionne SciDef comme une couche de benchmark et d'outillage réutilisable pour l'analyse de la littérature centrée sur les définitions. Les auteurs affirment que leurs ressources permettent aux chercheurs de :

Comparer de nouveaux extracteurs de définitions par rapport à un benchmark standardisé validé par des humains.
Valider les métriques de correspondance de définitions en utilisant des jugements humains spécifiques à la tâche.
Collecter des définitions candidates pour des tâches en aval telles que les revues de littérature, la construction de taxonomies, l'ingénierie d'ontologies et la cartographie de domaines.

Les auteurs concluent modestement que les LLM actuels servent efficacement d'outils de découverte de définitions à haut rappel, mais ne doivent pas encore être traités comme des sélecteurs de définitions entièrement automatiques. Le principal goulot d'étranglement pour l'extraction entièrement automatique reste le filtrage sensible à la pertinence, car les modèles récupèrent fréquemment de nombreux candidats plausibles mais non pertinents. Par conséquent, la validation humaine reste nécessaire pour les applications à enjeux élevés. Ce travail souligne la nécessité de continuer le développement des mécanismes de filtrage pour combler l'écart entre le haut rappel et la haute précision dans l'extraction de définitions scientifiques.