Résumé technique : La découverte de connaissances scientifiques à l'ère des grands modèles de langage

Énoncé du problème

L'expansion rapide de la littérature scientifique a rendu les flux de travail traditionnels de recherche et de revue de plus en plus inefficaces. Les systèmes conventionnels reposent lourdement sur la correspondance par mots-clés, le classement basé sur les citations et un examen manuel laborieux, ce qui entraîne des risques d'omission de travaux pertinents, de duplication d'efforts et de retard dans la synthèse des preuves. Bien que des outils semi-automatisés existent, ils servent principalement à la hiérarchisation plutôt qu'à remplacer l'évaluation humaine. Les auteurs identifient un besoin critique pour des méthodes plus flexibles capables d'interpréter le langage naturel, de capturer les relations sémantiques et de produire des jugements structurés pour soutenir la découverte de connaissances scientifiques, en se concentrant spécifiquement sur deux tâches centrales :

1. La recherche de littérature (Retrieval) : Identifier, classer ou recommander des publications pertinentes par rapport à une requête, un article germe (seed paper) ou un profil utilisateur.
2. Le criblage de la littérature (Screening) : Évaluer les publications candidates par rapport à des critères d'éligibilité prédéfinis, généralement dans le cadre de revues systématiques et de flux de travail de synthèse des preuves.

Méthodologie

Ce chapitre présente une enquête systématique de 34 articles évalués par les pairs publiés entre 2024 et 2026 qui appliquent les grands modèles de langage (LLM) génératifs à ces tâches.

• Stratégie de recherche : Les auteurs ont utilisé BIP! Finder, un moteur de recherche académique indexant plus de 250 millions de publications via le graphe OpenAIRE. Une recherche booléenne a été effectuée en mai 2026 en utilisant des termes liés aux « grands modèles de langage » combinés à des mots-clés spécifiques de recherche et de criblage.
• Critères de sélection : Sur un pool initial de 1 589 enregistrements, les études ont été incluses si elles : (i) traitaient de la recherche ou du criblage ; (ii) utilisaient un LLM génératif comme composante primaire ; (iii) rapportaient suffisamment de détails méthodologiques pour la comparaison ; et (iv) étaient rédigées en anglais. Les résumés étendus, les prépublications (à moins qu'une version évaluée par les pairs ne soit trouvée) et les études se concentrant sur des tâches hors de portée (ex. : résumé) ont été exclus.
• Caractéristiques du corpus : Le corpus final de 34 articles montre une croissance rapide (9 en 2024, 24 en 2025, 1 début 2026). La littérature est fortement concentrée dans les domaines biomédicaux et cliniques, les thèmes « Biomedical Text Mining and Ontologies » et « Topic Modeling » étant les plus fréquents.
• Cadre d'analyse : L'enquête catégorise les travaux en deux domaines thématiques (Recherche et Criblage) et les sous-groupe davantage par approche technique. Chaque groupe est analysé selon :
  • Modèles utilisés : LLM spécifiques, méthodes d'accès (API, local, interface Web) et stratégies d'adaptation (ajustement fin/fine-tuning vs prompting).
  • Tendances d'évaluation : Sources de vérité terrain (benchmarks existants vs construits par les auteurs) et métriques (métriques de classement, précision diagnostique, efficacité).

Contributions clés et résultats

1. LLM pour la recherche de littérature

L'enquête identifie deux modes principaux d'application de la recherche :

• Recherche et recommandation de base : C'est le domaine le plus diversifié, englobant cinq pistes de recherche :

  • Recherche sémantique : Utiliser les LLM pour extraire des concepts multi-granulaires (ex. : SemRank) ou re-pondérer les plongements (embeddings) pour pénaliser la redondance (ex. : Zheng et al.).
  • Recherche agentique : Systèmes où les LLM planifient, routent et affinent la recherche (ex. : LitChat, LITERAS). Ceux-ci emploient souvent des architectures multi-agents pour la génération de requêtes, la recherche, la validation et l'affinement.
  • Ancrage dans des connaissances structurées : Recherche ancrée dans des graphes de connaissances (ex. : GPTscholar générant des requêtes SPARQL ; Liu et al. générant des requêtes Cypher) pour réduire les hallucinations.
  • Audit de citations : Études contrôlées examinant la capacité des LLM à reproduire des listes de références de mémoire sans ancrage dans une base de données (ex. : Chelli et al.).
  • Recommandation pilotée par profil : Utiliser les LLM pour affiner les signaux de similitude pour les systèmes de recommandation basés sur des graphes (ex. : MCAP).
  • Modèles et évaluation : La plupart des systèmes utilisent des modèles commerciaux (GPT-4, Claude, Gemini) via API sans ajustement fin. L'évaluation repose souvent sur les métriques classiques de la recherche d'information (Recall, Precision, nDCG) par rapport à des benchmarks existants. Cependant, une évaluation focalisée sur la composante de recherche est souvent absente, car la recherche est fréquemment traitée comme une étape de soutien pour des tâches en aval.

• Recherche de type RAG pour les tâches en aval :

  • Ces systèmes intègrent la recherche dans des pipelines pour la revue par les pairs automatisée, le support à la décision clinique ou la génération de synthèses.
  • La recherche est utilisée pour contextualiser la nouveauté, ancrer les limites ou soutenir des décisions fondées sur des preuves.
  • Lacune d'évaluation : Dans ces études, la qualité de la recherche est rarement évaluée par rapport à une vérité terrain dédiée. L'évaluation se concentre sur la production en aval (ex. : la qualité d'une revue ou d'un plan de traitement), en utilisant des signaux indirects comme des proxys de citation ou des études d'ablation.

2. LLM pour le criblage de la littérature

Les approches de criblage sont divisées en deux schémas architecturaux :

• Criblage à passage unique (Single-Pass) :

  • Traite le criblage comme un appel de modèle unique par article.
  • La variation technique réside dans l'ingénierie de prompt : critères statiques, exemples few-shot, Chain-of-Thought (CoT) et optimisation itérative des prompts (ex. : Tao et al., Ruan et al.).
  • Évaluation : Très rigoureuse, utilisant des métriques de précision diagnostique standard (Précision, Rappel, Spécificité, F1, MCC) par rapport à des revues systématiques existantes ou une vérité terrain construite par les auteurs.
  • Modèles : Un mélange de modèles commerciaux (GPT, Claude, Gemini) et de modèles à poids ouverts (Llama, Mistral, Gemma). Notamment, Delgado-Chaves et al. ont mené la comparaison la plus large de 18 modèles. Aucun ajustement fin des poids du modèle n'a été observé ; l'adaptation se limitait au prompting.

• Pipelines à composants multiples ingéniés :

  • Conçus pour imiter les équipes de revue humaines par le biais de pré-filtrage, d'arbitrage inter-modèles ou de criblage augmenté par la recherche.
  • Arbitrage : Plusieurs modèles effectuent le criblage de manière indépendante, avec un troisième modèle ou un expert humain résolvant les désaccords (ex. : Dai et al., Pan et al.).
  • Augmenté par la recherche : Les systèmes récupèrent des passages de textes intégraux pour répondre aux questions d'éligibilité (ex. : Trad et al.).
  • Agentique/Itératif : Systèmes multi-agents qui affinent les prompts basés sur des retours ou appliquent des seuils de réduction de la charge de travail (ex. : GREP-Agent).
  • Évaluation : Utilise des métriques diagnostiques standards ainsi que des statistiques d'accord (Cohen's $\kappa$, PABAK) et des métriques d'efficacité (réduction de la charge de travail, coût). La vérité terrain est typiquement dérivée de revues systématiques existantes ou de sous-ensembles étiquetés par des experts.

Signification et affirmations

Le papier affirme fournir un aperçu complet du paysage en évolution rapide de la découverte de connaissances scientifiques assistée par les LLM. Sa principale signification réside dans :

1. Cartographie du paysage : Il caractérise le passage de l'appel de modèle unique vers des systèmes composés, souvent agentiques et multi-composants, pour la recherche et le criblage.
2. Identification de la divergence méthodologique :
   • La recherche est techniquement diverse mais méthodologiquement fragmentée, avec un manque d'évaluation standardisée pour la composante de recherche elle-même.
   • Le criblage est plus méthodologiquement standardisé, utilisant des benchmarks de précision diagnostique rigoureux et évoluant vers des outils utilisables en production via le consensus multi-modèles.
3. Concentration domainale : L'enquête souligne que les avancées actuelles sont fortement concentrées dans les applications biomédicales et cliniques. Cela est attribué à la maturité des méthodologies de revue systématique en biomédecine, qui fournissent une vérité terrain établie et des conventions d'évaluation claires.
4. Tendances d'adoption : Le domaine voit une montée en puissance des modèles à poids ouverts (souvent pour la confidentialité et le contrôle des coûts) aux côtés des modèles dominants via API fermés. Cependant, l'ajustement fin spécifique au domaine reste rare, l'adaptation se produisant principalement au niveau du prompt.

Les auteurs concluent que bien que la recherche et le criblage assistés par les LLM passent de démonstrations isolées à des pratiques établies, le domaine reste lié à son domaine d'application. La transférabilité de ces approches à des domaines non biomédicaux est actuellement incertaine en raison de l'absence de benchmarks comparables et de conventions de revue en dehors de la biomédecine.