💬 NLP

Measuring research data reuse in scholarly publications using generative artificial intelligence: Open Science Indicator development and preliminary results

PLOS et DataSeer ont développé un nouvel indicateur basé sur un LLM qui révèle un taux de réutilisation des données de recherche de 43 % dans les publications scientifiques, démontrant que l'intelligence artificielle générative peut mesurer les impacts de la science ouverte à grande échelle et suggérant que les effets positifs du partage des données sont actuellement sous-estimés.

Auteurs originaux : Lauren Cadwallader, Iain Hrynaszkiewicz, parth sarin, Tim Vines

Publié 2026-05-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lauren Cadwallader, Iain Hrynaszkiewicz, parth sarin, Tim Vines

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de la recherche scientifique comme une immense cuisine animée. Depuis des années, nous tentons de comprendre à quelle fréquence les chefs (les scientifiques) utilisent réellement des ingrédients (des données) laissés sur le comptoir par d'autres chefs, plutôt que de simplement hacher de nouveaux légumes entièrement issus de leurs propres jardins.

Ce document porte sur un nouveau « appareil photo intelligent » haute technologie, construit par PLOS (un éditeur scientifique) et DataSeer (une entreprise technologique), pour prendre une photo de cette cuisine et compter exactement la part de partage d'ingrédients qui s'y produit.

Voici le détail de leur projet en termes simples :

Le Problème : La Réutilisation « Silencieuse »

Auparavant, nous tentions de compter à quelle fréquence les scientifiques réutilisaient des données de deux manières principales :

En les interrogeant directement : Les enquêtes montraient qu'environ 50 % des scientifiques déclaraient : « Oui, j'utilise les données d'autres personnes. »
En recherchant des citations formelles : Nous cherchions des « remerciements » officiels (citations) dans les articles. Mais cette méthode était comparable à essayer de compter les invités d'une fête en ne regardant que les personnes portant des badges. Elle passait à côté de tous ceux qui discutaient simplement dans un coin. Cette méthode suggérait une réutilisation très faible (environ 9 à 16 %).

Il existait un grand fossé entre ce que les scientifiques disaient faire et ce que la méthode du « badge » pouvait voir.

La Solution : Le « Super-Lecteur » IA

Pour résoudre ce problème, l'équipe a construit une IA générative (un type de cerveau informatique intelligent) qui agit comme un lecteur hyper-attentif. Au lieu de simplement chercher des citations formelles, cette IA lit l'intégralité du texte d'un article scientifique pour comprendre l'histoire.

Pensez-y comme à un détective qui ne se contente pas de chercher une empreinte digitale spécifique, mais qui lit tout le journal intime pour déterminer si la personne a emprunté un livre à la bibliothèque ou en a acheté un nouveau.

Comment ils ont entraîné l'IA :

Ils ont montré à l'IA des milliers d'articles scientifiques et lui ont appris à repérer trois choses :
1. L'auteur a-t-il créé de nouvelles données (comme faire pousser de nouveaux légumes) ?
2. L'auteur a-t-il réutilisé des données existantes (comme utiliser les restes d'ingrédients d'autrui) ?
3. Pourquoi l'a-t-il fait ? (Le « raisonnement »).
Ils ont testé l'IA contre des experts humains pour s'assurer de sa précision. L'IA est devenue très compétente, identifiant correctement la réutilisation dans environ 85 % des cas.

Les Résultats : La Cuisine est Plus Animée Que Nous Ne le pensions

L'IA a analysé 4 475 articles scientifiques publiés au cours des trois premiers mois de 2024. Voici ce qu'elle a découvert :

Le Grand Chiffre : 43 % des articles ont réutilisé des données.
La Comparaison : Ce chiffre est bien plus élevé que l'ancienne méthode de « citation formelle » (qui n'en voyait qu'environ 10 %), mais il correspond beaucoup mieux à ce que les scientifiques nous ont dit dans les enquêtes (qui indiquaient environ 50 %).
La Conclusion : Les anciennes méthodes sous-estimaient probablement à quel point les scientifiques sont réellement utiles et collaboratifs. La « réutilisation » a bien lieu, mais elle se produit souvent dans le texte de l'article sans qu'une note de « remerciement » formelle y soit attachée.

Modèles Intéressants

L'IA a également remarqué certaines différences selon les régions et les sujets :

Par Région : Les scientifiques de la région Asie-Pacifique étaient les plus susceptibles de réutiliser des données (46 %), tandis que ceux d'Afrique l'étaient le moins (31 %). Les auteurs suggèrent que cela pourrait être lié à la manière dont les données sont partagées à l'échelle mondiale et aux préoccupations concernant la propriété des données.
Par Sujet :
- Les Sciences Physiques et les Sciences Sociales étaient les plus équilibrées, réutilisant des données presque aussi souvent qu'ils en créaient de nouvelles.
- Les Sciences du Vivant (comme la biologie) étaient les plus susceptibles de créer des données toutes neuves (76 %) et les moins susceptibles de réutiliser des données existantes (37 %).

Pourquoi Cela Compte

Les auteurs soutiennent que si nous ne regardons que les citations formelles, nous manquons la vision d'ensemble du fonctionnement de la science ouverte. En utilisant cet « appareil photo intelligent » à base d'IA, nous pouvons voir que le partage de données a un impact plus grand que nous ne le pensions.

Note Importante sur les Limites :
Les auteurs précisent soigneusement qu'il s'agit d'un « travail en cours ». Ils admettent que :

Il peut être délicat de distinguer l'utilisation de vos propres anciennes données de celle de quelqu'un d'autre.
Ils n'ont examiné que des articles d'un seul éditeur (PLOS), il est donc possible que les résultats diffèrent dans d'autres revues.
L'IA n'est pas encore parfaite, mais elle représente un progrès énorme par rapport aux anciennes méthodes de comptage.

En bref, ce document présente un nouvel outil qui nous aide à voir que les scientifiques partagent et réutilisent le travail les uns des autres beaucoup plus souvent que nous ne le réalisions, suggérant que le mouvement de la « science ouverte » fonctionne mieux que ne pouvaient le montrer nos anciennes règles de mesure.

1. Énoncé du problème

La communauté scientifique lutte depuis longtemps pour mesurer avec précision la réutilisation des données de recherche à grande échelle.

Limites des méthodes actuelles :
- Enquêtes : Bien que les enquêtes auto-déclarées indiquent des taux de réutilisation élevés (52–54 %), elles sont subjectives et non évolutives.
- Bibliométrie : L'analyse traditionnelle des citations repose sur les citations formelles de jeux de données (par exemple, les DOI). Cependant, leur mise en œuvre est incohérente et de nombreux jeux de données réutilisés (par exemple, les séquences génétiques) ne possèdent pas d'identifiants persistants. Les approches bibliométriques suggèrent actuellement des taux de réutilisation de seulement 9–16 %, créant un écart significatif entre les comportements déclarés et les métriques détectées.
- NLP existant : Les tentatives automatisées précédentes (par exemple, utilisant SciBERT) ont montré des promesses mais manquent souvent de nuance pour distinguer la génération de données, leur réutilisation et une simple référence, ou échouent à capturer le contexte de comment et pourquoi les données ont été réutilisées.
Le vide : Il existe un besoin critique d'un indicateur automatisé et évolutif capable de détecter la réutilisation de données dans le texte, d'identifier des jeux de données spécifiques et de comprendre le contexte de la réutilisation, fournissant ainsi une image plus précise de l'impact des politiques de Science Ouverte.

2. Méthodologie

Les auteurs (PLOS et DataSeer) ont développé un pipeline d'IA générative (LLM) pour analyser les articles scientifiques afin de détecter la génération et la réutilisation de données.

A. Définition de l'indicateur

Par le biais d'une revue de littérature et de consultations avec les parties prenantes (financeurs, institutions, chercheurs), ils ont défini trois exigences fondamentales pour l'indicateur :

Identifier si un article réutilise des données de recherche.
Identifier quels jeux de données spécifiques ont été réutilisés.
Identifier comment ou pourquoi les données ont été réutilisées (raisonnement contextuel).

B. Développement du modèle et architecture

Modèle de base : L'équipe a affiné Qwen3-32B (un grand modèle de langage).
Données d'entraînement : Un ensemble de données curaté de 1 732 articles PLOS annotés par des experts humains. Les annotations comprenaient des étiquettes booléennes pour la génération/réutilisation de données et l'extraction de citations, numéros d'accès, URL et DOI.
Stratégie d'entraînement :
- Technique : Adaptation à faible rang (LoRA) appliquée à toutes les couches linéaires (sauf la tête finale).
- Optimisation : Un processus d'entraînement en deux étapes :
  1. Auto-distillation : Affinage sur des complétions à haute récompense (≥0,9) issues d'une exécution de vérification.
  2. Apprentissage par renforcement (RL) : Utilisation de l'Optimisation de la politique relative par groupes (GRPO) pour affiner le modèle.
Fonction de récompense : Une fonction de récompense multiplicative $r(p, c, y) = f(c) \times e(p, c) \times v(c, y)$ $r (p, c, y) = f (c) \times e (p, c) \times v (c, y)$ a été conçue pour imposer :
1. Format ( $f$ ) : Structure JSON valide.
2. Ancrage ( $e$ ) : Pas d'hallucinations ; les sorties doivent être étayées par le texte source.
3. Précision ( $v$ ) : Accord avec les annotations humaines.
Pipeline d'inférence :
- Les articles ont été convertis en Markdown (en utilisant markitdown et Docling).
- Les articles longs (>25k tokens) ont été tronqués tout en préservant les résumés et les références.
- Stratégie Pass@3 : Pour chaque article, le modèle a généré trois complétions. Un modèle vérificateur (Qwen3-32B de base) les a classées, et la complétion la mieux classée a été sélectionnée.

C. Évaluation

Le modèle a été évalué sur un ensemble de test retenu de 296 articles.

Performance : Le modèle a atteint une haute précision sur les champs booléens (89,8 % de pass@1 pour la génération de nouvelles données ; 79,4 % pour la réutilisation) et de forts scores F1 pour l'extraction d'identifiants spécifiques (par exemple, 0,997 F1 pour les citations de nouvelles données).
Comparaison : Il a surpassé d'autres modèles ouverts testés (GLM-5, gpt-oss-120b, Deepseek-R1).

3. Résultats clés

Le modèle a analysé 4 475 articles PLOS publiés au premier trimestre 2024.

Taux global de réutilisation : 43 % des articles ont été trouvés réutiliser des données existantes. Cela est nettement supérieur aux estimations bibliométriques (9–16 %) et plus proche des données d'enquêtes auto-déclarées (>50 %).
Génération de données : 59 % des articles ont généré de nouvelles données.
Chevauchement : 11 % des articles ont à la fois généré de nouvelles données et réutilisé des données existantes.
Articles sans données : 10 % des articles n'ont ni généré ni réutilisé de données (un taux plus élevé que les indicateurs PLOS précédents, en raison de définitions plus strictes excluant les simulations pures ou les revues systématiques).

Répartition régionale et disciplinaire

Région :
- Asie-Pacifique : Taux de réutilisation le plus élevé (46 %).
- Afrique : Taux de réutilisation le plus bas (31 %), avec des taux plus élevés de génération de nouvelles données (66 %). Les auteurs suggèrent que cela peut être lié à des questions de souveraineté des données ou à la « science hélicoptère ».
- Amérique du Nord, Amérique latine, Europe : Les taux de réutilisation se situent autour de 39–42 %.
Discipline :
- Sciences sociales : Taux de réutilisation le plus élevé (50 %).
- Sciences physiques : Réutilisation élevée (47 %) mais aussi le taux le plus élevé d'articles sans génération ni réutilisation de données (18 %).
- Sciences de la vie : Génération de nouvelles données la plus élevée (76 %) mais réutilisation la plus faible (37 %).

4. Contributions clés

Indicateur novateur : Développement du premier indicateur basé sur un LLM capable de mesurer la réutilisation de données à grande échelle, allant au-delà du simple comptage de citations vers une analyse sémantique du texte.
Compréhension contextuelle : Contrairement aux méthodes précédentes, cette approche extrait le raisonnement derrière la réutilisation (comment/pourquoi), fournissant des métadonnées plus riches pour l'évaluation de l'impact.
Validation de la performance : Démonstration que les LLM affinés peuvent atteindre une haute précision dans la détection de pratiques de recherche complexes, surpassant les bibliométries traditionnelles et les modèles NLP antérieurs.
Définitions affinées : Clarification de la distinction entre « génération de données » (transfert d'informations du monde physique vers le numérique) et « réutilisation », corrigeant les surestimations dans les précédents indicateurs de Science Ouverte de PLOS (qui rapportaient des taux de génération de 98 %).

5. Importance et implications

Réévaluation de l'impact de la Science Ouverte : Les résultats suggèrent que les impacts positifs du partage de données et des politiques de Science Ouverte sont actuellement sous-estimés par les métriques traditionnelles. Le taux de réutilisation de 43 % indique un écosystème dynamique de réutilisation de données que les bibliométries échouent à capturer.
Politiques et financement : Cet outil fournit aux financeurs (par exemple, la Fondation Michael J. Fox) et aux décideurs politiques un mécanisme évolutif pour surveiller les effets en aval des mandats de partage de données, passant de la mesure de la conformité (partage) à la mesure de l'impact (réutilisation).
Pratiques de citation : L'étude met en évidence que les chercheurs décrivent souvent l'utilisation des données d'une manière qui ne respecte pas les normes formelles de citation, renforçant la nécessité d'une analyse de contenu pilotée par l'IA plutôt que de compter uniquement sur des métadonnées structurées.
Voies futures : Les auteurs notent des limites concernant la distinction entre la réutilisation de ses propres données et celle des données d'autrui, ainsi que le besoin d'une validation plus large à travers différents journaux et disciplines.

En conclusion, cet article établit que l'intelligence artificielle générative est un outil viable et supérieur pour surveiller la véritable prévalence et la nature de la réutilisation des données de recherche, offrant une base plus précise pour évaluer le succès des initiatives de Science Ouverte.