Faster science, penalties in evaluation, and concerns on quality and impact: Researchers' use and perceptions of preprints

Bien que les chercheurs biomédicaux utilisent massivement les prépublications pour accélérer la diffusion des connaissances, leur adoption culturelle est freinée par la crainte de pénalités professionnelles et des inquiétudes croissantes concernant la qualité et l'intégrité scientifique, ce qui appelle à une réforme des systèmes d'évaluation et à de nouveaux mécanismes de contrôle.

L'essentiel

🧪 Le Préprint : La "Démo" Scientifique avant le "Produit Final"

Imaginez que la science est comme l'industrie de la mode ou de l'automobile.

• L'article scientifique classique (publié dans une revue) est la voiture neuve sortie du concessionnaire. Elle a été inspectée, testée, garantie par des experts (les pairs) et elle est prête à rouler.
• Le préprint, c'est le prototype ou le brouillon laissé sur le parking de l'usine. C'est la même voiture, mais elle n'a pas encore passé le contrôle technique officiel. Elle est disponible pour que tout le monde la voie tout de suite, sans attendre les mois (voire les années) que prend l'inspection.

Cette étude, menée par des chercheurs de l'Université du Wisconsin, a posé des questions à des milliers de scientifiques en Amérique du Nord pour savoir comment ils utilisent ces "prototypes" et ce qu'ils en pensent.

---

🏎️ 1. La course contre la montre (Le moteur "Vitesse")

Les chercheurs utilisent massivement ces préprints, mais pas par idéalisme "open source". C'est une question de vitesse.

• L'analogie : C'est comme tweeter une nouvelle avant de l'écrire dans un journal officiel.
• Ce qu'ils font : Ils lisent, citent et publient ces préprints pour être les premiers à dire "J'ai trouvé ça !".
• Le problème : Personne ne semble vraiment intéressé par le débat ou la critique constructive avant la publication officielle. C'est comme si tout le monde courait pour poser son nom sur le prototype, mais personne ne prenait le temps de vérifier si le moteur ne va pas exploser. C'est une course de vitesse, pas un atelier de dialogue.

🛡️ 2. Le filtre de la "Réputation" (Comment on juge sans garde-fous)

Puisqu'il n'y a pas de "contrôle technique" (pas de révision par les pairs), comment savoir si le prototype est fiable ?

• L'analogie : Imaginez que vous devez acheter une voiture sans garantie. Vous ne regardez pas le moteur (trop compliqué), vous regardez le nom du constructeur sur le capot.
• La réalité : Les scientifiques ne font pas confiance au document lui-même, mais à la réputation de l'auteur. Si un grand nom de l'université a posté le préprint, tout le monde le lit. Si c'est un jeune chercheur inconnu, on hésite.
• Le piège : Cela crée un cercle vicieux. Les jeunes chercheurs (qui ont le plus besoin de visibilité) sont ignorés parce qu'ils n'ont pas encore de "nom célèbre", tandis que les grands noms sont sur-représentés. C'est l'effet "Riches deviennent plus riches".

⚖️ 3. Le "Plafond de Verre" et le "Gardien" (Les pénalités de carrière)

C'est ici que ça se corse. Bien que les préprints soient utiles pour la science, ils peuvent être toxiques pour la carrière d'un chercheur.

• L'analogie : Imaginez que vous postulez pour un emploi de pilote. Vous avez un dossier plein de vols réussis (articles publiés) et un dossier de "vols d'entraînement" (préprints). Le patron (le comité de recrutement) dit : "Je ne veux pas de vols d'entraînement dans ton dossier, c'est trop risqué. Je ne te donnerai pas de crédit pour ça."
• La réalité :
  • Les jeunes chercheurs pensent que les préprints sont super pour se faire connaître.
  • Mais les comités de recrutement et de financement (les gardiens) les voient comme un risque. Ils disent : "On n'a pas le temps de vérifier si ce préprint est vrai. On préfère l'article validé."
  • Résultat : Mettre un préprint dans son dossier peut parfois être vu comme un signe de faiblesse ou de manque de sérieux. C'est une "pénalité invisible".

🤖 4. La peur de la "Fausse Monnaie" (IA et Arnaques)

Enfin, il y a une grande inquiétude sur la qualité.

• L'analogie : Avant, pour fabriquer une fausse voiture, il fallait un atelier. Aujourd'hui, avec l'Intelligence Artificielle (IA), n'importe qui peut imprimer 1 000 fausses voitures en une seconde.
• Le danger : Les scientifiques ont peur que des gens utilisent l'IA pour générer des milliers de préprints faux ou trompeurs. Si un médecin lit un préprint faux sur un nouveau traitement, cela peut mettre des vies en danger.
• La conséquence : Cette peur renforce le manque de confiance. Les gens se disent : "Mieux vaut attendre l'article officiel validé, même si ça prend du temps."

---

💡 En résumé : Le Dilemme

Cette étude nous dit que nous sommes coincés dans une situation étrange :

1. On veut aller vite (pour la science), donc on utilise les préprints.
2. Mais on a peur de la qualité, donc on ne fait confiance qu'aux "grands noms".
3. Et les institutions (universités, financeurs) punissent ceux qui osent utiliser ces préprints dans leurs dossiers de carrière.

La solution proposée ?
Il faut inventer de nouveaux systèmes. Imaginez un "label de qualité" automatique pour les préprints qui vérifierait si les données sont transparentes, sans avoir besoin d'attendre des mois pour une validation humaine. Cela permettrait de garder la vitesse tout en rassurant les gardiens de la porte, et de donner une chance aux jeunes chercheurs, pas seulement aux stars.

En gros : La science veut aller vite, mais elle a peur de trébucher. Il faut lui mettre des chaussures de sécurité, pas des chaînes.

Résumé technique

1. Problématique et Contexte

L'écosystème des prépublications (preprints) s'est développé rapidement au cours de la dernière décennie, modifiant fondamentalement la communication scientifique. Bien que les agences de financement et les institutions cherchent des mécanismes pour accélérer la découverte scientifique, l'adoption des prépublications en biomédecine reste plus lente que dans d'autres domaines (comme l'informatique), principalement en raison des risques liés à la diffusion d'informations non vérifiées dans un contexte de santé.

Le problème central identifié par les auteurs est la tension structurelle entre :

• La promesse d'une diffusion rapide des connaissances et d'une science plus ouverte.
• Les craintes persistantes concernant la qualité, l'intégrité scientifique (risques de désinformation, fraude, impact de l'IA) et les pénalités de carrière perçues lors des évaluations académiques (promotions, financements, embauches).

L'étude vise à combler le manque de preuves empiriques à grande échelle sur l'utilisation, les perceptions de qualité, l'impact sur la carrière et les mécanismes de crédit accordés aux prépublications par les chercheurs, les lecteurs et les évaluateurs.

2. Méthodologie

L'étude repose sur une enquête quantitative et qualitative à grande échelle menée auprès de chercheurs en biomédecine aux États-Unis et au Canada.

• Échantillonnage :

  • Une base de données de 13 millions de publications (iCite/NIH) a été utilisée pour extraire les adresses e-mail des auteurs affiliés à des institutions américaines ou canadiennes.
  • L'enquête a été envoyée à 213 340 chercheurs (après filtrage des rebonds).
  • Taux de réponse : 5 855 initiations (2,7 %), aboutissant à 1 874 réponses complètes (taux de complétion de 32 %).
  • Échantillon final analysé : 1 758 participants (83,7 % des USA, 16,3 % du Canada). La majorité sont des professeurs (53,3 % pleins, 25,4 % associés) ou des chercheurs en établissement d'enseignement supérieur.

• Outils d'analyse :

  • Régression logistique ordinale : Pour examiner les différences de groupe (grade académique, genre, pays, discipline) concernant la fréquence de lecture, de citation et de soumission, ainsi que les motivations et perceptions.
  • Analyse de contenu déductive avec classification de sentiment : Appliquée à 424 commentaires libres pour identifier les thèmes (qualité, impact, carrière) et le ton (positif, neutre, négatif).

3. Contributions Clés

Cette recherche apporte plusieurs contributions majeures à la littérature sur la communication scientifique :

1. Vision holistique : Elle intègre simultanément les comportements de lecture, de citation et de soumission, ainsi que les perceptions des chercheurs en tant qu'auteurs, lecteurs et évaluateurs (comités de promotion, réviseurs de subventions).
2. Identification du paradoxe de la vitesse : Elle démontre que l'adoption des prépublications est motivée par la nécessité de la vitesse (priorité des idées, visibilité immédiate) plutôt que par un engagement envers le dialogue scientifique ouvert (revue par les pairs post-publication).
3. Analyse des pénalités de carrière : Elle met en évidence un « plafond de papier » (paper ceiling) où les prépublications sont perçues comme un atout réseau mais un risque pour la carrière, créant un désavantage systémique pour les chercheurs juniors.
4. Rôle de l'heuristique de réputation : Elle révèle que, face à l'absence de validation par les pairs, la réputation de l'auteur devient le filtre principal pour évaluer la crédibilité, renforçant potentiellement l'effet Matthieu.

4. Résultats Principaux

A. Utilisation et Motivations

• Fréquence : 56,6 % des répondants lisent 1 à 5 prépublications par mois. 43,3 % en ont soumis entre 1 et 5. Cependant, 69,3 % n'ont jamais cité de prépublication.
• Motivations : La rapidité (timeliness) est le facteur dominant pour la lecture (46,6 %) et la citation (70,0 %). La motivation principale pour la soumission est la « visibilité immédiate et l'établissement de la priorité ».
• Faible engagement dialogique : Seule une minorité cite la « réception de commentaires ouverts » comme motivation (moins de 26 % la considèrent importante). Les chercheurs soumettent pour diffuser, pas pour critiquer.

B. Qualité et Filtres de Confiance

• Incertitude sur la qualité : Les préoccupations concernant la qualité sont la principale raison pour laquelle les chercheurs ne lisent pas ou ne citent pas de prépublications (66,8 %).
• Filtrage par réputation : En l'absence de « tampon de revue par les pairs », les chercheurs (surtout les femmes) s'appuient fortement sur la réputation des auteurs (46 % la considèrent très importante) pour filtrer la crédibilité.
• Paradoxe de transparence : Bien que la conception scientifique soit jugée bonne, la disponibilité des matériaux (données, code) est critiquée (33,3 % d'attitude négative).

C. Impact sur la Carrière et Évaluation Académique

• Atout vs. Risque : Les prépublications sont vues comme bénéfiques pour la collaboration et les citations, mais délétères pour l'avancement professionnel (promotion, titularisation).
• Pénalités structurelles :
  • 55,7 % des membres des comités de titularisation accordent moins de crédit aux prépublications qu'aux articles publiés.
  • 51,7 % des candidats aux subventions perçoivent un crédit réduit pour les prépublications.
  • Les chercheurs juniors sont plus susceptibles de subir ces pénalités et de percevoir les prépublications comme nuisibles à leur carrière, bien qu'ils soient les plus grands utilisateurs.
• Rôle des gardiens (Gatekeepers) : Les réviseurs et comités privilégient l'efficacité et la gestion des risques, utilisant la publication traditionnelle comme proxy de qualité, ce qui crée un biais systémique contre les prépublications.

D. Perceptions Sociétales et Menaces Émergentes

• Positif : Accélération du partage des connaissances et accès ouvert.
• Négatif : Craintes majeures concernant la désinformation, la fraude et l'impact de l'Intelligence Artificielle (IA) générative qui pourrait inonder l'écosystème de prépublications de faible qualité ou factices.
• Confiance publique : Les chercheurs craignent que la diffusion prématurée de résultats non vérifiés ne sape la confiance du public en la science.

5. Signification et Recommandations

L'étude conclut que l'écosystème des prépublications en biomédecine est bloqué par un manque de mécanismes de signalement de la qualité et de reconnaissance institutionnelle.

• Limites actuelles : Le système actuel favorise la vitesse au détriment du dialogue et renforce les inégalités (effet Matthieu) en s'appuyant sur la réputation des auteurs pour filtrer la qualité.
• Recommandations :
  1. Évolution des évaluations : Les cadres d'évaluation académique (financements, promotions) doivent s'adapter pour accorder un crédit équitable aux prépublications, en reconnaissant leur valeur comme contribution scientifique.
  2. Nouveaux mécanismes de contrôle qualité : Il est urgent de développer des mécanismes innovants (ex: résumés de qualité, vérification des données) pour signaler la rigueur méthodologique sans attendre la publication finale, afin de réduire la dépendance à la réputation de l'auteur.
  3. Gestion de l'IA : Des garde-fous sont nécessaires pour contrer les risques de fraude et de désinformation amplifiés par l'IA générative.

En résumé, pour que les prépublications réalisent pleinement leur potentiel d'accélération de la science, l'écosystème doit passer d'une logique de « vitesse pure » à un modèle intégrant la rigueur, la transparence et une évaluation équitable des contributions scientifiques.