Rigor and Transparency in two neurotrauma-publishing journals: editorial policies improve transparent reporting.

Cette étude démontre que l'exigence d'une section dédiée à la rigueur dans le *Journal of Neurotrauma* améliore significativement la transparence de l'information par rapport à *Experimental Neurology*, bien que des lacunes persistent concernant le sexe des sujets et la description transparente des réactifs.

L'essentiel

🧠 L'histoire de deux cuisines et d'un nouveau livre de recettes

Imaginez que le monde de la recherche médicale sur les traumatismes crâniens (les coups à la tête) est comme un immense restaurant. L'objectif est de créer de nouveaux plats (des traitements) pour sauver des vies. Mais il y a un gros problème : bien que les chefs (les chercheurs) aient créé des milliers de recettes en cuisine (en laboratoire), très peu de ces plats arrivent jamais sur la table des clients (les patients à l'hôpital). Pourquoi ? Parce que les recettes sont souvent floues, incomplètes ou impossibles à reproduire.

Cette étude compare deux grands restaurants (deux journaux scientifiques) pour voir si l'un d'eux a réussi à améliorer la qualité de ses recettes en changeant ses règles.

1. Les deux restaurants : Journal of Neurotrauma vs Experimental Neurology

• Le Restaurant A (Journal of Neurotrauma) : Depuis 2022, ce restaurant a décidé d'imposer une nouvelle règle stricte. À la fin de chaque recette, les chefs doivent remplir une "Checklist de Transparence". Ils doivent écrire clairement : "J'ai caché les ingrédients au cuisinier pour ne pas être biaisé" (aveuglement), "J'ai calculé combien d'ingrédients il me faut" (puissance statistique), et "Voici exactement où j'ai acheté mes tomates" (identification des réactifs).
• Le Restaurant B (Experimental Neurology) : Ce restaurant est de taille et de réputation similaires, mais il n'a pas imposé cette checklist obligatoire. Les chefs peuvent écrire leurs recettes comme ils le souhaitent.

2. Le Détective Robot (SciScore)

Pour voir qui fait le mieux son travail, les auteurs de l'étude n'ont pas lu chaque recette à la main (ce serait trop long !). Ils ont utilisé un robot détective intelligent appelé SciScore.

Imaginez ce robot comme un inspecteur de cuisine ultra-rapide qui lit des milliers de livres de recettes en quelques secondes. Il cherche des mots-clés précis :

• "Avez-vous mentionné l'aveuglement ?" ✅
• "Avez-vous donné le code de la recette ?" ✅
• "Avez-vous dit si vous avez utilisé des femelles ou des mâles ?" ✅

Le robot donne une note de 0 à 10 à chaque recette. Plus la note est haute, plus la recette est transparente et fiable.

3. Les Résultats : Ce qui a fonctionné (et ce qui a raté)

Le robot a comparé les notes des deux restaurants. Voici ce qu'il a découvert :

• ✅ Le succès de la Checklist : Pour les choses que le Restaurant A demandait explicitement dans sa nouvelle checklist (comme l'aveuglement, les calculs de taille d'échantillon, ou la disponibilité des données), les chefs ont beaucoup mieux fait !

  • L'analogie : C'est comme si le chef de cuisine disait : "Si vous ne mettez pas la liste des ingrédients sur le papier, je ne vous donne pas le plat". Résultat : tout le monde écrit la liste. La transparence a bondi de 10 % à près de 50 % pour ces points précis.

• ❌ L'effet "Tunnel" (Ce qui a échoué) : Par contre, pour les choses que la checklist ne demandait pas explicitement, les chefs du Restaurant A n'ont pas fait mieux que ceux du Restaurant B.

  • L'analogie : C'est comme si le chef se disait : "J'ai rempli la checklist, donc je suis un bon cuisinier !" et qu'il oublie ensuite de préciser la race du poulet ou l'âge des légumes.
  • Par exemple, la mention du sexe des sujets (mâle/femelle) était même moins bien notée dans le Restaurant A que dans le Restaurant B ! Et la transparence sur les anticorps (des outils chimiques cruciaux) était très faible dans les deux restaurants, même avec la nouvelle règle.

4. La Leçon à retenir

Cette étude nous apprend une leçon importante sur la façon dont les humains réagissent aux règles :

Les gens font exactement ce qu'on leur demande, mais rarement plus.

La nouvelle règle du Journal of Neurotrauma a fonctionné comme un phare : elle a éclairé les points spécifiques demandés, rendant ces parties de la recherche beaucoup plus claires. Mais elle a aussi créé une fausse sécurité. Les chercheurs pensent peut-être : "J'ai coché la case 'Aveuglement', donc tout est bon", et ils négligent d'autres détails tout aussi importants (comme le sexe des sujets ou la traçabilité précise des outils) qui n'étaient pas dans la case à cocher.

En résumé :
Imposer une section de rigueur dans un journal scientifique est une excellente idée qui améliore la transparence là où l'on pointe le doigt. Mais pour vraiment sauver la recherche médicale et faire avancer les traitements, il ne suffit pas de cocher des cases. Il faut que les chercheurs comprennent que la rigueur est un tout, et pas juste une liste de contrôle à remplir pour obtenir le feu vert de l'éditeur.

Il faut passer d'une mentalité de "remplir le formulaire" à une mentalité de "raconter toute l'histoire de la recette".

Résumé technique

1. Problématique

La recherche préclinique sur les lésions cérébrales traumatiques (LCT) a considérablement accru les connaissances scientifiques, mais la traduction de ces résultats vers le milieu clinique reste minime. Une grande partie de cet échec de translation est attribuée au manque de rigueur et de transparence dans les études de laboratoire (manque de randomisation, d'aveuglement, de calculs de puissance, etc.).

Bien que des directives existent (comme les critères du NIH ou les listes de contrôle ARRIVE), leur adoption effective par les auteurs est variable. L'article examine l'efficacité réelle des politiques éditoriales pour améliorer le reporting. Plus précisément, il compare deux journaux majeurs dans le domaine :

• Journal of Neurotrauma (JNeuroT) : A introduit en 2022/2023 une section obligatoire dédiée à la « Transparence, la Rigueur et la Reproductibilité » (TRR).
• Experimental Neurology (ExpNeuro) : Journal de taille et d'impact similaires, mais sans instructions explicites exigeant une telle section.

L'objectif est de déterminer si l'imposition d'une section structurée améliore réellement la qualité du reporting scientifique par rapport à un journal témoin.

2. Méthodologie

L'étude utilise une approche automatisée et à grande échelle pour analyser les manuscrits publiés entre 2014 et 2024.

• Outil d'analyse : Utilisation de SciScore, un outil basé sur l'intelligence artificielle (tuné pour détecter des phrases spécifiques liées à la rigueur). Cet outil attribue un score de 1 à 10 basé sur la présence de critères de rigueur (randomisation, aveuglement, calculs de puissance, disponibilité des données, etc.).
• Données :
  • Analyse de tous les articles en texte intégral disponibles sur PubMed Central (PMC) pour les deux journaux.
  • Échantillon total : 804 articles pour ExpNeuro, 1089 pour JNeuroT (sans section TRR), et 37 articles pour JNeuroT+ (avec la section TRR obligatoire).
  • Comparaison avec une base de référence de 331 393 articles PMC de 2020 (données de Menke et al., 2022).
• Processus :
  1. Extraction des sections « Méthodes » et, le cas échéant, de la section « TRR » des articles.
  2. Analyse par SciScore pour détecter la présence de critères spécifiques (ex: « blinding », « power calculation », « RRID », « sex of subjects »).
  3. Calcul des proportions de reporting pour chaque critère et tests statistiques (test Z à deux échantillons) pour comparer les groupes.

3. Contributions Clés

• Évaluation quantitative de l'impact éditorial : Première étude mesurant l'impact direct d'une politique éditoriale spécifique (la section TRR obligatoire) sur le comportement de reporting des auteurs dans le domaine des neurotraumatismes.
• Utilisation de l'IA à grande échelle : Démonstration de la capacité de l'outil SciScore à analyser des milliers de documents pour identifier des lacunes de reporting, évitant ainsi les biais d'échantillonnage manuel.
• Comparaison nuancée : Distinction entre les items explicitement demandés dans les directives éditoriales et ceux qui ne le sont pas, révélant que les auteurs tendent à ne rapporter que ce qui est explicitement exigé.

4. Résultats Principaux

Les résultats montrent une amélioration significative du reporting pour les items explicitement demandés dans la section TRR du Journal of Neurotrauma, mais des lacunes persistent pour les items non spécifiés.

• Amélioration des items ciblés (JNeuroT+ vs JNeuroT et ExpNeuro) :

  • Les articles avec la section TRR (JNeuroT+) montrent des augmentations massives dans le reporting de critères spécifiques :
    • Calculs de puissance (Power Analysis) : Passent de ~11-8% à 47%.
    • Données (Data Availability) : Passent de ~6% à 51%.
    • Aveuglement (Blinding) : Passent de ~38-47% à 69%.
    • Critères d'inclusion/exclusion et attrition : Significativement plus élevés dans le groupe JNeuroT+.
  • Ces différences sont statistiquement significatives (p < 0,05) par rapport aux deux autres groupes.

• Absence d'amélioration pour les items non ciblés :

  • Pour les critères non explicitement listés dans le modèle de la section TRR, les performances du JNeuroT+ sont similaires, voire inférieures, à celles d'ExpNeuro.
  • Sexe des sujets (Sex as a biological variable) : Le taux de reporting est significativement plus faible dans JNeuroT+ (62%) que dans ExpNeuro (79%).
  • Identification des réactifs (Anticorps, Cellules, Organismes) : Le reporting transparent (ex: utilisation d'RRIDs) reste très faible (~10-11%) dans les deux journaux, bien en dessous de la moyenne des articles PMC (31% pour les anticorps).
  • Outils et Cellules : Aucun article du groupe JNeuroT+ n'a rapporté d'identification de cellules ou d'organismes via RRID dans l'échantillon analysé.

• Scores globaux : Le score moyen SciScore est plus élevé pour JNeuroT+ (5,61) que pour JNeuroT standard (4,60) et ExpNeuro (3,52).

5. Signification et Conclusion

• Efficacité conditionnelle des politiques : L'imposition d'une section de rigueur est efficace pour améliorer le reporting des items spécifiquement demandés dans les directives. Cela suggère que les auteurs réagissent positivement aux exigences explicites des éditeurs.
• Effet de « tunnel » (Tunnel Vision) : L'étude révèle un effet indésirable : les auteurs se concentrent uniquement sur la checklist fournie et négligent d'autres aspects cruciaux de la rigueur (comme le sexe des sujets ou l'identification des réactifs) qui ne sont pas explicitement demandés. Cela peut créer un faux sentiment de sécurité quant à la rigueur globale de l'article.
• Recommandations : Pour améliorer véritablement la reproductibilité et la translation clinique, les politiques éditoriales doivent être plus holistiques. Il est nécessaire d'inclure explicitement des exigences pour le sexe biologique, l'âge, le poids et l'identification des ressources biologiques (via RRIDs) dans les directives, au-delà des simples sections de rigueur génériques.
• Limites : La taille de l'échantillon pour les articles avec la section TRR (n=37) est encore faible car la politique est récente. Des études longitudinales futures seront nécessaires pour vérifier si ces améliorations sont durables ou si elles ne représentent qu'un pic initial.

En résumé, bien que la politique du Journal of Neurotrauma ait réussi à augmenter la transparence sur des points spécifiques, elle n'a pas encore réussi à élever le niveau global de rigueur à celui attendu par les standards internationaux (comme les critères NIH) pour tous les aspects critiques de la recherche préclinique.