Rigor and Transparency in two neurotrauma-publishing journals: editorial policies improve transparent reporting.

Een vergelijking tussen *Journal of Neurotrauma* en *Experimental Neurology* toont aan dat de verplichte rigour-sectie in de eerste tijdschrift het rapporteren van transparantie-items significant verbetert, hoewel er nog ruimte is voor verbetering op het gebied van geslacht als biologische variabele en transparante rapportage van reagentia.

De kern

Titel: Waarom sommige wetenschapsboeken beter zijn dan andere: Een verhaal over "Transparantie" in hersenonderzoek

Stel je voor dat wetenschappers die onderzoek doen naar hersenletsel (zoals bij een ongeluk of sportblessure) een enorme bibliotheek bouwen. Ze schrijven duizenden boeken (artikelen) over hoe ze proberen deze letsels te genezen. Het probleem is: hoewel er veel boeken zijn, lukt het bijna nooit om de oplossingen uit die boeken daadwerkelijk toe te passen op echte mensen in het ziekenhuis. Het is alsof je een recept hebt voor een perfecte taart, maar als je het probeert te bakken, wordt het een baksteen.

Waarom lukt dat niet? Vaak omdat de schrijvers van de recepten niet alles hebben opgeschreven. Misschien vergeten ze te zeggen welke bloem ze gebruikten, of ze vergeten te vertellen dat ze de taart in de oven hebben gezet terwijl ze zelf keken of hij al goudbruin was (dat noemen we "geblindeerd" onderzoek, wat heel belangrijk is om eerlijke resultaten te krijgen).

De twee bibliothecarissen

In dit onderzoek kijken we naar twee specifieke bibliotheken (tijdschriften) waar veel van deze recepten worden opgeslagen:

1. De Journal of Neurotrauma: Een grote bibliotheek die recent een nieuwe regel heeft ingevoerd. Ze zeggen tegen de schrijvers: "Jullie moeten een extra pagina toevoegen aan jullie receptboekje. Op die pagina moeten jullie heel duidelijk uitleggen hoe jullie te werk zijn gegaan, welke ingrediënten ze precies gebruikten en of ze eerlijk hebben gekeken."
2. Experimental Neurology: Een vergelijkbare bibliotheek, maar hier zeggen ze niets extra's. Schrijvers kunnen hun recepten gewoon indienen zoals ze dat altijd deden.

De digitale keurmeester

Om te zien of die nieuwe regel in de eerste bibliotheek echt werkt, hebben de onderzoekers een slimme robot (een AI genaamd SciScore) ingezet. Deze robot leest duizenden recepten en telt hoeveel belangrijke informatie erin staat. Het is alsof je een keurmeester hebt die elke taart controleert op de juiste hoeveelheid suiker, de juiste temperatuur en of de bakker niet heeft gekeken of de taart al klaar was.

Wat bleek er?

De resultaten zijn een mix van goed nieuws en een waarschuwing:

1. De "Checklist" werkt (voor wat er op de lijst staat):
   In de bibliotheek met de nieuwe regel (Journal of Neurotrauma) vonden de schrijvers veel vaker de specifieke dingen die ze moesten opschrijven. Als de robot vroeg: "Hebben jullie een berekening gemaakt van hoeveel taarten jullie nodig hebben?" (power calculation) of "Hebben jullie de taart in het donker gekeken?" (blinding), dan zagen we dat de schrijvers met de nieuwe regel dit veel vaker deden dan de anderen. Het is alsof je een lijstje krijgt met "Doe dit, doe dat", en mensen doen dat dan ook.

2. Maar... ze doen alleen wat ze moeten doen:
   Hier komt de creatieve analogie: Stel je voor dat je een chef-kok een lijstje geeft met drie dingen die hij moet doen: "Gebruik zout, gebruik peper en gebruik tijm." De chef doet dat allemaal perfect. Maar als je hem vraagt: "Gebruikte je ook verse basilicum?" (iets dat niet op de lijst stond, maar wel belangrijk is), dan zegt hij: "Nee, dat stond er niet op."
   In het onderzoek bleek dat de schrijvers met de nieuwe regel niet beter waren in het vermelden van dingen die niet op hun verplichte lijstje stonden. Bijvoorbeeld:

   • Geslacht van de proefdieren: De andere bibliotheek (zonder de nieuwe regel) was hier zelfs beter in!
   • Exacte merken van chemicaliën: Beide bibliotheken waren hier slecht in. Ze vermelden vaak niet precies welk merk ze gebruikten, waardoor anderen het recept niet kunnen nabakken.

De conclusie in het kort

Het verplichten van een extra pagina met regels is een goede stap. Het zorgt ervoor dat schrijvers zich bewust worden van de basisregels van eerlijk onderzoek. Het is alsof je een verkeersbord zet: mensen rijden dan sneller op de juiste snelheid.

Maar, het bordje zorgt er niet voor dat ze ook opletten op de vogels in de bomen of de kwaliteit van het asfalt. Als je alleen vraagt om "zout en peper", vergeten ze misschien de "basilicum".

Wat betekent dit voor de toekomst?
Om echt betere medicijnen te maken voor hersenletsel, moeten we niet alleen vragen om de verplichte checklist, maar ook zorgen dat schrijvers begrijpen dat alles belangrijk is: van het geslacht van de proefdieren tot het exacte merk van de chemicaliën. Alleen dan kunnen we de "bakstenen" in de kliniek omtoveren tot echte "taarten" die mensen helpen.

Kortom: De nieuwe regels helpen, maar ze zijn nog niet het volledige antwoord. We moeten blijven vragen om meer transparantie, niet alleen op papier, maar in de hele praktijk.

Technische samenvatting

Probleemstelling

Preklinisch onderzoek op het gebied van traumatisch hersenletsel (TBI) genereert veel kennis, maar de translatie naar klinische toepassingen is minimaal. Een belangrijke oorzaak hiervan is gebrek aan reproduceerbaarheid en transparantie in de rapportage. Hoewel richtlijnen (zoals die van de NIH) eisen voor randomisatie, blindering, power-berekeningen en authenticatie van biologische middelen, wordt deze informatie vaak niet volledig gerapporteerd.

De kernvraag van deze studie is of het verplicht stellen van een specifieke sectie voor "Transparency, Rigor and Reproducibility" (TRR) door een tijdschrift daadwerkelijk leidt tot verbeterde rapportagepraktijken, of dat auteurs zich beperken tot wat expliciet wordt gevraagd.

Methodologie

De auteurs voerden een kwantitatieve vergelijking uit tussen twee toonaangevende tijdschriften in het veld:

1. Journal of Neurotrauma (JNeuroT): Heeft sinds januari 2023 een verplichte TRR-sectie voor auteurs.
2. Experimental Neurology (ExpNeuro): Een vergelijkbaar tijdschrift (grootte, impact, onderwerp) zonder expliciete instructies voor een dergelijke sectie.

Data-analyse en Tools:

• Dataset: Volledige teksten van artikelen gepubliceerd tussen 2014 en 2024, gefilterd op beschikbaarheid in PubMed Central (PMC).
• Automatisering: Er werd gebruikgemaakt van SciScore (een AI-tool, versie 2), die is getraind om zinnen in methodesecties te detecteren die voldoen aan specifieke rigor-criteria.
• Scoring: SciScore toekent een score van 1-10 gebaseerd op de aanwezigheid van criteria zoals randomisatie, blindering, power-berekeningen, data-beschikbaarheid, code, en de vindbaarheid van biologische middelen (via RRID's).
• Groepen: De analyse vergeleek drie groepen:
  • JNeuroT (zonder extra sectie).
  • JNeuroT+ (met de verplichte TRR-sectie).
  • ExpNeuro (controle).
• Statistiek: Twee-steekproeven Z-tests werden gebruikt om proporties te vergelijken (p < 0,05).

Belangrijkste Bijdragen

1. Eerste kwantitatieve evaluatie: Dit is een van de eerste studies die de directe impact van een specifieke redactionele policy (de verplichte TRR-sectie) meet op het gedrag van auteurs in een specifiek wetenschappelijk domein.
2. Schaal: In plaats van handmatige steekproeven, analyseerde de studie honderden artikelen volledig geautomatiseerd, wat een robuustere dataset oplevert.
3. Nuance in beleidseffectiviteit: De studie onderscheidt tussen items die expliciet in de richtlijnen staan en items die niet expliciet worden gevraagd, om te zien of beleid breed effect heeft of slechts "checklist-gedrag" induceert.

Resultaten

De analyse toonde duidelijke verschillen in rapportagekwaliteit aan:

• Algemene Scores: JNeuroT+ (met TRR-sectie) had de hoogste gemiddelde SciScore (5,61), gevolgd door JNeuroT zonder sectie (4,60) en ExpNeuro (3,52).
• Expliciet gevraagde items: Voor criteria die expliciet in de TRR-documenten van JNeuroT werden gevraagd, waren de verbeteringen significant:
  • Blindering: 69,7% in JNeuroT+ vs. 47% in ExpNeuro.
  • Power-berekening: 47,1% in JNeuroT+ vs. 8,4% in ExpNeuro.
  • Data-beschikbaarheid: 51,4% in JNeuroT+ vs. 6,2% in ExpNeuro.
  • Afschrijving (Attrition) en Inclusie/Exclusie-criteria: Ook hier waren significante stijgingen zichtbaar.
• Niet-expliciet gevraagde items: Voor items die niet in de TRR-sectie werden gevraagd, was er geen significante verbetering, en soms zelfs een achterstand ten opzichte van ExpNeuro:
  • Seks als biologische variabele: Significant beter gerapporteerd in ExpNeuro (79%) dan in JNeuroT+ (62%).
  • Transparante rapportage van antilichamen: Zeer laag in beide tijdschriften (~11%), wat lager is dan het gemiddelde in de bredere PMC-dataset (31%).
  • RRID's voor middelen: Bijna afwezig in beide tijdschriften, ondanks dat dit een kernvereiste is voor vindbaarheid (FAIR-principes).

Betekenis en Conclusie

De studie concludeert dat het verplicht stellen van een TRR-sectie effectief is voor het verbeteren van rapportage op de specifieke punten die daarin worden gevraagd (zoals blindering en power-analyse). Dit suggereert dat redactionele beleidsmaatregelen direct het gedrag van auteurs beïnvloeden.

Echter, de studie waarschuwt voor een "checklist-effect": auteurs lijken zich te beperken tot wat expliciet wordt gevraagd en negeren andere cruciale aspecten van reproduceerbaarheid (zoals de identificatie van reagentia via RRID's of het rapporteren van de seks van proefdieren) als deze niet in de checklist staan.

Aanbevelingen:
Om de kwaliteit van preklinisch TBI-onderzoek echt te verbeteren, moeten tijdschriften niet alleen specifieke secties verplichten, maar ook algemene standaarden handhaven voor alle artikelen, inclusief:

• Het verplicht rapporteren van seks als biologische variabele.
• Het verplicht gebruik van RRID's (Research Resource Identifiers) voor alle biologische middelen.
• Het voorkomen dat auteurs denken dat het invullen van één sectie voldoende is voor volledige wetenschappelijke integriteit.

De auteurs benadrukken dat langere termijnstudies nodig zijn om te zien of deze verbeteringen duurzaam zijn of slechts een tijdelijke piek vertegenwoordigen.