Rigor and Transparency in two neurotrauma-publishing journals: editorial policies improve transparent reporting.

Lo studio dimostra che l'introduzione di una sezione obbligatoria sui criteri di rigore nel *Journal of Neurotrauma* ha migliorato significativamente la trasparenza della segnalazione rispetto all'*Experimental Neurology* per gli elementi esplicitamente richiesti, sebbene permangano lacune nella segnalazione di variabili come il sesso e la trasparenza dei reagenti.

L'essenziale

🧠 La Missione: Trovare la "Ricetta Perfetta" per Curare i Traumi Cerebrali

Immagina che la ricerca scientifica sui traumi cerebrali (TBI) sia come un enorme laboratorio di cucina dove migliaia di chef (gli scienziati) stanno cercando di creare la ricetta perfetta per curare i danni al cervello.

Il problema? Nonostante ci siano milioni di ricette (studi) pubblicate ogni anno, nessuna di queste ha funzionato davvero quando è stata portata in ospedale per i pazienti. È come se gli chef avessero scritto ricette perfette sulla carta, ma quando qualcuno ha provato a cucinarle davvero, il piatto era rovinato.

Perché succede? Spesso perché le ricette sono scritte in modo confuso, mancano ingredienti chiave o non spiegano bene come sono stati misurati i tempi di cottura. In termini scientifici, manca la rigorosità e la trasparenza.

📝 L'Esperimento: Due Giornali a Confronto

Gli autori di questo studio hanno deciso di fare un esperimento curioso, come se fossero due ispettori della qualità che controllano due ristoranti famosi che servono lo stesso tipo di cucina:

1. Il "Ristorante A" (Journal of Neurotrauma): Questo ristorante ha deciso di cambiare le regole. Dal 2023, ha obbligato tutti gli chef a compilare un nuovo modulo di controllo (una checklist) prima di pubblicare la ricetta. Devono scrivere esplicitamente: "Ho usato questi ingredienti", "Ho misurato le temperature tre volte", "Ho nascosto chi stava cucinando per non essere influenzato".
2. Il "Ristorante B" (Experimental Neurology): Questo ristorante è simile al primo per fama e menu, ma non ha obbligato gli chef a compilare quel modulo speciale. Lascia che scrivano le ricette come preferiscono.

🤖 L'Ispettore Robot: SciScore

Per capire chi sta facendo meglio, gli ispettori non hanno letto a mano migliaia di ricette (sarebbe stato troppo lento!). Hanno usato un robot intelligente chiamato SciScore.
Questo robot è come un detective digitale che legge ogni singola parola delle ricette pubblicate e cerca "indizi" di trasparenza:

• "Hai detto di aver mescolato gli ingredienti a caso?" (Randomizzazione)
• "Hai detto di non sapere chi stava mangiando cosa?" (Cecità/Blinding)
• "Hai scritto dove hai comprato gli ingredienti?" (Trasparenza dei reagenti)
• "Hai detto quanti ingredienti sono andati a male?" (Attrito dei dati)

Il robot assegna un punteggio da 1 a 10 a ogni ricetta. Più alto è il punteggio, più la ricetta è affidabile.

🏆 I Risultati: Cosa ha scoperto il Robot?

Ecco cosa è emerso dal confronto:

1. Dove il "Modulo Obbligatorio" funziona:
   Quando gli chef del Ristorante A (Journal of Neurotrauma) dovevano compilare il modulo speciale, hanno iniziato a scrivere molto meglio su cose specifiche che il modulo chiedeva.

   • Analogia: Se chiedi a uno chef: "Quanti grammi di zucchero hai usato?", lui ti dirà il numero esatto. Prima, spesso scriveva solo "un po' di zucchero".
   • Il robot ha visto che su cose come i calcoli statistici (quanti ingredienti servono per la ricetta) e la nascosta dell'identità (blinding), le ricette del Ristorante A con il modulo erano molto più chiare rispetto a quelle del Ristorante B.

2. Dove il "Modulo Obbligatorio" NON funziona:
   Ma c'è un "ma". Il robot ha notato che gli chef del Ristorante A ignoravano tutto ciò che non era scritto nel modulo.

   • L'analogia della "cecità selettiva": È come se uno chef, costretto a scrivere il peso della farina, dimenticasse di scrivere il sesso degli animali da cui proveniva la carne o il nome esatto del coltello usato.
   • Risultato: Su cose importanti come il sesso degli animali usati negli esperimenti o la trasparenza degli anticorpi (ingredienti chimici), le ricette del Ristorante A erano uguali o peggiori di quelle del Ristorante B.

3. Il Paradosso:
   Gli chef sembrano pensare: "Ho compilato il modulo, quindi ho fatto tutto bene!". Questo dà loro una falsa sicurezza. Si concentrano solo su ciò che è richiesto e smettono di prestare attenzione agli altri dettagli importanti che non sono nel modulo.

💡 La Conclusione: Cosa dobbiamo imparare?

Lo studio ci insegna una lezione importante per la scienza (e per la vita):

• Le regole aiutano, ma non sono magiche: Costringere gli scienziati a scrivere certe cose (come la checklist) funziona davvero per quelle cose specifiche. È come mettere un semaforo: tutti si fermano dove c'è il rosso.
• Attenzione alle "zone cieche": Se la regola dice "scrivi il semaforo", gli scienziati potrebbero dimenticare di controllare se il ponte è sicuro. Per curare davvero i traumi cerebrali, abbiamo bisogno di trasparenza totale, non solo su ciò che è scritto in una lista.
• Il futuro: Per avere ricette che funzionano davvero in ospedale, i giornali scientifici devono chiedere tutto: non solo i calcoli, ma anche il sesso degli animali, i nomi precisi di ogni strumento e la disponibilità dei dati. Solo così potremo trasformare le ricette di carta in cure reali per le persone.

In sintesi: La checklist è un ottimo inizio, ma non basta. Dobbiamo essere onesti su tutto, non solo su ciò che ci viene chiesto.

Sommario tecnico

Titolo: Rigore e Trasparenza in due riviste di neurotraumatologia: le politiche editoriali migliorano la trasparenza della segnalazione

1. Il Problema

La ricerca preclinica sul Trauma Cranico (TBI) genera un vasto numero di studi peer-reviewed, ma il trasferimento di questi risultati alla pratica clinica è stato minimo. Un fattore critico che ostacola la riproducibilità e la traducibilità è la mancanza di rigore e trasparenza nella segnalazione dei dati.
Nonostante le linee guida di enti come i NIH (che richiedono randomizzazione, accecamento/blinding, calcoli di potenza e autenticazione delle risorse biologiche), le pratiche di segnalazione rimangono spesso incomplete. Sebbene molte riviste abbiano adottato checklist (es. ARRIVE), studi precedenti suggeriscono che l'adesione formale alle linee guida non si traduce necessariamente in una segnalazione più trasparente.
Lo studio si pone l'obiettivo di valutare se l'introduzione di una sezione obbligatoria dedicata al rigore (TRR - Transparency, Rigor, and Reproducibility) nella Journal of Neurotrauma (JNeuroT) abbia effettivamente migliorato le pratiche di segnalazione rispetto a una rivista di pari impatto e tematiche, ma senza tali requisiti espliciti: Experimental Neurology (ExpNeuro).

2. Metodologia

Lo studio ha adottato un approccio "naturale" di sperimentazione, confrontando tre gruppi di pubblicazioni tra il 2014 e il 2024:

1. JNeuroT (pre-2023): Articoli pubblicati prima dell'obbligo della sezione TRR.
2. JNeuroT+ (post-2023): Articoli pubblicati dopo l'implementazione della sezione TRR obbligatoria (a partire dal 1° gennaio 2023).
3. ExpNeuro: Articoli di controllo senza sezione TRR obbligatoria.

Strumento di Analisi:
Gli autori hanno utilizzato SciScore, un software basato sull'Intelligenza Artificiale (tuned per rilevare frasi relative a criteri di rigore), per analizzare automaticamente i testi completi degli articoli presenti in PubMed Central (PMC).

• Input: Estrazione automatica delle sezioni "Metodi" e, per JNeuroT+, della sezione "Trasparenza, Rigore e Riproducibilità".
• Metrica: SciScore assegna un punteggio da 1 a 10 basato sulla presenza di criteri specifici (es. blinding, potenza statistica, dati, codice, risorse biologiche identificabili tramite RRID).
• Campione: 804 articoli da ExpNeuro, 1.089 da JNeuroT (pre-TRR) e 37 articoli da JNeuroT+ (con sezione TRR). I dati sono stati confrontati anche con un benchmark di 331.393 articoli PMC del 2020.
• Analisi Statistica: Test Z per due proporzioni di popolazione per determinare la significatività delle differenze tra i gruppi.

3. Contributi Chiave

• Valutazione Quantitativa dell'Impatto delle Politiche Editoriali: Lo studio fornisce una delle prime evidenze empiriche quantificabili sull'efficacia di una specifica politica editoriale (la sezione TRR obbligatoria) nel migliorare la segnalazione scientifica.
• Uso Scalabile dell'AI: Dimostra l'efficacia dell'uso di strumenti di IA (SciScore) per analizzare grandi volumi di letteratura, superando i limiti dei campionamenti manuali piccoli e laboriosi.
• Analisi Granulare: Distingue tra criteri che sono esplicitamente richiesti dalla nuova sezione editoriale e quelli che non lo sono, rivelando come gli autori tendano a rispondere solo alle richieste dirette.

4. Risultati Principali

L'analisi ha rivelato differenze significative nel comportamento di segnalazione:

• Miglioramento nei Criteri Espliciti: Per gli articoli JNeuroT+ (con sezione TRR), la segnalazione dei criteri richiesti esplicitamente nella nuova sezione è aumentata drasticamente rispetto a JNeuroT e ExpNeuro.

  • Esempi: Calcoli di potenza (Power Analysis) sono passati da ~8-12% a 47%; Disponibilità dei dati è passata da ~6% a 51%; Blinding è salito al 70%.
  • Le differenze sono statisticamente significative (p < 0.05) per la maggior parte di questi item.

• Stagnazione nei Criteri Non Espliciti: Per i criteri di rigore non menzionati esplicitamente nella sezione TRR, non vi è stato alcun miglioramento significativo, e in alcuni casi le prestazioni sono peggiorate o rimaste invariate rispetto al gruppo di controllo.

  • Esempi: La segnalazione del Sesso come variabile biologica è stata significativamente migliore in ExpNeuro (79%) rispetto a JNeuroT+ (62%).
  • La segnalazione trasparente degli anticorpi (RRID, cataloghi) è rimasta bassa (~11%) in entrambi i gruppi JNeuroT e JNeuroT+, ben al di sotto della media generale delle pubblicazioni PMC (31%).
  • La segnalazione di organismi, linee cellulari e strumenti è risultata pari a zero o molto bassa nel gruppo JNeuroT+, suggerendo che gli autori si concentrano esclusivamente su ciò che è richiesto.

• Punteggi Globali: Il punteggio medio SciScore per JNeuroT+ (5.61) è superiore a JNeuroT (4.60) e ExpNeuro (3.52), ma questo guadagno è guidato quasi interamente dai criteri esplicitamente richiesti.

5. Significato e Conclusioni

Lo studio conclude che le politiche editoriali che impongono sezioni specifiche per il rigore sono efficaci nel migliorare la segnalazione degli item richiesti, ma hanno un effetto limitato sulla trasparenza generale se non accompagnate da requisiti più ampi.

• Effetto "Cecità Selettiva": Gli autori tendono a soddisfare solo i requisiti espliciti, trascurando altri aspetti critici di riproducibilità (come l'identificabilità delle risorse biologiche tramite RRID o la segnalazione del sesso) che non sono esplicitamente richiesti nella checklist.
• Raccomandazioni: Per un miglioramento reale della scienza preclinica, le riviste non dovrebbero limitarsi a richiedere una sezione generica, ma dovrebbero integrare requisiti specifici per:
  1. L'uso delle RRID (Research Resource Identifiers) per tutti i reagenti e gli strumenti.
  2. La segnalazione obbligatoria del sesso come variabile biologica.
  3. La depositazione obbligatoria di dati e codice.
• Implicazioni Future: È necessario monitorare a lungo termine se questi miglioramenti siano sostenibili o se rappresentino solo un picco temporaneo. Lo studio suggerisce che le checklist attuali, se non ben progettate, potrebbero dare agli autori una falsa sensazione di sicurezza, portando a trascurare altri aspetti fondamentali del rigore scientifico.

In sintesi, mentre la sezione TRR della Journal of Neurotrauma ha funzionato come un potente stimolo per la segnalazione di specifici item, la ricerca dimostra che senza un approccio olistico che includa l'identificabilità delle risorse e le variabili biologiche fondamentali, il rigore complessivo della letteratura scientifica rimane incompleto.