Citation language changes little after findings fail to replicate: a longitudinal analysis
Un'analisi longitudinale di oltre 15.000 frasi citate rivela che i lavori successivi raramente adattano il proprio linguaggio per riflettere fallimenti nelle replicazioni o menzionano prove contrastanti, offrendo ai lettori scarsi indizi sul fatto che i risultati originali siano stati replicati con successo.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo
La scienza è spesso immaginata come una macchina capace di autocorreggersi, dove nuove prove aggiornano automaticamente la nostra comprensione del mondo. Quando uno studio viene ripetuto e non riesce a produrre lo stesso risultato, l'aspettativa è che la comunità scientifica se ne accorga, si fermi e modifichi il modo in cui parla di quel risultato originale. Questo processo si basa sul linguaggio che i ricercatori utilizzano quando citano lavori precedenti. Se un'affermazione si è rivelata incerta, le frasi che la descrivono nei nuovi articoli dovrebbero idealmente diventare più prudenti, o almeno menzionare che il risultato originale non è stato confermato. È così che la conoscenza dovrebbe evolversi: non cancellando il passato, ma raffinando la descrizione di ciò che sappiamo e di ciò che non sappiamo.
Un team di ricercatori si è posto l'obiettivo di testare se questa autocorrezione avvenga effettivamente nel modo in cui ci aspettiamo. Si sono concentrati su una domanda specifica: quando un importante tentativo pianificato di ripetere uno studio famoso fallisce, gli autori dei lavori successivi cambiano le parole che usano per descrivere quel reperto originale? Per trovare la risposta, hanno esaminato una vasta collezione di affermazioni scientifiche provenienti dalla psicologia, dall'economia e dalle scienze sociali. Hanno identificato 110 studi originali che avevano fatto parte di tre grandi progetti di replicazione. Per ciascuno di questi studi, hanno raccolto migliaia di frasi da articoli successivi che citavano il lavoro originale. Hanno poi utilizzato modelli informatici avanzati per leggere queste frasi e valutarle su una scala di certezza, misurando quanto in modo definitivo gli autori dichiarassero l'affermazione originale. Hanno confrontato il linguaggio usato per i risultati che non erano stati replicati con il linguaggio usato per i risultati che erano stati replicati con successo.
I risultati hanno rivelato una sorprendente mancanza di cambiamento. I ricercatori hanno scoperto che la formulazione utilizzata per descrivere i risultati falliti rimaneva quasi identica a quella utilizzata per quelli riusciti. Anche anni dopo che un tentativo di replicazione aveva dimostrato che un risultato originale non poteva essere riprodotto, gli articoli successivi continuavano a esporre quei risultati con lo stesso livello di fiducia. I modelli informatici non hanno rilevato alcun cambiamento significativo verso un linguaggio più cauto. In effetti, la differenza di certezza tra i due gruppi era così piccola da essere statisticamente indistinguibile dallo zero. Lo studio ha anche cercato menzioni esplicite del fallimento. Ha scoperto che, nella stragrande maggioranza dei casi, gli autori non menzionavano affatto il fallimento della replicazione. Solo una minima frazione delle frasi, circa tre o cinque ogni cento, riconosceva che il reperto originale era stato messo in discussione o contraddetto.
Questo schema è rimasto costante nel tempo. I ricercatori hanno monitorato il linguaggio utilizzato negli otto o undici anni successivi alla pubblicazione dei risultati della replicazione. Non hanno riscontrato alcuna deriva graduale verso la cautela. Le frasi che descrivevano le affermazioni fallite non sono diventate più deboli o più qualificate con il passare del tempo. Gli autori dello studio suggeriscono che ciò possa essere dovuto al fatto che i ricercatori spesso riutilizzano frasi consolidate senza rileggere l'evidenza originale o verificare nuovi dati contraddittori. La descrizione originale di un reperto può diventare una parte fissa del record scientifico, tramandata di articolo in articolo come un riferimento standard, indipendentemente dal fatto che l'evidenza sottostante sia stata scossa.
Lo studio non afferma che gli scienziati stiano ignorando le prove intenzionalmente, ma piuttosto che il sistema di comunicazione dei risultati possieda una sorta di inerzia. Anche quando un'affermazione si rivela inaffidabile, il modo in cui viene descritta nelle nuove ricerche spesso rimane invariato. Ciò ha implicazioni su come leggiamo la scienza e su come potremmo costruire strumenti per aiutarci a comprenderla. Se il linguaggio della scienza non riflette automaticamente quando un reperto è fallito, allora i lettori, gli editori e persino i sistemi di intelligenza artificiale potrebbero essere fuorviati, pensando che un'affermazione sia più solida di quanto non sia in realtà. I ricercatori concludono che, affinché la scienza si autocorregga davvero, potremmo aver bisogno di modi migliori per collegare direttamente gli studi originali ai loro esiti di replicazione, assicurando che la storia di un reperto includa anche i suoi fallimenti, non solo il suo successo iniziale.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.