Predicting Replication from Domain-Stripped Fingerprints, Where Citations Fail

La scienza si fonda su una promessa semplice: se ripeti un esperimento, dovresti ottenere lo stesso risultato. Eppure, nel mondo moderno della ricerca, il modo più celebre per giudicare il valore di uno studio è contare quante volte altri scienziati lo menzionano nei propri lavori. Questi riferimenti, chiamati citazioni, agiscono come un concorso di popolarità. Più un articolo viene citato, più si presume che sia prezioso. Ma vi è un crescente sospetto che questo sistema sia guasto. Uno studio può essere estremamente popolare e citato migliaia di volte semplicemente perché dice qualcosa di sorprendente o di nuovo, anche se quel risultato cade a pezzi quando qualcuno prova a ripeterlo. In effetti, alcune ricerche suggeriscono che i risultati che non possono essere ripetuti siano spesso citati persino più di quelli che possono esserlo. Ciò crea un pericoloso punto cieco in cui la comunità scientifica premia l'attenzione ma ignora la verità.

Un ricercatore della KU Leuven, Eryk Kulikowski, ha sviluppato un nuovo modo di osservare gli articoli scientifici che separa queste due idee. Invece di cercare di ridurre il valore di un articolo a un singolo numero, lo studio tratta la qualità della ricerca come un profilo con due lati distinti. Un lato è la novità, che misura quanto un'idea sia sorprendente o nuova. L'altro è la verificabilità, che misura quanto sia probabile che il risultato regga se qualcuno ripete l'esperimento. Lo studio sostiene che l'attuale sistema di citazione vede solo il primo lato. Premia l'affermazione sorprendente ma è quasi cieco rispetto al fatto che tale affermazione sia effettivamente solida. Per correggere questo, il ricercatore ha costruito uno strumento in grado di leggere l'abstract di un articolo e prevedere se i suoi risultati sopravviveranno a un test di ripetizione, senza dover conoscere la specifica condizione medica o il problema sociale oggetto di studio.

Il metodo funziona eliminando i dettagli specifici di uno studio per rivelarne la struttura sottostante. Immaginate di prendere una macchina complessa, rimuovere la vernice e i marchi e guardare solo gli ingranaggi e le leve per capire come funziona. Il ricercatore ha utilizzato un modello linguistico per leggere migliaia di abstract scientifici e riscriverli in un "impronta digitale". Questa impronta descrive il design dello studio, cosa è stato misurato e come sono stati analizzati i dati, ma rimuove tutto il gergo specifico su malattie, popolazioni o sostanze chimiche. Ciò permette al computer di confrontare uno studio sulla memoria negli esseri umani con uno sulla memoria nei ratti, o uno sull'economia con uno sulla psicologia, perché le impronte digitali si concentrano sulla meccanica condivisa di come la scienza è stata condotta.

Una volta create queste impronte digitali, il ricercatore le ha testate contro un programma informatico semplice e trasparente. Questo programma non utilizzava algoritmi complessi e nascosti. Invece, cercava parole e frasi specifiche nell'impronta digitale che tendevano ad apparire negli studi che venivano ripetuti con successo rispetto a quelli che fallivano. I risultati sono stati sorprendenti. Quando il team ha testato questo metodo su un database di quasi cinquecento studi di psicologia, ha predetto correttamente se uno studio sarebbe stato replicabile circa il sessantotto per cento delle volte. Questo è un miglioramento significativo rispetto all'attuale standard, che si basa sul conteggio delle citazioni. Infatti, quando il team ha controllato quanto bene il conteggio delle citazioni predicesse la replicazione, il risultato non è stato migliore del caso casuale. Il sistema di citazione era completamente incapace di distinguere quali risultati sarebbero resistiti e quali no.

Lo studio ha anche dimostrato che questo nuovo strumento non stava semplicemente imparando i nomi di diversi campi scientifici. Se il computer avesse semplicemente imparato che gli studi di "psicologia sociale" falliscono più spesso di quelli di "psicologia cognitiva", avrebbe potuto ottenere un buon punteggio senza comprendere realmente la scienza. Ma quando i ricercatori hanno testato lo strumento all'interno di sottocampi specifici, esso ha funzionato altrettanto bene. Poteva distinguere tra uno studio solido e uno fragile anche quando entrambi riguardavano lo stesso identico argomento. Inoltre, lo strumento ha funzionato altrettanto bene su un set di dati completamente diverso proveniente da un altro grande progetto di ricerca, dimostrando che il segnale trovato era reale e non un caso fortuito di un dataset specifico.

Forse il risultato più importante è stato ciò che è accaduto quando i ricercatori hanno cercato di mescolare i due lati del valore della ricerca. Hanno preso la loro misura di novità e l'hanno aggiunta allo strumento che predice la replicazione. Il risultato è stato che la previsione è peggiorata. Questo ha confermato che novità e verificabilità sono cose veramente separate. Uno studio può essere altamente novellato e altamente fragile, o può essere noioso e roccioso. L'attuale sistema di citazione fallisce perché carica pesantemente sul lato della novità, premiando l'insolito e ignorando il solido. Forzando questi due concetti in un unico punteggio, il sistema perde la capacità di vedere la parte più importante: se la scienza è vera.

I ricercatori hanno anche scoperto che questo nuovo approccio non ha bisogno di leggere l'intero testo di un articolo, spesso inaccessibile. Funziona perfettamente utilizzando solo l'abstract, il breve riassunto che appare all'inizio di ogni articolo. Ciò rende lo strumento economico e facile da usare per qualsiasi biblioteca o database. L'intero processo è trasparente; poiché il programma informatico è semplice, gli scienziati possono esaminare le parole specifiche che il computer ha usato per prendere una decisione e capire esattamente perché un articolo è stato segnalato come probabilmente replicabile o probabilmente destinato al fallimento. Questo contrasta nettamente con altri strumenti moderni che agiscono come scatole nere, fornendo un punteggio senza spiegare come sia stato raggiunto.

In definitiva, questo lavoro offre un nuovo modo di pensare al valore scientifico. Suggerisce che dovremmo smettere di cercare di classificare ogni articolo con un numero singolo. Invece, dovremmo guardare a un profilo che ci mostri sia quanto sia nuova un'idea, sia quanto sia probabile che sia vera. Lo strumento sviluppato in questo studio fornisce un modo chiaro, onesto e trasparente per misurare la seconda parte di questa equazione. Dimostra che, sebbene non possiamo sempre prevedere quali scoperte cambieranno il mondo, possiamo ora prevedere, con una ragionevole accuratezza, quali scoperte resisteranno alla prova del tempo. Questo passaggio dalla ricerca dell'attenzione alla verifica della verità potrebbe aiutare scienziati, finanziatori e il pubblico a concentrarsi sul lavoro che effettivamente regge, piuttosto che solo sul lavoro che produce più rumore.