A preregistered test that outcome-permuted data also pass: mathematical coupling in a pan-cancer analysis of proliferation adjustment in prognostic gene expression studies
Questo articolo dimostra attraverso un'analisi pan-cancerica preregistrata che un'ipotesi riguardante l'accoppiamento matematico negli studi prognostici sull'espressione genica è stata confermata ampiamente per costruzione, poiché i criteri di test sono stati soddisfatti anche quando applicati a dati nulli con esiti permutati, evidenziando la critica necessità di validare le pipeline analitiche rispetto agli esiti permutati per evitare conclusioni di falso confondimento.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della ricerca sul cancro, gli scienziati cercano spesso geni specifici che agiscano come segnali di avvertimento su come la malattia di un paziente progredirà. Analizzando l'attività di questi geni in un tumore, i ricercatori sperano di prevedere se un paziente sopravviverà più a lungo o meno. Tuttavia, i tumori sono complessi e il loro comportamento è influenzato da molti fattori, come l'età del paziente, le dimensioni del tumore e la velocità con cui le cellule cancerose si dividono. Una sfida importante in questo campo è distinguere tra un gene che è un vero predittore unico della sopravvivenza e uno che riflette semplicemente la velocità generale con cui il tumore sta crescendo. Se un ricercatore dimentica di tenere conto di quanto velocemente il cancro si sta dividendo, potrebbe erroneamente attribuire a un gene specifico la capacità di predire l'esito, quando in realtà quel gene è solo un passeggero sul treno veloce della divisione cellulare. Questo problema è noto come accoppiamento matematico, una situazione in cui due misurazioni sono collegate semplicemente perché sono state calcolate utilizzando gli stessi dati sottostanti, creando un falso senso di connessione.
Un ricercatore di nome Soon Woo Nam si è proposto di testare un'idea specifica su come vengono create queste liste di geni e se i metodi statistici standard possano accidentalmente confermare un modello che non esiste realmente. Lo studio si è concentrato su una vasta collezione di dati provenienti da venti diversi gruppi di pazienti oncologici, coprendo quattordici tipi di cancro e quasi cinquemila individui. L'obiettivo era vedere se l'aggiunta di un "punteggio di proliferazione" — una misura di quanto velocemente si dividono le cellule cancerose — avrebbe cambiato la lista dei geni che sembrano predire la sopravvivenza. Il ricercatore aveva un piano preregistrato, il che significa che le regole per l'analisi erano state scritte prima di guardare i dati, per garantire che il processo fosse equo e trasparente. Il piano prevedeva che, quando la velocità di divisione cellulare veniva aggiunta ai modelli statistici, l'importanza stimata degli altri geni sarebbe cambiata in un modo molto specifico e prevedibile in tutti i diversi tipi di cancro.
Quando l'analisi è stata eseguita sui dati reali dei pazienti, i risultati hanno corrisposto perfettamente alla previsione. I dati hanno mostrato che l'importanza dei geni è cambiata esattamente come il piano aveva previsto, e questo schema è rimasto valido per ogni singolo gruppo di venti gruppi di cancro. A prima vista, questo potrebbe sembrare una forte conferma che il metodo statistico funzioni come previsto. Tuttavia, il ricercatore ha poi eseguito un controllo cruciale che viene raramente effettuato in tali studi. Ha preso gli stessi dati e ha rimescolato gli esiti di sopravvivenza — essenzialmente randomizzando chi viveva e chi moriva — in modo che nessun gene potesse essere un vero predittore della sopravvivenza. In questa versione rimescolata della realtà, dove nulla contava, lo stesso test statistico è stato eseguito nuovamente. Sorprendentemente, il test è passato comunque. I dati rimescolati soddisfacevano tutti i criteri dei dati reali, confermando il modello anche se non c'era alcun segnale biologico reale da trovare.
Questa scoperta rivela un difetto fondamentale nel modo in cui questi test vengono talvolta interpretati. Il modello che il ricercatore stava cercando non è un segno di una reale relazione biologica o di un tipo specifico di errore chiamato confondimento. Invece, il modello è "incorporato" nella matematica stessa. Poiché la nuova misurazione (la velocità di divisione cellulare) è derivata dagli stessi dati genetici utilizzati per calcolare gli altri geni, i modelli statistici sono matematicamente costretti a mostrare una relazione, indipendentemente dal fatto che tale relazione sia reale o falsa. Il test era così sensibile a questa struttura matematica da non riuscire a distinguere tra un reale effetto biologico e un rimescolamento casuale di numeri. Infatti, in novantadue casi su cento, il test avrebbe superato l'esame, anche se non stava accadendo nulla.
Lo studio ha anche esaminato come la lista dei geni importanti cambiasse quando venivano aggiunti diversi fattori ai modelli. Quando i ricercatori hanno aggiunto lo stadio del cancro (quanto si era diffuso) o la velocità di divisione cellulare ai loro calcoli, il numero di geni che apparivano come predittori significativi è diminuito drasticamente. In alcuni casi, l'aggiunta di questi fattori ha rimosso più della metà dei geni che precedentemente sembravano importanti. Ciò suggerisce che la lista dei "geni prognostici" non è un insieme fisso di verità biologiche, ma piuttosto una lista che dipende fortemente dai fattori che il ricercatore sceglie di includere nel proprio modello. Se un ricercatore non tiene conto di quanto velocemente il tumore si sta dividendo, potrebbe includere nella sua lista molti geni che stanno solo riflettendo quella velocità, piuttosto che offrire informazioni uniche sul futuro del paziente.
La conclusione ultima è che un'ipotesi preregistrata può essere confermata semplicemente dal modo in cui i dati sono costruiti, non perché l'ipotesi sia vera. Il ricercatore ha dimostrato che eseguire un test su dati permutati — dove gli esiti sono randomizzati — prima di finalizzare il piano di analisi avrebbe esposto immediatamente questo problema. Se il test passa quando non sta accadendo nulla, non può essere considerato affidabile per provare che qualcosa stia accadendo quando si utilizzano i dati reali. Lo studio serve da promemoria che, negli studi genetici complessi, la lista dei geni importanti è altamente sensibile alle scelte effettuate durante l'analisi. I ricercatori devono essere trasparenti su quali fattori tengono conto e devono comprendere che cambiare tali fattori può alterare drasticamente i risultati, rimuendo talvolta i due terzi dei geni che inizialmente sembravano significativi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.