Nested cross-validation reduces optimism in metabolomics-based prediction of immune checkpoint inhibitor outcomes
Questo studio dimostra che la cross-validazione nidificata riduce significativamente l'ottimismo e fornisce stime delle prestazioni più affidabili rispetto alla suddivisione singola di holdout o alla cross-validazione non nidificata nello sviluppo di modelli predittivi basati sulla metabolomica per gli esiti degli inibitori dei checkpoint immunitari.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di essere un detective che cerca di risolvere un mistero: perché alcuni pazienti oncologici rispondono incredibilmente bene a un nuovo tipo di farmaco chiamato inibitore del checkpoint immunitario (ICI), mentre altri no? Questi farmaci sono come una ricarica per la forza di polizia del corpo (il sistema immunitario) per dare la caccia alle cellule tumorali. Ma la forza di polizia non sempre si presenta al lavoro, e noi abbiamo bisogno di un modo per prevedere chi riceverà l'aiuto necessario. Gli scienziati hanno iniziato a guardare ai minuscoli messaggeri chimici che fluttuano nel nostro sangue, chiamati metaboliti, affinché fungano da indizi. Questo campo è chiamato metabolomica. È come cercare di indovinare il tempo osservando il comportamento delle formiche prima di una tempesta. Il problema è che questi indizi chimici sono disordinati, ce ne sono migliaia, e il numero di pazienti che possiamo studiare è spesso piuttosto piccolo. Quando cerchi di trovare schemi in un piccolo e disordinato mucchio di indizi, è molto facile ingannare te stesso pensando di aver trovato un modello perfetto quando in realtà hai solo trovato una coincidenza. Questo è il pericolo dell' "over-optimism" (eccesso di ottimismo) nella scienza.
Questo articolo è essenzialmente un avvertimento su come controlliamo il nostro lavoro da detective. I ricercatori volevano vedere se il modo in cui testiamo i nostri modelli di previsione ci faccia pensare che siano migliori di quanto siano in realtà. Hanno confrontato tre diversi modi di testare: un semplice test "holdout" (dove dividi i dati una sola volta in un gruppo di pratica e un gruppo di test), una "cross-validation non annidata" (dove mescoli i dati e li testi, ma lasci accidentalmente che gli indizi del gruppo di test influenzino la scelta degli indizi stessi) e una "cross-validation annidata" (un metodo più rigoroso e attento, dove mantieni gli indizi di test completamente nascosti fino alla fine).
Lo studio ha esaminato sei diversi set di campioni di sangue prelevati prima dell'inizio del trattamento e dieci set prelevati dopo, utilizzando macchine ad alta tecnologia per misurare le sostanze chimiche. Hanno sottoposto i loro modelli di previsione a tutti e tre i metodi di test. I risultati sono stati uno schiaffo dalla realtà. Quando hanno usato il metodo "non annidato", i modelli sembravano delle rock star, con un punteggio medio (chiamato ROC-AUC) di 0,882 per i campioni pre-trattamento. Ma quando hanno usato il metodo "annidato", più rigoroso, il punteggio è sceso a un più modesto 0,705. Questa è una differenza enorme! È come uno studente che prende un A+ in un test di pratica perché ha sbirciato le risposte, ma poi prende una C all'esame vero quando le risposte sono nascoste. Il metodo "non annidato" ha sovrastimato la capacità del modello di quasi 0,18 punti in media.
I ricercatori hanno scoperto che il principale colpevole di questo successo falso era la fase in cui il computer sceglie quali indizi chimici sono i più importanti. Se lasci che il computer scelga i migliori indizi usando gli stessi dati che usa per valutare il test, si confonde e scambia il rumore casuale per un segnale reale. Il metodo "annidato" risolve questo problema costringendo il computer a scegliere gli indoli su un set di dati separato prima ancora che veda i dati di test. Interessante è che il metodo "holdout" (la semplice divisione) non ha sovrastimato il punteggio tanto quanto il metodo non annidato, ma era molto instabile, fornendo una gamma di risposte molto ampia, come un righello traballante. Il metodo annidato ha fornito un intervallo di risposte più stretto e affidabile.
Lo studio ha anche esaminato se testare prima o dopo il trattamento importasse. La risposta è: dipende dal gruppo specifico di pazienti. In alcuni tipi di cancro, i campioni di sangue prelevati prima del trattamento erano i migliori predittori, mentre in altri, i campioni dopo l'inizio del trattamento erano migliori. Non c'era un unico "momento magico" per testare tutti.
Infine, il team ha testato questo su un tipo diverso di macchina (NMR invece del solito spettrometro di massa) con pazienti affetti da melanoma, e lo stesso schema si è confermato: il rigoroso metodo annidato forniva un punteggio più realistico e più basso rispetto ai metodi meno rigorosi. Gli autori concludono che per studi piccoli come questi, dove stiamo cercando biomarcatori per il trattamento del cancro, dobbiamo usare il rigoroso metodo "annidato". Se non lo facciamo, potremmo entusiasmarci per un predittore "perfetto" che è in realtà un miraggio creato dai nostri stessi errori di test. Sebbene questo non ci fornisca ancora un test medico pronto all'uso, ci dà le regole corrette per il gioco affinché, quando troveremo un vero biomarcatore, possiamo fidarci di esso.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.