The Logical Structure of Clinical Trial Eligibility Criteria: A Corpus-Scale Measurement of Disjunction in Non-Small-Cell Lung Cancer Trials

Ogni sperimentazione clinica inizia con un elenco di regole. Questi sono i criteri di ammissibilità, le condizioni specifiche che una persona deve soddisfare per partecipare a uno studio. Essi determinano chi riceve il nuovo trattamento e chi no, agendo come i guardiani della ricerca medica. Per decenni, scienziati e sistemi informatici che tentano di abbinare i pazienti a queste sperimentazioni hanno operato su un'assunzione semplice e silenziosa: che le regole funzionino come una lista di controllo in cui ogni singolo elemento deve essere spuntato. In questa visione, un paziente è idoneo solo se soddisfa la condizione A, e la condizione B, e la condizione C, tutte contemporaneamente. È un modo di pensare diretto a un documento complesso, ma tratta il testo come una lista piatta di requisiti.

Tuttavia, il linguaggio della medicina è raramente così semplice. I medici spesso scrivono regole che offrono delle scelte. Un paziente potrebbe essere autorizzato a partecipare se possiede un tipo di marcatore genetico o un altro. Potrebbe essere escluso se ha assunto il farmaco X, il farmaco Y o il farmaco Z. Queste non sono solo liste; sono alternative logiche. Se un sistema informatico ignora queste scelte e tratta ogni opzione come un requisito obbligatorio, commette un errore fondamentale. Potrebbe rifiutare un paziente che è in realtà idoneo perché ha mancato un'opzione che non era necessaria, oppure potrebbe accettare un paziente che dovrebbe essere escluso perché non ha rilevato che avere anche solo una tra diverse condizioni sfavorevoli era sufficiente per squalificarlo. Fino ad ora, nessuno aveva misurato quanto spesso queste scelte appaiano nei massicci archivi delle sperimentazioni cliniche.

Un team di ricercatori ha cercato di risolvere questo enigma esaminando i criteri di ammissibilità per il tumore al polmone non a piccole cellule, una forma importante della malattia. Hanno raccolto i record di migliaia di sperimentazioni da un registro pubblico, creando una vasta collezione di quasi 190.000 singole regole. Per dare un senso a questa montagna di testo, hanno costruito un nuovo tipo di strumento utilizzando l'intelligenza artificiale avanzata. Questo strumento è stato progettato per leggere la struttura logica di ogni frase, cercando specificamente la presenza di enunciati "o" — luoghi in cui la regola offre un percorso alternativo. Prima di affidare lo strumento all'intero dataset, i ricercatori lo hanno testato rigorosamente. Hanno confrontato il suo lavoro con un insieme di regole che erano state accuratamente etichettate da esperti umani, e poi hanno fatto in modo che tre professionisti medici indipendenti revisionassero un nuovo lotto di regole per creare uno standard cieco. Lo strumento si è dimostrato straordinariamente accurato, eguagliando quasi perfettamente gli esperti umani e confermando che una versione meno costosa dell'intelligenza artificiale poteva svolgere lo stesso lavoro di una più costosa.

Quando i ricercatori hanno applicato questo strumento all'intera collezione di sperimentazioni sul tumore al polmone, i risultati sono stati sorprendenti. Hanno scoperto che la semplice assunzione della lista di controllo era errata per quasi la metà di tutte le regole. Nel campione validato, il 46,2% dei singoli criteri esprimeva una scelta logica piuttosto che un singolo requisito. Ciò significa che in quasi ogni singola sperimentazione c'era almeno una regola che offriva un'alternativa. Il pattern era ancora più pronunciato nelle regole che escludevano i pazienti. Mentre circa il 36% delle regole che permettevano l'ingresso ai pazienti offriva una scelta, quasi il 57% delle regole che tenevano fuori i pazienti lo faceva elencando molteplici modi per essere squalificati. Se un sistema informatico legge queste regole di esclusione come una lista di cose che un paziente deve avere per essere rifiutato, invece che come una lista di cose che potrebbero squalificarlo, crea un rischio per la sicurezza ammettendo persone che dovrebbero essere escluse.

Lo studio ha anche rivelato come questa complessità sia cambiata nel tempo. Nei primi anni '90, quando i ricercatori hanno esaminato le sperimentazioni più vecchie, solo il 18% delle regole offriva una scelta. Entro il 2010, quel numero era quasi raddoppiato arrivando a circa il 50%, dove si è poi stabilizzato. Questo aumento è avvenuto nonostante la lunghezza dei documenti delle sperimentazioni non fosse cambiata drasticamente durante il periodo in cui i numeri stavano crescendo, suggerendo che le regole stesse stiano diventando strutturalmente più complesse, non solo più lunghe. I ricercatori hanno notato che questo schema rimaneva costante indipendentemente da chi gestisse la sperimentazione o da quale fase di test si trattasse, indicando che si tratta di una caratteristica generale del modo in cui vengono scritti i moderni protocolli medici.

La conclusione è che il modo in cui attualmente cerchiamo di abbinare i pazienti alle sperimentazioni necessita di un cambiamento fondamentale. Per decenni, il settore si è affidato a metodi che trattano ogni regola come una condizione obbligatoria. Questo studio dimostra che tale approccio è errato per quasi la metà dei criteri e per quasi tutte le sperimentazioni nel registro. L'errore non è solo un piccolo glitch statistico; ha conseguenze reali. Quando il sistema manca una scelta in una regola di inclusione, allontana pazienti che avrebbero potuto aiutare la sperimentazione. Quando manca una scelta in una regola di esclusione, rischia la sicurezza dei partecipanti ammettendo persone che non dovrebbero esserci. I ricercatori sostengono che prima di poter costruire sistemi migliori per abbinare i pazienti alle sperimentazioni, dobbiamo prima misurare e comprendere la forma logica delle regole stesse. L'era di trattare i criteri delle sperimentazioni cliniche come una semplice lista di requisiti è finita; la realtà è un paesaggio di scelte che deve essere navigato con cura.