Constructed negatives determine the population a benchmark can rank over
Questo articolo sostiene che le classifiche dei benchmark siano fondamentalmente limitate dall'esclusione di entità scarsamente annotate durante la costruzione dei negativi, dimostrando che alti tassi di omissione (W > 0,5) impediscono un ordinamento rigoroso dei modelli e sollecitando la comunità a riportare in modo trasparente le definizioni dei target, il supporto al campionamento e le evidenze per i confronti.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo
Nel vasto panorama della scoperta biologica, gli scienziati si affidano spesso a modelli informatici per prevedere come le proteine interagiscono o dove si attaccano i tag chimici. Per istruire questi modelli, i ricercatori devono mostrare loro esempi di cose che accadono (positivi) ed esempi di cose che non accadono (negativi). La sfida è che, mentre abbiamo un buon elenco di cose che accadono, raramente possediamo un elenco completo di tutto ciò che non accade. Inveve, gli scienziati creano spesso un elenco di "negativi" assumendo che qualsiasi interazione o modifica non ancora osservata sia probabilmente un non-evento. Questa assunzione è la base di molti benchmark, o test standard, utilizzati per giudicare quanto bene un nuovo modello performi. Se il test è difettoso, la classifica dei migliori modelli diventa inaffidabile, potenzialmente indirizzando i ricercatori lungo la strada sbagliata nella loro ricerca di nuovi farmaci o intuizioni biologiche.
Un ricercatore della Tulane University, Justin Li, ha scoperto un difetto fondamentale nel modo in cui questi test vengono spesso costruiti. Ha scoperto che il modo in cui gli scienziati scelgono i loro esempi "negativi" spesso lascia escluse enormi porzioni del mondo biologico, rendendo di fatto il test cieco rispetto alla maggioranza dei candidati che sostiene di valutare. Il lavoro di Li mostra che quando un test esclude più della metà dei possibili candidati, non è identificabile alcun ordinamento rigoroso tra due modelli senza assunzioni aggiuntive, anche se un modello ottiene un punteggio più alto nel test. Lo studio non indica solo un errore minore; dimostra che la popolazione stessa che il benchmark dichiara di classificare è spesso una sottile fetta non rappresentativa della realtà, e che i miglioramenti osservati in questi test possono talvolta svanire o persino invertirsi quando applicati al quadro completo.
Il nocciolo del problema risiede in una regola che molti ricercatori usano per mantenere puliti i propri dati. Per evitare di etichettare accidentalmente un vero evento biologico come "negativo" solo perché non è ancora stato scoperto, gli scienziati spesso fissano un traguardo molto alto per l'inclusione. Potrebbero dire: "Useremo solo proteine come esempi negativi se ne conosciamo già molto". Sebbene questo sembri un modo sicuro per garantire l'accuratezza, Li ha dimostrato che questa regola agisce come un setaccio che filtra quasi tutto. In otto diversi compiti riguardanti le modifiche chimiche sulle proteine, questa regola ha escluso tra il 60% e il 97% delle proteine candidate. Nei casi peggiori, il test stava guardando solo una minuscola frazione delle proteine che avrebbe dovuto coprire.
Li ha sviluppato un modo per misurare esattamente quanto della popolazione target sia mancante. Ha scoperto che una volta che la parte mancante supera la metà del totale, il test perde la capacità di garantire una classificazione rigorosa tra i modelli senza assunzioni sulla regione esclusa. Immaginate di provare a giudicare la qualità di una biblioteca leggendo solo i libri sullo scaffale superiore; se i libri migliori si trovano sugli scaffali inferiori, il vostro giudizio sarà errato. In questi test biologici, lo "scaffale superiore" è il piccolo gruppo di proteine ben annotate, mentre gli "scaffali inferiori" sono la vasta maggioranza di proteine che il test ignora. Quando la parte ignorata è così grande, un modello potrebbe apparire come il migliore nel test semplicemente perché capita di funzionare bene su quel piccolo gruppo facile, pur fallendo miseramente sul resto del mondo biologico.
Per dimostrare questo, Li ha condotto un esperimento specifico in cui ha confrontato un modello standard con una versione che includeva informazioni extra sull'intera proteina. Nel test standard, che guardava solo le proteine ben annotate, le informazioni extra sembravano aiutare. Tuttavia, quando Li ha ricostruito il test per includere le proteine precedentemente escluse, le informazioni extra hanno in realtà danneggiato le prestazioni del modello in sette compiti su otto. La caratteristica che appariva come un aggiornamento utile nel test ristretto è diventata un limite quando il modello è stato costretto a gestire l'intera gamma di candidati. Questa inversione mostra che il test iniziale non stava misurando la reale capacità di generalizzazione del modello; stava solo misurando quanto bene il modello si adattasse a un insieme specifico e ristretto di regole.
Lo studio ha esaminato anche un popolare benchmark per le interazioni proteiche, utilizzato per testare quanto bene i computer possano prevedere quali proteine si legano tra loro. Questo benchmark utilizza un filtro a due fasi per creare i suoi esempi negativi. Primo, rimuove intere proteine che hanno troppe connessioni, e secondo, rimuove coppie di proteine che sono troppo vicine in una struttura di rete. Li ha scoperto che il primo passaggio da solo esclude intere proteine, il che significa che per alcune proteine non esistono affatto esempi negativi. Il secondo passaggio rimuove quasi tutte le coppie per molte altre proteine. Il risultato è un test in cui gli esempi "negativi" sono così rari e distorti da non rappresentare il mondo reale delle interazioni proteiche. Infatti, il test esclude il 73% delle proteine nel proprio universo dichiarato, lasciando un enorme divario tra ciò che il test dichiara di misurare e ciò che effettivamente vede.
Il lavoro di Li non suggerisce che questi modelli siano inutili, ma piuttosto che dobbiamo essere onesti su ciò che stanno effettivamente testando. Un benchmark dovrebbe dichiarare chiaramente quale parte del mondo biologico copre e ammettere cosa lascia fuori. Se un test esclude più della metà dei candidati, non può certificare che un modello sia migliore di un altro per l'intera popolazione senza ulteriori assunzioni. Il ricercatore raccomanda che gli scienziati riportino esattamente quanti candidati sono inclusi ed esclusi, e che debbano essere cauti nel dichiarare un modello come superiore a meno che il test non copra una porzione sufficientemente ampia del target per rendere un confronto equo.
Le scoperte fungono da necessaria correzione nel campo della predizione biologica. Separando la prestazione di un modello sui dati che vede dalla sua prestazione sui dati che mancano, Li fornisce una via più chiara da seguire. Lo studio suggerisce che l'attuale pratica di utilizzare filtri rigidi per creare negativi "puliti" potrebbe fare più danni che altro, creando l'illusione di un progresso che svanisce quando i modelli si trovano di fronte alla realtà disordinata e incompleta dei dati biologici. La soluzione non è abbandonare questi test, ma progettarli con una piena comprensione dei loro limiti, assicurando che le classifiche che producono riflettano il vero potenziale dei modelli piuttosto che le peculiarità del test stesso.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.