Scoring the downstream chain of small-n label-free proteomics against known ratios: search engine, match-between-runs, imputation, differential testing and enrichment background on a public three-species benchmark

Nel mondo microscopico all'interno delle nostre cellule, migliaia di proteine lavorano insieme per mantenere in funzione la vita. Per capire come queste proteine cambino quando una persona si ammala o quando un trattamento funziona, gli scienziati utilizzano una tecnica chiamata proteomica label-free. Immaginate di cercare di pesare una folla di persone scattando una fotografia di loro; la fotocamera cattura tutti, ma per sapere quanto pesa ciascuno, è necessario misurare la luminosità della loro immagine. In questo metodo scientifico, la "luminosità" del segnale di una proteina indica ai ricercatori quanto di essa sia presente. Confrontando questi segnali tra due diverse condizioni — ad esempio, tessuto sano rispetto a tessuto malato — gli scienziati possono vedere quali proteine sono aumentate o diminuite. Tuttavia, ottenere un conteggio accurato è difficile. Il processo prevede complessi programmi informatici per identificare le proteine e poi una lunga catena di decisioni su come gestire i dati mancanti, come confrontare i campioni e come decidere cosa conti come un cambiamento reale rispetto a una fluttuazione casuale. Se questi passaggi successivi vengono gestiti male, l'elenco finale delle proteine importanti può essere pieno di errori, conducendo i ricercatori sulla strada sbagliata.

Un ricercatore ha preso un set di dati pubblici, dove le risposte vere erano già note, per testare esattamente come queste diverse scelte influenzino il risultato finale. I dati provenivano da un esperimento ingegnoso in cui gli scienziati hanno mescolato proteine di tre specie diverse: umani, lievito e un comune batterio intestinale chiamato E. coli. Hanno creato due miscele con proporzioni note. Nella prima miscela, le proteine umane costituivano il 65 percento, il lievito il 30 percento e i batteri il 5 percento. Nella seconda miscela, hanno mantenuto invariate le proteine umane, ma hanno dimezzato il lievito e quadruplicato i batteri. Poiché le quantità iniziali erano note, i ricercatori sapevano esattamente cosa avrebbe dovuto trovare il computer: le proteine umane non avrebbero mostrato alcun cambiamento, il lievito sarebbe apparso ridotto della metà e i batteri sarebbero apparsi quattro volte tanto. Questa configurazione fungeva da terreno di prova perfetto, un ambiente controllato dove la risposta corretta era scritta nelle stelle, in attesa di essere vista se gli strumenti fossero stati abbastanza affilati.

Il ricercatore ha fatto girare questi dati attraverso tre dei più popolari strumenti software utilizzati oggi nel campo: MaxQuant, FragPipe e DIA-NN. Questi programmi sono come diversi marchi di fotocamere di alta gamma; tutti prendono le immagini grezze e cercano di produrre un'immagine nitida delle proteine. Lo studio ha scoperto che, sebbene tutti e tre gli strumenti fossero generalmente bravi a trovare le proteine, differivano nella precisione con cui misuravano i cambiamenti. Guardando alle proteine umane, che non avrebbero dovuto cambiare affatto, uno strumento chiamato MaxQuant mostrava uno spostamento piccolo ma costante, facendo apparire le proteine invariate leggermente diverse da come erano. Un altro strumento, FragPipe, era molto preciso con queste proteine invariate, mentre il terzo, DIA-NN, era anch'esso molto accurato, ma utilizzava un tipo diverso di macchina per catturare i dati in primo luogo. La scoperta più sorprendente non riguardava quale software fosse il migliore, ma quanto il risultato finale potesse essere rovinato dalle semplici decisioni prese dopo che il software ha terminato il suo lavoro.

Dopo che il software ha identificato le proteine, il ricercatore ha testato una serie di comuni passaggi che gli scienziati compiono per pulire i dati. Uno di questi passaggi è il "match-between-runs", una funzione che permette al computer di colmare i numeri mancanti per una proteina in un campione prendendo in prestito il valore da un campione simile. Lo studio ha mostato che, sebbene questa funzione aiutasse a trovare più proteine, introduceva anche più rumore, specialmente per le rare proteine batteriche che erano difficili da rilevare. Un'altra decisione critica riguardava come gestire le proteine completamente assenti dai dati. Il ricercatore ha testato diversi modi per indovinare questi valori mancanti. Un metodo comune, che assume che i dati mancanti siano casuali, è fallito completamente quando i dati erano mancanti perché la proteina era semplicemente troppo scarsa per essere vista. In quel caso specifico, il metodo ha ipotizzato che i valori mancanti fossero medi, cancellando di fatto l'enorme aumento di quattro volte dei batteri che era effettivamente presente.

I cambiamenti più drammatici derivarono da come i dati venivano testati per la significatività. Gli scienziati spesso utilizzano un test statistico per decidere se un cambiamento è reale. Lo studio ha scoperto che se un ricercatore chiedeva semplicemente al computer di trovare qualsiasi proteina che sembrasse diversa, senza richiedere una dimensione minima per tale differenza, il numero di falsi allarmi esplodeva. Su uno degli output del software, un test standard ha segnalato oltre cento proteine umane come cambiate, anche se erano note per essere stabili. Tuttavia, quando il ricercatore ha aggiunto una regola semplice che richiedeva al cambiamento di avere almeno una certa dimensione prima di essere considerato significativo, il numero di falsi allarmi è sceso da oltre cento a una manciata. Questa singola decisione ha ridotto il tasso di errore di oltre trenta volte. Al contrario, aggiungere un passaggio extra per "normalizzare" o riequilibrare i dati, pratica comune, ha reso le cose peggiori per due degli strumenti software, creando migliaia di nuovi falsi allarmi dove prima non esistevano.

Lo studio ha anche esaminato come gli scienziati interpretano questi elenchi di proteine per comprendere i processi biologici, un passaggio chiamato analisi di arricchimento. Quando i ricercatori prendono un elenco di proteine e chiedono a un database quali funzioni esse coinvolgano, la scelta dello sfondo conta immensamente. Se confrontano il loro elenco con l'intero genoma di tutte le possibili proteine, il computer trova centinaia di funzioni "significative", anche quando l'elenco è solo una collezione casuale di proteine. Ma se confrontano il loro elenco solo con le proteine che sono state effettivamente rilevate nell'esperimento, i falsi allarmi scompaiono. Ciò suggerisce che lo sfondo utilizzato per il confronto agisce come una lente; guardare attraverso la lente sbagliata fa apparire il rumore casuale come un segnale.

La conclusione ultima di questo lavoro è che la scelta del motore software è meno importante delle scelte fatte dopo che il software è stato eseguito. Una singola decisione, come aggiungere una soglia di fold-change o evitare un passaggio di normalizzazione extra, potrebbe cambiare il numero di falsi scoperte fino a trentaquattro volte. Il ricercatore ha fornito una checklist da seguire: utilizzare regole rigide per decidere quali dati mantenere, evitare di indovinare i valori mancanti a meno che non si comprenda perché manchino, abbinare i test statistici a un requisito di dimensione minima del cambiamento e utilizzare le proteine rilevate come sfondo per l'analisi di arricchimento. Seguendo queste semplici precauzioni, gli scienziati possono garantire che le storie che raccontano sui loro dati siano basate su reali cambiamenti biologici piuttosto che su artefatti dei loro stessi metodi. Lo studio non ha sostenuto di aver risolto ogni problema nel campo, ma ha chiaramente mostrato che, con risposte note, il percorso verso l'errore è spesso pavimentato con passaggi non necessari ma ben intenzionati.