Scoring the downstream chain of small-n label-free proteomics against known ratios: search engine, match-between-runs, imputation, differential testing and enrichment background on a public three-species benchmark

No mundo microscópico dentro de nossas células, milhares de proteínas trabalham juntas para manter a vida funcionando. Para entender como essas proteínas mudam quando uma pessoa fica doente ou quando um tratamento funciona, os cientistas usam uma técnica chamada proteômica sem marcação (label-free). Imagine tentar pesar uma multidão de pessoas tirando uma fotografia delas; a câmera captura todos, mas para saber quanto cada pessoa pesa, você tem que medir o brilho da sua imagem. Neste método científico, o "brilho" do sinal de uma proteína diz aos pesquisadores quanto dela está presente. Ao comparar esses sinais entre duas condições diferentes — digamos, tecido saudável versus tecido doente — os cientistas podem ver quais proteínas aumentaram ou diminuíram. No entanto, obter uma contagem precisa é difícil. O processo envolve programas de computador complexos para identificar as proteínas e, em seguida, uma longa cadeia de decisões sobre como lidar com dados ausentes, como comparar as amostras e como decidir o que conta como uma mudança real versus uma flutuação aleatória. Se essas etapas posteriores forem mal conduzidas, a lista final de proteínas importantes pode ficar repleta de erros, levando os pesquisadores pelo caminho errado.

Um pesquisador recentemente pegou um conjunto de dados públicos, onde as respostas verdadeiras já eram conhecidas, para testar exatamente como essas diferentes escolhas afetam o resultado final. Os dados vieram de um experimento inteligente onde cientistas misturaram proteínas de três espécies diferentes: humanos, levedura e uma bactéria comum do intestino chamada E. coli. Eles criaram duas misturas com proporções conhecidas. Na primeira mistura, as proteínas humanas representavam 65 por cento, a levedura 30 por cento e as bactérias 5 por cento. Na segunda mistura, eles mantiveram as proteínas humanas iguais, mas reduziram a levedura pela metade e quadruplicaram as bactérias. Como as quantidades iniciais eram conhecidas, os pesquisadores sabiam exatamente o que o computador deveria encontrar: as proteínas humanas não deveriam mudar, a levedura deveria aparecer metade do tamanho e as bactérias deveriam aparecer quatro vezes mais. Essa configuração serviu como um campo de teste perfeito, um ambiente controlado onde a resposta correta estava escrita nas estrelas, esperando para ser vista se as ferramentas fossem afiadas o suficiente.

O pesquisador executou esses dados através de três das ferramentas de software mais populares usadas no campo hoje: MaxQuant, FragPipe e DIA-NN. Esses programas são como diferentes marcas de câmeras de alta tecnologia; todos tiram as imagens brutas e tentam produzir uma imagem clara das proteínas. O estudo descobriu que, embora todas as três ferramentas fossem geralmente boas em encontrar as proteínas, elas diferiam na precisão com que mediam as mudanças. Ao observar as proteínas humanas, que não deveriam ter mudado nada, uma ferramenta chamada MaxQuant mostrou um desvio pequeno e consistente, fazendo com que as proteínas inalteradas parecessem ligeiramente diferentes do que eram. Outra ferramenta, o FragPipe, foi muito precisa com essas proteínas inalteradas, enquanto a terceira, o DIA-NN, também era muito precisa, mas utilizava um tipo diferente de máquina para capturar os dados em primeiro lugar. A descoberta mais marcante não foi sobre qual software era o melhor, mas sobre o quanto o resultado final poderia ser arruinado pelas decisões simples tomadas após o término do trabalho do software.

Depois que o software identificou as proteínas, o pesquisador testou uma série de passos comuns que os cientistas tomam para limpar os dados. Um desses passos é o "match-between-runs" (correspondência entre corridas), um recurso que permite ao computador preencher números ausentes para uma proteína em uma amostra, pegando emprestado o valor de uma amostra semelhante. O estudo mostrou que, embora esse recurso ajudasse a encontrar mais proteínas, ele também introduzia mais ruído, especialmente para as proteínas bacterianas raras que eram difíceis de detectar. Outra decisão crítica foi como lidar com proteínas que estavam totalmente ausentes nos dados. O pesquisador testou várias maneiras de adivinhar esses valores ausentes. Um método comum, que assume que os dados ausentes são aleatórios, falhou completamente quando os dados estavam ausentes porque a proteína era simplesmente escassa demais para ser vista. Nesse caso específico, o método supôs que os valores ausentes eram a média, efetivamente apagando o aumento massivo de quatro vezes nas bactérias que realmente estava lá.

As mudanças mais dramáticas vieram de como os dados foram testados para significância. Cientistas frequentemente usam um teste estatístico para decidir se uma mudança é real. O estudo descobriu que, se um pesquisador simplesmente pedisse ao computador para encontrar qualquer proteína que parecesse diferente, sem exigir um tamanho mínimo para essa diferença, o número de alarmes falsos explodiria. Em uma das saídas de software, um teste padrão sinalizou mais de cem proteínas humanas como tendo mudado, embora soubéssemos que elas eram estáveis. No entanto, quando o pesquisador adicionou uma regra simples exigindo que a mudança fosse de pelo menos um certo tamanho antes de ser chamada de significativa, o número de alarmes falsos caiu de mais de cem para apenas alguns. Essa única decisão reduziu a taxa de erro em mais de trinta vezes. Por outro lado, adicionar uma etapa extra para "normalizar" ou reequilibrar os dados, o que é uma prática comum, na verdade piorou as coisas para duas das ferramentas de software, criando milhares de novos alarmes falsos onde não existiam antes.

O estudo também observou como os cientistas interpretam essas listas de proteínas para entender processos biológicos, um passo chamado análise de enriquecimento. Quando os pesquisadores pegam uma lista de proteínas e perguntam a um banco de dados em quais funções elas estão envolvidas, a escolha do "background" (contexto/pano de fundo) importa imensamente. Se eles compararem sua lista contra o genoma inteiro de todas as proteínas possíveis, o computador encontrará centenas de funções "significativas", mesmo quando a lista é apenas uma coleção aleatória de proteínas. Mas, se compararem a lista apenas contra as proteínas que foram de fato detectadas no experimento, os alarmes falsos desaparecem. Isso sugere que o background usado para comparação atua como uma lente; olhar através da lente errada faz o ruído aleatório parecer um sinal.

A conclusão definitiva deste trabalho é que a escolha do motor de software é menos importante do que as escolhas feitas após a execução do software. Uma única decisão, como adicionar um limiar de mudança de dobra (fold-change threshold) ou evitar uma etapa de normalização extra, pode alterar o número de descobertas falsas em até trinta e quatro vezes. O pesquisador forneceu um checklist para que outros sigam: use regras estritas para quais dados manter, evite adivinhar valores ausentes a menos que entenda por que eles estão ausentes, combine testes estatísticos com a exigência de um tamanho mínimo de mudança e use as proteínas detectadas como o background para a análise de enriquecimento. Ao seguir essas salvaguardas simples, os cientistas podem garantir que as histórias que contam sobre seus dados sejam baseadas em mudanças biológicas reais e não em artefatos de seus próprios métodos. O estudo não alegou ter resolvido todos os problemas do campo, mas mostrou claramente que, com respostas conhecidas, o caminho para o erro é frequentemente pavimentado com passos bem-intencionados, mas desnecessários.