Genetic Perturbation Prediction Models Fail Out-of-Distribution: A Rigorous Benchmark and Systematic Evaluation

Imagine um mundo onde cientistas pudessem prever como uma célula viva reagirá a uma mudança genética específica sem nunca ter que realizar o experimento em um laboratório. Esta é a promessa dos modelos de "célula virtual", programas de computador projetados para simular os efeitos de ligar ou desligar genes. No mundo real, pesquisadores usam ferramentas poderosas para desativar genes um por um e, em seguida, medir as mudanças resultantes na atividade da célula, um processo que é lento, caro e difícil de escalar. Se um computador pudesse prever com precisão esses resultados, ele atuaria como um enorme atalho, permitindo que desenvolvedores de medicamentos testem milhares de tratamentos potenciais em uma fração do tempo. Por anos, o campo tem corrido para construir esses modelos, com muitos pesquisadores apostando que sistemas de inteligência artificial mais complexos eventualmente dominariam a tarefa.

No entanto, um novo estudo sugere que a geração atual desses modelos está falhando em um teste crítico. Os pesquisadores por trás deste trabalho, uma equipe da Elucidata Corporation, propuseram-se a ver se esses programas de computador estão realmente aprendendo as regras biológicas da vida ou se estão apenas memorizando padrões dos dados que lhes foram fornecidos. Eles descobriram que, embora os modelos pareçam funcionar bem sob condições de teste padrão, eles colapsam quando solicitados a prever os efeitos de genes que nunca viram antes. O estudo revela que os modelos mais sofisticados, incluindo aqueles construídos sobre as mais recentes tecnologias de fundação, não oferecem vantagem real sobre métodos muito mais simples. Em vez de entender a maquinaria subjacente da célula, esses programas estão essencialmente adivinhando com base na semelhança com exemplos passados, uma estratégia que falha diante de novos cenários biológicos desconhecidos.

Para entender por que isso importa, deve-se primeiro compreender a natureza do desafio. Quando cientistas estudam genes, eles observam como as instruções internas da célula mudam quando um gene específico é removido. Em um experimento típico, eles podem testar centenas de genes em um único tipo de célula. O objetivo para um modelo computacional é aprender com esses centenas de exemplos e, então, prever o que aconteceria se um gene diferente, que nunca encontrou antes, fosse removido. Esta é uma tarefa difícil porque a relação entre um gene e seu efeito nem sempre é óbvia; ela depende de uma teia complexa de interações dentro da célula. A forma padrão de testar esses modelos tem sido a divisão aleatória dos dados, dando ao computador alguns genes para aprender e outros poucos para prever. O problema com essa abordagem é que os "novos" genes são frequentemente biologicamente semelhantes aos que o computador já conhece. É como pedir a um aluno que faça uma prova onde as questões são apenas variações leves das que ele estudou. O aluno pode obter uma pontuação perfeita, não porque entende o assunto, mas porque reconheceu o padrão.

A equipe por trás deste estudo, liderada por Kanupriya Tiwari e colegas, decidiu mudar as regras do jogo. Eles introduziram uma nova estrutura de teste chamada EL-PERTURB, projetada para testar o estresse desses modelos sob condições realistas. Em vez de divisões aleatórias, eles agruparam os genes com base em como eles realmente afetavam o comportamento da célula. Eles então forçaram os modelos a prever os efeitos de genes de um grupo completamente diferente, garantindo que os genes de teste fossem funcionalmente distintos dos genes de treinamento. Essa configuração mimetiza um cenário do mundo real, onde um desenvolvedor de medicamentos precisa prever o efeito de um gene que nunca foi estudado antes. Eles testaram vinte modelos diferentes, variando de ferramentas estatísticas simples a sistemas complexos de aprendizagem profunda, incluindo aqueles que utilizam bases de dados pré-treinadas massivas de conhecimento biológico. Eles realizaram esses testes em dados de quatro linhagens celulares humanas diferentes, cobrindo tanto genes essenciais, que são críticos para a sobrevivência celular, quanto um conjunto mais amplo de genes encontrados em triagens genômicas completas.

Os resultados foram nítidos e consistentes. Quando os modelos foram testados em genes que eram semelhantes aos seus dados de treinamento, eles performaram razoavelmente bem, confirmando que podiam interpolar, ou preencher as lacunas, entre exemplos conhecidos. Mas quando os pesquisadores aplicaram o novo e mais rigoroso teste com genes funcionalmente distintos, o desempenho de cada um dos modelos caiu dramaticamente. Os modelos complexos, que incluíam redes neurais avançadas e sistemas construídos sobre modelos de fundação treinados em vastas quantidades de texto e dados biológicos, não se saíram melhor do que as linhas de base muito mais simples. Na verdade, em alguns casos, os modelos mais simples mantiveram-se ligeiramente melhor. O estudo descobriu que as arquiteturas mais sofisticadas não ofereciam vantagem confiável no tratamento dessas novas situações biológicas não vistas. Os modelos não estavam aprendendo a lógica causal de como os genes controlam as células; eles estavam meramente recuperando respostas de um vizinhança memorizada de exemplos semelhantes.

Os pesquisadores também investigaram se o uso de dados de múltiplos tipos de células poderia ajudar os modelos a generalizar melhor. Eles descobriram que essa abordagem funcionava apenas quando as respostas biológicas entre os diferentes tipos de células eram altamente semelhantes, como com genes essenciais que desencadeiam respostas de estresse comuns. No entanto, quando passaram para as triagens genômicas completas, que envolvem um conjunto muito mais diverso e caótico de reações biológicas, o benefício de usar múltiplos tipos de células desapareceu inteiramente. Nesses cenários complexos, os modelos falharam em transferir o conhecimento de forma eficaz, e os preditores mais bem-sucedidos eram frequentemente os mais simples, como ferramentas de regressão básica ou métodos que dependiam da recuperação de fatos biológicos conhecidos em vez de aprender com os dados em si. Isso sugere que o gargalo não é o design do modelo, mas a natureza dos dados e a falta de uma verdadeira compreensão dos mecanismos causais que impulsionam o comportamento da célula.

Outra descoberta fundamental diz respeito ao uso de "modelos de fundação", que são grandes sistemas de inteligência artificial pré-treinados em conjuntos de dados massivos de informação genética. Muitos pesquisadores esperavam que esses sistemas, que aprenderam padrões gerais de biologia, pudessem fornecer uma vantagem inicial para prever efeitos de genes específicos. O estudo testou embeddings, ou representações digitais de genes, derivadas desses modelos de fundação e comparou-as com representações construídas a partir de conhecimento biológico curado e selecionado a dedo. Os resultados mostraram que os embeddings dos modelos de fundação não ofereceram melhoria sobre o conhecimento curado. Em algumas configurações, eles até tornaram as previsões ligeiramente piores. Isso indica que a geração atual desses grandes modelos ainda não codifica a informação causal específica necessária para prever como uma célula reagirá a uma mudança genética, pelo menos não de uma forma que supere fontes de conhecimento biológico mais simples e diretas.

O estudo conclui que o campo tem superestimado as capacidades desses modelos porque os métodos de teste padrão são fáceis demais. Ao confiar em divisões aleatórias e quantidades generosas de dados de treinamento, os benchmarks anteriores permitiram que os modelos tivessem sucesso através da interpolação, em vez de uma extrapolação genuína. Os autores argumentam que, para avançar, a comunidade deve adotar padrões de avaliação mais rigorosos que forcem os modelos a enfrentar desafios biológicos verdadeiramente novos. Eles propõem que os modelos futuros devem ir além do reconhecimento de padrões e começar a codificar a estrutura causal real da biologia, compreendendo como uma perturbação se propaga através de uma rede de interações para produzir um resultado específico. Até lá, a promessa de uma "célula virtual" que possa substituir confiavelmente os experimentos de laboratório permanece fora de alcance, e as ferramentas mais eficazes para prever efeitos genéticos podem ainda ser os métodos mais simples e transparentes que foram negligenciados na corrida em direção à complexidade.