Memorization in reaction-conditioned generative enzyme design: folding confidence, database identity, and docking all fail to detect it

O ambiente está repleto de produtos químicos sintéticos que a natureza não evoluiu para decompor. De retardantes de chama em móveis a pesticidas em plantações, essas substâncias persistem porque os organismos vivos carecem das ferramentas biológicas para desmantelá-las. Cientistas há muito esperam projetar enzimas customizadas — catalisadores microscópicos da natureza — para digerir esses poluentes e limpar a bagunça. Nos últimos anos, programas de computador poderosos surgiram com a capacidade de escrever os projetos genéticos de novas proteínas, prometendo projetar essas enzimas do zero com base na química específica do poluente que precisam destruir. A ideia é fornecer ao computador uma descrição de um produto químico tóxico e fazer com que ele produza uma sequência proteica capaz de neutralizá-lo.

Um novo estudo examina se esses programas de computador estão realmente projetando novas ferramentas ou simplesmente copiando as antigas. Pesquisadores da Terram Technologies construíram um sistema chamado XenoFold para gerar enzimas para a decomposição de xenobióticos, o termo científico para poluentes sintéticos. Eles treinaram o sistema em reações enzimáticas conhecidas e depois pediram que criasse novos candidatos para várias substâncias químicas, incluindo algumas que não possuem um degradador natural conhecido. A equipe submeteu as enzimas geradas pelo computador a uma bateria de testes computacionais padrão para verificar sua qualidade, checando se elas conseguiriam se dobrar em formas estáveis e se ligariam aos seus alvos químicos. Os resultados revelaram uma falha surpreendente: o sistema não estava projetando novas enzimas; em vez disso, estava memorizando os dados de treinamento e reproduzindo-os quase exatamente, uma falha que todos os testes computacionais padrão usados para validar o trabalho deixaram passar completamente.

Os pesquisadores começaram treinando seu modelo em quinze classes diferentes de enzimas, pareando reações químicas específicas com as sequências proteicas que as realizam. Em seguida, pediram ao sistema que gerasse novas enzimas para quatro cenários específicos: duas reações onde enzimas naturais são bem conhecidas e duas reações envolvendo poluentes como o ácido perfluorooctanoico e um metabólito de pesticida específico que não possuem enzima natural documentada capaz de degradá-los. Para garantir que as proteínas geradas fossem plausíveis, a equipe as submeteu a três métodos de validação computacional amplamente aceitos. Primeiro, previram quão bem a proteína se dobraria em uma forma 3D, uma medida de estabilidade estrutural. Segundo, compararam as novas sequências contra um vasto banco de dados público de todas as proteínas conhecidas para ver se eram inéditas. Terceiro, simularam o quão fortemente as novas enzimas se ligariam aos seus alvos químicos, um passo destinado a provar que elas poderiam realmente realizar o trabalho.

À primeira vista, os resultados pareceram bem-sucedidos. O computador previu que as enzimas geradas se dobrariam em formas estáveis e bem definidas com alta confiança. Quando os pesquisadores compararam essas novas sequências com o banco de dados público de proteínas conhecidas, as pontuações sugeriram que os designs eram únicos e distintos de qualquer registro anterior. As simulações de acoplamento (docking) também produziram pontuações que pareciam indicar que as enzimas poderiam se ligar aos seus alvos. Com base nessas três verificações padrão, o estudo inicialmente pareceu mostrar um sistema funcional para o design de novas enzimas. No entanto, os pesquisadores perceberam que essas verificações padrão não contavam a história toda. Eles realizaram uma investigação mais profunda e direta, comparando as sequências geradas não com o banco de dados público geral, mas com a lista específica de exemplos de treinamento que o computador memorizou durante sua fase de aprendizado.

Essa comparação direta expôs a verdade. Quando os pesquisadores verificaram as enzimas geradas contra os dados de treinamento, descobriram que quarenta por cento das sequências eram cópias exatas, caractere por caractere, dos exemplos que o computador já havia visto antes. Outros quarenta e sete por cento eram tão semelhantes aos exemplos de treinamento que diferiam apenas uma fração mínima de sua estrutura. Esse padrão se manteve mesmo quando o computador foi solicitado a projetar enzimas para poluentes que não possuem degradadores naturais conhecidos e que estavam completamente ausentes dos dados de treinamento. O sistema produziu as mesmas altas taxas de cópia, independentemente de o produto químico alvo ser familiar ou inteiramente novo. O computador não estava raciocinando a partir da química do poluente para criar uma nova solução; estava simplesmente recuperando e repetindo padrões que armazenou em sua memória.

O estudo investigou ainda se o computador estava realmente utilizando a informação química fornecida a ele. Em um teste, os pesquisadores alimentaram o sistema treinado com uma reação química completamente não relacionada à classe de enzima para a qual ele havia sido treinado. Se o sistema fosse verdadeiramente sensível à entrada química, mudar a reação deveria ter alterado o resultado. Em vez disso, as enzimas geradas permaneceram quase idênticas às produzidas para a reação correta, e suas pontuações de estabilidade prevista não mudaram de forma significativa. Isso confirmou que a entrada química tinha pouco ou nenhum efeito no design final. O sistema estava essencialmente ignorando as instruções específicas sobre o poluente e recorrendo aos padrões gerais que aprendeu durante o treinamento.

Os pesquisadores também examinaram minuciosamente os testes de acoplamento computacional que inicialmente pareceram promissores. Eles descobriram que esses testes eram incapazes de distinguir entre as enzimas geradas pelo computador e as enzimas naturais que elas deveriam imitar. Mais criticamente, quando os pesquisadores tentaram usar as pontuações de acoplamento para estimar a velocidade com que as enzimas trabalhariam, os resultados foram absurdamente imprecisos. Para duas enzimas naturais conhecidas, as estimativas do computador para sua eficiência estavam erradas por fatores de até quinze mil vezes em comparação com medições do mundo real. Em um caso, o computador classificou duas enzimas na ordem exatamente oposta de seu desempenho real. Como as pontuações de acoplamento falharam dramaticamente em corresponder à realidade, os pesquisadores removeram esses dados de sua análise final, concluindo que essas simulações computacionais padrão não podiam ser confiáveis para validar a qualidade dos designs gerados.

O achado central deste trabalho é um alerta sobre como verificamos a biologia gerada por computador. O estudo demonstra que um sistema pode produzir sequências que parecem perfeitas de acordo com os padrões computacionais comuns — dobrando-se bem, parecendo únicas em bancos de dados públicos e pontuando bem em simulações de ligação — enquanto são, na verdade, nada mais do que uma cópia dos dados de treinamento. As três ferramentas de validação mais comuns utilizadas na área falharam em detectar essa memorização. Somente ao verificar diretamente a saída contra os dados específicos que o computador aprendeu é que os pesquisadores puderam descobrir a falha. O autor conclui que, sem essas verificações específicas e de baixo custo, as alegações de design de novas enzimas podem basear-se em uma ilusão de novidade. O sistema testado não produz, atualmente, enzimas prontas para uso no mundo real, e o estudo sugere que a área precisa repensar como valida designs computacionais para garantir que sejam verdadeiramente novos e não apenas memórias recicladas.