A novel benchmark dataset for enzyme function prediction reveals the limitations of state-of-the-art models

Na vasta biblioteca da vida, cada ser vivo carrega um conjunto de instruções escritas em um código chamado DNA. Dentro dessas instruções estão os projetos para pequenas máquinas biológicas conhecidas como enzimas. Essas enzimas atuam como os operários da célula, acelerando as reações químicas que mantêm um organismo vivo, desde a digestão de alimentos até o reparo de tecidos danificados. Para manter o controle dos milhões de enzimas diferentes que os cientistas descobriram, eles usam um sistema de rotulagem padronizado chamado números da Comissão de Enzimas. Pense nesses números como um sistema de catálogo universal que diz a um pesquisador exatamente qual trabalho uma enzima específica realiza. À medida que os cientistas sequenciam os genomas de cada vez mais organismos, eles estão encontrando novas enzimas a uma taxa impressionante. O desafio agora é descobrir o que essas novas enzimas fazem sem ter que testar cada uma delas em um laboratório, uma tarefa que levaria séculos. Para resolver isso, os pesquisadores recorreram aos computadores, treinando inteligência artificial para observar a sequência de uma enzima e prever sua função com base em padrões aprendidos de exemplos conhecidos.

Uma equipe de pesquisadores decidiu recentemente testar se esses modelos de computador estão realmente entendendo como as enzimas funcionam ou se estão apenas pegando atalhos. Eles criaram um novo conjunto de dados de teste chamado EnzymARC para ver se os melhores programas atuais conseguiriam distinguir entre uma enzima funcional e uma quebrada. Para construir este teste, eles começaram com enzimas que já eram conhecidas por funcionar e, em seguida, as danificaram sistematicamente. Usando um modelo computacional da forma 3D da enzima, eles visaram o ponto específico onde a reação química acontece, conhecido como sítio ativo. Eles então alteraram a estrutura de uma forma que destruiria a capacidade da enzima de funcionar, criando o que chamam de sequências "isca". Essas iscas foram projetadas para parecerem quase idênticas às enzimas originais e funcionais, exceto pelo dano crítico ao maquinário que as faz trabalhar. Eles criaram essas versões quebradas alterando a estrutura dentro de distâncias específicas do sítio ativo, variando de um raio muito apertado de 5 Angstroms até um raio mais amplo de 15 Angstroms, garantindo que o restante da enzima permanecesse amplamente inalterado.

Os pesquisadores então alimentaram essas iscas quebradas em três tipos diferentes de ferramentas de predição computacional para ver o que as máquinas diriam. Uma ferramenta dependia de encontrar sequências semelhantes em um banco de dados, outra usava um método que aprende comparando diferentes formas de proteínas e a terceira era um modelo de aprendizado profundo especificamente treinado para reconhecer enzimas não funcionais. Os resultados foram reveladores. Quando os modelos de computador observavam as enzimas levemente danificadas, eles falhavam quase completamente. Mesmo que o maquinário catalítico tivesse sido destruído, os modelos atribuíam confiantemente a descrição de trabalho original e correta às enzimas quebradas. Na verdade, para as iscas menos danificadas, os modelos fizeram previsões falsas mais de 90 por cento das vezes. Isso sugere que os modelos não estão realmente aprendendo as regras físicas de como uma enzima funciona; em vez disso, estão dependendo de um atalho. Eles estão observando a semelhança geral com enzimas conhecidas e assumindo que, se parece com um pato, deve ser um pato, mesmo que o pato esteja quebrado.

Mesmo o modelo mais avançado, que havia sido treinado para reconhecer enzimas quebradas, teve dificuldades para identificar o dano específico quando o foco estava no sítio ativo. Embora este modelo tenha tido um desempenho melhor quando o dano era mais severo, ele ainda deixou passar as interrupções direcionadas que tornaram a enzima inútil. O estudo demonstra que os programas de computador atuais são altamente vulneráveis a esses atalhos filogenéticos, o que significa que são facilmente enganados pela história da família de uma proteína em vez de sua função real. Os pesquisadores concluem que, para construir ferramentas verdadeiramente confiáveis para compreender a biologia, a próxima geração de modelos deve ser treinada com exemplos que incluam essas versões quebradas e conscientes da estrutura. Somente ao ensinar os computadores a reconhecer a diferença entre uma máquina funcional e uma quebrada, em vez de apenas combinar padrões, poderemos desenvolver modelos robustos o suficiente para lidar com a realidade complexa da função enzimática.