Evaluating FoldX5.1 for MAVISp Stability Data Collection

Este estudo avaliou a substituição do FoldX5 pelo FoldX5.1 no fluxo de trabalho de estabilidade do MAVISp, demonstrando alta concordância entre as versões e apoiando a adoção do software atualizado com uma transição gradual e a inclusão de metadados de versão.

O essencial

Imagine que o MAVISp é uma enorme biblioteca digital que organiza informações sobre como pequenas mudanças (mutações) no nosso DNA afetam a saúde das proteínas, que são como as "peças de Lego" que constroem o nosso corpo.

Para saber se uma peça de Lego quebrada vai fazer a torre cair (instabilidade) ou se ela aguenta firme, os cientistas usam um software chamado FoldX. É como se fosse um "engenheiro virtual" que simula o teste de estresse nessas proteínas.

Agora, imagine que o engenheiro virtual recebeu uma atualização de software: do FoldX 5 para o FoldX 5.1. A pergunta que os autores deste estudo fizeram foi: "Se trocarmos o engenheiro antigo pelo novo, a biblioteca inteira vai ficar cheia de erros? Precisamos reescrever todos os livros antigos antes de usar o novo?"

Aqui está o resumo da história, explicado de forma simples:

1. O Grande Teste (A Comparação)

Os cientistas pegaram 539.809 mutações (quase meio milhão!) de 119 proteínas diferentes e rodaram o teste duas vezes: uma com o engenheiro antigo (FoldX 5) e outra com o novo (FoldX 5.1).

• O Resultado: Foi como comparar duas fotos tiradas com câmeras diferentes. Na grande maioria dos casos (mais de 90%), as fotos eram quase idênticas. O novo engenheiro concordou com o antigo na maioria das vezes.
• A Analogia: É como se você e seu vizinho medissem a altura de 100 árvores. Em 97 árvores, vocês diriam "tem 10 metros". Em apenas 3 árvores, vocês teriam uma pequena discussão.

2. Os "Problematas" (As Exceções)

O estudo encontrou apenas 3 proteínas (chamadas NUPR1, TSC1 e TMEM127) onde os dois engenheiros não concordaram muito. Por que isso aconteceu?

• O Motivo: A maioria dessas discordâncias aconteceu em "lugares ruins" das proteínas. Imagine tentar medir a altura de uma árvore que está em um terreno muito acidentado ou com neblina (baixa qualidade da estrutura 3D). O novo engenheiro (FoldX 5.1) é mais sensível a detalhes como interações químicas específicas (como "empilhamento de anéis" ou interações aromáticas), o que faz ele ver algumas mudanças de forma diferente do antigo.
• A Conclusão: Não é que o novo engenheiro esteja "errado" ou "louco". É que ele é mais preciso em situações complexas, e às vezes a "foto" da proteína que eles estão olhando é um pouco borrada.

3. A Decisão Inteligente (A Transição)

Antes, a dúvida era: "Devemos parar tudo, reescrever todos os 500 mil dados antigos e só depois começar a usar o novo?" Isso levaria anos e atrasaria a ciência.

A solução proposta é uma transição em etapas (como trocar de pneu em um carro que está em movimento, mas com segurança):

1. Não apague o passado: Os dados antigos feitos com o FoldX 5 continuam válidos na biblioteca.
2. Use o novo para o futuro: Qualquer proteína nova que entrar na biblioteca, ou qualquer proteína antiga que for atualizada no próximo ano, usará o novo FoldX 5.1.
3. Rótulos Claros: Agora, cada entrada na biblioteca terá um "rótulo" (metadado) dizendo qual versão do engenheiro foi usada. Assim, ninguém fica confuso.

Resumo Final

O estudo concluiu que podemos sim usar o novo FoldX 5.1 sem medo de estragar a biblioteca. A maioria das proteínas se comporta de forma muito similar nos dois softwares. As poucas diferenças que existem são explicáveis (geralmente por estruturas de proteínas difíceis de analisar) e não representam um erro sistemático.

Em suma: É como atualizar o sistema operacional do seu celular. Você não precisa apagar todas as suas fotos antigas para instalar a nova versão. Você apenas começa a tirar fotos novas com a câmera melhorada e, se precisar, pode olhar as antigas sabendo qual câmera foi usada. A ciência avança sem perder o histórico!

Resumo técnico

Título: Avaliação do FoldX5.1 para Coleta de Dados de Estabilidade no MAVISp

1. Problema

O MAVISp (Multi-layered Assessment of VarIants by Structure for proteins) é um framework baseado em estrutura para interpretar mecanicamente variantes de aminoácidos, utilizando a estabilidade proteica como uma camada analítica central. O software FoldX é uma ferramenta empírica amplamente utilizada dentro do módulo de estabilidade do MAVISp para prever mudanças na energia livre de dobragem ($\Delta\Delta G$) causadas por mutações.

Com o lançamento da nova versão FoldX5.1, que inclui atualizações significativas no campo de força (termos de empilhamento $\pi$, dependência de pH, interações aromáticas, entropia de cadeia lateral, etc.), surge um dilema crítico para a curadoria de bancos de dados:

• Deve-se manter a versão legada (FoldX5) para garantir a consistência com entradas existentes, adiando a adoção da nova versão?
• Ou deve-se adotar imediatamente o FoldX5.1, o que exigiria a reanálise de todo o banco de dados para evitar incompatibilidades?

O objetivo do estudo foi avaliar se a substituição do FoldX5 pelo FoldX5.1 comprometeria a compatibilidade com as entradas existentes ou se permitiria uma transição segura e gradual.

2. Metodologia

Os autores realizaram uma comparação direta e de alto rendimento entre as duas versões do software:

• Conjunto de Dados: Foram analisados 119 proteínas representativas (com diferentes dobras estruturais) já presentes no banco de dados MAVISp.
• Volume de Dados: Um total de 539.809 variantes compartilhadas foram comparadas.
• Protocolo: A análise foi restrita ao modo "simples" do MAVISp (coleta de dados de alto rendimento), utilizando o fluxo de trabalho padrão que inclui reparo de estrutura, minimização e mutagênese in silico via MutateX e FoldX BuildModel.
• Métricas de Avaliação:
  • Quantitativa: Coeficiente de correlação de Pearson para os valores de $\Delta\Delta G$.
  • Qualitativa: Coeficiente de Cohen ($\kappa$) e acurácia de classificação, agrupando as previsões em três classes (Estabilizante, Neutra, Desestabilizante) com base no limiar padrão do MAVISp de $\pm 3,0$ kcal/mol.
  • Análise de Desvios: Investigação de outliers (proteínas com baixa concordância) correlacionando-os com a qualidade da estrutura de entrada (pLDDT do AlphaFold2) e tipos específicos de mutações (ex: substituições para resíduos aromáticos ou prolina).

3. Principais Contribuições

• Validação de Versão: Demonstração empírica de que o FoldX5.1 reproduz com alta fidelidade os resultados do FoldX5 na grande maioria dos casos, validando sua adoção para futuros trabalhos no MAVISp.
• Identificação de Limitações: Mapeamento preciso de onde as discrepâncias ocorrem (proteínas com regiões estruturalmente incertas ou membranares) e a explicação biofísica dessas diferenças (atualizações no campo de força para interações aromáticas e efeitos estruturais locais).
• Estratégia de Transição: Proposta de um modelo de transição em fases para bancos de dados em evolução, evitando a necessidade de reprocessamento massivo imediato de dados legados.

4. Resultados

• Alta Concordância Global:
  • Correlação de Pearson média global: 0,956 (conjunto total) e 0,933 (média por proteína).
  • Coeficiente de Cohen médio: 0,814.
  • Erro absoluto médio (MAE): 0,52 kcal/mol.
• Casos de Discrepância (Outliers):
  • Apenas 3 proteínas (NUPR1, TSC1 e TMEM127) apresentaram baixa concordância (Pearson < 0,7 e $\kappa$ < 0,5).
  • NUPR1 e TSC1: As discordâncias concentraram-se em sítios com baixa confiança estrutural do AlphaFold2 (pLDDT médio < 70). A análise revelou que modelos estruturais iniciais diferentes ou regiões desordenadas contribuíram para as divergências.
  • TMEM127: Proteína transmembrana onde a baixa concordância pode ser atribuída à dificuldade de preditores baseados em estrutura geral em proteínas de membrana, além de pequenas diferenças nos modelos estruturais de entrada.
• Natureza das Divergências:
  • Não houve viés sistemático de recalibração (deslocamento global da escala de energia). As médias de $\Delta\Delta G$ mudaram minimamente (-0,8 a -0,04 kcal/mol).
  • As maiores discrepâncias ocorreram em substituições para resíduos aromáticos (devido à atualização dos termos de empilhamento $\pi$ no FoldX5.1) e prolina.
  • Em muitos casos, o FoldX5.1 previu efeitos menos severos ou neutros onde o FoldX5 previa desestabilização extrema, sugerindo uma melhoria na função de energia.

5. Significado e Conclusões

O estudo conclui que é seguro e recomendável adotar o FoldX5.1 para a coleta futura de dados no MAVISp. As principais implicações são:

1. Transição em Fases: Não é necessário reprocessar todo o banco de dados existente imediatamente. A estratégia proposta é manter as anotações do FoldX5 nas entradas legadas até sua atualização anual programada, enquanto novas entradas ou atualizações são processadas com o FoldX5.1.
2. Transparência: Para garantir a reprodutibilidade e a interpretação correta, o banco de dados MAVISp incluirá uma nova metadada de anotação indicando explicitamente qual versão do FoldX foi utilizada para cada entrada.
3. Cuidado com Incertezas Estruturais: A compatibilidade não implica intercambiabilidade perfeita para todos os alvos. Sítios com baixa confiança estrutural (pLDDT baixo) ou regiões desordenadas exigem cautela, mas o próprio framework do MAVISp já sinaliza essas incertezas para o usuário final.

Em suma, a atualização para o FoldX5.1 traz melhorias metodológicas sem comprometer a continuidade do banco de dados, permitindo que o MAVISp incorpore avanços científicos de forma ágil e transparente.