Towards A Generative Protein Evolution Machine with DPLM-Evo

1. Declaração do Problema

Os Modelos de Linguagem de Proteínas de Difusão Discreta (DPLMs) existentes demonstraram promessa na compreensão e geração de sequências de proteínas. No entanto, eles sofrem de um desalinhamento fundamental com a realidade biológica:

• Mascaramento vs. Evolução: Os DPLMs atuais dependem de difusão mascarada, onde o processo forward substitui tokens por um token de máscara, e a geração envolve recuperar iterativamente essas máscaras. Isso contradiz a intuição biológica de que as proteínas evoluem através de edições acumuladas (substituições, inserções e deleções) em vez de emergirem de um vazio de máscaras.
• Limitação de Comprimento Fixo: A difusão mascarada opera em sequências de comprimento fixo. Ela carece de mecanismos nativos para Inserções e Deleções (Indels), que são críticos para remodelar regiões flexíveis (loops), ajustar comprimentos de conectores e criar motivos funcionais.
• Treinamento Ineficiente: Modelos de difusão padrão frequentemente usam ruído uniforme para corrupção, o que ignora restrições biofísicas e dependências evolutivas, levando a uma aprendizagem ineficiente de padrões de mutação.

Consequentemente, os modelos existentes lutam com a geração de comprimento variável, a pós-edição realista de proteínas existentes e a previsão precisa de efeitos de mutação (especialmente para indels) sem depender de Alinhamentos de Múltiplas Sequências (MSA).

2. Metodologia: DPLM-Evo

Os autores propõem o DPLM-Evo, um framework de difusão discreta evolutiva que modela explicitamente operações de substituição, inserção e deleção.

A. Desacoplamento do Espaço de Alinhamento Latente

Para lidar com sequências de comprimento variável dentro de um framework de computação de dimensão fixa, o DPLM-Evo desacopla dois espaços:

1. Espaço Observado ($X$): A sequência de proteína de comprimento variável $x$.
2. Espaço de Alinhamento Latente ($Z$): Um espaço de comprimento sobreamostrado (ex: $2 \times L$) contendo os resíduos originais mais tokens de lacuna ($\phi$) intercalados.

• Mecanismo: O processo de difusão forward é definido sobre o espaço latente $Z$. Indels são representados como transições entre resíduos e tokens de lacuna ($\text{Resíduo} \leftrightarrow \phi$).
• Colapso: Uma função determinística $\Gamma^{-1}$ remove tokens de lacuna para mapear a sequência latente de volta à sequência observada. Isso permite que o modelo realize operações de mudança de comprimento (inserções/deleções) na tela latente expandida, enquanto opera eficientemente na sequência observada colapsada.

B. Kernels de Ruído Evolutivo

O processo de adição de ruído forward é projetado para imitar a evolução biológica em vez de corrupção aleatória:

• Kernel de Ruído Evolutivo Contextualizado: Em vez de substituição aleatória uniforme, o modelo usa um kernel dependente de dados. Para uma posição alvo, ele amostra um contexto auxiliar parcialmente mascarado, consulta o modelo para uma previsão e usa essa distribuição para corromper o token. Isso gera mutações biologicamente plausíveis que respeitam o contexto local da sequência e restrições evolutivas.
• Estratégia de Warmup: Como o modelo é pouco confiável no início do treinamento, um kernel simples independente de dados (mascaramento) é usado inicialmente. Uma vez treinado, o modelo alterna para o kernel contextualizado.
• Matriz de Transição ($Q_{noise}$): Parametriza explicitamente as razões de substituições, inserções e deleções, permitindo controle sobre a trajetória evolutiva.

C. Arquitetura e Treinamento

• Previsão de Três Cabeças: Durante a remoção de ruído, o modelo prevê três quantidades para cada token na sequência observada:
  1. Cabeça de Substituição: Prevê a distribuição de aminoácidos.
  2. Cabeça de Deleção: Um classificador binário prevendo se o token deve ser removido (transição para $\phi$).
  3. Cabeça de Inserção: Um classificador binário prevendo se um novo resíduo deve ser inserido à direita.
• Função de Perda: O objetivo de treinamento é decomposto em três componentes (Substituição, Deleção, Inserção) com pesos específicos para lidar com desequilíbrio de classes (substituições são frequentes; indels são raros). Deleção e inserção são tratadas como tarefas de Entropia Cruzada Binária (BCE) para evitar colapso de modo.

D. Amostragem (Geração)

O processo reverso envolve um loop iterativo de remoção de ruído:

1. Deleção: Tokens com alta probabilidade de deleção são removidos.
2. Inserção: Tokens de máscara são inseridos em posições com alta probabilidade de inserção.
3. Substituição: Todos os tokens ruidosos são atualizados com base na cabeça de substituição.
4. Reruído: Tokens selecionados de baixa confiança são reruidados usando o kernel contextualizado para manter a diversidade e evitar ótimos locais.

3. Contribuições Principais

1. Difusão Discreta Evolutiva: O primeiro framework a modelar explicitamente substituição, inserção e deleção dentro de um processo de difusão discreta unificado, indo além do paradigma de "recuperação de máscara".
2. Modelagem Adaptativa de Comprimento: Ao desacoplar o espaço de alinhamento latente do espaço observado, o modelo permite geração e edição de comprimento variável com sobrecarga computacional negligenciável.
3. Ruído Informado Biologicamente: Introdução de um kernel de ruído evolutivo contextualizado que gera mutações evolutivamente plausíveis, melhorando significativamente a eficiência do treinamento e a capacidade do modelo de capturar dependências evolutivas.
4. Compreensão e Geração Unificadas: O framework preenche a lacuna entre modelagem generativa e biologia evolutiva, permitindo tanto geração de sequências de alta qualidade quanto previsão precisa de efeitos de mutação.

4. Resultados Experimentais

A. Previsão de Efeito de Variantes (Compreensão)

• Benchmark de Substituição ProteinGym: O DPLM-Evo alcança desempenho State-of-the-Art (SOTA) entre modelos de sequência única, superando ESM-2, ESM-1v e o DPLM original. Ele até supera o ESM-IF1 (que usa estrutura) no cenário de sequência única.
• Benchmark de Indel ProteinGym: O DPLM-Evo alcança uma correlação de Spearman de 0,495, superando significativamente outras bases de sequência única (ex: ProGen2 M em 0,464) e aproximando-se de métodos baseados em MSA. Isso valida a eficácia da modelagem explícita de indels.
• Ablação: Substituir o kernel contextualizado por ruído uniforme reduz o desempenho significativamente (Spearman 0,42 $\to$ 0,295), provando a importância do ruído fundamentado biologicamente.

B. Geração Incondicional

• Dobramento: Sequências geradas alcançam altas pontuações pLDDT (83,6), comparáveis ao DPLM (84,0) e DiMA (83,3).
• Diversidade: O DPLM-Evo exibe maior entropia de sequência e menores taxas de repetição do que modelos de difusão mascarada, aliviando efetivamente o colapso de modo.
• Controle de Comprimento: O modelo gera sequências com comprimentos concentrados perto da semente inicial, demonstrando uso conservador e controlado de indels.

C. Geração Condicional e Otimização

• Andaimagem de Motivos: Em configurações zero-shot e ajustadas finamente, o DPLM-Evo alcança taxas de sucesso mais altas na andaimagem de motivos funcionais em comparação com EvoDiff e DPLM-Mask, aproveitando o ajuste dinâmico de comprimento.
• Evolução Dirigida (GFP): Ao otimizar a Proteína Verde Fluorescente (GFP), o DPLM-Evo com suporte a indels alcançou uma pontuação pTM de 0,857 em 7 iterações (65% mais rápido que apenas substituição), superando o ESM-2 (0,737). Ele preservou com sucesso a estrutura do cromóforo enquanto melhorava a estabilidade global.
• Expansão de Família In-silico: O modelo pode gerar sequências diversas a partir de uma única semente que mantêm similaridade estrutural (baixo RMSD) enquanto alcançam baixa identidade de sequência (<50%), simulando efetivamente a expansão natural de famílias.

5. Significado

O DPLM-Evo representa uma mudança de paradigma na modelagem generativa de proteínas, alinhando o framework matemático dos modelos de difusão com a realidade biológica da evolução proteica.

• Impacto Prático: Permite design de proteínas de comprimento variável, permitindo que engenheiros insiram/removam loops e conectores naturalmente, o que era anteriormente difícil com modelos de comprimento fixo.
• Insight Científico: O sucesso do kernel contextualizado demonstra que a evolução proteica é altamente dependente de contexto, e os modelos devem aprender essas dependências para serem eficazes.
• Eficiência: Alcança desempenho SOTA na previsão de mutações sem exigir MSAs computacionalmente caros, tornando-o uma ferramenta poderosa para engenharia de proteínas rápida e descoberta de fármacos.

Em resumo, o DPLM-Evo transforma a difusão discreta de uma ferramenta estática de recuperação de sequência em um simulador evolutivo dinâmico, capaz tanto de entender restrições evolutivas quanto de gerar proteínas novas e funcionais através de trajetórias de edição explícitas.