Resumo Técnico: Uma Avaliação Sistemática das Representações de Modelos de Co-dobramento para Aprendizado de Pequenas Moléculas

Declaração do Problema

Os modelos fundamentais de pequenas moléculas são tipicamente pré-treinados em dados moleculares autônomos, aprendendo representações baseadas em moléculas isoladas associadas a supervisão em nível de molécula (por exemplo, rótulos de bioensaio, propriedades quimioquânticas). Isso contrasta com os domínios de visão e linguagem, onde representações robustas frequentemente emergem de supervisão cross-modal ou relacional. Embora as estruturas de co-dobramento proteína-ligante forneçam um análogo molecular a essa supervisão relacional, expondo os modelos a interações em nível atômico (por exemplo, ligações de hidrogênio, eletrostática) dentro de um contexto ligado, permanece incerto se os modelos de co-dobramento podem produzir representações robustas e transferíveis para tarefas de pequenas moléculas autônomas. Além disso, a utilidade mais ampla dos modelos modernos de co-dobramento (como AlphaFold3 e Boltz) é debatida, com alguns sugerindo que eles dependem fortemente de padrões evolutivos em vez de uma compreensão genuína em nível atômico. Este artigo busca avaliar sistematicamente se reaproveitar um modelo moderno de co-dobramento para aprendizado de representação de pequenas moléculas é viável e eficaz.

Metodologia

Os autores investigam o Boltz2, um modelo moderno de co-dobramento de 1 bilhão de parâmetros projetado para previsão de estrutura proteína-ligante, como fonte de representações em nível atômico para pequenas moléculas. A metodologia central envolve extrair representações de ligantes do Boltz2 (omitindo entradas de proteína para tarefas autônomas) e avaliar sua transferibilidade em três domínios downstream distintos:

1. Transferência Preditiva (ADMET): Os autores aplicam "sondagem" (probing) para avaliar as representações em nível atômico do Boltz2 no benchmark ADMET do Therapeutics Data Commons (TDC). Eles extraem representações de pares de camadas específicas ({16, 32, 48, 64}) do tronco Pairformer de 64 camadas, aplicam uma estratégia de agrupamento híbrida (concatenando entradas diagonais, ligadas e todas as entradas) e alimentam o vetor agrupado em uma Rede Neural Multicamada (MLP) para previsão de propriedades. Eles comparam esses resultados com modelos fundamentais especializados (MolE, MiniMol, KPGT, QIP, UniMol2, MolGPS, UniQSAR).
2. Transferência Generativa: Os autores empregam destilação baseada em alinhamento de representações para transferir as representações do Boltz2 para modelos generativos moleculares de última geração (especificamente GruM). Eles treinam o modelo generativo para maximizar a similaridade cosseno entre suas representações ocultas de moléculas ruidosas e as representações limpas correspondentes do Boltz2. Isso é avaliado no conjunto de dados ZINC250k usando métricas como validade, Distância Fréchet ChemNet (FCD) e novidade.
3. Transferência de Otimização (Descoberta Guiada por Estrutura): Os autores estendem o alinhamento de representações para aprendizado por reforço online para descoberta de ligantes. Usando o pipeline SynFlowNet-Boltz, eles tratam o Boltz2 não apenas como um oráculo de recompensa escalar de caixa-preta (afinidade de ligação), mas como um professor de "caixa-branca". Além de recompensas escalares, a rede de política é guiada por supervisão densa em nível de representação (alinhamento com as representações intermediárias de ligantes do Boltz2) para melhorar a atribuição de crédito e a eficiência de amostragem na descoberta de ligantes de alta afinidade.

Principais Contribuições

O artigo apresenta quatro achados primários que posicionam os modelos modernos de co-dobramento como bases fortes para modelos fundamentais de pequenas moléculas:

• Desempenho Preditivo: As representações do Boltz2 igualam ou superam modelos fundamentais especializados de pequenas moléculas no extenso benchmark TDC ADMET. Notavelmente, o Boltz2 alcança o melhor desempenho em 9 de 22 tarefas sem qualquer pré-treinamento autônomo de pequenas moléculas, sugerindo que a supervisão de co-dobramento fornece sinais não capturados apenas pela escalabilidade da arquitetura ou volume de dados.
• Aceleração Generativa: O alinhamento de representações com o Boltz2 acelera significativamente o treinamento de modelos generativos moleculares (2× mais rápido) e produz moléculas de maior qualidade em múltiplas métricas (validade, FCD, NSPDK) em comparação com o alinhamento com outros modelos fundamentais. Isso indica que os modelos de co-dobramento fornecem supervisão estrutural superior para geração.
• Eficiência de Amostragem em Otimização: Na descoberta online de ligantes guiada por estrutura, incorporar supervisão densa em nível de representação do Boltz2 melhora a eficiência de amostragem na busca por moléculas de alta recompensa em comparação com o uso de recompensas escalares apenas. Isso marca a primeira aplicação de alinhamento de representações para melhorar o aprendizado por reforço online na descoberta molecular.
• Complementaridade de Representações: O Boltz2 produz um espaço de representação distinto e complementar aos modelos fundamentais moleculares existentes. Os autores demonstram que o ensemble do Boltz2 com um modelo menos alinhado (MolE) produz ganhos de desempenho maiores em certos benchmarks do que o ensemble com um modelo mais alinhado (MiniMol), sugerindo uma estratégia prática para fusão de representações.

Resultados

• Benchmark ADMET: O Boltz2 alcançou o melhor desempenho médio em 9 de 22 tarefas entre os métodos não ensemble. Quando combinado com MiniMol (Boltz2Mini.), também liderou em 9 tarefas. O Boltz2 superou significativamente o UniMol2 (que usa a mesma arquitetura Pairformer de 1 bilhão de parâmetros, mas é pré-treinado em estruturas 3D autônomas), destacando o valor da supervisão de co-dobramento.
• Geração Molecular: Modelos destilados com representações do Boltz2 alcançaram as melhores pontuações simultaneamente em validade, FCD e NSPDK, enquanto modelos de difusão de base geralmente se destacaram apenas em um subconjunto dessas métricas.
• Descoberta de Ligantes: Em tarefas de descoberta guiada por estrutura em sete proteínas-alvo, a política alinhada por representações descobriu mais moléculas de alta recompensa e explorou modos mais diversos (moléculas distintas de alta pontuação) do que a política padrão sob o mesmo orçamento de avaliação de recompensa.
• Análise de Complementaridade: As pontuações CKNNA (Alinhamento de Vizinho Mais Próximo de Kernel Centralizado) mostraram que o Boltz2 tem alinhamento relativamente fraco com modelos existentes. No entanto, o ensemble do Boltz2 com MolE (baixo alinhamento) superou o ensemble com MiniMol (maior alinhamento) em tarefas específicas de metabolismo, confirmando a natureza complementar das representações.

Significado e Alegações

O artigo posiciona o co-dobramento proteína-ligante como um paradigma de pré-treinamento promissor para aprendizado de representação de pequenas moléculas. Ele argumenta que modelos de co-dobramento como o Boltz2 aprendem padrões de interação em nível atômico (por exemplo, conformações de ligação) que se transferem efetivamente para tarefas autônomas, oferecendo um modelo fundamental robusto e pronto para uso para descoberta de fármacos.

Os autores afirmam ser os primeiros a demonstrar que:

1. Representações moleculares informativas de modelos de co-dobramento podem melhorar a geração molecular e a otimização.
2. A destilação baseada em alinhamento de representações é eficaz para aprendizado por reforço online, fornecendo sinais densos que complementam recompensas escalares.
3. Combinar representações fracamente alinhadas (por exemplo, Boltz2 + MolE) pode ser uma estratégia mais eficaz para fusão de representações do que combinar representações fortemente alinhadas.

Limitações Reconhecidas:
Os autores notam modestamente que os modelos de co-dobramento podem carecer de uma compreensão completa em nível atômico de mecanismos locais, evidenciado por seu desempenho inferior em tarefas de previsão de substratos de metabolismo (uma fraqueza compartilhada pelo UniMol2, sugerindo uma limitação mais ampla do aprendizado baseado em estrutura 3D). Eles também observam que seus experimentos utilizam uma configuração de backbone congelado via sondagem e destilação, deixando o ajuste fino do backbone para trabalhos futuros.