Assessing the Generalizability of Machine Learning and Physics Methods for DNA-Encoded Libraries

Este estudo avalia a generalização de métodos de aprendizado de máquina e física para bibliotecas codificadas por DNA (DELs), demonstrando que, embora o aprendizado de máquina supere em dados dentro da distribuição, a melhor abordagem para discriminação de compostos fora da distribuição depende do alvo e do ligante, exigindo testes piloto rigorosos e fornecendo o pacote de código aberto DEL-iver para facilitar essas análises.

O essencial

Imagine que você é um detetive tentando encontrar uma agulha em um palheiro, mas o "palheiro" é composto por bilhões de palhas diferentes. Isso é o que os cientistas chamam de Bibliotecas Codificadas por DNA (DELs). Eles criam trilhões de moléculas diferentes e as testam todas de uma vez contra uma proteína-alvo (como um vírus ou uma enzima doente) para ver quais "agarram" e podem virar remédios.

O problema? Muitas dessas moléculas são estranhas e difíceis de comprar ou fabricar depois de encontradas. A ideia seria usar Inteligência Artificial (IA) para aprender com esses bilhões de testes e prever quais outras moléculas (que não foram testadas) também funcionariam.

Os autores deste estudo, da Universidade de Michigan, decidiram investigar se essa IA realmente funciona ou se ela é apenas um "truque de mágica" que falha quando a coisa fica séria. Eles usaram os dados de uma grande competição de ciência chamada BELKA.

Aqui está o resumo da ópera, usando analogias simples:

1. A IA é ótima em casa, mas se perde na rua (Generalização)

Imagine que você treinou um cachorro para pegar apenas bolas vermelhas que você joga no quintal. Ele é um campeão! Mas, se você levar esse cachorro para um parque e jogar uma bola azul, ele pode não saber o que fazer.

• O que o estudo mostrou: As IAs (Machine Learning) funcionaram muito bem quando tentaram prever moléculas que eram parecidas com as que já viram (as "bolas vermelhas" do quintal). Mas, quando tentaram prever moléculas totalmente novas e diferentes (as "bolas azuis" do parque), a IA falhou miseravelmente. Ela não conseguiu generalizar o aprendizado.

2. O tamanho não é documento (Qualidade vs. Quantidade)

Muitas pessoas acham que para treinar uma IA, você precisa de todos os dados possíveis. Mas os pesquisadores descobriram algo curioso: o banco de dados tinha bilhões de moléculas que não funcionavam (os "falsos positivos" ou "não-agarradores").

• A analogia: É como tentar ensinar alguém a reconhecer um gato mostrando 1 bilhão de fotos de pedras e apenas 1 foto de um gato.
• A descoberta: Eles removeram 99% das fotos de pedras (os dados de "não-hit") e a IA continuou funcionando quase tão bem quanto antes! Isso significa que não precisamos de trilhões de dados; precisamos de dados bons e equilibrados. Isso economiza tempo e dinheiro.

3. A IA sozinha não basta: Precisamos de "Física" (Docking e Co-folding)

Quando a IA pura falhou em prever moléculas novas, os cientistas decidiram dar uma "ajudinha" usando a física. Em vez de apenas olhar a forma da molécula (como a IA faz), eles usaram softwares que simulam como a molécula se encaixa fisicamente no alvo, como uma chave tentando entrar em uma fechadura.

• O resultado: Para alguns alvos (como a proteína BRD4), um software de "co-dobra" (que imagina como a proteína e a molécula se dobram juntas) funcionou muito melhor que a IA. Para outros (como a sEH), um software de "encaixe" (docking) foi o vencedor.
• A lição: Não existe uma "bala de prata". O melhor método depende do tipo de proteína e do tipo de molécula. Às vezes, a IA é o melhor detetive; outras vezes, a simulação física é a melhor.

4. O "Kit de Ferramentas" Open Source (DEL-iver)

Para ajudar outros cientistas a não cometerem os mesmos erros, os autores criaram um pacote de software gratuito chamado DEL-iver.

• A analogia: É como se eles tivessem escrito um manual de instruções e dado uma caixa de ferramentas completa para que qualquer pessoa possa analisar esses dados gigantes, treinar suas próprias IAs e simular o encaixe das moléculas, sem precisar ser um gênio da computação.

Conclusão Simples

O estudo nos ensina que, embora a Inteligência Artificial seja poderosa para analisar dados que ela já conhece, ela ainda é ruim em prever o totalmente novo (fora da distribuição).

Para encontrar novos remédios com sucesso, não podemos apenas jogar dados em uma IA e torcer. Precisamos:

1. Fazer testes pequenos e rigorosos antes de apostar tudo.
2. Misturar a IA com simulações físicas (como o encaixe de chaves).
3. Usar ferramentas certas para o alvo certo.

Em resumo: A tecnologia é incrível, mas precisamos usar o bom senso e a física para não nos iludirmos com previsões erradas.

Resumo técnico

Resumo Técnico: Avaliação da Generalizabilidade de Métodos de Aprendizado de Máquina e Física para Bibliotecas Codificadas por DNA (DELs)

1. O Problema

As Bibliotecas Codificadas por DNA (DELs) permitem a triagem ultra-rápida de bilhões de moléculas simultaneamente. No entanto, as moléculas identificadas em DELs frequentemente possuem diversidade química limitada e exigem síntese complexa "off-DNA" para serem validadas. Uma estratégia promissora é treinar modelos de Aprendizado de Máquina (ML) nos dados de triagem de DELs para prever a atividade de compostos fora da biblioteca (compráveis e diversos).

O desafio central identificado é a generalização para fora da distribuição (OOD - Out-of-Distribution). A competição NeurIPS 2024 (BELKA), que utilizou um conjunto de dados massivo (~133 milhões de moléculas) contra três alvos proteicos, revelou que, apesar do desempenho in-distribution (dentro da distribuição), nenhum dos quase 2.000 modelos treinados conseguiu generalizar com sucesso para o conjunto de teste privado (químico não visto). O objetivo deste estudo é investigar se a integração de modelagem estrutural (física) pode preencher essa lacuna de generalização e definir as melhores práticas para triagem virtual baseada em DELs.

2. Metodologia

Os autores realizaram uma avaliação sistemática comparando abordagens baseadas puramente em ligantes (ML) com métodos baseados em estrutura (docking e co-dobramento).

• Dados: Utilizaram o conjunto de dados BELKA (sEH, BRD4 e HSA) e um conjunto de dados externo de triagem de DELs contra sEH.
• Classificação de Distribuição: Os dados de teste foram categorizados em:
  • ID (In-Distribution): Mesmos blocos de construção (BBs) e mesmo scaffold (triazina).
  • ND (Near-Distribution): Novos BBs, mas mesmo scaffold.
  • OOD (Out-of-Distribution): Novos BBs e novos scaffolds (sem triazina).
• Abordagens de ML:
  • Treinamento de modelos MLP (Perceptrons Multicamada) com diferentes codificações moleculares (ECFP4, MACCS, APDP, grafos).
  • Análise de estratégias de divisão de dados (splitting), downsampling de não-binders (para lidar com desequilíbrio de classes) e treinamento em subconjuntos específicos.
• Abordagens Baseadas em Física:
  • Docking: Schrödinger Glide e Rosetta GALigandDock.
  • Co-dobramento: Modelo de fundação Boltz-2.
  • Pré-processamento: Substituição do marcador de DNA por um linker PEG3 para evitar viés estérico e uso de DiffDock-L para prever sítios de ligação em sEH.
• Integração Híbrida: Treinamento de modelos ML utilizando fingerprints de interação proteína-ligante (PLIP) derivados das estruturas de docking, concatenados com fingerprints químicos (ECFP4).
• Ferramenta: Desenvolvimento do pacote de código aberto DEL-iver para análise, modelagem e triagem de DELs.

3. Contribuições Principais

1. Análise de Generalização: Demonstração rigorosa de que modelos de ML puramente baseados em ligantes falham em prever compostos OOD, mesmo com grandes volumes de dados.
2. Comparação de Métodos: Avaliação direta de ML vs. Docking vs. Co-dobramento, mostrando que o método ótimo depende do alvo e do espaço químico.
3. Otimização de Dados: Descoberta de que a qualidade e a composição dos dados são mais críticas que o tamanho bruto; a remoção de até 90% dos dados de "não-binders" não prejudicou o desempenho, permitindo treinamento mais rápido.
4. Ferramenta Open-Source: Lançamento do DEL-iver, um pacote Python que unifica análise de dados de DEL, visualização de enriquecimento, treinamento de modelos e integração com métodos estruturais.

4. Resultados Chave

• Desempenho de ML (In-Distribution vs. OOD):

  • Os modelos ML performaram excepcionalmente bem no conjunto ID (ex: AP de 0,902 para sEH), mas o desempenho caiu drasticamente para OOD, aproximando-se do acaso (ex: AP de 0,001 para sEH e HSA no conjunto OOD).
  • A generalização para novos scaffolds (OOD) permanece um problema não resolvido apenas com ML baseado em ligantes.

• Impacto da Composição do Dataset:

  • O downsampling agressivo de não-binders (reduzindo o conjunto de treinamento de ~100M para ~1M) não degradou o desempenho, sugerindo que o ruído ou a redundância nos dados negativos é alto.
  • Divisões aleatórias (random splits) que incluíam compostos OOD no treinamento melhoraram a previsão para esses compostos no BRD4, mas degradaram o desempenho em sEH e HSA, indicando sensibilidade específica ao alvo.

• Superioridade de Métodos Estruturais em Cenários OOD:

  • BRD4: O modelo de co-dobramento Boltz-2 superou significativamente o ML e o docking tradicional em discriminação de hits OOD (AUROC de 0,947 vs. 0,619 do MLP).
  • sEH: O Rosetta GALigandDock foi superior (AUROC de 0,915 vs. 0,501 do MLP).
  • Conclusão: Não existe um método universal; a escolha depende da interação alvo-ligante. Métodos estruturais conseguem capturar características físicas que o ML puramente estatístico perde em espaços químicos não vistos.

• Integração Física-ML:

  • A adição de fingerprints PLIP (derivados de estruturas de docking) aos modelos ML trouxe melhorias modestas e inconsistentes. Em alguns casos, melhorou (ex: sEH com GALigandDock), mas em outros piorou, sugerindo que a precisão do pose (conformação) do docking é um fator limitante crítico.

• Análise Estrutural de Hits:

  • Identificação de padrões estruturais específicos para cada alvo (ex: anéis espirocíclicos e heterociclos aromáticos para sEH; heterociclos contendo enxofre e sistemas bicíclicos para BRD4).

5. Significância e Conclusão

O estudo conclui que, embora os modelos de ML sejam excelentes para prever atividades dentro do espaço químico da biblioteca de triagem (ID), eles não são confiáveis para extrapolação para novos scaffolds ou blocos de construção (OOD) sem auxílio adicional.

• Recomendação Prática: Para triagem virtual confiável de compostos fora da distribuição de DELs, é crucial realizar testes piloto rigorosos e dependentes do sistema para definir os limites de cada método (ML, docking ou co-dobramento) antes de campanhas em larga escala.
• Futuro: A integração de métodos físicos pode melhorar a discriminação de hits, mas a precisão da previsão conformacional ainda é um gargalo.
• Ferramenta: O pacote DEL-iver democratiza o acesso a essas análises complexas, permitindo que químicos computacionais e não computacionais explorem dados de DELs de forma padronizada e reprodutível.

Em suma, o trabalho estabelece que a generalização em DELs é um desafio multifacetado que exige uma abordagem híbrida e validada empiricamente para cada alvo específico, em vez de depender de modelos de ML genéricos treinados em grandes volumes de dados.