On Improving Graph Neural Networks for QSAR by Pre-training on Extended-Connectivity Fingerprints

Resumo Técnico: Sobre o Aprimoramento de Redes Neurais em Grafos para QSAR por Meio de Pré-treinamento em Impressionamentos de Conectividade Estendida

Declaração do Problema
As Redes Neurais em Grafos Moleculares (GNNs) tornaram-se prevalentes em estudos de Relação Quantitativa Estrutura-Atividade (QSAR) para descoberta de fármacos, contudo, sua superioridade sobre métodos clássicos de featurização molecular permanece disputada. Embora as GNNs ofereçam o potencial de aprender padrões abstratos e não lineares a partir de grafos moleculares, resultados empíricos frequentemente mostram que elas lutam para superar os impressãoamentos topológicos clássicos, particularmente em conjuntos de dados experimentais pequenos, ruidosos e heterogêneos, comuns na descoberta de fármacos. Além disso, avaliações existentes de GNNs frequentemente carecem de testes estatísticos rigorosos contra baselines robustas, falham em contabilizar vazamento de dados ao nível de subestrutura entre conjuntos de pré-treinamento e de referência, e dependem de divisões de referência que podem não testar adequadamente a generalização fora da distribuição (OOD).

Metodologia
Os autores propõem uma estratégia geral para melhorar o desempenho de GNNs para QSAR empregando pré-treinamento auto-supervisionado sobre impressãoamentos topológicos. Especificamente, eles utilizam Redes de Isomorfismo de Grafos (GINs) pré-treinadas para prever Impressionamentos de Conectividade Estendida (ECFPs).

• Estratégia de Pré-treinamento: As GINs são pré-treinadas no conjunto de dados QMugs (665 mil moléculas) para prever impressãoamentos ECFP4 hash (vetores de 2048 bits). Os grafos moleculares são featurizados usando uma abordagem de "tokenização de subestrutura", onde subestruturas circulares locais (identificadores de Morgan) são enumeradas e mapeadas para tokens aprendíveis via um algoritmo de Ordenar e Fatiar (S&S). Isso permite que o modelo aprenda representações de subestruturas em vez de apenas tipos atômicos.
• Avaliação a Montante: Os embeddings pré-treinados são congelados e usados como características de entrada para Máquinas de Gradiente Levemente Impulsionadas (LightGBM) para prever propriedades moleculares. Essa configuração isola a qualidade da representação molecular da cabeça de predição.
• Referências e Divisões: A abordagem é avaliada em 40 tarefas em três conjuntos de dados: Biogen (6 tarefas de regressão ADMET), MoleculeNet (3 regressão, 2 classificação) e ChEMBL (afinidade de ligação). Para garantir uma avaliação OOD robusta, os autores empregam uma estratégia de validação cruzada repetida (200 repetições de validação cruzada de 5 dobras) usando agrupamento Butina em distâncias de Tanimoto para gerar divisões OOD desafiadoras e de tamanho uniforme com sobreposição molecular mínima.
• Análise de Vazamento de Dados: O estudo investiga o impacto do vazamento de dados ao nível de subestrutura filtrando o conjunto de dados de pré-treinamento (QMugs) usando limiares de similaridade de Tanimoto variáveis (0,5 a 1,0) em relação às moléculas de referência.
• Rigor Estatístico: As diferenças de desempenho são avaliadas usando testes estatísticos não paramétricos (teste de postos sinalizados de Wilcoxon) com correção de Bonferroni e estimativa de tamanho de efeito (correlação bisserial de postos, $r_{rb}$) através das 200 repetições de CV para determinar significância estatística.

Principais Resultados

• Desempenho em Dados Homogêneos: No conjunto de dados Biogen, que consiste em moléculas semelhantes a fármacos homogêneas, as GINs pré-treinadas com ECFP (PT-GIN) alcançaram melhorias estatisticamente significativas sobre todas as baselines avaliadas (incluindo GINs treinadas do zero e impressãoamentos clássicos) em cinco das seis tarefas de regressão. Os tamanhos de efeito foram consistentemente máximos ($r_{rb} = 1,00$), indicando que a PT-GIN superou as baselines em cada repetição de CV para essas tarefas.
• Desempenho em Dados Heterogêneos e Complexos: Os benefícios do pré-treinamento não foram universais. Em tarefas do MoleculeNet com fontes de dados heterogêneas (por exemplo, Lipofilicidade, FreeSolv) e em tarefas de predição de afinidade de ligação (DRD2, Fator XA), a PT-GIN teve desempenho inferior ou não mostrou vantagem significativa sobre métodos clássicos. Os autores sugerem que a heterogeneidade dos dados e a necessidade de informações de interação 3D (que os ECFPs 2D carecem) limitam a eficácia dessa estratégia específica de pré-treinamento para esses pontos finais.
• Impacto do Vazamento de Dados: A análise de vazamento de dados revelou resultados contra-intuitivos. Aumentar a similaridade entre os dados de pré-treinamento e de referência (ou seja, permitir mais "vazamento") não melhorou consistentemente o desempenho e, em alguns casos (por exemplo, CLint Humano), levou a uma diminuição do desempenho. Isso sugere que, desde que o corpus de pré-treinamento contenha um vocabulário diversificado de subestruturas químicas, o modelo aprende a generalizar para combinações de subestruturas novas, tornando o filtragem subestrutural estrita menos crítica para esse objetivo específico de pré-treinamento.
• Triagem Virtual: Nas tarefas desafiadoras de triagem virtual MUV, os modelos frequentemente predisseram apenas negativos, resultando em baixos Coeficientes de Correlação de Matthews (MCC). Nenhum método único demonstrou uma vantagem clara em todos os alvos, destacando a dificuldade da triagem virtual OOD com características topológicas 2D apenas.

Significado e Alegações
O artigo alega que o pré-treinamento auto-supervisionado sobre impressãoamentos topológicos é uma estratégia simples, robusta e eficaz para melhorar o desempenho OOD de GNNs em tarefas-chave de QSAR, particularmente aquelas envolvendo dados ADMET homogêneos. Os autores enfatizam que essa melhoria é alcançada sem aumentar a complexidade do modelo ou exigir grandes conjuntos de dados de pré-treinamento rotulados, ruidosos e extensos.

Crucialmente, o estudo destaca que o sucesso do pré-treinamento é dependente da tarefa. Embora eficaz para tarefas de regressão homogêneas, não supera universalmente os desafios impostos pela heterogeneidade dos dados ou pontos finais que exigem informações estruturais 3D. O trabalho também contribui com uma estrutura de avaliação rigorosa, demonstrando que testes estatísticos e estimativa de tamanho de efeito são essenciais para validar diferenças de desempenho em configurações de QSAR com pequenas amostras. Finalmente, as descobertas sugerem que, para pré-treinamento topológico, a diversidade do vocabulário de subestruturas químicas no conjunto de pré-treinamento é mais crítica do que a exclusão estrita de moléculas semelhantes à referência, desde que as combinações de subestruturas permaneçam novas.