Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

1. Declaração do Problema

O campo da descoberta de fármacos impulsionada por IA é atualmente dominado por uma narrativa "centrada na escala", sugerindo que modelos fundacionais maiores e pré-treinados (por exemplo, Modelos de Linguagem Grandes, Grandes Redes Neurais de Grafos) substituirão universalmente modelos compactos e específicos para tarefas (por exemplo, Florestas Aleatórias, QSAR clássica). No entanto, os conjuntos de dados de descoberta de fármacos são frequentemente pequenos, ruidosos, desbalanceados e quimicamente agrupados. O artigo desafia a suposição de que o aumento da contagem de parâmetros ou do tamanho do corpus de pré-treinamento se traduz automaticamente em desempenho preditivo superior para propriedades moleculares e atividades biológicas. A questão central é: A escala do modelo prevê confiavelmente o desempenho no nível do ponto final, ou o desempenho é impulsionado pelo alinhamento entre o viés indutivo do modelo, o regime de dados e o ponto final biológico específico?

2. Metodologia

Escopo do Benchmark e Conjuntos de Dados

Os autores avaliaram modelos em 22 pontos finais distintos, compreendendo 167.056 avaliações de tarefa–molécula mantidas de fora:

• ADMET Público (8 tarefas): 5 tarefas de classificação binária e 3 tarefas de regressão (por exemplo, permeabilidade Caco2, solubilidade) do Therapeutics Data Commons.
• Tox21 (12 tarefas): 12 ensaios de toxicidade binária com alto desbalanceamento de classes (taxas de positivos de 2,9–16,2%).
• Anti-infeccioso (2 tarefas):
  • Anti-TB: 49.266 moléculas contra M. tuberculosis H37Rv (limiar de 1 µM).
  • Antimalárico: 2.088 moléculas contra P. falciparum (cepas 3D7 e Dd2, limiar de 100 nM).

Famílias de Modelos Comparadas

O estudo comparou quatro famílias distintas de modelos abrangendo ordens de magnitude em complexidade:

1. Pequenos Modelos de ML: Aprendizes clássicos de QSAR (Floresta Aleatória, ExtraTrees, GBDT, Regressão Logística) treinados em características projetadas: impressões digitais ECFP4/6, chaves MACCS e descritores RDKit.
2. Redes Neurais de Grafos (GNNs) Médias: Modelos de grafos específicos para tarefas (GCN, GAT, GIN, Ligandformer) com ~10⁵–10⁶ parâmetros, aprendendo representações estruturais diretamente de grafos moleculares.
3. Modelos de Sequência Molecular Pré-treinados: Modelos baseados em Transformer (ChemBERTa, ChemBERTa2, MoLFormer) com 10M–77M parâmetros, ajustados finamente a partir de pré-treinamento em SMILES.
4. Linhas de Base de Raciocínio LLM-SAR: Sistemas baseados em regras (GPT5.5-SAR, Opus4.7-SAR) onde LLMs de fronteira geram regras SAR (regex/SMARTS) com base em dados de treinamento, que são então aplicadas a dobras mantidas de fora. Estes não são preditores ajustados finamente, mas motores de aplicação de regras.

Protocolo de Avaliação

• Estratégia de Validação: Validação cruzada de cinco dobras separada por similaridade estrutural. As moléculas foram agrupadas por impressões digitais ECFP4 usando MiniBatchKMeans para garantir que moléculas estruturalmente semelhantes (vizinhos químicos) não fossem divididas entre os conjuntos de treinamento e teste. Isso previne o "vazamento de vizinhos próximos" e simula melhor o desempenho prospectivo do que a divisão aleatória.
• Métricas:
  • Classificação: PR-AUC (crítico para dados desbalanceados do Tox21) e ROC-AUC.
  • Regressão: MAE (Erro Absoluto Médio) e Correlação de Pearson.
• Implementação: Todos os modelos foram otimizados com hiperparâmetros específicos (por exemplo, ponderação de classes para desbalanceamento) para garantir comparação justa dentro de suas respectivas famílias.

3. Resultados Principais

Vencedores Gerais de Desempenho

Em 167.056 avaliações, modelos maiores não venceram universalmente:

• ML Clássico (RF, ExtraTrees): Venceram 10 tarefas de métrica primária. Destacaram-se em regressão ADMET e muitos ensaios Tox21.
• GNNs (GIN, Ligandformer): Venceram 9 tarefas. Mostraram força em pontos finais ADMET específicos (por exemplo, DILI, hERG) e na tarefa Antimalárico.
• Modelos de Sequência Pré-treinados (MoLFormer, ChemBERTa2): Venceram apenas 3 tarefas (especificamente DILI, hERG e NR-AR/NR-AhR).
• Linhas de Base LLM-SAR: Não venceram nenhuma tarefa de métrica primária contra os melhores modelos treinados.

Achados Específicos por Domínio

• ADMET & Tox21: Modelos de ML clássicos permaneceram altamente competitivos ou superiores, particularmente em tarefas de regressão e ensaios de toxicidade altamente desbalanceados. A lacuna de desempenho entre ML e GNNs foi frequentemente modesta e dependente do ponto final.
• Atividade Anti-infecciosa:
  • Anti-TB: RF e ExtraTrees (ECFP4) superaram MoLFormer e linhas de base LLM-SAR (PR-AUC ~0,565 vs. ~0,448 para MoLFormer).
  • Antimalárico: GNNs (especificamente GIN) lideraram o campo (PR-AUC 0,556), superando modelos de sequência e LLM-SAR.
• Desempenho LLM-SAR: Embora as linhas de base LLM-SAR não tenham alcançado a máxima precisão preditiva, adicionar "conhecimento SAR derivado da dobra de treinamento" (regras aprendidas do conjunto de treinamento) forneceu ganhos mensuráveis, porém desiguais. Por exemplo, no Anti-TB, o ROC-AUC do LLM-SAR melhorou de ~0,51 para ~0,61 com regras aprendidas, mas eles ainda ficaram atrás dos preditores supervisionados.

Regressão vs. Classificação

• Regressão: Modelos de ML clássicos (especialmente ExtraTrees com descritores RDKit) dominaram tarefas de regressão (Caco2, Lipofilicidade, Solubilidade), alcançando MAE menor e correlação de Pearson mais alta do que modelos de sequência.
• Sensibilidade ao Desbalanceamento: Para Tox21, PR-AUC foi uma métrica mais discriminativa do que ROC-AUC. Muitos modelos pareceram bem-sucedidos sob ROC-AUC, mas falharam em identificar classes positivas efetivamente sob PR-AUC, destacando o perigo de confiar exclusivamente em ROC-AUC em configurações de descoberta de fármacos desbalanceadas.

4. Contribuições Principais

1. Refutação Empírica do Escalonamento Universal: O artigo fornece evidências rigorosas de que "maior é melhor" não é uma lei universal na descoberta de fármacos. Modelos compactos e especializados frequentemente superam modelos fundacionais massivos em pontos finais específicos e com dados restritos.
2. Benchmark Abrangente: Estabelece um benchmark em grande escala e padronizado cobrindo 22 pontos finais diversos (públicos e internos) com um protocolo de validação rigoroso separado por estrutura, abordando a questão do vazamento de dados comum em estudos anteriores.
3. Análise de Viés Indutivo: O estudo demonstra que o sucesso preditivo depende do alinhamento entre:
   • Representação Molecular: Impressões digitais (ECFP) vs. Grafos vs. Tokens SMILES.
   • Viés Indutivo: Padrões SAR locais (favorecidos por RF) vs. Padrões topológicos (favorecidos por GNNs) vs. Regularidades químicas globais (favorecidas por Transformers).
   • Regime de Dados: Conjuntos de dados pequenos/ruidosos favorecem modelos mais simples; conjuntos de dados grandes e diversos podem se beneficiar de pré-treinamento.
4. Reenquadramento de LLMs na Descoberta de Fármacos: Os autores posicionam LLMs não como preditores diretos para substituir modelos QSAR, mas como motores de raciocínio para geração de hipóteses, interpretação de SAR e extração de regras. Eles são valiosos para explicabilidade, mas atualmente inferiores para precisão preditiva bruta quando dados rotulados estão disponíveis.

5. Significado e Implicações

• Orientação Prática para Profissionais: Equipes de descoberta de fármacos não devem adotar cegamente modelos fundacionais grandes. Para muitas tarefas padrão de predição de ADMET e atividade, treinar modelos compactos em impressões digitais ou descritores permanece a abordagem mais eficaz, custo-eficiente e robusta.
• O Protocolo de Validação Importa: A escolha da estratégia de validação cruzada (aleatória vs. separada por estrutura) altera drasticamente as classificações dos modelos. O artigo defende divisões separadas por estrutura para garantir que os modelos generalizem para novas séries químicas em vez de memorizar análogos locais.
• Direção de Pesquisa Futura: O valor dos modelos grandes reside no raciocínio zero-shot, na geração de hipóteses mecanicistas e na interpretação de SAR complexos, em vez de substituir preditores supervisionados para predição quantitativa. Trabalhos futuros devem focar em abordagens híbridas que aproveitem as capacidades de raciocínio de LLMs para orientar a engenharia de características ou a arquitetura de modelos preditivos.

Conclusão: O artigo conclui que a escala do modelo é uma variável explicativa fraca para o desempenho na descoberta de fármacos. Em vez disso, o sucesso é determinado pelo "Ajuste Modelo-Tarefa"—o alinhamento preciso do viés indutivo do modelo com o ponto final biológico específico, características dos dados e protocolo de validação.