Local structure-activity landscape roughness detects the activity-cliff failure mode that standard QSAR reliability methods miss

Resumo Técnico: Rugosidade Local da Paisagem Estrutura–Atividade para Confiabilidade de QSAR

Definição do Problema
Modelos de Relação Estrutura–Atividade Quantitativa (QSAR) e abordagens de aprendizado profundo dependem fundamentalmente do princípio da similaridade molecular: moléculas estruturalmente semelhantes possuem propriedades semelhantes. No entanto, os "penhascos de atividade" (activity cliffs) — pares de moléculas estruturalmente semelhantes com grandes diferenças de potência — representam uma exceção fundamentada onde essa suposição falha. Benchmarks recentes (ex: MoleculeACE) confirmam que modelos de aprendizado de máquina apresentam desempenho significativamente inferior em penhascos de atividade do que em outros compostos.

O problema crítico é que os estimadores de confiabilidade padrão por composto falham em detectar esses modos de falha específicos. Ferramentas existentes, incluindo a variância de ensemble de florestas aleatórias, análises de domínio de aplicabilidade (AD) baseadas em distância, o modelo de três medidas de Sheridan e métodos de confiabilidade-densidade-vizinhança (RDN), são todas organizadas em torno do conceito de proximidade aos dados de treinamento. Como os penhascos de atividade ocorrem em regiões densas e bem amostradas entre análogos próximos, esses métodos baseados em proximidade frequentemente reportam alta confiança para compostos de penhasco, falhando efetivamente em detectar o erro.

Metodologia
O estudo compara métricas de confiabilidade padrão contra uma nova métrica: a rugosidade local da paisagem estrutura–atividade.

• Dados: As análises foram conduzidas no benchmark MoleculeACE (30 alvos macromoleculares, ~48,7K medições) e em benchmarks físico-químicos externos (solubilidade ESOL e lipofilicidade).
• Modelos: A análise primária utilizou Florestas Aleatórias (200 árvores); Árvores de Gradiente (Gradient Boosted Trees), Regressores de Vetor de Suporte (RBF) e Redes de Isomorfismo de Grafo (GIN) foram usados para verificações de generalidade.
• Descritores:
  • Baselines Padrão: Variância de ensemble, AD baseado em distância (1 - similaridade de Tanimoto ao vizinho mais próximo), modelo de erro de Sheridan e uma adaptação de regressão do RDN.
  • Métrica Proposta (Rugosidade Local): Uma família de funcionais computados a partir dos vizinhos mais próximos de treinamento ($N_k$) sem utilizar a própria atividade do composto de consulta ($y_i$). Os descritores principais incluem:
    • Dispersão de Atividade de Vizinhança ($D$): O desvio padrão das atividades entre os vizinhos.
    • Densidade de Par de SALI ($S_{mean}$): A média de $|y_a - y_b| / \max(1-s_{ab}, \epsilon)$ sobre pares de vizinhos.
    • Descritores de Paisagem: Variantes como energia de Dirichlet e constantes de Lipschitz que utilizam a própria atividade do composto de consulta (usadas como limites teóricos, não como sinais implantáveis).
• Avaliação: O desempenho foi medido por ROC-AUC para classificar compostos de alto erro e sinalizar penhascos de atividade rotulados. A significância estatística foi avaliada via correlações de Spearman, correlações parciais (controlando o AD) e modelos lineares de efeitos mistos.

Resultos Principais

1. Detecção de Penhascos de Atividade: Métodos de confiabilidade padrão operam ao nível do acaso ou pior ao identificar penhascos de atividade. Por exemplo, o AD baseado em distância rendeu um ROC-AUC de 0,35 (invertido), e a variância de ensemble ficou no nível do acaso (0,51). Em contraste, a rugosidade local alcançou um ROC-AUC mediano de 0,69 para sinalizar penhascos.
2. Eixo de Confiabilidade Distinto: A rugosidade local é estatisticamente distinta do domínio de aplicabilidade. Mesmo após controlar a similaridade do vizinho mais próximo e a densidade local via correlação parcial e modelos de efeitos mistos, a rugosidade permaneceu um preditor significativo de erro (ex: correlação de dispersão de vizinhança $\rho \approx 0,23$ após o controle). Isso confirma que a rugosidade captura um modo de falha (penhascos em regiões densas) que as métricas baseadas em proximidade não detectam.
3. Generalização: A relação entre rugosidade e erro manteve-se através de diferentes classes de modelos (Random Forest, Gradient Boosting, SVR) e diferentes representações moleculares (ECFP4, ECFP6, descritores físico-químicos). O sinal também se reproduziu em benchmarks físico-químicos externos (solubilidade e lipofilicidade).
4. Triagem Operacional: Embora a variância de ensemble continue sendo o sinal mais forte para erros altos em geral (recuperando 38% dos erros do quartil superior), ela falha em identificar penhascos. A rugosidade é o sinal superior para penhascos, recuperando 33% dos penhascos rotulados no top 20% dos compostos sinalizados, enquanto a variância opera ao nível do acaso (enriquecimento de 1,0 vez).
5. Calibração de Predição Conformal: Condicionar preditores conformes à rugosidade local restaura a cobertura válida em penhascos de atividade. O condicionamento padrão em variância ou AD deixa a cobertura de penhascos abaixo do nominal (ex: 86% vs. 90% alvo). Um preditor Mondrian estratificado por rugosidade manteve a cobertura plana através do intervalo de rugosidade e elevou a cobertura de penhascos para 89,5%.

Significância e Alegações
O artigo alega que a rugosidade local da paisagem fornece um eixo de confiabilidade complementar por composto que é distinto da distância aos dados de treinamento. Sua principal contribuição não é substituir a quantificação de incerteza, mas adicionar uma sensibilidade específica ao "modo de falha de penhasco" que os métodos padrão sistematicamente ignoram.

Ao identificar regiões onde a paisagem estrutura-atividade é "rugosa" (com mudanças bruscas) baseando-se apenas nos vizinhos de treinamento, o método permite a construção de preditores conformes conscientes de penhascos (cliff-aware). Isso garante que os intervalos de predição permaneçam válidos precisamente onde os modelos de QSAR são mais propensos a falhar e mais confiantemente errados. Os autores enfatizam que esta abordagem é prática, reproduzível e implantável sem a necessidade de ensaiar o composto de consulta, abordando uma lacuna crítica na confiabilidade das ferramentas de descoberta de fármacos computacionais.