Source- and Release-Aware Calibration Recovers EGFR Potency Prediction Under Cross-Source and Future-Release Domain Shift

Resumo Técnico: Calibração Sensível à Origem e ao Lançamento para Predição de Potência de EGFR

Definição do Problema
Modelos de potência baseados em ligantes para o Receptor do Fator de Crescimento Epidérmico (EGFR) frequentemente demonstram uma forte precisão interna quando avaliados em divisões aleatórias (random splits). No entanto, o artigo argumenta que essas métricas são infladas por séries de análogos compartilhadas, química duplicada e convenções de ensaio específicas da fonte. Na implementação real da química medicinal, os modelos enfrentam severos desvios de domínio (domain shifts) através de:

1. Desvios de Scaffold e Temporais: Generalização para novos scaffolds químicos ou períodos de tempo futuros.
2. Desvios de Cruzamento de Fontes: Transferência do ChEMBL para bases de dados independentes como o BindingDB.
3. Desvios de Lançamentos Futuros: Predição em moléculas adicionadas a uma base de dados após o corte de treinamento (ex: moléculas do ChEMBL36 quando treinado com o ChEMBL30).

Sob protocolos de avaliação rigorosos, o artigo demonstra que modelos padrão (impressões digitais/fingerprints, ensembles, redes neurais de grafos e até modelos de pareamento de atividade-penhasco/ activity-cliff-aware) colapsam quando avaliados nessas distribuições deslocadas. Especificamente, em um painel de lançamento futuro real de 2.907 moléculas não sobrepostas do ChEMBL36, os modelos treinados com ChEMBL30 alcançam pontuações $R^2$ negativas, performando pior do que uma simples linha de base de média (mean baseline).

Metodologia
O estudo emprega uma estrutura rigorosa e reprodutível para diagnosticar e recuperar-se desses fracassos:

• Curadoria de Dados Estrita: Um benchmark de alta qualidade para IC50 de EGFR foi reconstruído a partir do ChEMBl (e BindingDB) usando regras estritas: relações de igualdade exata, unidades de nM, tipos de ensaios válidos, remoção de conflitos de duplicatas (SD > 0,5) e divisão baseada em scaffold.
• Construção do Benchmark:
  • Painel de Lançamento Futuro: O treinamento foi travado no ChEMBL30, e a avaliação foi realizada em 2.907 moléculas não sobrepostas do ChEMBL36.
  • Painel de Cruzamento de Fontes: Avaliação nos dados do BindingDB com remoção estrita de sobreposição.
  • Benchmarks Públicos: Avaliação nos conjuntos de dados de atividade-penhasco de MoleculeACE e ACNet.
• Modelos de Linha de Base: O estudo testou uma ampla gama de arquiteturas, incluindo Morgan fingerprints, Ridge/RandomForest/XGBoost e uma moderna Rede Neural de Passagem de Mensagem Direcionada (GINE/D-MPNN).
• Solução Proposta: Calibração de Resíduo Sensível à Origem e ao Lançamento:
  • Em vez de retreinar o modelo base, os autores propõem um cabeçalho de calibração leve e livre de retropropagação (backpropagation-free).
  • Mecanismo: Um pequeno conjunto de rótulos de "suporte" (dezenas a centenas de moléculas) da distribuição deslocada (ex: BindingDB ou ChEMBL36) é usado para estimar o erro residual $r(x) = y - f(x)$ do modelo base.
  • Cabeçalhos de Calibração: Vários estimadores foram testados, incluindo um deslocamento de média (mean-offset), regressão linear, Morgan residual ridge (regredindo resíduos sobre fingerprints) e Morgan kNN-residual (transferindo resíduos de vizinhos mais próximos).
  • Predição: A predição calibrada é $\hat{y}_{cal}(x) = f(x) + \hat{r}(x)$.
  • Incerteza: Intervalos de predição conformal de divisão foram recalibrados usando resíduos do conjunto de suporte deslocado para restaurar a cobertura válida.

Principais Resultados

1. Colapso do Modelo sob Desvio:

   • No painel de lançamento futuro ChEMBL30 $\to$ ChEMBL36, modelos não calibrados (incluindo GNNs) alcançaram valores de $R^2$ variando de -0,33 a -2,52, falhando em superar a linha de base da média.
   • Desvios semelhantes foram observados no BindingDB e em divisões temporais externas.
   • Objetivos de pareamento de atividade-penhasco melhoraram as métricas locais de SAR, mas não resolveram o desvio de domínio global.

2. Recuperação via Calibração de Poucos Exemplos (Few-Shot Calibration):

   • Usando apenas um pequeno número de rótulos de suporte desconjuntos de scaffold da distribuição deslocada, o cabeçalho de calibração residual restaurou o $R^2$ positivo.
   • BindingDB: O RMSE melhorou de 1,5959 (zero-shot) para 0,8285 com 512 rótulos de suporte.
   • Lançamento Futuro (ChEMBL36): O RMSE melhorou de 1,42 ($R^2$ -0,33) para 1,00 ($R^2$ +0,33) com apenas 64 rótulos, e para 0,85 ($R^2$ +0,52) com 512 rótulos.
   • O método foi eficaz com tão somente 16–64 rótulos correspondentes à distribuição.

3. Generalização e Eficiência:

   • Transferência de Alvo: A mesma receita de calibração recuperou com sucesso o desempenho em alvos de quinase independentes e não-EGFR (ABL1 e BRAF), onde os modelos base tiveram valores de $R^2$ zero-shot de -1,81 e -2,45, respectivamente.
   • Eficiência Computacional: Na calibração de poucos exemplos (16–64 rótulos), a calibração livre de retropropagação igualou ou superou o ajuste fino (fine-tuning) total de GNN, exigindo aproximadamente uma ordem de magnitude menos de tempo de computação (ex: 0,01s vs 0,38s).
   • Incerteza: Intervalos conformes de domínio interno sub-coberturaram severamente os dados de lançamento futuro. Recalibrar o raio conformal em alguns rótulos deslocados restaurou a cobertura quase nominal (ex: alvo de 0,90 $\to$ cobertura empírica de 0,90), embora com intervalos mais amplos e honestos.

Significância e Alegações
O artigo afirma que a degradação observada na predição de potência de EGFR não é uma falha inerente do aprendizado de representação (já que as GNNs também falharam), mas sim um problema de desvio de domínio solucionável. A contribuição central é uma receita de implantação prática e acionável:

• Não confie apenas na transferência de representação ou em métricas de validação interna.
• Implante modelos para triagem de domínio interno, mas reúna um pequeno conjunto de suporte correspondente à distribuição (dezenas de moléculas) ao mudar para cenários de cruzamento de fontes ou lançamentos futuros.
• Aplique a calibração de resíduo a este conjunto de suporte para recuperar predições e estimativas de incerteza válidas.

Os autores enfatizam que esta abordagem transforma um modelo de lançamento para frente (release-forward) "falho" em um modelo utilizável sem o custo computacional ou o risco de esquecimento catastrófico associado ao ajuste fino completo. O estudo também destaca que objetivos conscientes de atividade-penhasco são valiosos para SAR local, mas insuficientes para adaptação de domínio global sem calibração sensível à origem.

Limitações Reconhecidas
O artigo observa que a curadoria estrita reduz a contagem de atividade-penhasco, que a calibração de poucos exemplos assume a disponibilidade de rótulos fonte-alvo e que, embora o experimento ChEMBL30-para-36 seja um teste de estresse retrospectivo forte, a validação prospectiva real em laboratório (wet-lab) permanece como o nível mais alto de evidência. Adicionalmente, os rótulos XAI atuais são anotações estruturais fracas em vez de farmacóforos curados por especialistas.