Source- and Release-Aware Calibration Recovers EGFR Potency Prediction Under Cross-Source and Future-Release Domain Shift

Resumen Técnico: Calibración Consciente de la Fuente y el Lanzamiento para la Predicción de la Potencia de EGFR

Planteamiento del Problema
Los modelos de potencia basados en ligandos para el Receptor del Factor de Crecimiento Epidérmico (EGFR) suelen demostrar una fuerte precisión interna cuando se evalúan mediante divisiones aleatorias. Sin embargo, el artículo argumenta que estas métricas están infladas por series de análogos compartidos, química duplicada y convenciones de ensayos específicas de cada fuente. En el despliegue real de la química medicinal, los modelos enfrentan severos cambios de dominio en:

1. Desplazamientos de andamiaje (scaffold) y temporales: Generalización a nuevos andamiajes químicos o periodos de tiempo futuros.
2. Desplazamientos entre fuentes: Transferencia de ChEMBL a bases de datos independientes como BindingDB.
3. Desplazamientos de lanzamientos futuros: Predicción sobre moléculas añadidas a una base de datos después del corte de entrenamiento (por ejemplo, moléculas de ChEMBL36 cuando se entrenó con ChEMBL30).

Bajo protocolos de evaluación estrictos, el artículo demuestra que los modelos estándar (huellas dactilares/fingerprints, ensambles, redes neuronales de grafos e incluso modelos de pares de conciencia de acantilones de actividad/activity-cliff-aware) colapsan cuando se evalúan en estas distribuciones desplazadas. Específicamente, en un panel de lanzamiento futuro real de 2,907 moléculas no superpuestas de ChEMBL36, los modelos entrenados con ChEMBL30 logran puntuaciones $R^2$ negativas, desempeñándose peor que una simple línea de base de la media.

Metodología
El estudio emplea un marco riguroso y reproducible para diagnosticar y recuperarse de estos fallos:

• Curación de Datos Estricta: Se reconstruyó un benchmark de alta calidad de IC50 de EGFR a partir de ChEMBL (y BindingDB) utilizando reglas estrictas: relaciones de igualdad exacta, unidades en nM, tipos de ensayo válidos, eliminación de conflictos de duplicados (SD > 0.5) y división basada en andamiajes (scaffold-based splitting).
• Construcción del Benchmark:
  • Panel de Lanzamiento Futuro: El entrenamiento se bloqueó en ChEMBL30 y la evaluación se realizó en 2,907 moléculas no superpuestas de ChEMBL36.
  • Panel de Diferentes Fuentes: Evaluación en datos de BindingDB con eliminación estricta de solapamientos.
  • Benchmarks Públicos: Evaluación en los conjuntos de datos de MoleculeACE y ACNet de acantilones de actividad.
• Modelos de Línea de Base: El estudio probó una amplia gama de arquitecturas, incluyendo Morgan fingerprints, Ridge/RandomForest/XGBoost, y una moderna Red Neuronal de Paso de Mensajes Dirigido (GINE/D-MPNN).
• Solución Propuesta: Calibración de Residuos Consciente de la Fuente y el Lanzamiento:
  • En lugar de reentrenar el modelo base, los autores proponen un cabezal de calibración ligero y sin retropropagación (backpropagation-free).
  • Mecanismo: Se utiliza un pequeño conjunto de etiquetas de "soporte" (decenas a cientos de moléculas) de la distribución desplazada (por ejemplo, BindingDB o ChEMCL36) para estimar el error residual $r(x) = y - f(x)$ del modelo base.
  • Cabezales de Calibración: Se probaron varios estimadores, incluyendo un desfase de la media (mean-offset), regresión lineal, Morgan residual ridge (regresión de residuos sobre huellas dactilares) y Morgan kNN-residual (transferencia de residuos de los vecinos más cercanos).
  • Predicción: La predicción calibrada es $\hat{y}_{cal}(x) = f(x) + \hat{r}(x)$.
  • Incertidumbre: Los intervalos de predicción conforme divididos (split conformal prediction) se recalibraron utilizando los residuos del conjunto de soporte desplazado para restaurar una cobertura válida.

Resultados Clave

1. Colapso del Modelo bajo Desplazamiento:

   • En el panel de lanzamiento futuro ChEMBL30 $\to$ ChEMBL36, los modelos no calibrados (incluyendo GNNs) lograron valores de $R^2$ que oscilaron entre -0.33 y -2.52, fallando en superar la media de la línea de base.
   • Se observaron colapsos similares en BindingDB y en divisiones temporales externas.
   • Los objetivos de pares de conciencia de acantilones de actividad mejoraron las métricas locales de SAR pero no resolvieron el desplazamiento de dominio global.

2. Recuperación mediante Calibración de Pocos Ejemplos (Few-Shot):

   • Utilizando solo un pequeño número de etiquetas de soporte disjuntas por andamiaje de la distribución desplazada, el cabezal de calibración de residuos restauró el $R^2$ positivo.
   • BindingDB: El RMSE mejoró de 1.5959 (zero-shot) a 0.8285 con 512 etiquetas de soporte.
   • Lanzamiento Futuro (ChEMBL36): El RMSE mejoró de 1.42 ($R^2$ -0.33) a 1.00 ($R^2$ +0.33) con solo 64 etiquetas, y a 0.85 ($R^2$ +0.52) con 512 etiquetas.
   • El método fue efectivo con tan solo 16–64 etiquetas emparejadas con la distribución.

3. Generalización y Eficiencia:

   • Transferencia de Objetivo: La misma receta de calibración recuperó con éxito el rendimiento en objetivos de quinasas no relacionados con EGFR (ABL1 y BRAF), donde los valores de $R^2$ zero-shot de los modelos base fueron de -1.81 y -2.45, respectivamente.
   • Eficiencia Computacional: Con presupuestos de etiquetas pequeños (16–64 etiquetas), la calibración sin retropropagación igualó o superó el ajuste fino (fine-tuning) completo de GNN, requiriendo aproximadamente un orden de magnitud menos de tiempo de cómputo (por ejemplo, 0.01s vs 0.38s).
   • Incertidumbre: Los intervalos conformes dentro del dominio subcubrieron severamente los datos de lanzamientos futuros. La recalibración del radio conforme con unas pocas etiquetas desplazadas restauró una cobertura casi nominal (por ejemplo, objetivo 0.90 $\to$ cobertura empírica de 0.90), aunque con intervalos más amplios y honestos.

Significado y Reivindicaciones
El artículo sostiene que la degradación observada en la predicción de la potencia de EGFR no es un fallo inherente del aprendizaje de representaciones (ya que las GNN también fallaron), sino un problema de desplazamiento de dominio soluble. La contribución central es una receta de despliegue práctica y accionable:

• No dependa únicamente de la transferencia de representación o de las métricas de validación interna.
• Despliegue modelos para el triaje en el dominio, pero recolecte un pequeño conjunto de soporte emparejado con la distribución (decenas de moléculas) al moverse a escenarios de diferentes fuentes o de lanzamientos futuros.
• Aplique la calibración de residuos a este conjunto de soporte para recuperar predicciones y estimaciones de incertidumbre válidas.

Los autores enfatizan que este enfoque convierte un modelo de lanzamiento hacia adelante "fallido" en uno utilizable sin el costo computacional o el riesgo de olvido catastrófico asociados con el ajuste fino completo. El estudio también destaca que los objetivos de conciencia de acantilones de actividad son valiosos para el SAR local, pero insuficientes para la adaptación de dominio global sin una calibración consciente de la fuente.

Limitaciones Reconocidas
El artículo señala que la curación estricta reduce el recuento de acantilones de actividad, que la calibración de pocos ejemplos (few-shot) asume la disponibilidad de etiquetas de la fuente al objetivo, y que si bien el experimento de ChEMBL30 a 36 es una sólida prueba de estrés retrospectiva, la validación prospectiva real en laboratorio húmedo sigue siendo el nivel más alto de evidencia. Además, las etiquetas de XAI actuales son anotaciones estructurales débiles en lugar de farmacóforos curados por expertos.