Source- and Release-Aware Calibration Recovers EGFR Potency Prediction Under Cross-Source and Future-Release Domain Shift

Technische Samenvatting: Bron- en Release-bewuste Kalibratie voor EGFR Potentie-voorspelling

Probleemstelling
Ligand-gebaseerde potentiemodellen voor de Epidermale Groeifactor Receptor (EGFR) vertonen vaak een sterke interne nauwkeurigheid wanneer ze worden geëvalueerd op willekeurige splitsingen. Het artikel betoogt echter dat deze metrieken worden opgeblazen door gedeelde analoge series, dubbele chemie en bronspecifieke assay-conventies. In de praktijk van de medicinale chemie worden modellen geconfronteerd met ernstige domeinverschuivingen over:

1. Scaffold- en temporele verschuivingen: Generaliseren naar nieuwe chemische scaffolds of toekomstige tijdperioden.
2. Cross-source verschuivingen: Transfereren van ChEMBL naar onafhankelijke databases zoals BindingDB.
3. Toekomstige-release verschuivingen: Voorspellen op moleculen die aan een database zijn toegevoegd na de trainingsstop (bijv. ChEMBL36-moleculen getraind op ChEMBL30).

Onder strikte evaluatieprotocollen demonstreert het artikel dat standaardmodellen (fingerprints, ensembles, graph neural networks, en zelfs pairwise activity-cliff-bewuste modellen) instorten bij evaluatie op deze verschoven distributies. Specifiek, op een echte toekomstige-release panel van 2.907 niet-overlappende ChEMBL36-moleculen, behalen ChEMBL30-getrainde modellen negatieve $R^2$-scores, wat slechter is dan een eenvoudige gemiddelde baseline.

Methodologie
De studie hanteert een rigoureus, reproduceerbaar kader om deze fouten te diagnosticeren en te herstellen:

• Strikte Data-curatie: Een hoogwaardige EGFR IC50 benchmark is gereconstrueerd uit ChEMBL (en BindingDB) met strikte regels: exacte gelijkheidsrelaties, nM-eenheden, geldige assay-typen, verwijdering van dubbele conflicten (SD > 0,5) en scaffold-gebaseerde splitsing.
• Benchmark Constructie:
  • Toekomstige-Release Panel: De training werd vastgelegd op ChEMBL30, en de evaluatie werd uitgevoerd op 2.907 niet-overlappende moleculen uit ChEMBL36.
  • Cross-Source Panel: Evaluatie op BindingDB-data met strikte overlapverwijdering.
  • Publieke Benchmarks: Evaluatie op MoleculeACE en ACNet activity-cliff datasets.
• Baseline Modellen: De studie testte een breed scala aan architecturen, inclus inclusief Morgan fingerprints, Ridge/RandomForest/XGBoost, en een moderne Directed Message Passing Neural Network (GINE/D-MPNN).
• Voorgestelde Oplossing: Bron- en Release-bewuste Residuele Kalibratie:
  • In plaats van de basismodel te hertrainen, stellen de auteurs een lichtgewicht, backpropagation-vrije kalibratiekop voor.
  • Mechanisme: Een kleine set "support" labels (tientallen tot honderden moleculen) uit de verschoven distributie (bijv. BindingDB of ChEMBL36) wordt gebruikt om de residuele fout $r(x) = y - f(x)$ van het basismodel te schatten.
  • Kalibratiekoppen: Verschillende estimators werden getest, waaronder een mean-offset, lineaire regressie, Morgan residual ridge (regressie van residuen op fingerprints), en Morgan kNN-residueel (transfereren van residuen van dichtstbijzijnde buren).
  • Voorspelling: De gekalibreerde voorspelling is $\hat{y}_{cal}(x) = f(x) + \hat{r}(x)$.
  • Onzekerheid: Split conformal prediction intervallen werden hergekalibreerd met behulp van residuen uit de verschoven support set om een geldige dekking te herstellen.

Belangrijkste Resultaten

1. Modelinstorting onder Verschuiving:

   • Op de ChEMBL30 $\to$ ChEMBL36 toekomstige-release panel bereikten ongekalibreerde modellen (inclusief GNN's) $R^2$-waarden variërend van -0,33 tot -2,52, waarbij ze het gemiddelde niet verslaan.
   • Vergelijkbare instortingen werden waargenomen op BindingDB en temporele externe splitsingen.
   • Pairwise activity-cliff doelstellingen verbeterden lokale SAR-metrieken maar losten de globale domeinverschuiving niet op.

2. Herstel via Few-Shot Kalibratie:

   • Gebruikmakend van slechts een klein aantal scaffold-disjuncte support labels uit de verschoven distributie, herstelde de residuele kalibratiekop een positieve $R^2$.
   • BindingDB: RMSE verbeterde van 1,5959 (zero-shot) naar 0,8285 met 512 support labels.
   • Toekomstige-Release (ChEMBL36): RMSE verbeterde van 1,42 ($R^2$ -0,33) naar 1,00 ($R^2$ +0,33) met slechts 64 labels, en naar 0,85 ($R^2$ +0,52) met 512 labels.
   • De methode was effectief met slechts 16–64 distributie-gematchte labels.

3. Generalisatie en Efficiëntie:

   • Target Transfer: Hetzelfde kalibratierecept herstelde succesvol de prestaties op onafhankelijke niet-EGFR kinase targets (ABL1 en BRAF), waar het basismodel zero-shot $R^2$-waarden van respectievelijk -1,81 en -2,45 had.
   • Computatie-efficiëntie: Bij kleine label-budgetten (16–64 labels) kwam de backprop-vrije kalibratie overeen met of presteerde deze beter dan volledige GNN fine-tuning, terwijl het ongeveer een orde van grootte minder rekentijd vereiste (bijv. 0,01s vs. 0,38s).
   • Onzekerheid: In-domain conformal intervallen onder-dekten toekomstige-release data ernstig. Het herkalibreren van de conformal radius op een paar verschoven labels herstelde bijna nominale dekking (bijv. 0,90 target $\to$ 0,90 empirische dekking), zij het met bredere, eerlijkere intervallen.

Betekenis en Claims
Het artikel claimt dat de waargenomen degradatie in EGFR potentie-voorspelling geen inherente fout is van representatie-leren (omdat GNN's ook faalden), maar een oplosbaar domeinverschuivingsprobleem. De centrale bijdrage is een praktisch, actiegericht implementatierestipes:

• Vertrouw niet uitsluitend op representatie-transfer of interne validatiemetrieken.
• Zet modellen in voor in-domain triage, maar verzamel een kleine, distributie-gematchte support set (tientallen moleculen) wanneer men overgaat naar cross-source of toekomstige-release scenario's.
• Pas residuele kalibratie toe op deze support set om geldige voorspellingen en onzekerheidsschattingen te herstellen.

De auteurs benadrukken dat deze aanpak een "falend" release-forward model verandert in een bruikbaar model zonder de computationele kosten of het risico op catastrofaal vergeten die gepaard gaat met volledige fine-tuning. De studie benadrukt ook dat activity-cliff-bewuste doelstellingen waardevol zijn voor lokale SAR, maar onvoldoende zijn voor globale domeinadaptatie zonder bron-bewuste kalibratie.

Erkende Beperkingen
Het artikel merkt op dat strikte curatie het aantal activity-cliffs vermindert, dat few-shot kalibratie uitgaat van de beschikbaarheid van target-source labels, en dat hoewel het ChEMBL30-naar-36 experiment een sterke retrospectieve stress-test is, echte prospectieve wet-lab validatie de hoogste graad van bewijs blijft. Daarnaast zijn de huidige XAI-labels zwakke structurele annotaties in plaats van expert-gecureerde farmacoforen.