Local structure-activity landscape roughness detects the activity-cliff failure mode that standard QSAR reliability methods miss

Technische Samenvatting: Lokale Structuur–Activiteitslandschapruwheid voor de Betrouwbaarheid van QSAR

Probleemstelling
Quantitative Structure–Activity Relationship (QSAR)-modellen en deep learning-benaderingen rusten fundamenteel op het principe van moleculaire gelijkenis: structureel gelijke moleculen bezitten vergelijkbare eigenschappen. Echter, "activity cliffs" (activiteitskliffen)—paren van structureel gelijke moleculen met grote verschillen in potentie—vormen een principiële uitzondering waarbij deze aanname niet standhoudt. Recente benchmarks (bijv. MoleculeACE) bevestigen dat machine learning-modellen aanzienlijk slechter presteren op activiteitskliffen dan op andere verbindingen.

Het kritieke probleem is dat standaard betrouwbaarheidschatters per verbinding falen in het detecteren van deze specifieke foutmodi. Bestaande instrumenten, waaronder de variantie van random-forest ensembles, afstand-gebaseerde applicability domain (AD)-analyses, Sheridan's drie-maatstaven foutmodel en reliability-density-neighbourhood (RDN)-methoden, zijn allemaal georganiseerd rond het concept van nabijheid tot de trainingsdata. Omdat activiteitskliffen voorkomen in dichte, goed gesamplede regio's tussen nauwe analogen, rapporteren deze nabijheid-gebaseerde methoden vaak een hoge mate van vertrouwen voor klif-verbindingen, waardoor ze de fout effectief missen.

Methodologie
De studie benchmarkt standaard betrouwbaarheidschatters tegen een nieuwe metriek: lokale structuur–activiteitslandschapruwheid.

• Data: Analyses werden uitgevoerd op de MoleculeACE-benchmark (30 macromoleculaire targets, ~48,7K metingen) en externe fysisch-chemische benchmarks (ESOL oplosbaarheid en lipofiliteit).
• Modellen: De primaire analyse gebruikte Random Forests (200 bomen); Gradient Boosted Trees, Support Vector Regressors (RBF) en Graph Isomorphism Networks (GIN) werden gebruikt voor algemene controles op generaliseerbaarheid.
• Descriptors:
  • Standaard Baselines: Ensemble-variantie, afstand-gebaseerde AD (1 - Tanimoto-gelijkenis tot dichtstbijzijnde buur), Sheridan's foutmodel en een regressie-adaptatie van RDN.
  • Voorgestelde Metriek (Lokale Ruwheid): Een familie van functionalen berekend vanuit de dichtstbijzijnde trainingsburen ($N_k$) zonder de activiteit van de query zelf ($y_i$) te gebruiken. Belangrijke descriptors zijn:
    • Neighborhood Activity Dispersion ($D$): De standaarddeviatie van de activiteiten onder de buren.
    • Pairwise-SALI Density ($S_{mean}$): Het gemiddelde van $|y_a - y_b| / \max(1-s_{ab}, \epsilon)$ over buurparen.
    • Landschap Descriptors: Varianten zoals Dirichlet-energie en Lipschitz-constanten die de eigen activiteit van de query gebruiken (gebruikt als theoretische grenzen in plaats van inzetbare signalen).
• Evaluatie: Prestaties werden gemeten via ROC-AUC voor het ranken van verbindingen met hoge fouten en het signaleren van gelabelde activiteitskliffen. Statistische significantie werd beoordeeld via Spearman-correlaties, partiële correlaties (controlerend voor AD) en lineaire mixed-effects modellen.

Belangrijkste Resultaten

1. Detectie van Activiteitskliffen: Standaard betrouwbaarheidsmethoden presteren op toevalsniveau of zelfs slechter bij het identificeren van activiteitskliffen. Bijvoorbeeld, de afstand-gebaseerde AD leverde een ROC-AUC van 0,35 (geïnverteerd) en ensemble-variantie was op toevalsniveau (0,51). In contrast hiermee bereikte lokale ruwheid een mediane ROC-AUC van 0,69 voor het signaleren van kliffen.
2. Distinctieve Betrouwbaarheidsas: Lokale ruwheid is statistisch onderscheidend van de applicability domain. Zelfs na controle voor dichtstbijzijnde-buur gelijkenis en lokale dichtheid via partiële correlatie en mixed-effects modellering, bleef ruwheid een significante voorspeller van fout (bijv. de correlatie van neighborhood dispersion $\rho \approx 0,23$ na controle). Dit bevestigt dat ruwheid een foutmodus vangt (kliffen in dichte regio's) die nabijheid-gebaseerde metrieken missen.
3. Generaliseerbaarheid: De relatie tussen ruwheid en fout hield stand over verschillende modelklassen (Random Forest, Gradient Boosting, SVR) en verschillende moleculaire representaties (ECFP4, ECFP6, fysisch-chemische descriptors). Het signaal reproduceerde zich ook op externe fysisch-chemische benchmarks (oplosbaarheid en lipofiliteit).
4. Operationele Triage: Hoewel ensemble-variantie de sterkste enkele indicator blijft voor algemene voorspellingen met hoge fouten (waarbij 38% van de top-kwartiel fouten wordt teruggevonden), faalt het in het identificeren van kliffen. Ruwheid is de superieure indicator voor kliffen; het vindt 33% van de gelabelde kliffen in de top 20% van de gesignaleerde verbindingen, terwijl variantie op toevalsniveau presteert (1,0-voudige verrijking).
5. Conformal Prediction Kalibratie: Het conditioneren van conformal predictors op lokale ruwheid herstelt de geldige dekking op activiteitskliffen. Standaard conditionering op variantie of AD laat de dekking van kliffen onder het nominale niveau achter (bijv. 86% versus 9 de doelstelling van 90%). Een op ruwheid gestratificeerde Mondrian-predictor behield een vlakke dekking over het bereik van de ruwheid en verhoogde de klif-dekking naar 89,5%.

Betekenis en Claims
Het artikel claimt dat lokale landschapruwheid een complementaire, per-verbinding betrouwbaarheidsas biedt die statistisch onderscheidend is van de afstand tot de trainingsdata. De primaire bijdrage is niet het vervangen van onzekerheidskwantificering, maar het toevoegen van een specifieke gevoeligheid voor de "klif-foutmodus" die standaardmethoden systematisch missen.

Door regio's te identificeren waar het structuur–activiteitslandschap "ruw" is (scherp veranderend) op basis van enkel de trainingsburen, maakt de methode de constructie van klif-bewuste conformal predictors mogelijk. Dit zorgt ervoor dat voorspellingsintervallen geldig blijven precies daar waar QSAR-modellen het meest waarschijnlijk falen en het meest zelfverzekerd foutief zijn. De auteurs benadrukken dat deze aanpak praktisch, reproduceerbaar en inzetbaar is zonder dat de assay van de query-verbinding vereist is, waarmee een kritiek gat in de betrouwbaarheid van computationele drug discovery-instrumenten wordt gedicht.