LGBM-BBB: A Web-Server for Blood-Brain Barrier Permeability Prediction using Winsorized Feature Engineering and Mathew Correlation Coefficient Threshold Optimisation

Technische Samenvatting: LGBM-BBB Webserver voor de Voorspelling van de Bloed-Hersenbarrière Doorlaatbaarheid

Probleemstelling
De ontwikkeling van medicijnen gericht op het centrale zenuwstelsel (CZS) wordt aanzienlijk belemmerd door de bloed-hersenbarrière (BHB), die ongeveer 98% van de kleine moleculaire therapeutica blokkeert. Hoewel experimentele methoden (in-vivo en in-vitro) bestaan om doorlaatbaarheid te beoordelen, zijn deze tijdrovend, hebben ze een lage doorvoersnelheid en zijn ze ethisch complex. Bestaande in-silico modellen lijden vaak aan beperkingen zoals het gebruik van SMOTE (wat ruis kan introduceren), de afhankelijkheid van hoogdimensionale ijle representaties (bijv. one-hot encoded vocabulaire descriptoren), of computationeel dure grafiekgebaseerde benaderingen. Bovendien ontbrak het in eerdere studies aan uitgebreide head-to-head vergelijkingen met gestandaardiseerde data en praktische implementatietools voor experimentele onderzoekers.

Methodologie
De studie maakte gebruik van de B3DB-dataset, bestaande uit 7.807 verbindingen met experimenteel gevalideerde binaire doorlaatbaarheidsclassificaties. De auteurs implementeerden een rigoureuze pijplijn bestaande uit data-curatie, feature engineering en modeloptimalisatie:

1. Data Pre-processing en Curatie:

   • Verbindingen werden gefilterd op een moleculair gewicht tussen 150–800 Dalton, wat resulteerde in 7.298 verbindingen.
   • Om heterogene labeling over 50 verschillende databronnen aan te pakken, werden verbindingen gecategoriseerd in vier groepen (A–D) op basis van dataconsistentie en drempelrapportage, waarbij de classificatie werd gestandaardiseerd met een logBB cut-off van -1 waar van toepassing.
   • Winsorisatie: Om uitschieters te behandelen zonder data te verwijderen, werden de 1e en 99e percentiel drempelwaarden toegepast. Dit temperde extreme waarden (met name in lipofiliciteit-descriptoren zoals SLogP) terwijl de steekproefomvang en de centrale distributie behouden bleven.

2. Feature Engineering en Selectie:

   • Descriptor Berekening: 1.613 initiële descriptoren (1D, 2D en 3D) werden gegenereerd met behulp van Mordred en RDKit, variërend van constitutionele tot topologische en geometrische eigenschappen.
   • Filtering: Features met >5% ontbrekende waarden werden verwijderd; resterende gaten werden opgevuld via mediaan-imputatie gestratificeerd per klasse. Bijna-constante features (variantie < 0,01) werden verworpen.
   • Selectie: Een tweestaps filteringproces reduceerde de feature set naar 59 niet-redundante descriptoren:
     • Afstandscorrelatie: Features met een correlatie > 0,25 met de doelvariabele werden behouden.
     • Spearman Correlatie: Multicollineaire features (ρ > 0,85) werden verwijderd, waarbij de feature met de sterkere associatie met het doel werd behouden.

3. Modeltraining en Evaluatie:

   • Zes algoritmen werden gebenchmarkt: Random Forest, XGBoost, LightGBM (LGBM), CatBoost, Logistische Regressie en Support Vector Classifier (SVC).
   • Data werd verdeeld in 80% training en 20% test met behulp van gestratificeerde steekproeftrekking, met 10-voudige kruisvalidatie voor stabiliteitsbeoordeling.
   • Drempeloptimalisatie: In plaats van de standaard 0,5 drempelwaarde, werd de beslissingsgrens geoptimaliseerd door 100 waarden te evalueren om de Matthews Correlation Coefficient (MCC) op de testset te maximaliseren.

4. Web Implementatie:

   • Het optimale model werd gedeployed als een webserver met behulp van Python Flask (backend) en React.js (frontend), gehost op de Render cloud-infrastructuur.

Belangrijkste Resultaten

• Modelprestaties: Gradient boosting methoden presteerden beter dan lineaire modellen (Logistische Regressie, SVC). LightGBM (LGBM) bereikte de beste balans tussen prestaties en computationele snelheid, met een nauwkeurigheid van 90,1% en een 0,953 ROC-AUC.
• Metriek Vergelijking: De boosting modellen vertoonden een significante winst in MCC (ongeveer 21% hoger dan lineaire modellen), wat wijst op een superieur vermogen om klassenimbalans en complexe niet-lineaire interacties te hanteren.
• Drempeloptimalisatie: Het optimaliseren van de drempelwaarde voor MCC leverde slechts marginale statistische winsten op (bijv. LGBM MCC steeg van 77,76% naar 78,43%), wat suggereert dat de natuurlijke beslissingsgrens van het model al goed gescheiden was.
• Feature Belang: SHAP-analyse identificeerde Topological Polar Surface Area (TopoPSA) als de dominante voorspeller, gevolgd door elektrotopologische oppervlakte en het aantal zure verbindingen. Een hoge polaire oppervlakte (>90 Ų) was sterk geassocieerd met niet-doorlaatbaarheid.
• Regelgebaseerde Analyse: Verbindingen die zowel de Lipinski als de Ghose filters passeerden, vertoonden een doorlaatbaarheidspercentage van 74%, vergeleken met 32% voor degenen die beide faalden. Echter, regelgebaseerde filtering alleen bereikte slechts ~70% nauwkeurigheid, wat de noodzaak van machine learning onderstreept voor hogere precisie.
• Vergelijking met Literatuur: Het LGBM-model behaalde prestaties die vergelijkbaar met of beter waren dan eerdere studies die dezelfde B3DB-dataset gebruikten (bijv. Jia et al. en Nguyen et al.), maar zonder de computationele overhead van grafiekgebaseerde inputs of de potentiële ruis van SMOTE.

Belangrijkste Bijdragen

1. Robuuste Feature Engineering: De implementatie van winsorisatie om uitschieters te behandelen en een rigoureus op afstandcorrelatie gebaseerd proces voor feature selectie om dimensionaliteit te reduceren zonder kritieke informatie te verliezen.
2. Benchmarking en Optimalisatie: Een systematische vergelijking van zes algoritmen met expliciete drempeloptimalisatie voor MCC, wat aantoont dat ensemble tree-gebaseerde methoden superieur zijn voor deze specifieke taak.
3. Toegankelijke Tool: De ontwikkeling en publieke release van LGBM-BBB, een vrij toegankelijke webserver waarmee onderzoekers SMILES-strings of CSV-bestanden kunnen invoeren voor snelle virtuele screening zonder dat zij lokale computationele middelen of technische expertise vereisen.
4. Interpreteerbaarheid: Het bieden van SHAP-gebaseerde inzichten en een betrouwbaarheidsscore op basis van de nabijheid tot de MCC-drempel, wat chemici helpt de betrouwbaarheid van voorspellingen te begrijpen.

Betekenis en Claims
De auteurs beweren dat dit werk een gevalideerde, computationeel efficiënte en toegankelijke tool biedt om de kritieke bottleneck in neurotherapeutische ontdekking aan te pakken. Door de complexiteit van SMOTE en grafiekgebaseerde descriptoren te vermijden, behoudt het model een hoge voorspellende kracht (90,1% nauwkeurigheid) terwijl het sneller en gemakkelijker te implementeren is. De studie benadrukt dat hoewel regelgebaseerde filters (Lipinski/Ghose) een nuttige initiële heuristiek bieden, machine learning noodzakelijk is om de multidimensionale relaties te vangen die de doorlaatbaarheid van de BHB bepalen. De webserver is gepositioneerd als een praktisch hulpmiddel om snelle screening van grote chemische bibliotheken mogelijk te maken, wat potentieel middelen kan herverdelen naar veelbelovende kandidaten voordat de dure lead-optimalisatie begint. De auteurs merken bescheiden op dat het model is ontworpen voor drug-like moleculen en mogelijk niet generaliseert naar peptiden of antilichaam-drug-conjugaten, en dat soortspecifieke fysiologische verschillen in de BHB een uitdaging blijven die niet volledig is geadresseerd door de geaggregeerde B3DB-dataset.