LGBM-BBB: A Web-Server for Blood-Brain Barrier Permeability Prediction using Winsorized Feature Engineering and Mathew Correlation Coefficient Threshold Optimisation

Riepilogo Tecnico: Web-Server LGBM-BBB per la Predizione della Permeabilità della Barriera Emato-Encefalica

Problematica
Lo sviluppo di farmaci mirati al sistema nervoso centrale (SNC) è significativamente ostacolato dalla barriera emato-encefalica (BBB), che blocca circa il 98% dei terapeutici a piccole molecole. Sebbene esistano metodi sperimentali (in vivo e in vitro) per valutare la permeabilità, questi sono dispendiosi in termini di tempo, a bassa produttività e complessi dal punto di vista etico. I modelli in silico esistenti soffrono spesso di limitazioni come l'uso di SMOTE (che può introdurre rumore), la dipendenza da rappresentazioni sparse ad alta dimensionalità (ad esempio, descrittori di vocabolario codificati one-hot) o approcci basati su grafi computazionalmente costosi. Inoltre, studi precedenti hanno careca di confronti comparativi completi utilizzando dati standardizzati e strumenti di implementazione pratica per i ricercatori sperimentali.

Metodologia
Lo studio ha utilizzato il dataset B3DB, composto da 7.807 composti con classificazioni di permeabilità binaria validate sperimentalmente. Gli autori hanno implementato una pipeline rigorosa che comprende la cura dei dati, l'ingegneria delle caratteristiche (feature engineering) e l'ottimizzazione del modello:

1. Pre-elaborazione e Cura dei Dati:

   • I composti sono stati filtrati per un intervallo di peso molecolare compreso tra 150 e 800 Dalton, risultando in 7.298 composti.
   • Per affrontare l'eterogeneità delle etichettature provenienti da 50 diverse fonti di dati, i composti sono stati categorizzati in quattro gruppi (A–D) in base alla coerenza dei dati e alla segnalazione delle soglie, standardizzando la classificazione con un cut-off di logBB di -1 ove applicabile.
   • Winsorizzazione: Per gestire gli outlier senza eliminazione di dati, sono state applicate le soglie del 1° e del 99° percentile. Questo ha mitigato i valori estremi (particolarmente nei descrittori di lipofilia come SLogP) preservando al contempo la dimensione del campione e la distribuzione centrale.

2. Ingegneria e Selezione delle Caratteristiche (Feature Engineering):

   • Calcolo dei Descrittori: Sono stati generati inizialmente 1.613 descrittori (1D, 2D e 3D) utilizzando Mordred e RDKit, coprendo proprietà costituzionali, topologiche e geometriche.
   • Filtraggio: Le caratteristiche con >5% di valori mancanti sono state rimosse; i gap rimanenti sono stati colmati tramite imputazione della mediana stratificata per classe. Le caratteristiche quasi costanti (varianza < 0,01) sono state scartate.
   • Selezione: Un processo di filtraggio a due stadi ha ridotto l'insieme delle caratteristiche a 59 descrittori non ridondanti:
     • Correlazione di Distanza: Sono state mantenute le caratteristiche con una correlazione > 0,25 rispetto alla variabile target.
     • Correlazione di Spearman: Sono state rimosse le caratteristiche multicollineari (ρ > 0,85), mantenendo la caratteristica con la più forte associazione con il target.

3. Addestramento e Valutazione del Modello:

   • Sono stati confrontati sei algoritmi: Random Forest, XGBoost, LightGBM (LGBM), CatBoost, Regressione Logistica e Support Vector Classifier (SVC).
   • I dati sono stati suddivisi in 80% per l'addestramento e 20% per il test tramite campionamento stratificato, con una validazione incrociata a 10 pieghe (10-fold cross-validation) per la valutazione della stabilità.
   • Ottimizzazione della Soglia: Invece della soglia predefinita di 0,5, il confine decisionale è stato ottimizzato valutando 100 valori per massimizzare il coefficiente di correlazione di Matthews (MCC) sul set di test.

4. Implementazione Web:

   • Il modello ottimale è stato implementato come web server utilizzando Python Flask (backend) e React.js (frontend), ospitato sull'infrastruttura cloud di Render.

Risultati Chiave

• Performance del Modello: I metodi di gradient boosting hanno superato i modelli lineari (Regressione Logistica, SVC). LightGBM (LGBM) ha raggiunto il miglior equilibrio tra performance e velocità computazionale, raggiungendo un'accuratezza del 90,1% e un AUC-ROC di 0,953.
• Confronto tra Metriche: I modelli di boosting hanno mostrato un guadagno significativo nell'MCC (circa il 21% superiore ai modelli lineari), indicando una gestione superiore dello sbilanciamento delle classi e delle complesse interazioni non lineari.
• Ottimizzazione della Soglia: L'ottimizzazione della soglia per l'MCC ha prodotto solo guadagni statistici marginali (ad esempio, l'MCC di LGBM è passato dal 77,76% al 78,43%), suggerendo che il confine decisionale naturale del modello era già ben separato.
• Importanza delle Caratteristiche: L'analisi SHAP ha identificato la Superficie Polare Topologica (TopoPSA) come il predittore dominante, seguita dalla superficie elettrotopologica e dal conteggio dei composti acidi. Un'elevata superficie polare (>90 Ų) è stata fortemente associata alla non-permeabilità.
• Analisi Basata su Regole: I composti che hanno superato sia i filtri di Lipinski che quelli di Ghose hanno mostrato un tasso di permeabilità del 74%, rispetto al 32% di quelli che non hanno superato entrambi. Tuttavia, il filtraggio basato sulle regole da solo ha raggiunto solo circa il 70% di accuratezza, sottolineando la necessità del machine learning per una maggiore precisione.
• Confronto con la Letteratura: Il modello LGBM ha raggiunto prestazioni comparabili o superiori a studi precedenti che utilizzavano lo stesso dataset B3DB (ad esempio, Jia et al. e Nguyen et al.), ma senza il carico computazionale degli input basati su grafi o il potenziale rumore di SMOTE.

Contributi Chiave

1. Robusta Ingegneria delle Caratteristiche: L'implementazione della winsorizzazione per gestire gli outlier e un rigoroso processo di selezione delle caratteristiche basato sulla correlazione di distanza per ridurre la dimensionalità senza perdere informazioni critiche.
2. Benchmarking e Ottimizzazione: Un confronto sistematico di sei algoritmi con esplicita ottimizzazione della soglia per l'MCC, dimostrando che i metodi ensemble basati su alberi sono superiori per questo specifico compito.
3. Strumento Accessibile: Lo sviluppo e il rilascio pubblico di LGBM-BBB, un web server liberamente accessibile che consente ai ricercatori di inserire stringhe SMILES o file CSV per uno screening virtuale rapido senza richiedere risorse computazionali locali o competenze tecniche.
4. Interpretabilità: La fornitura di approfondimenti basati su SHAP e di un punteggio di confidenza basato sulla prossimità alla soglia MCC, aiutando i chimici a comprendere l'affidabilità della predizione.

Significatività e Rivendicazioni
Gli autori affermano che questo lavoro fornisce uno strumento validato, computazionalmente efficiente e accessibile per affrontare il collo di bottiglia critico nella scoperta di neuroterapeutici. Evitando la complessità di SMOTE e dei descrittori basati su grafi, il modello mantiene un alto potere predittivo (90,1% di accuratezza) pur essendo più veloce e facile da implementare. Lo studio sottolinea che, sebbene i filtri basati su regole (Lipinski/Ghose) offrano un utile euristica iniziale, il machine learning è necessario per catturare le relazioni multidimensionali che governano la permeabilità della BBB. Il web server è posizionato come una risorsa pratica per consentire lo screening rapido di grandi librerie chimiche, potenzialmente reindirizzando le risorse verso candidati promettenti prima della costosa ottimizzazione del lead. Gli autori notano con modestia che il modello è progettato per molecole di tipo "drug-like" e potrebbe non generalizzarsi a peptidi o coniugati anticorpo-farmaco, e che le differenze fisiologiche specie-specifiche della BBB rimangono una sfida non completamente affrontata dall'insieme di dati B3DB aggregato.