Toward Principled Model Selection in Data-Limited Scientific Machine Learning: A Three-Principle Decision Framework with Empirical Case Studies

Sintesi Tecnica: Verso una Selezione di Modelli Principiata nel Machine Learning Scientifico con Dati Limitati

Definizione del Problema
Nel machine learning (ML) scientifico, in particolare nella fase iniziale della scoperta di farmaci e nella scienza dei materiali, i dati di addestramento sono spesso scarsi (ad esempio, $N \approx 100$ campioni). Nonostante ciò, il settore ha progressivamente favorito architetture di deep learning complesse (ad esempio, Graph Neural Networks, Transformer) rispetto ad alternative più semplici. Esiste una tensione persistente tra la complessità del modello e le prestazioni di generalizzazione in questi regimi con dati limitati. Mentre i modelli complessi eccellono su benchmark estesi (ad esempio, Davis/KIBA con $N > 10.000$), il loro comportamento quando limitati a circa 100 campioni e descrittori fisico-chimici interpretabili è scarsamente caratterizzato. Questo studio affronta la domanda fondamentale: In quali condizioni ci si dovrebbe aspettare che modelli complessi superino le alternative più semplici nel ML scientifico con dati limitati?

Metodologia
Lo studio impiega una rigorosa valutazione empirica attraverso tre distinti casi di studio per confrontare i modelli lineari con i metodi ensemble.

1. Caso di Studio 1 (Primario): Predizione dell'affinità di legame degli inibitori delle chinasi ($pIC_{50}$) per 100 molecole in 14 target proteici.

   • Caratteristiche (Features): Sette descrittori fisico-chimici interpretabili (MW, LogP, TPSA, HBD, HBA, RotBonds, ArRings).
   • Suddivisioni dei Dati (Data Splits): Un dataset di 100 molecole è stato suddiviso in set di addestramento (40), validazione (20) e test (40). Fondamentalmente, un set di validazione esterna di 60 molecole è stato bloccato prima di qualsiasi addestramento del modello, selezione delle caratteristiche o ottimizzazione degli iperparametri per valutare la generalizzazione prospettica.
   • Modelli Valutati: Regressione Lineare (LR), Regressione Ridge (RR), Minimi Quadrati Parziali (PLS) e XGBoost.
   • Validazione: Cross-validazione (CV) a 5 pieghe (folds) sul set di addestramento, valutazione del hold-out test e validazione esterna. La significatività statistica è stata valutata tramite test della somma dei ranghi di Wilcoxon (notata come a bassa potenza a causa di $n=5$ folds).
   • Valutazione della Leakage (Perdita di Informazione): Sono state condotte analisi della correlazione di Pearson e del Fattore di Inflazione della Varianza (VIF) per garantire che gli elevati valori di $R^2$ fossero guidati da segnali fisico-chimici genuini (ad esempio, LogP) piuttosto che da artefatti dei dati.

2. Caso di Studio 2 (Cross-Domain): Predizione della solubilità acquosa (dataset ESOL).

   • Configurazione: 55 molecole ($n/p = 9,2$) con 6 descrittori. È stato utilizzato un set esterno indipendente di 30 molecole.
   • Obiettivo: Testare la coerenza del framework proposto attraverso una proprietà molecolare differente.

3. Caso di Studio 3 (Cross-Task): Predizione del coefficiente di ripartizione ottanolo-acqua (LogP).

   • Configurazione: Ha utilizzato la stessa collezione molecolare del Caso di Studio 2 ma ha predetto un target distinto (Crippen LogP) per verificare la robustezza cross-task.

Contributi Chiave
Il documento introduce un Framework Decisionale di Generalizzazione a Tre Principi basato sulla Teoria dell'Apprendimento Statistico (dimensione VC, apprendimento PAC, MDL). Il framework propone tre criteri operativi per guidare la selezione del modello in contesti con dati limitati ($N < 100$):

1. Capacità del Modello: Il rapporto tra campioni e caratteristiche ($n/p$) deve essere considerato. Lo studio propone una soglia di $n/p < 10$ come trigger per favorire i modelli lineari, osservando che gli ensemble complessi hanno dimensioni VC effettive significativamente più elevate.
2. Stabilità della Stima: Un'alta varianza nei punteggi di cross-validazione indica sensibilità a specifiche partizioni di addestramento. Lo studio propone CV SD > 0,05 come soglia indicante instabilità, favorendo modelli più semplici.
3. Trasferibilità Fuori Campione (Out-of-Sample): Il divario tra le prestazioni del set di test e le prestazioni della validazione esterna ($\Delta R^2$) misura la perdita di generalizzazione. Lo studio propone $\Delta R^2 > 0,08$ come soglia in cui i modelli complessi non riescono a trasferirsi efficacemente.

Inoltre, lo studio fornisce una valutazione sistematica della leakage confermando che le alte metriche di performance riflettono un segnale genuino (ad esempio, la correlazione con LogP) piuttosto che overfitting o perdita di dati, e utilizza i valori SHAP per identificare i driver fisico-chimici appropriati al dominio.

Risultati

• Performance: Nel Caso di Studio 1, la Regressione Lineare ha ottenuto la performance più elevata ($R^2 = 0,9865$ sul test, $0,9385$ sulla validazione esterna) con un gap di generalizzazione minimo ($\Delta R^2 = 0,0431$). Al contrario, XGBoost ha ottenuto un $R^2$ di addestramento quasi perfetto ($0,9987$) ma ha sofferto della performance esterna più bassa ($R^2 = 0,7912$) e del più grande gap di generalizzazione ($\Delta R^2 = 0,1215$).
• Validazione del Framework: Il Framework dei Tre Principi ha identificato correttamente la Regressione Lineare e la Regressione Ridge come i modelli preferibili. XGBoost ha attivato tutti e tre i criteri (basso $n/p$, alta CV SD, alto $\Delta R^2$), segnalandolo correttamente come il generalizzatore più debole.
• Replicazione: Nei Casi di Studio 2 (Solubilità) e 3 (LogP), il pattern si è mantenuto: i modelli lineari hanno mostrato gap di generalizzazione stabili o negativi (indicando un trasferimento robusto), mentre XGBoost ha mostrato ampi gap positivi ($\Delta R^2 \approx 0,34$ e $0,36$, rispettivamente), confermando l'overfitting.
• Importanza delle Caratteristiche: L'analisi SHAP ha rivelato che i modelli lineari hanno identificato driver scientificamente interpretabili (ad esempio, HBA, LogP, MW) coerenti con i principi farmacologici stabiliti, piuttosto che artefatti statistici.

Significatività e Rivendicazioni
Il documento rivendica di fornire un framework decisionale empiricamente motivato per i professionisti che affrontano scenari di ML con dati limitati. La sua principale significatività risiede nello spostamento del paradigma della selezione del modello da "quale modello performa meglio in CV?" a "i dati disponibili giustificano la complessità del modello?".

Gli autori dichiarano esplicitamente che:

• Le soglie proposte ($n/p < 10$, CV SD $> 0,05$, $\Delta R^2 > 0,08$) sono prime istanze empiriche e punti di riferimento per la generazione di ipotesi, non costanti universali. Esse richiedono validazione su dataset indipendenti prima di un'adozione ampia.
• Il framework non è applicabile a grandi dataset ($N \ge 1.000$), Graph Neural Networks o scenari di transfer learning dove le dimensioni effettive dei campioni differiscono.
• I risultati suggeriscono che, nel ML scientifico con piccoli campioni, la semplicità del modello deve rimanere una considerazione critica di base, poiché i modelli complessi spesso sovra-specificano la distribuzione di addestramento senza dati sufficienti per apprendere confini decisionali stabili.

Lo studio conclude che, sebbene il deep learning domini i benchmark su larga scala, i modelli lineari offrono una generalizzazione e un'interpretabilità superiori nei regimi con scarsità di dati comuni nella scoperta di farmaci in fase iniziale e nella scienza dei materiali. Il lavoro serve come punto di partenza per un programma di ricerca più ampio volto a definire i limiti di complessità del modello nel ML scientifico.