Towards symbolic regression for interpretable clinical decision scores

1. Il Problema

La presa di decisioni cliniche si basa frequentemente su algoritmi che combinano equazioni di rischio con regole logiche (es. sistemi di punteggio come CART o MEWS), offrendo percorsi di trattamento chiari e standardizzati. Tuttavia, l'uso della Regressione Simbolica (SR) tradizionale in ambito medico presenta delle limitazioni:

• Limitazione dello spazio di ricerca: Gli algoritmi SR classici si concentrano su forme funzionali continue e sui loro parametri, rendendo difficile modellare le operazioni di "split" (divisione) tipiche degli alberi decisionali, che sono fondamentali per le regole cliniche.
• Interpretabilità vs. Complessità: Sebbene la SR produca modelli intrinsecamente interpretabili, le espressioni matematiche pure possono risultare poco intuitive per i clinici rispetto agli alberi decisionali.
• Ottimizzazione dei parametri: Molti metodi SR esistenti non riescono a incorporare operazioni di split efficienti o a ottimizzare i parametri non lineari (costanti) in presenza di discontinuità, portando spesso a modelli subottimali o di dimensioni eccessive.

L'obiettivo è colmare il divario tra i modelli di previsione simbolica e le operazioni basate su regole (split-wise), mantenendo la capacità di ottimizzare i parametri non lineari per creare modelli clinici sia accurati che interpretabili.

2. Metodologia: L'algoritmo "Brush"

Gli autori propongono Brush, un algoritmo di regressione simbolica basato sulla Programmazione Genetica (GP) progettato specificamente per integrare operazioni di split con l'ottimizzazione non lineare dei parametri.

Componenti Chiave di Brush:

• Nodo di Split Specializzato: A differenza degli alberi decisionali standard, Brush introduce un operatore di split che può apparire in qualsiasi punto dell'albero matematico.
  • Il nodo ha tre rami: un sotto-albero condizionale ($f_c$), un ramo vero ($f_T$) e un ramo falso ($f_F$).
  • La condizione confronta $f_c$ con una soglia $\tau$ appresa.
  • L'algoritmo ottimizza $\tau$ minimizzando la varianza totale dei valori target nelle due partizioni risultanti (simile al clustering unidimensionale).
• Ottimizzazione Ibrida:
  • Brush combina la ricerca evolutiva (GP) con l'ottimizzazione locale dei parametri tramite il metodo Levenberg-Marquardt (LM).
  • Viene utilizzata un'euristica a tre passi: 1) Ottimizzazione del sotto-albero condizionale; 2) Ricerca della soglia $\tau$ ottimale; 3) Adattamento dei parametri rimanenti dell'espressione, ignorando quelli già ottimizzati e passando solo i dati pertinenti a ciascun ramo.
• Strategia Evolutiva:
  • Utilizza la selezione $\epsilon$-lexicase e la sopravvivenza basata su NSGA-II (ordinamento non dominato) per gestire l'ottimizzazione multi-obiettivo (massimizzare le prestazioni e minimizzare la complessità).
  • La complessità lineare viene calcolata penalizzando gli operatori complessi.
  • Include un passo di semplificazione approssimata post-processing per comprimere i modelli senza perdere prestazioni.
• Modalità Classificazione: Per i task di classificazione, Brush fissa un nodo di regressione logistica alla radice dell'albero, permettendo l'ottimizzazione di un parametro di offset e la generazione di probabilità di rischio.

3. Contributi Chiave

1. Integrazione Split-Ottimizzazione: Brush è il primo algoritmo SR che combina nativamente operazioni di split (logica decisionale) con l'ottimizzazione non lineare dei parametri, superando i limiti degli approcci precedenti (come PS-Tree o FEAT) che o mancano di ottimizzazione dei parametri o producono modelli troppo grandi.
2. Prestazioni Pareto-Ottimali: Dimostrazione che Brush raggiunge prestazioni Pareto-ottimali nel benchmark SRBench, bilanciando accuratezza e complessità del modello meglio di altri metodi SotA (State-of-the-Art).
3. Applicazione Clinica Reale: Validazione su dati reali di cartelle cliniche elettroniche (EHR) per ricreare sistemi di punteggio esistenti (CART, MEWS) e identificare pazienti ad alto rischio, producendo modelli più compatti e interpretabili rispetto a Random Forest, Decision Trees e altre tecniche SR.

4. Risultati Sperimentali

Benchmark SRBench (Regressione e Fisica)

• Dataset: 122 problemi reali (PMLB) e 130 problemi sintetici di fisica (equazioni di Feynman e sistemi dinamici di Strogatz).
• Prestazioni: Brush ha ottenuto un $R^2 > 0.999$ in oltre il 50% delle esecuzioni, anche in presenza di rumore elevato.
• Confronto: Ha prodotto espressioni significativamente più piccole rispetto a PS-Tree e Operon, dominando FEAT sia in semplicità che in accuratezza. È risultato robusto al rumore, a differenza di metodi come AIFeynman.

Applicazione Clinica (MIMIC-IV ED)

Gli autori hanno testato Brush su 10.000 pazienti del dataset MIMIC-IV per due task:

1. Regressione: Predire i punteggi clinici (MAP, CART, MEWS).
2. Classificazione: Identificare pazienti ad alto rischio di deterioramento catastrofico (soglia binaria).

Risultati principali:

• Regressione: Brush ha raggiunto un $R^2$ perfetto (1.00) per MAP e CART, con dimensioni del modello (numero di nodi) drasticamente inferiori rispetto a Random Forest e Decision Trees (es. per CART: Brush ~76 nodi vs RF ~1.5 milioni di nodi).
• Classificazione:
  • Per il task CART, Brush ha ottenuto un AUPRC di 0.99 con un modello di 73.8 nodi, superando FEAT (0.69) e competendo con Decision Trees (0.99) ma con modelli molto più semplici.
  • Per il task MEWS, Brush ha ottenuto un AUPRC di 0.95 (vs 0.89 di FEAT).
• Ablazione: Disabilitare i nodi di split ha causato un calo significativo delle prestazioni di classificazione (AUPRC), confermando che la capacità di gestire regole di divisione è cruciale per questi task.
• Interpretabilità: I modelli generati da Brush hanno ricreato la logica dei sistemi di punteggio originali (es. priorità di frequenza respiratoria, pressione diastolica, età per CART) utilizzando combinazioni di regole e funzioni matematiche, risultando comprensibili per i clinici.

5. Significato e Conclusioni

Il paper dimostra che Brush rappresenta un compromesso efficace tra tre approcci di modellazione:

1. Si avvicina alle prestazioni dei Decision Trees nei task di classificazione, ma genera modelli più compatti.
2. Migliora la Regressione Logistica attraverso l'ingegneria delle feature guidata dalla GP.
3. Supera altri metodi di Regressione Simbolica (FEAT, PS-Tree) combinando operazioni di split con l'ottimizzazione dei parametri.

La capacità di Brush di generare modelli "rule-based" ma matematicamente ottimizzati lo rende uno strumento promettente per lo sviluppo di sistemi di supporto alle decisioni cliniche (CDSS) che richiedono sia alta accuratezza predittiva che trasparenza e interpretabilità. Questo è fondamentale per l'adozione dell'IA in ambito sanitario, dove la giustificazione delle raccomandazioni è spesso un requisito normativo e clinico.

Limitazioni: Gli autori notano che l'algoritmo non è stato finemente sintonizzato (hyperparameter tuning) e che la definizione della complessità lineare è arbitraria, suggerendo spazi per futuri miglioramenti.