A Reproducible Log-Driven AutoML Framework for Interpretable Pipeline Optimization in Healthcare Risk Prediction

Riepilogo Tecnico: Un Framework AutoML Guidato da Log Riproducibile per l'Ottimizzazione di Pipeline Interpretabili nella Previsione del Rischio Sanitario

Enunciato del Problema
La previsione accurata e riproducibile del rischio di malattie in ambito sanitario è ostacolata da caratteristiche eterogenee, dimensioni limitate del campione e uno squilibrio di classe severo. Sebbene l'Automated Machine Learning (AutoML) sia emerso per ridurre lo sforzo manuale, i framework esistenti (ad es. Auto-sklearn, TPOT, AutoGluon) si concentrano prevalentemente sulla selezione del modello e sulla regolazione degli iperparametri. Spesso trattano le fasi di pre-elaborazione — come la selezione delle caratteristiche, la normalizzazione e l'aumento dei dati — come componenti fisse o ottimizzate in modo approssimativo. Di conseguenza, le complesse interazioni tra strategie di pre-elaborazione e algoritmi di apprendimento rimangono poco esplorate, in particolare in piccoli dataset clinici sbilanciati. Inoltre, la natura stocastica di molti processi di ricerca AutoML limita l'interpretabilità, la riproducibilità e la capacità di analizzare sistematicamente il comportamento della pipeline.

Metodologia: Il Framework yvsoucom-iterkit
Gli autori propongono yvsoucom-iterkit, un framework AutoML deterministico e guidato da log che ridefinisce l'ottimizzazione della pipeline come un sistema completamente riproducibile a livello di configurazione. A differenza dei metodi di ricerca stocastica, questo framework impiega l'enumerazione deterministica per esplorare uno spazio di ricerca combinatorio unificato ($\mathcal{P}$) definito dal prodotto cartesiano di dieci componenti configurabili:

1. Strategia di selezione delle caratteristiche ($F$) e numero ($K$)
2. Metodo di normalizzazione ($N$) e ordine ($O$)
3. Metodo di aumento dei dati ($A$)
4. Metodo di gestione dello squilibrio ($B$)
5. Modello di classificazione ($M$)
6. Rapporto di divisione train/test ($S$)
7. Soglia di decisione ($T$)
8. Seed casuale ($R$)

Caratteristiche Architetturali Chiave:

• Esecuzione Guidata da Log: Ogni configurazione della pipeline è codificata come un'entità di log tracciabile. Il sistema genera log strutturati per tutti i dettagli sperimentali, inclusi configurazioni, passaggi di pre-elaborazione, parametri del modello, output intermedi e metriche di valutazione. Ciò garantisce la piena tracciabilità dalla configurazione al risultato.
• Enumerazione Deterministica: Il framework pre-enumera tutti i rami validi della pipeline, consentendo un'esplorazione sistematica ed esaustiva (o controllata) dello spazio di ricerca senza affidarsi a ricerche euristico o probabilistiche.
• Analisi Multilivello: Il framework supporta un approccio analitico gerarchico:
  • Livello Ramo: Analisi delle distribuzioni globali delle metriche e clustering.
  • Livello Pipeline: Identificazione delle configurazioni con le prestazioni migliori.
  • Livello Componente: Aggregazione delle statistiche di prestazione (media, varianza) per i singoli valori dei componenti per isolare i loro effetti.
  • Interazione Trans-Componente: Analisi delle distribuzioni congiunte per rivelare le dipendenze tra i componenti.
  • Robustezza: Valutazione della stabilità su più seed casuali utilizzando test non parametrici (Friedman, Wilcoxon) e Punteggi Normalizzati di Rango Robusto (NRRS).
• Analisi di Similarità: Un'analisi della differenza Radice-Media-Quadratica (RMS) a livello di valore quantifica la ridondanza funzionale tra diversi valori dei componenti (ad es. confrontando "MixUp" con "Nessun Aumento").

Setup Sperimentale
Il framework è stato valutato su due dataset sanitari rappresentativi:

1. Diabete degli Indiani Pima: Un dataset su piccola scala, moderatamente sbilanciato, con caratteristiche puramente numeriche.
2. Dataset Stroke Sanitario: Un dataset più complesso con caratteristiche miste numeriche e categoriche e uno squilibrio di classe severo.

Gli esperimenti hanno coinvolto l'esecuzione di 18.720 configurazioni di pipeline (raggruppate in 3.120 collezioni di rami dati) su più seed casuali per valutare le prestazioni e la robustezza.

Risultati Chiave

• Spazio di Ricerca Strutturato e Ridondante: La valutazione ha rivelato che lo spazio di ricerca AutoML è altamente strutturato e parzialmente ridondante. Molte configurazioni distinte producono prestazioni quasi equivalenti, suggerendo una mappatura molti-a-uno in cui la dimensionalità effettiva è significativamente inferiore allo spazio combinatorio.
• Importanza dei Componenti:
  • Sul dataset Pima, le prestazioni sono guidate principalmente dall'Aumento dei Dati (Importanza Random Forest: 0,454 per Macro-F1), seguita dalla Scelta del Modello (0,198) e dalla Gestione dello Squilibrio (0,101).
  • Sul dataset Stroke, la Gestione dello Squilibrio domina (0,406), seguita dall'Ordine di Normalizzazione e dalla Scelta del Modello.
• Similarità e Ridondanza dei Componenti:
  • Le varianti di selezione delle caratteristiche (biMax vs. biMean) hanno mostrato una bassa distanza RMS (0,0252), indicando intercambiabilità.
  • L'aumento MixUp corrisponda strettamente a "Nessun Aumento" (RMS 0,0279), mentre il rumore gaussiano ha mostrato una maggiore divergenza (0,10).
  • I Link di Tomek per la gestione dello squilibrio si allineavano strettamente a "Nessuna Gestione dello Squilibrio" (RMS 0,0325).
• Compromesso tra Prestazioni e Robustezza:
  • I modelli ensemble (Random Forest, XGBoost, Gradient Boosting) hanno raggiunto il miglior equilibrio tra accuratezza e stabilità. Su Pima, hanno raggiunto un Macro-F1 di ~0,88 con bassa variabilità ($\sigma \approx 0,023–0,026$).
  • L'SVM ha raggiunto alte prestazioni di picco (Macro-F1 $\approx 0,689$ su Pima) ma ha mostrato la variabilità più alta ($\sigma \approx 0,029$), indicando sensibilità alle perturbazioni stocastiche.
  • Sfide del Dataset Stroke: Sebbene il Weighted-F1 fosse alto (0,94), il Macro-F1 è rimasto basso (0,67) a causa del severo squilibrio di classe, evidenziando la difficoltà della previsione della classe minoritaria in questo dominio.

Significato e Affermazioni
Il documento afferma che yvsoucom-iterkit sposta l'AutoML da un problema di ottimizzazione "a scatola nera" a un processo sperimentale trasparente e analizzabile. Trattando le configurazioni della pipeline come entità deterministiche e tracciabili tramite log, il framework consente:

1. Esplorazione Sistematica: Copertura esaustiva dello spazio di interazione tra pre-elaborazione e modellazione, spesso trascurato nell'AutoML incentrato sul modello.
2. Interpretabilità: La capacità di scomporre i fattori trainanti delle prestazioni in componenti specifici (ad es. identificare che la strategia di aumento è più critica del numero di caratteristiche selezionate sul dataset Pima).
3. Valutazione della Robustezza: Superare l'ottimizzazione su singola esecuzione per una valutazione statisticamente fondata che tiene conto della variazione stocastica, rivelando che modelli ad alte prestazioni possono mancare di stabilità.
4. Riduzione dello Spazio di Ricerca: L'identificazione della ridondanza funzionale permette la potatura dello spazio di ricerca, guidando i futuri sforzi AutoML a concentrarsi su componenti ad alto impatto (scelta del modello, gestione dello squilibrio) piuttosto che sulla regolazione esaustiva di tutti i parametri.

Gli autori concludono che un'ottimizzazione AutoML efficace in ambito sanitario dovrebbe concentrarsi su un insieme ridotto di componenti interagenti, sfruttando metodi ensemble per la stabilità e dando priorità alle strategie di gestione dello squilibrio per dataset con forte skew di classe. Il framework fornisce una base per l'ottimizzazione di pipeline riproducibile e consapevole della struttura, che colma il divario tra pratica empirica e considerazioni teoriche sui compromessi bias-varianza.