A Step Towards Inherently Interpretable Causal Machine Learning Models For Decision Support

Questo articolo propone l'integrazione del machine learning causale con modelli intrinsecamente interpretabili per dati trasversali al fine di fornire un supporto decisionale trasparente e basato sulla causalità che permetta sia una previsione accurata sia un'affidabile analisi di scenari "what-if".

L'essenziale

Il Grande Problema: la "Scatola Nera" e la "Trappola della Correlazione"

Immaginate di assumere uno chef super intelligente ma segreto (un modello standard di Machine Learning) per prevedere quanto spenderà una fabbrica di elettricità il mese prossimo. Gli date una lista di ingredienti: dimensione del lotto, numero di lavoratori e qualità del materiale.

Lo chef è bravo a indovinare il conto. Se chiedete: "Quale sarà il conto se facciamo 500 lotti?", lo chef fornisce una risposta molto accurata. Ma ecco il problema: lo chef non sa realmente perché il conto sia alto. Lo chef sa solo che "500 lotti" e "conti alti" di solito accadono insieme.

Il documento evidenzia due gravi difetti di questo approccio:

1. La Scatola Nera: Anche se chiediamo allo chef di spiegarsi (usando strumenti "post-hoc" come SHAP), lo chef potrebbe dire: "Beh, quando il numero di lavoratori aumenta, il conto aumenta". Ma forse i lavoratori non sono l'effettiva causa del conto alto; forse sono solo presenti quando le macchine lavorano a pieno ritmo. Lo chef sta confondendo la correlazione (cose che accadono insieme) con la causalità (una cosa che ne provoca un'altra).
2. Il Fallimento del "E se...": Se chiedete allo chef: "E se magicamente cambiassimo la dimensione del lotto mantenendo invariati i lavoratori?", lo chef potrebbe confondersi. Poiché lo chef ha imparato che lavoratori e dimensione del lotto si muovono sempre insieme, cambiare uno senza l'altro rompe la logica dello chef, portando a una risposta errata.

La Soluzione: Costruire un Progetto Causale Trasparente

Gli autori propongono un nuovo modo di costruire questi modelli. Invece di un segreto chef che indovina schemi, suggeriscono di costruire un progetto trasparente della fabbrica.

Combinano due idee:

1. Causal Machine Learning (Il Progetto): Prima di addestrare il modello, si disegna una mappa che mostra esattamente come le cose si connettono. Ad esempio: "La Dimensione del Lotto causa la Produttività, che causa l'Uso di Energia". Dite esplicitamente al modello: "I lavoratori non causano direttamente l'uso di energia; sono solo correlati". Questa mappa è chiamata Grafo Causale.
2. Modelli Intrinsecamente Interpretabili (Il Vetro Trasparente): Invece di usare un algoritmo complesso e opaco (una "scatola nera"), utilizzano modelli che sono naturalmente facili da leggere, come i Modelli Additivi Generalizzati (GAM) e la Regressione Simbolica (SR).
   • I GAM sono come un cruscotto trasparente dove potete vedere esattamente quanto ogni manopola (variabile) sposta l'ago (risultato).
   • La Regressione Simbolica è come un insegnante di matematica che scrive la formula esatta (ad esempio, Energia = Dimensione² + 130 * Produttività) invece di dare solo un numero.

L'Esperimento: Testare il Progetto

I ricercatori hanno testato questa idea in due modi:

1. La Simulazione della Fabbrica (Il Test del "E se...")
Hanno creato una fabbrica fittizia con regole note (la "Verità Fondamentale").

• Il Vecchio Modo (ML Standard): Quando hanno chiesto: "Cosa succede se forziamo la dimensione del lotto a 300?", i modelli standard sono falliti. Continuavano a presumere che anche il numero di lavoratori sarebbe cambiato, perché è ciò che avevano visto nei dati passati. Le loro previsioni erano molto errate.
• Il Nuovo Modo (Causale + Interpretabile): Poiché i nuovi modelli seguivano il progetto, hanno capito che cambiare la dimensione del lotto avrebbe influenzato il sistema correttamente. Hanno ignorato la variabile "lavoratori" perché il progetto diceva che non era una causa diretta. Risultato: Hanno previsto lo scenario "E se..." quasi perfettamente.

2. Il Test di Benchmark (Dati Reali)
Hanno testato questa idea su quattro altri dataset del mondo reale.

• Previsione: I nuovi modelli erano altrettanto bravi a prevedere il futuro rispetto ai complessi modelli "scatola nera".
• Analisi "E se...": I nuovi modelli hanno dominato la concorrenza. Erano molto più bravi nel gestire scenari in cui si cambia una cosa per vedere cosa succede.

I Punti Chiave

• La Trasparenza è Integrata: Non serve usare strumenti speciali per spiegare il modello. Il modello è la spiegazione. Potete vedere la matematica e la mappa.
• La Causalità è Fondamentale per le Decisioni: Se volete solo indovinare il futuro basandovi sul passato, una scatola nera va bene. Ma se volete prendere decisioni (come "Dovremmo cambiare la nostra linea di produzione?"), avete bisogno di un modello che comprenda causa ed effetto.
• La Semplicità Vince: I modelli "semplici" (GAM e Regressione Simbolica) hanno performato bene quanto quelli complessi, ma erano molto più facili da capire e molto migliori nel rispondere alle domande "E se?".

Le Limitazioni (Ciò che il Documento Ammette)

Gli autori sono onesti su ciò che non hanno fatto:

• La Mappa Deve Essere Corretta: Questo metodo si basa sul fatto che abbiate una mappa corretta (Grafo Causale) di come funzionano le cose. Se la vostra mappa è sbagliata (ad esempio, disegnate una freccia dove non ce n'è una), il modello sarà sbagliato. Nel mondo reale, non sempre conosciamo la mappa perfetta.
• Costo Computazionale: Costruire un modello separato per ogni parte della mappa richiede più potenza di calcolo rispetto al lanciare tutto in un unico grande contenitore nero.
• Complessità: A volte, anche le formule matematiche "semplici" possono diventare molto lunghe e difficili da leggere per un essere umano se il sistema è troppo complicato.

Analogia Riassuntiva

Pensate al Machine Learning standard come a un GPS che conosce solo il percorso che avete già percorso prima. Può dirvi quanto tempo ci vuole per il viaggio, ma se chiedete: "E se prendessi una scorciatoia che nessuno ha mai percorso?", potrebbe perdersi.

L'approccio di questo documento è come dare al GPS una mappa di tutta la rete stradale della città e delle leggi del traffico. Ora può rispondere a: "E se prendessi questa nuova scorciatoia?", perché capisce come le strade sono collegate, non solo dove sono passate le auto. E invece di un confuso schermo digitale, vi fornisce una serie chiara di indicazioni scritte che potete leggere voi stessi.

Sommario tecnico

Sintesi Tecnica: Un passo verso modelli di Machine Learning causale intrinsecamente interpretabili per il supporto alle decisioni

Definizione del problema
La crescente dipendenza dal machine learning (ML) per il processo decisionale organizzativo ha evidenziato una lacuna critica: sebbene i modelli siano efficaci nella predizione, spesso mancano di trasparenza e di comprensione causale. Gli approcci attuali si dividono in due categorie: metodi di spiegabilità post-hoc applicati a complessi modelli "black-box" e modelli di machine learning intrinsecamente interpretabili (IIML). Tuttavia, entrambi i paradigmi rivelano principalmente come i modelli sfruttino le correlazioni per massimizzare le prestazioni predittive, il che non equivale a un'intuizione causale. Di conseguenza, i modelli ML standard faticano nelle valutazioni di scenari "what-if" (interventi) perché non riescono a distinguere tra correlazioni spurie e relazioni causali autentiche. Questa limitazione ne ostacola l'utilità per i compiti di supporto decisionale che richiedono la comprensione degli effetti di cambiamenti deliberati in un sistema.

Metodologia
Per affrontare queste limitazioni, gli autori propongono un framework che integra i Modelli Causali Strutturali (SCM) con modelli di Machine Learning Intrinsecamente Interpretabili (IIML) per dati trasversali. Il framework è organizzato in quattro componenti:

1. Dati di input e Grafo Causale: Il processo inizia con un dataset e un grafo causale che rappresenta le relazioni causali tra le variabili. Questo grafo può essere derivato dall'esperienza del dominio, da algoritmi di causal discovery o da una combinazione di entrambi. Il grafo funge da spina dorsale per il ragionamento causale, codificando esplicitamente le assunzioni sul processo generativo dei dati.
2. Approccio di Modellazione: A differenza del ML standard, che tipicamente utilizza tutte le feature disponibili per predire un target, l'approccio proposto modella ogni variabile nel grafo causale come una funzione dei suoi genitori diretti (e di un termine di rumore esogeno). Questo viene implementato utilizzando tecniche IIML, specificamente Modelli Additivi Generalizzati (GAM) e Regressione Simbolica (SR), insieme a modelli black-box tradizionali (XGBoost, Random Forest, MLP) per il confronto.
3. Esecuzione del Task:
   • Predizione: Per i compiti di pura predizione, il modello esegue una selezione delle feature causali, predicendo il target basandosi solo sui valori osservati dei suoi genitori causali per evitare l'accumulo di errori.
   • Analisi What-if: Per gli scenari di intervento (ad esempio, $do(A=x)$), il framework propaga l'intervento attraverso il grafo causale. L'effetto del cambiamento di una variabile viene calcolato bloccando i percorsi in entrata verso tale variabile e aggiornando le predizioni dei suoi figli, rispettando così la struttura causale del sistema.
4. Interpretazione: Il framework distingue tra quattro livelli di interpretabilità: (1) associazione post-hoc (ad esempio, SHAP su modelli black-box), (2) associazione inerente (analisi diretta di IIML senza struttura causale), (3) causale post-hoc e (4) interpretazione causale inerente. Il livello più alto fornisce trasparenza riguardo alla struttura del sistema, alle relazioni causali e alle forme funzionali che connettono le variabili.

Contributi Chiave

• Framework di Integrazione: Il documento propone un nuovo framework che combina SCM con IIML (GAM e SR) per supportare il processo decisionale che richiede sia la predizione che l'analisi causale.
• Domande di Ricerca: Affronta come la causalità possa essere combinata con l'IIML (RQ1) e come questi modelli si comportano nella predizione rispetto all'analisi what-if (RQ2).
• Valutazione Empirica: Lo studio valuta l'approccio proposto rispetto a modelli non causali black-box utilizzando due esperimenti:
  1. Un dataset di produzione sintetico con un noto processo generativo dei dati per dimostrare i livelli di interpretabilità e l'impatto delle correlazioni spurie.
  2. Una valutazione benchmark utilizzando quattro dataset di Geffner et al. (2022) per valutare le prestazioni attraverso diverse strutture causali.

Risultati

• Performance di Predizione: In entrambi gli esperimenti, i modelli causali IIML hanno ottenuto prestazioni predittive competitive sui set di test standard, spesso eguagliando o superando leggermente i corrispettivi black-box. I risultati suggeriscono che per i dati tabulari, un'alta accuratezza non richiede il sacrificio dell'interpretabilità.
• Analisi What-if: I modelli causali hanno superato significativamente i modelli ML non causali negli scenari di intervento. Nell'esperimento sintetico, i modelli non causali non sono riusciti a gestire correttamente l'intervento perché si basavano su correlazioni spurie (ad esempio, attribuendo importanza al "personale" che era correlato al target ma non causalmente legato ad esso). Al contrario, i modelli causali hanno propagato correttamente l'intervento attraverso il grafo, producendo risultati robusti.
• Interpretabilità: L'approccio causale IIML ha fornito una trasparenza superiore.
  • Regressione Simbolica: Ha recuperato con successo espressioni matematiche che corrispondono strettamente al vero processo generativo dei dati quando limitata ai genitori causali.
  • GAM: Ha prodotto grafici di dipendenza parziale più semplici e accurati che riflettevano le vere relazioni funzionali, evitando le forme complesse e fuorvianti trovate nei modelli non causali che tentavano di adattarsi alle correlazioni spurie.

Significatività e Rivendicazioni
Il documento sostiene che l'integrazione della struttura causale con modelli intrinsecamente interpretabili offre una via per decisioni "informate, trasparenti e causalmente fondate". Gli autori sostengono che questo approccio:

• Abilita l'Analisi What-if: Permette ai modelli di andare oltre il primo gradino della "Scala della Causalità" (associazione) per raggiungere il secondo gradino (intervento), essenziale per il decision-making aziendale.
• Migliora la Trasparenza: Modellando esplicitamente le relazioni causali e le forme funzionali, l'approccio evita la natura "black box" dei modelli complessi e il potenziale carattere fuorviante delle spiegazioni post-hoc su dati correlazionali.
• Colma le Lacune tra i Campi: Contribuisce al Causal Machine Learning (CML) incorporando l'IIML per chiarire le forme funzionali, e alla ricerca sull'Interpretabilità integrando la conoscenza causale nella selezione delle variabili e nella struttura del modello.

Limitazioni e Direzioni Future
Gli autori notano con modestia alcune limitazioni:

• Lo studio si basa su grafi causali di verità fondamentale (ground-truth); non testa empiricamente la robustezza del framework quando i grafi sono errati o inferiti in modo scorretto.
• La valutazione si concentra sui primi due gradini della Scala della Causalità (vedere e fare), non sul ragionamento controfattuale (il terzo gradino).
• L'interpretabilità è stata dimostrata concettualmente; non è stato condotto alcuno studio qualitativo sugli utenti per valutare come gli stakeholder percepiscano o si fidino effettivamente di questi modelli.
• Il framework è attualmente limitato ai dati trasversali, lasciando la ricerca sulle applicazioni di serie temporali per il futuro.
• L'addestramento di più modelli (uno per nodo) può essere computazionalmente costoso, in particolare per la Regressione Simbolica (SR).