Analyzing Error Sources in Global Feature Effect Estimation

Questo studio analizza sistematicamente le fonti di errore nella stima degli effetti globali delle variabili (PD e ALE), fornendo una decomposizione teorica della varianza e del bias e dimostrando empiricamente che l'uso dei dati di addestramento, nonostante i potenziali pregiudizi teorici, è spesso preferibile grazie alla maggiore dimensione del campione, mentre la validazione incrociata risulta efficace per ridurre la varianza del modello.

L'essenziale

🕵️‍♂️ Il Detective e la "Scatola Nera"

Immagina di avere un oracolo magico (un modello di Intelligenza Artificiale) che fa previsioni incredibili, ma è una "scatola nera": non sai come pensa. Per capire le sue decisioni, gli esperti usano delle mappe chiamate PD (Partial Dependence) e ALE. Queste mappe ci dicono: "Se cambio questo singolo fattore (es. l'età), quanto cambia la previsione?".

Il problema? Queste mappe non sono foto perfette della realtà. Sono stime, come una foto scattata con una macchina fotografica un po' mossa. A volte l'immagine è sfocata, a volte è distorta.

Questo studio si chiede: "Da dove viene la sfocatura?" e "Qual è il modo migliore per scattare la foto?".

---

🔍 Le Due Fonti di "Rumore" (Errori)

Gli autori hanno scoperto che l'errore nella mappa nasce da due cose principali, che hanno paragonato a due tipi di problemi:

1. Il "Modello" (L'Artista): È il modello AI stesso. Se l'artista è un principiante che ha studiato troppo poco (sotto-addestrato) o che ha memorizzato a memoria il libro di testo senza capire (sovra-addestrato/overfitting), la sua interpretazione sarà sbagliata. Questo è l'errore di modello.
2. La "Fotografia" (Il Campione): Anche se l'artista è bravo, se scatta la foto con pochi pixel o in condizioni di luce scarsa (pochi dati), l'immagine sarà granulosa. Questo è l'errore di stima.

Lo studio ha diviso l'errore totale in quattro pezzi, come se fosse una torta:

• Bias del Modello: L'artista sbaglia sistematicamente (es. disegna sempre le case più grandi di quanto siano).
• Bias di Stima: La foto è distorta perché abbiamo usato i dati sbagliati per scattarla.
• Varianza del Modello: Se chiedi allo stesso artista di disegnare la stessa casa 10 volte, ne disegna 10 diverse? (Soprattutto se è un modello "nervoso" che impara troppo dai dettagli).
• Varianza di Stima: Se scatti la stessa foto 10 volte con lo stesso modello, ottieni 10 immagini leggermente diverse a causa del "rumore" dei dati?

---

🏫 La Grande Domanda: Usiamo i Dati di "Studio" o di "Esame"?

Qui arriva il cuore pratico della ricerca. Quando vuoi spiegare il modello, quale dati usi per fare la mappa?

• Opzione A: I dati di Addestramento (La classe di studio). Sono tutti i dati che il modello ha già visto. Sono tantissimi (es. 10.000 esempi), ma il modello li ha "imparati a memoria".
• Opzione B: I dati di Validazione (L'esame). Sono dati nuovi che il modello non ha mai visto. Sono pochi (es. 2.000 esempi), ma sono "puri".

Il mito da sfatare:
Molti pensano: "Non posso usare i dati di studio! Il modello li ha imparati a memoria, quindi la mappa sarà falsa e ingannevole!".

La scoperta dello studio:
Gli autori hanno fatto migliaia di simulazioni e hanno scoperto che questo timore è esagerato!

• Anche se il modello ha "imparato a memoria" i dati di studio, l'errore che questo introduce nella mappa è trascurabile.
• Il vero vantaggio dei dati di studio è che sono tantissimi. Avere più dati significa una foto molto più nitida (meno "granulosità").
• Usare i dati di esame (che sono pochi) spesso rende la mappa più "rumorosa" e instabile, anche se teoricamente più "pura".

L'analogia del Chef:
Immagina di voler spiegare come un Chef prepara la pasta.

• Se lo guardi mentre cucina per i suoi clienti abituali (dati di studio), lo vedi fare 1000 piatti. La foto è nitida, anche se lui ha già fatto quel piatto mille volte.
• Se lo guardi mentre cucina per un cliente nuovo (dati di esame), lo vedi fare solo 200 piatti. La foto è più "pura" (non ha fatto quel piatto prima), ma è così sfocata perché hai visto così pochi piatti che non riesci a capire bene il movimento delle sue mani.
  Risultato: È meglio guardare i 1000 piatti per capire il movimento, anche se il Chef li ha già fatti.

---

🛡️ La Soluzione Magica: La "Cross-Validation" (Il Metodo del Rotating)

C'è un terzo modo, che lo studio definisce il migliore in assoluto per i modelli complessi: la Cross-Validation.

Immagina di dividere i dati in 5 gruppi.

1. Fai studiare il modello su 4 gruppi e fai la mappa con il 5°.
2. Poi cambi: fai studiare su altri 4 gruppi e fai la mappa con l'altro 5°.
3. Ripeti 5 volte e unisci tutte le mappe.

Perché funziona?

• Come se avessi 5 chef diversi che cucinano lo stesso piatto in momenti diversi.
• Se un chef sbaglia (sovra-addestramento), gli altri 4 lo correggono.
• Si riduce il "rumore" (varianza) perché si usano più dati, ma si evita l'inganno dell'avere visto tutto.

---

💡 Le Conclusioni in Pillole

1. Non aver paura dei dati di addestramento: Se vuoi capire come funziona il tuo modello AI, puoi tranquillamente usare i dati su cui si è allenato. L'errore che ne deriva è minimo rispetto al beneficio di avere più dati.
2. Più dati = Mappa più chiara: La quantità di dati è più importante della "purezza" del set di dati per queste mappe.
3. L'ALE è sensibile: Il metodo ALE (una mappa più complessa) soffre molto se hai pochi dati. Se hai pochi dati, usa la Cross-Validation.
4. La Cross-Validation è l'eroe: Se vuoi la mappa più precisa e stabile, specialmente con modelli complessi che tendono a "imparare a memoria", usa la tecnica a rotazione (Cross-Validation).

In sintesi: Non serve essere perfetti per essere chiari. A volte, guardare il modello mentre fa il suo lavoro "sporco" (sui dati di addestramento) ci dà un'immagine molto più fedele della realtà rispetto a guardarlo in una situazione di prova con pochi dati.

Sommario tecnico

1. Il Problema

Le tecniche di Explainable AI (XAI), in particolare i metodi per l'effetto globale delle feature come i Partial Dependence (PD) e gli Accumulated Local Effects (ALE), sono ampiamente utilizzate per interpretare modelli di machine learning "black-box". Tuttavia, queste visualizzazioni sono stime derivate da dati finiti e non rappresentano gli effetti reali sottostanti.

Nonostante la loro popolarità, le fonti di errore che influenzano l'affidabilità di queste stime sono poco esplorate. Una domanda pratica cruciale rimane senza risposta definitiva nella comunità: è preferibile calcolare gli effetti delle feature utilizzando i dati di addestramento (training) o i dati di validazione/holdout?

• Chi favorisce i dati di addestramento lo fa per la maggiore dimensione del campione.
• Chi favorisce i dati di holdout teme che l'uso dei dati di addestramento introduca un bias dovuto all'overfitting del modello.

Il paper mira a colmare questa lacuna fornendo un'analisi sistematica a livello di stimatore, slegando le fonti di bias e varianza.

2. Metodologia

Gli autori adottano un approccio ibrido che combina analisi teorica formale e studi di simulazione estensivi.

A. Analisi Teorica: Decomposizione dell'Errore

Il contributo teorico principale è la derivazione di una decomposizione completa dell'Errore Quadratico Medio (MSE) per gli stimatori empirici di PD e ALE. L'errore totale viene scomposto in quattro componenti distinte:

1. Bias del Modello (Model Bias): Deriva dalla capacità del modello appreso $\hat{f}$ di approssimare la funzione vera $f$.
2. Bias di Stima (Estimation Bias): Deriva dall'uso di dati finiti per stimare l'effetto (es. bias di discretizzazione per ALE, o bias introdotto se i dati di stima non sono indipendenti dal modello).
3. Varianza del Modello (Model Variance): La variabilità dell'effetto stimato dovuta alla casualità nell'addestramento del modello (diversi set di training portano a modelli diversi).
4. Varianza di Stima (Estimation Variance): La variabilità dovuta al campionamento finito dei dati utilizzati per calcolare l'integrazione Monte Carlo (per PD) o le medie locali (per ALE).

Gli autori dimostrano teoricamente come queste componenti dipendano dalla dimensione del campione ($n$), dalla presenza di interazioni tra le feature e dalla strategia di stima (training, holdout, cross-validation).

B. Studio Empirico

Per validare la teoria, gli autori conducono uno studio di simulazione su:

• Dati: Tre processi di generazione dati (DGP) di diversa complessità: Simple-Normal-Correlated (con correlazioni e interazioni), Friedman1 (non linearità complesse) e Feynman I.29.16 (equazione fisica reale).
• Modelli: Generalized Additive Models (GAM) e XGBoost, configurati sia in modo "ottimale" (OT) che con "overfitting" (OF).
• Strategie di Stima: Confronto tra l'uso di dati di Training, dati di Validazione (Holdout) e Cross-Validation (CV).
• Metriche: Calcolo di MSE, Bias e Varianza, con una scomposizione specifica della varianza totale in varianza del modello e varianza di stima.

3. Contributi Chiave

1. Prima Decomposizione MSE a Livello di Stimatore: Forniscono la prima analisi formale che separa bias e varianza sia a livello di modello che a livello di stima empirica per PD e ALE.
2. Analisi del Trade-off Training vs. Holdout: Dimostrano teoricamente e empiricamente che il bias introdotto dall'uso dei dati di training è spesso trascurabile rispetto al beneficio della maggiore dimensione del campione.
3. Sensibilità di ALE alla Dimensione del Campione: Evidenziano che la varianza di stima per ALE è particolarmente sensibile alla dimensione del campione e alla presenza di interazioni, più di quanto non lo sia per PD.
4. Vantaggio della Cross-Validation: Identificano la CV come strategia superiore per ridurre la varianza del modello, specialmente per modelli che tendono all'overfitting.

4. Risultati Principali

I risultati delle simulazioni confermano e quantificano le intuizioni teoriche:

• Bias di Training vs. Holdout: Contrariamente alla preoccupazione comune, il bias potenziale derivante dall'uso dei dati di training è empiricamente trascurabile in tutti gli scenari testati, anche per modelli che overfittano. La differenza di bias tra training e holdout è minima.
• Dominanza della Dimensione del Campione: La scelta della strategia di stima è guidata principalmente dalla dimensione del campione disponibile. Poiché i dati di training sono più numerosi, forniscono stime con varianza inferiore rispetto ai dati di holdout (che hanno un campione più piccolo).
• Comportamento di ALE: L'ALE mostra una maggiore sensibilità alla dimensione del campione rispetto al PD. Con campioni piccoli, l'ALE su dati di holdout soffre di un bias significativo (dovuto a bin vuoti o scarsa densità) e di una varianza di stima molto alta.
• Efficacia della Cross-Validation (CV): La CV si rivela la strategia più robusta. Riduce la varianza del modello (mediando su più adattamenti) e mantiene una varianza di stima bassa grazie all'uso efficace di tutto il dataset. Questo è particolarmente vantaggioso per modelli complessi o overfittati.
• Interazioni: La varianza di stima è zero per feature senza interazioni (nel caso di PD centrato) e dipende esclusivamente dalle interazioni quando queste sono presenti.

5. Significato e Implicazioni Pratiche

Il lavoro fornisce linee guida concrete per la pratica dell'interpretabilità dei modelli:

1. Sicurezza nell'uso dei Dati di Training: Gli analisti possono utilizzare i dati di training per calcolare PD e ALE senza timore di introdurre bias significativi. Il beneficio di avere più dati (minore varianza) supera di gran lunga il rischio teorico di overfitting.
2. Preferenza per la Cross-Validation: Quando la computazione lo permette, l'uso della Cross-Validation è raccomandato come metodo "sicuro" e a bassa varianza, specialmente per modelli ad alta capacità (come XGBoost o reti neurali) che potrebbero overfittare.
3. Attenzione ai Piccoli Campioni: Per dataset piccoli, l'uso di dati di holdout per ALE è sconsigliato a causa dell'alto rischio di bias e varianza. È preferibile usare tutto il dataset disponibile (training o CV).
4. Fondamento Teorico: Il paper offre una base matematica solida per comprendere le incertezze nelle visualizzazioni di XAI, aiutando a distinguere tra errori dovuti al modello sottostante e errori dovuti alla procedura di stima.

In sintesi, lo studio smonta il dogma secondo cui l'uso dei dati di training per l'interpretabilità è necessariamente "sporco" o distorto, dimostrando che, in termini di errore quadratico medio, è spesso la scelta migliore o, al massimo, paragonabile alla CV, mentre l'uso di dati di holdout su piccoli campioni è generalmente svantaggioso.