Genetic Generalized Additive Models

Titolo: Modelli Additivi Generalizzati Genetici (Genetic Generalized Additive Models)

Autori: Kaaustaaub Shankar e Kelly Cohen
Affiliazione: College of Engineering and Applied Science, University of Cincinnati, USA.

---

1. Il Problema

Con l'adozione crescente dei sistemi di apprendimento automatico (Machine Learning) in settori ad alto rischio (dalla valutazione immobiliare alle armi autonome), emerge l'urgente necessità di modelli che non siano solo accurati, ma intrinsecamente interpretabili.

• Limiti degli approcci attuali: Sebbene i modelli Generalized Additive Models (GAM) offrano un buon equilibrio tra accuratezza e interpretabilità, la loro configurazione manuale è complessa. La scelta della struttura (ad esempio, se una funzione è lineare o basata su spline) e degli iperparametri (numero di nodi, regolarizzazione) determina le capacità di approssimazione e l'interpretabilità.
• Sfida principale: Trovare una struttura che minimizzi l'errore di previsione mantenendo al contempo la semplicità, la sparsità e la comprensibilità umana. I metodi post-hoc per spiegare modelli complessi sono spesso inaffidabili; è preferibile un modello "nativo" interpretabile.
• Obiettivo: Automatizzare la ricerca della struttura ottimale dei GAM per bilanciare accuratezza predittiva e complessità, riducendo il carico cognitivo e migliorando l'auditabilità del modello.

2. Metodologia

Gli autori propongono l'uso dell'algoritmo genetico multi-obiettivo NSGA-II (Non-dominated Sorting Genetic Algorithm II) per ottimizzare automaticamente gli iperparametri strutturali dei GAM.

Codifica e Rappresentazione

Ogni modello candidato è codificato come un cromosoma contenente i geni per ogni caratteristica:

• Tipo di termine: Nessuno, Lineare o Spline.
• Parametri Spline: Numero di funzioni di base (nodi) e parametro di regolarizzazione ($\lambda$).
• Scalatura: Se la feature deve essere scalata.
• Inizializzazione: Utilizzo di una "Smart Initialization" che campiona i tipi di componenti con probabilità specifiche (20% nessuno, 30% lineare, 50% spline) per garantire diversità nella popolazione iniziale.

Ottimizzazione Multi-Obiettivo

L'algoritmo NSGA-II evolve una popolazione di 80 individui per 50 generazioni, minimizzando simultaneamente due obiettivi:

1. Errore di Previsione (RMSE): Misura l'accuratezza del modello.
2. Penalità di Complessità ($C$): Un punteggio normalizzato in $[0, 1]$ definito come combinazione pesata di:
   • Incertezza ($U$): La larghezza media degli intervalli di confidenza al 95% delle terne attive (normalizzata rispetto all'intervallo del target).
   • Sparsità ($S$): La proporzione di termini attivi rispetto al numero totale di feature.
   • Formula: $C = 0.70 \cdot U + 0.30 \cdot S$.

Dataset e Baseline

• Dataset: California Housing (dati del censimento USA del 1990), con 8 feature e un target continuo (valore mediano delle case).
• Modelli di Confronto (Baseline):
  • LinearGAM: Tutte le feature con funzioni spline (fino a 25 spline ciascuna).
  • Decision Tree: Senza limite di profondità (usato come limite superiore ad alta varianza).

3. Risultati Chiave

Gli esperimenti sono stati eseguiti su diversi semi casuali (seed). I risultati mostrano che NSGA-II scopre modelli che superano o eguagliano le baseline con complessità significativamente inferiore.

• Performance Predittiva:
  • Il modello GAM ottimizzato per il minimo RMSE supera costantemente sia l'albero decisionale che il LinearGAM di base in termini di accuratezza.
  • Il modello "a ginocchio" (knee solution), che rappresenta il miglior compromesso globale, mantiene un'accuratezza comparabile o superiore al LinearGAM, ma con una complessità drasticamente ridotta.
• Riduzione della Complessità:
  • I modelli selezionati per la minima penalità mostrano un punteggio di complessità molto basso (es. 0.0495 vs 0.4096 della baseline nel seed 42).
  • NSGA-II tende a disattivare feature irrilevanti (sparsità) o a semplificare le funzioni complesse in termini lineari, eliminando il "rumore" catturato dalle spline eccessivamente flessibili delle baseline.
• Interpretabilità e Intervalli di Confidenza:
  • I modelli genetici producono intervalli di confidenza più informativi. In regioni con dati scarsi o di estrazione, gli intervalli si allargano ("flaring"), segnalando onestamente l'incertezza. Questo è preferibile rispetto agli intervalli stretti e ingannevoli dei modelli baseline che potrebbero sovrastimare la precisione locale.
  • La visualizzazione delle contribuzioni delle feature (es. House Age) mostra che il modello genetico può scegliere di rendere una feature "inattiva" o lineare, rendendo la spiegazione più chiara rispetto alle curve spline complesse e "wiggly" dei modelli standard.

4. Contributi Principali

1. Framework di Ottimizzazione Automatica: Introduzione di un approccio basato su NSGA-II per la ricerca automatica della struttura dei GAM, risolvendo il problema della configurazione manuale degli iperparametri.
2. Bilanciamento Multi-Obiettivo: Dimostrazione che è possibile ottenere modelli ad alte prestazioni che sono simultaneamente sparsi, lisci e con incertezze ben calibrate, senza sacrificare l'accuratezza.
3. Interpretabilità Intrinseca: Il metodo non si limita a ridurre l'errore, ma genera modelli la cui struttura stessa è una spiegazione più onesta e affidabile per l'utente umano, specialmente in contesti ad alto rischio.
4. Frontiere di Pareto: Fornitura di un ventaglio di soluzioni (Frontiera di Pareto) invece di un singolo modello "migliore", permettendo agli utenti di scegliere il compromesso ottimale in base a vincoli normativi o operativi specifici.

5. Significato e Implicazioni

Questo lavoro risponde alla crescente domanda di AI affidabile e trasparente (Trustworthy AI), supportata anche da normative come l'EU AI Act.

• Sicurezza Decisionale: I modelli prodotti sono più sicuri per decisioni critiche perché evitano la "falsa precisione" e forniscono stime di incertezza oneste.
• Generalizzabilità: Sebbene testato sui GAM, il framework è presentato come un approccio generale applicabile ad altri sistemi interpretabili, come i sistemi fuzzy (discusso nel lavoro futuro).
• Efficienza: Dimostra che l'ottimizzazione evolutiva può trovare soluzioni strutturali superiori rispetto alla configurazione manuale o agli approcci greedy, rendendo i modelli più facili da auditare e spiegare.

In sintesi, il paper propone un cambio di paradigma: invece di adattare modelli complessi e poi spiegarli, si dovrebbero progettare modelli la cui struttura è ottimizzata per essere sia potente che intrinsecamente comprensibile.