A Visualization for Comparative Analysis of Regression Models

Questo articolo introduce un nuovo metodo di visualizzazione per l'analisi comparativa dei modelli di regressione che, rappresentando i residui in uno spazio bidimensionale, utilizzando la distanza di Mahalanobis e una mappa di colori per le percentili, supera i limiti delle metriche aggregate tradizionali offrendo una visione più dettagliata e completa delle prestazioni e delle distribuzioni degli errori.

L'essenziale

Immagina di essere un allenatore di calcio che deve scegliere il miglior portiere per la sua squadra. Hai due candidati, il Portiere A e il Portiere B.

Per decidere, guardi il loro numero di gol subiti (la media).

• Il Portiere A ha subito 5 gol in tutta la stagione.
• Il Portiere B ne ha subiti 6.

Secondo i numeri, il Portiere A vince. Ma c'è un problema: i numeri non raccontano tutta la storia.

• Forse il Portiere A ha fatto 5 parate perfette, ma l'ultima volta ha sbagliato un rigore che ha fatto perdere la partita (un errore "catastrofico").
• Forse il Portiere B ha sbagliato spesso, ma sempre di poco, facendo parate "brutte ma non disastrose".

Se guardi solo la media (i gol totali), perdi queste informazioni cruciali. È esattamente il problema che affrontano gli autori di questo articolo quando parlano di modelli di regressione (quei programmi di intelligenza artificiale che cercano di prevedere numeri, come il prezzo di una casa o la temperatura di domani).

Ecco come spiegano il loro metodo, usando metafore semplici:

1. Il Problema: I Numeri Ingannano

Di solito, per vedere se un modello è bravo, usiamo metriche come la MAE (errore medio) o la RMSE. Sono come il "punteggio medio" di uno studente.

• Se uno studente prende sempre 6, la media è 6.
• Se un altro prende un 10 e uno 2, la media è sempre 6.

Ma nel mondo reale, un errore di 10 (un 10) è molto diverso da un errore di 2 (un 2). A volte, un singolo errore enorme può essere disastroso (pensate a un'auto a guida autonoma che calcola male la distanza e sbatte contro un muro). I numeri medi nascondono questi "mostri" nascosti.

2. La Soluzione: Una Nuova "Lente" Visiva

Gli autori propongono di smettere di guardare solo i numeri e iniziare a guardare le mappe degli errori. Immaginate di non guardare più il punteggio finale, ma di guardare un video di tutte le partite giocate.

Il loro metodo funziona in due passaggi:

Passo 1: Il Filtro (La "Sagoma" dell'errore)

Prima di tutto, usano dei grafici semplici (chiamati boxplot) per scartare i portieri pessimi. È come guardare la distribuzione delle parate:

• Un modello "bravo" ha errori piccoli e raggruppati tutti insieme (come un gruppo di amici stretti).
• Un modello "strano" ha errori sparpagliati o con valori estremi (come un gruppo di amici che si sono dispersi in tutta la città).
  Questo aiuta a eliminare subito chi è chiaramente peggio degli altri.

Passo 2: La "Battaglia a Due" (Lo Spazio 2D degli Errori)

Qui arriva la parte creativa. Prendiamo due modelli che sembrano simili (il Portiere A e il Portiere B) e li mettiamo a confronto in una mappa speciale.

• Immaginate un campo da gioco con due assi: l'asse orizzontale è l'errore del Modello A, quello verticale è l'errore del Modello B.
• Ogni punto sulla mappa rappresenta un singolo giorno di previsione.
• Se un punto è vicino al centro, entrambi hanno fatto bene.
• Se un punto è lontano, uno dei due (o entrambi) ha sbagliato.

Ma come si legge questa mappa?
Invece di usare linee noiose, usano dei colori caldi e freddi (come una mappa termica):

• Colori caldi (Rosso/Arancione): Indicano dove si trovano la maggior parte dei punti. È la "zona sicura", dove i modelli si comportano normalmente.
• Colori freddi (Blu): Indicano le zone dove i punti sono rari, spesso dove ci sono errori enormi (i "mostri" di cui parlavamo prima).

Inoltre, dividono la mappa in due zone:

1. Zona Arancione: Qui il Modello A è migliore del B.
2. Zona Verde: Qui il Modello B è migliore dell'A.

3. La Magia della "Distanza Intelligente"

C'è un ultimo trucco. Quando misuriamo quanto un punto è lontano dal centro, non usiamo un righello normale (distanza euclidea), ma una distanza "intelligente" (distanza di Mahalanobis).

Facciamo un'analogia:
Immaginate di lanciare palline su un tappeto.

• Se il tappeto è rotondo, le palline si distribuiscono in cerchio. Un righello normale funziona bene.
• Ma se il tappeto è allungato (come un uovo o un'ovale), le palline si allineano lungo l'ovale. Se usate un righello normale, pensate che le palline siano tutte ugualmente lontane dal centro. Invece, la "distanza intelligente" capisce che il tappeto è schiacciato e misura la distanza seguendo la forma dell'uovo.

Questo è fondamentale perché gli errori dei modelli spesso non sono casuali: tendono a seguire schemi specifici. Questa "distanza intelligente" ci aiuta a vedere subito se un modello sta facendo errori "strani" o "pericolosi" che un righello normale non vedrebbe.

Perché è importante?

Nel mondo reale, non tutti gli errori sono uguali.

• Se prevedi il meteo, sbagliare di 2 gradi è fastidioso, ma sbagliare di 20 gradi è inutile.
• Se prevedi il guasto di un macchinario industriale, dire che si romperà tra 10 giorni quando in realtà si rompe tra 1 giorno (sottostima) è grave, ma dire che si romperà tra 100 giorni quando si rompe tra 10 (sovrastima) può essere catastrofico perché non fai la manutenzione.

I numeri medi (MAE/RMSE) ti dicono solo "quanti errori hai fatto in totale". Il metodo grafico proposto dagli autori ti dice che tipo di errori hai fatto, dove li hai fatti e quanto sono pericolosi.

In sintesi:
Invece di fidarsi ciecamente di un numero medio che nasconde i dettagli, questo metodo ti dà una mappa visiva per vedere esattamente come si comportano i modelli, aiutandoti a scegliere non solo il modello "più preciso in media", ma quello più sicuro e affidabile per il tuo scopo specifico.

Sommario tecnico

Titolo: Una metodologia per il confronto grafico dei modelli di regressione

1. Il Problema

La valutazione delle prestazioni dei modelli di regressione si basa tradizionalmente su metriche numeriche aggregate come MAE (Errore Assoluto Medio), RMSE (Radice dell'Errore Quadratico Medio) e $R^2$. Sebbene queste metriche siano utili per distinguere rapidamente modelli molto scarsi da quelli molto buoni, presentano limiti significativi quando si confrontano modelli competitivi con prestazioni simili:

• Eccessiva aggregazione: Le metriche scalarie nascondono la distribuzione, la direzione (sottostima vs sovrastima) e la natura degli errori.
• Incapacità di distinguere pattern diversi: Due modelli possono avere lo stesso MAE o RMSE ma comportarsi in modo opposto (es. uno sottostima sistematicamente, l'altro sovrastima) o avere distribuzioni di errore diverse (es. errori moderati frequenti vs errori estremi rari).
• Limiti delle visualizzazioni standard: I classici scatter plot (valori previsti vs reali) o i boxplot non offrono un confronto diretto e strutturato tra le distribuzioni di errore di due modelli specifici, specialmente su dataset grandi dove il sovrapposizione dei punti (overplotting) rende difficile l'interpretazione.

2. Metodologia Proposta

Gli autori propongono un approccio di visualizzazione in due fasi per analizzare e confrontare i modelli di regressione, superando i limiti delle metriche aggregate.

Fase 1: Confronto 1D (Selezione dei modelli)

• Utilizzo di boxplot per visualizzare la distribuzione degli errori di tutti i modelli su un dataset. Questo permette di identificare rapidamente i modelli con prestazioni stabili (scatole strette) e di rilevare la presenza di outlier.
• Utilizzo di scatter plot (valori previsti vs reali) colorati in base all'entità dell'errore (scala termica) per analizzare il comportamento dei modelli su diverse fasce di valori target.

Fase 2: Confronto 2D (Analisi dettagliata tra due modelli)
Per confrontare due modelli specifici (es. $M_1$ e $M_2$), viene introdotto lo "Spazio degli Errori 2D" (2D Error Space).

• Assi: L'asse X rappresenta l'errore del primo modello ($e_1 = \hat{y}_1 - y$) e l'asse Y l'errore del secondo modello ($e_2 = \hat{y}_2 - y$).
• Zone di confronto: Le diagonali $y=x$ (errori assoluti uguali) e $y=-x$ dividono il piano in zone che indicano quale modello è migliore per un dato punto (sottostima o sovrastima).
• Visualizzazione della densità: Per evitare l'overplotting e visualizzare la distribuzione, non si usano semplici punti, ma una mappa di colori (colormap) basata sulla prossimità alla mediana della distribuzione degli errori.
  • I colori caldi (es. rosso/arancio) indicano punti vicini alla mediana (errore tipico).
  • I colori freddi (es. blu) indicano punti lontani (outlier o errori estremi).
  • Un confine bianco delimita la regione contenente il 50% dei punti (la "corona" mediana).
• Distanza di Mahalanobis: Invece della distanza euclidea, viene utilizzata la distanza di Mahalanobis per calcolare la prossimità alla mediana. Questo è cruciale perché:
  • Tiene conto delle correlazioni tra gli errori dei due modelli.
  • Gestisce le differenze di scala tra le variabili.
  • Rileva meglio gli outlier rispetto alla distanza euclidea, che tende a mostrare distribuzioni circolari artificiali quando le variabili sono correlate.

3. Contributi Chiave

1. Nuova metodologia visiva: Introduzione di un framework a due step (1D per la selezione, 2D per il confronto diretto) che integra metriche e visualizzazione.
2. Spazio degli Errori 2D: Un nuovo spazio di rappresentazione che permette di vedere simultaneamente gli errori di due modelli, la loro correlazione e la direzione degli errori (sottostima/sovrastima).
3. Mappatura della densità basata sulla mediana: Un metodo di colorazione che evidenzia la struttura della distribuzione e gli outlier in modo più intuitivo rispetto alle stime di densità di Kernel (KDE) o ai plot esagonali (hexbin).
4. Integrazione della distanza di Mahalanobis: L'uso di questa metrica geometrica nello spazio degli errori permette di interpretare correttamente le relazioni statistiche tra le distribuzioni di errore, fornendo una visione più robusta della struttura dei dati.

4. Risultati e Caso di Studio

Il metodo è stato validato su tre dataset reali, con un focus particolare sul dataset AI4I 2020 Predictive Maintenance (stima della vita utile residua - RUL).

• Scenario: Confronto tra due reti neurali identiche architetturalmente ma con diverse funzioni di perdita (loss function) per gestire costi asimmetrici (sottostimare la RUL è meno grave che sovrastimarla, che porta a guasti imprevisti).
• Risultati con metriche tradizionali: Le metriche MAE e RMSE indicavano che il Modello E1 era leggermente migliore dell'E2, ma la differenza era sottile e non spiegava il "perché".
• Risultati con la metodologia proposta: Lo Spazio degli Errori 2D ha rivelato che:
  • Gli errori dei due modelli erano fortemente correlati (nuvola allungata lungo la diagonale).
  • La distribuzione era sistematicamente spostata sopra la linea $y=x$, indicando che il Modello E2 commetteva errori aritmeticamente più grandi.
  • Il Modello E1 mostrava un comportamento "conservativo" (sottostima sistematica) per evitare i rischi di sovrastima, confermando la sua superiorità in contesti critici dove i guasti imprevisti sono pericolosi.
  • La visualizzazione ha permesso di prendere una decisione basata sulla struttura dell'errore, non solo sulla media.

5. Significato e Implicazioni

Questo lavoro è significativo perché sposta il focus dalla semplice ottimizzazione di una metrica scalare alla comprensione qualitativa e strutturale delle prestazioni del modello.

• Decisioni informate: Permette ai praticanti di scegliere modelli non solo in base alla "precisione media", ma in base alla robustezza, alla direzione degli errori e alla gestione degli outlier, fattori critici in settori come la diagnostica medica, la guida autonoma e la manutenzione industriale.
• Interpretabilità: Rende visibile ciò che le metriche aggregate nascondono, facilitando la comunicazione tra data scientist e stakeholder su quali modelli siano più adatti a specifici vincoli operativi.
• Scalabilità: L'uso della distanza di Mahalanobis e delle mappe di colore basate sulla mediana rende il metodo efficace anche su dataset di grandi dimensioni, risolvendo problemi di visualizzazione comuni.

In conclusione, gli autori propongono un toolkit visivo essenziale per l'analisi comparativa dei modelli di regressione, integrando geometria, statistica multivariata e visualizzazione per una valutazione più completa e affidabile.