CARTGen-IR: Synthetic Tabular Data Generation for Imbalanced Regression

Il paper presenta CARTGen-IR, un metodo sintetico basato su alberi decisionali per generare dati tabulari in scenari di regressione sbilanciata, che risolve le limitazioni delle tecniche esistenti evitando soglie arbitrarie e offrendo un'alternativa scalabile, trasparente ed efficiente rispetto ai modelli generativi complessi.

L'essenziale

🌧️ Il Problema: Prevedere l'Imprevisto (senza farsi ingannare)

Immagina di essere un meteorologo che deve prevedere le tempeste.
La maggior parte dei giorni è soleggiata o nuvolosa (questi sono i dati "normali"). Ma il tuo lavoro più importante è prevedere i tornado o gli uragani (questi sono i dati "rari" o "sbilanciati").

Il problema è che, se addestri un computer (un modello di intelligenza artificiale) guardando solo 100 anni di dati, vedrà 99 anni di bel tempo e 1 anno di tempeste. Il computer imparerà benissimo a dire "domani sarà sereno", ma quando arriverà il momento di prevedere la tempesta, dirà: "Eh, non ho mai visto nulla del genere, meglio dire che pioverà un po'...".

Nel mondo dei dati, questo si chiama Regressione Sbilanciata. È difficile insegnare a un computer a prestare attenzione ai casi rari ma importanti (come un prezzo azionario che crolla, una malattia rara o un incendio forestale) senza confonderlo con i casi comuni.

🛠️ La Soluzione: CARTGen-IR (Il "Chef" che cucina nuovi ingredienti)

Gli scienziati António e Rita hanno creato un metodo chiamato CARTGen-IR. Per capire come funziona, usiamo un'analogia culinaria.

1. Il vecchio metodo: Tagliare la torta a fette (Thresholding)

Molti metodi vecchi per risolvere questo problema facevano così: prendevano la "torta" dei dati (che è continua, come un numero che può essere 4,9 o 5,1) e dicevano: "Tutto ciò che è sopra 5 è una tempesta, tutto ciò che è sotto è bel tempo".
Il problema? È come dire che un'arancia che pesa 100,1 grammi è "matura" e una da 99,9 grammi è "verde". È un confine artificiale e stupido che non rispetta la realtà.

2. Il metodo nuovo: CARTGen-IR (L'Albero delle Decisioni)

CARTGen-IR non usa confini rigidi. Immagina di avere un albero gigante (un albero decisionale) che analizza i dati.
Invece di dire "sopra 5 è importante", l'albero guarda le caratteristiche: "Se c'è vento forte E umidità alta E pressione bassa, allora c'è una tempesta".

Ecco i tre trucchi magici di questo metodo:

• Trucco 1: Il "Cacciatore di Rarità" (Relevance & Density)
  Prima di tutto, il sistema guarda i dati e dice: "Ehi, queste tempeste sono rare! Dobbiamo farle studiare di più". Invece di copiarle semplicemente (come farebbe un fotocopiatore), decide di pesarle di più. È come se, mentre studi, ti concentrassi di più sui capitoli difficili del libro invece di rileggere quelli che già sai a memoria.

• Trucco 2: La Fabbrica di Copie Realistiche (Generazione Sintetica)
  Qui sta la genialità. Una volta che ha individuato le tempeste rare, non si limita a copiarle. Usa l'albero decisionale per crearne di nuove.
  Immagina di voler creare un nuovo "giocatore di calcio" per un team che ha pochi attaccanti veloci. Invece di copiare l'unico attaccante veloce che hai, guardi le sue caratteristiche (velocità, altezza, stile di corsa) e ne crei un altro che è simile ma non identico.
  CARTGen-IR fa lo stesso: crea nuovi dati sintetici che sembrano veri, rispettando le regole complesse del mondo reale, ma concentrandosi proprio sulle zone dove i dati scarseggiano.

• Trucco 3: Trasparenza (Niente Scatole Nere)
  Molti metodi moderni usano "Intelligenze Artificiali profonde" (come le reti neurali) che sono come scatole nere: ti danno il risultato, ma non sai come ci sono arrivati.
  CARTGen-IR, invece, è come una ricetta scritta a mano. Puoi vedere esattamente quali regole ha usato per creare i nuovi dati. È trasparente, veloce e non richiede supercomputer costosi.

🏆 I Risultati: Ha funzionato?

Gli autori hanno fatto una gara con 15 diversi "campioni" (altri metodi famosi) su 15 problemi diversi (dalle foreste in fiamme ai consumi di carburante).

1. Velocità: CARTGen-IR è stato velocissimo. Mentre i metodi basati su Intelligenza Artificiale profonda (come le GAN) impiegavano ore o giorni, CARTGen-IR ha finito in pochi secondi. È come confrontare un'auto di Formula 1 con un razzo spaziale: il razzo è potente, ma per andare al supermercato (o risolvere un problema pratico) l'auto è molto più efficiente.
2. Precisione: Ha battuto o pareggiato quasi tutti gli altri, specialmente quando si trattava di prevedere i valori "estremi" (le tempeste).
3. Equilibrio: Non ha rovinato la previsione dei giorni di bel tempo per concentrarsi solo sulle tempeste. Ha imparato a gestire tutto l'insieme.

💡 In Sintesi

Immagina di dover insegnare a un bambino a riconoscere i leoni in un libro di animali, ma nel libro ci sono 1000 foto di gatti e solo 5 di leoni.

• Il metodo vecchio direbbe: "Se l'animale ha la criniera, è un leone. Altrimenti no". (Troppo rigido).
• Il metodo CARTGen-IR direbbe: "Guarda, ci sono pochissimi leoni! Creiamo delle nuove foto di leoni basandoci su quelli veri, mescolando le loro caratteristiche in modo intelligente, così il bambino impara a riconoscerli senza confondersi con i gatti".

Il messaggio finale: Non serve sempre la tecnologia più complessa e costosa. A volte, un approccio intelligente, trasparente e basato su regole semplici (come gli alberi decisionali) è la chiave per risolvere i problemi più difficili, specialmente quando i dati sono sbilanciati.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper CARTGen-IR: Synthetic Tabular Data Generation for Imbalanced Regression, tradotta e strutturata in italiano.

1. Il Problema: Regressione con Dati Sbilanciati

La ricerca affronta la sfida persistente della regressione su dati sbilanciati, dove i valori target rilevanti (spesso valori estremi o rari) sono sottorappresentati nel dataset di addestramento.

• Limitazioni delle soluzioni attuali: Molti metodi esistenti adattano tecniche orientate alla classificazione, introducendo soglie arbitrarie per discretizzare la variabile target continua. Questo approccio trasforma il problema in una "scatola nera", crea divisioni artificiali nel dominio (es. considerare 5.1 importante e 4.9 irrilevante) e ignora la natura continua della variabile.
• Limitazioni dei modelli generativi profondi: I modelli come GAN, VAE e diffusion models offrono flessibilità ma sono computazionalmente costosi, difficili da interpretare e spesso privi di trasparenza.
• Obiettivo: Sviluppare un metodo di campionamento sintetico che gestisca le regioni target sparse senza soglie arbitrarie, mantenendo trasparenza, interpretabilità ed efficienza computazionale.

2. Metodologia: CARTGen-IR

Gli autori propongono CARTGen-IR, un metodo di generazione di dati sintetici basato sugli Alberi di Classificazione e Regressione (CART), specificamente adattato per la regressione sbilanciata su dati tabulari.

Il processo si articola in tre fasi principali:

1. Ponderazione e Resampling Basato sulla Rarità:

   • I valori target vengono ponderati in base alla loro rarità o rilevanza.
   • Vengono utilizzate due strategie per stimare la rarità: DenseWeight (basata sulla densità stimata tramite Kernel Density Estimation) o una funzione di rilevanza (basata su punti di controllo derivati statisticamente).
   • Un esponente di rarità ($\alpha$) e un parametro di proporzione di campionamento ($\eta$) controllano il processo di resampling con sostituzione, aumentando la probabilità di selezione degli istanze rare.
   • Un meccanismo di rumore (jitter) può essere applicato alle feature numeriche per ridurre l'overfitting sui duplicati.

2. Generazione Sequenziale Guidata dagli Alberi:

   • A differenza di metodi come SMOTE che interpolano linearmente, CARTGen-IR utilizza la struttura ad albero per generare nuovi campioni.
   • Vengono addestrati modelli CART sequenziali: per ogni attributo $X_i$, viene costruito un albero che usa gli attributi precedenti ($X_1, \dots, X_{i-1}$) come predittori.
   • Per generare un nuovo campione sintetico, il sistema percorre gli alberi in sequenza:
     • Per la prima variabile, si sceglie un valore casualmente dall'insieme originale.
     • Per le variabili successive, si individua il nodo foglia appropriato basandosi sui valori già generati per le variabili precedenti.
     • Il valore sintetico viene estratto dalla distribuzione dei valori osservati in quel nodo foglia.

3. Gestione delle Variabili Continue e Categoricali:

   • Per le variabili continue, invece di campionare direttamente dai valori discreti della foglia, il metodo adatta un stimatore di densità kernel gaussiano ai valori presenti in quel nodo. Questo permette di generare valori plausibili che rispettano il profilo statistico (inclusi gli "outlier" o code spesse) senza essere limitati ai punti esatti del training set.
   • Il metodo gestisce nativamente feature numeriche, categoriche e valori mancanti.

3. Contributi Chiave

• Assenza di Soglie Arbitrarie: Elimina la necessità di discretizzare la variabile target continua, preservando la natura del problema di regressione.
• Interpretabilità e Trasparenza: Essendo basato su alberi decisionali, il processo di generazione è "white-box" e auditabile, a differenza dei modelli deep learning.
• Gestione Eterogenea: Supporta nativamente feature miste (numeriche/categoriche) e dati mancanti senza necessità di imputazione esplicita.
• Efficienza Computazionale: Offre una velocità di esecuzione significativamente superiore rispetto ai modelli generativi profondi.

4. Risultati Sperimentali

L'approccio è stato valutato su 15 dataset di benchmark per la previsione di valori estremi, confrontato con 56 configurazioni di strategie di stato dell'arte (inclusi SMOTER, SMOGN, WSMOTER, G-SMOTER, KNNOR-REG, e modelli Deep Learning come TVAE, CTGAN, TabDDPM).

• Performance Predittiva:

  • CARTGen-IR si è dimostrato competitivo con i metodi migliori (in particolare WSMOTER e KNNOR-REG).
  • Nei test statistici (Wilcoxon e Bayesian Signed-Rank), CARTGen-IR ha mostrato un rapporto vittorie/sconfitte superiore rispetto agli altri metodi, indicando che i suoi successi sono più significativi.
  • Ha ottenuto prestazioni eccellenti su metriche specifiche per la regressione sbilanciata come SERA (Squared Error–Relevance Area) e RW-RMSE (Relevance Weighted RMSE), dimostrando di migliorare la previsione sui valori rari senza degradare eccessivamente le prestazioni sui valori comuni.
  • Ha superato WSMOTER con una probabilità di superiorità del 99% quando accoppiato con Random Forest.

• Efficienza e Tempo di Esecuzione:

  • CARTGen-IR è uno dei metodi più veloci tra quelli che generano dati sintetici.
  • È significativamente più veloce dei metodi basati su Deep Learning (che sono in media 131 volte più lenti).
  • Solo KNNOR-REG è più veloce, ma con prestazioni inferiori sui valori target rari.

5. Significato e Conclusioni

Il lavoro dimostra che l'utilizzo di alberi decisionali (CART) per la generazione di dati sintetici è una strategia fattibile, scalabile e interpretabile per affrontare la regressione sbilanciata.

• Impatto Pratico: Offre un'alternativa robusta ai metodi basati su soglie (che distorcono il dominio) e ai modelli deep learning (che sono costosi e opachi).
• Futuro: I risultati suggeriscono che questo approccio può essere esteso per esplorare interazioni complesse tra feature e integrare apprendimento sensibile ai costi specifico per le metriche di regressione sbilanciata.

In sintesi, CARTGen-IR rappresenta un avanzamento significativo nel campo del data-level learning per la regressione, bilanciando efficacemente accuratezza predittiva, velocità di esecuzione e trasparenza del modello.