Sintesi Tecnica: Regressione Ibrida per Dati Sbilanciati attraverso il Bilanciamento Unificato a Livello di Dati e di Algoritmo

Definizione del Problema

L'apprendimento sbilanciato è una sfida critica nel machine learning in cui i valori target sottorappresentati portano a modelli distorti che performano scarsamente su fenomeni rari ma ad alto impatto. Sebbene ampiamente studiata nei compiti di classificazione con distribuzioni di classe sbilanciate, la regressione sbilanciata — caratterizzata da densità non uniformi negli spazi target continui — rimane ampiamente inesplorata.

Gli approcci esistenti nella regressione sbilanciata rientrano tipicamente in due categorie, ciascuna con distinte limitazioni:

1. Metodi a livello di dati: Questi sintetizzano campioni (ad esempio, tramite oversampling) per arricchire le regioni sparse. Sebbene intuitivi e indipendenti dal modello, rischiano di introdurre rumore sintetico o overfitting, in particolare in distribuzioni complesse.
2. Metodi a livello di algoritmo: Questi regolano le funzioni di perdita per dare priorità alle rare fasce di target senza modificare i dati. Sebbene basati su principi rigorosi, spesso faticano con sbilanciamenti severi e distribuzioni complesse, mancando dei benefici complementari dell'arricchimento dei dati.

La letteratura attuale manca di un vero approccio ibrido che integri strettamente la sintesi di campioni a livello di dati con esplicite perdite sensibili al costo o di riponderazione per campione durante l'addestramento di un singolo regressore neurale. La maggior parte dei tentativi "ibridi" esistenti si basa su strategie di ensemble o è limitata a domini non tabulari, fallendo nell'unificare queste strategie in una pipeline end-to-end per compiti di regressione standard.

Metodologia

Gli autori propongono un framework ibrido in cinque fasi, agnostico rispetto al regressore, che integra sinergicamente strategie a livello di dati e a livello di algoritmo in una pipeline unificata. Il framework è progettato per essere applicato a monte di qualsiasi regressore standard.

Fase 0: Partizionamento Adattivo dello Spazio Target in Bin

Per affrontare la mancanza di etichette di classe discrete nella regressione, il framework segmenta innanzitutto lo spazio target continuo in bin statisticamente coerenti.

• Meccanismo: Impiega un partizionamento adattivo in bin guidato da punteggi di coerenza $R^2$ locale. Un semplice regressore lineare viene adattato all'interno di intervalli candidati; se il punteggio $R^2$ supera una soglia ($\tau$) e la dimensione del bin soddisfa un minimo basato sui dati ($M$), il bin viene accettato. Altrimenti, l'intervallo viene diviso ricorsivamente.
• Significato: Questo trasforma il problema continuo in una struttura simile a quella delle classi, consentendo una consapevolezza localizzata della scarsità e facilitando le successive operazioni di bilanciamento. La dimensione minima del bin $M$ è calcolata dinamicamente utilizzando una combinazione di una proporzione della dimensione del dataset e un inverso della densità di picco della stima della densità Kernel (KDE) per garantire l'affidabilità statistica.

Fase I: Apprendimento delle Rappresentazioni

Le caratteristiche grezze nelle regioni sparse spesso non riescono a catturare le strutture latenti necessarie.

• Meccanismo: Un Autoencoder Variazionale Condizionale (CVAE) viene addestrato, condizionato sulla variabile target continua $y$. L'encoder mappa le caratteristiche di input $x$ e il target $y$ in uno spazio latente $z$, mentre il decoder ricostruisce $x$ da $z$ e $y$.
• Significato: Questo produce embedding latenti consapevoli del target che catturano pattern predittivi allineati con la distribuzione dell'output, incluse le regioni meno popolate. La natura probabilistica del CVAE facilita inoltre la rappresentazione consapevole dell'incertezza.

Fase II: Bilanciamento a Livello di Dati

Questa fase affronta la scarsità di campioni sia nello spazio dei target che nello spazio delle caratteristiche attraverso una strategia multistadio.

• Passaggio 1 (Clustering): All'interno di ogni bin adattivo della Fase 0, viene applicato DBSCAN alle rappresentazioni latenti per identificare cluster minoritari e sparsi.
• Passaggio 2 (Oversampling): Una tecnica SMOGN (Synthetic Minority Oversampling Technique for Regression with Gaussian Noise) localizzata viene applicata a questi cluster minoritari. A differenza dell'oversampling globale, questa è guidata da una funzione di rilevanza specifica per il cluster $\phi_C(y)$ per dare priorità ai valori target rari all'interno del contesto specifico del cluster.
• Output: Un MLP poco profondo viene addestrato sul dataset aumentato (originale + sintetico), e le attivazioni nascoste dei campioni originali ($h_{data}$) vengono estratte. Ciò assicura che le caratteristiche beneficino della geometria dei vicini sintetici mantenendo al contempo la corrispondenza esatta con le istanze originali.

Fase III: Bilanciamento a Livello di Algoritmo

Questa fase adatta l'obiettivo di apprendimento per enfatizzare le regioni sottorappresentate senza ulteriori modifiche ai dati.

• Meccanismo: Viene introdotta una nuova Perdita Pesata dalla Densità Latente (LDWL). La funzione di perdita pesa i campioni in base alla loro rarità congiunta in due spazi:
  1. Spazio Latente ($Z$): Densità stimata tramite KDE sulle rappresentazioni latenti del CVAE.
  2. Spazio Target ($Y$): Densità stimata tramite KDE all'interno dei bin adattivi definiti nella Fase 0.
• Formula: Il peso $w_i$ per un campione è inversamente proporzionale al prodotto della sua densità latente e della sua densità condizionata al bin. Un termine di regolarizzazione penalizza i pesi eccessivamente grandi per prevenire l'overfitting sugli outlier.
• Output: Un MLP viene addestrato utilizzando LDWL, e le attivazioni nascoste dei campioni originali ($h_{alg}$) vengono estratte.

Fase IV: Fusione Finale

L'ultima fase integra i punti di forza complementari delle rappresentazioni a livello di dati e a livello di algoritmo.

• Meccanismo: Un meccanismo di fusione a gate basato sull'attenzione concatena $h_{data}$ e $h_{alg}$. Una rete di gating apprende dinamicamente i pesi specifici per istanza ($\alpha_i$) per miscelare i due flussi di caratteristiche: $\tilde{x}_i = \alpha_i \odot h_{data} + (1-\alpha_i) \odot h_{alg}$.
• Significato: Ciò consente al modello di dare priorità adattivamente alle caratteristiche più informative per ogni campione, producendo una rappresentazione arricchita e robusta pronta per qualsiasi regressore a valle.

Contributi Chiave

1. Framework Ibrido Unificato: Il primo pipeline end-to-end che integra strettamente la sintesi di campioni a livello di dati (tramite SMOGN localizzato) con la riponderazione esplicita e sample-wise sensibile al costo (tramite LDWL) per la regressione sbilanciata.
2. Partizionamento in Bin Adattivo: Un nuovo passaggio di pre-processing che utilizza la coerenza $R^2$ locale per segmentare dinamicamente gli spazi target continui, emulando strutture simili a quelle delle classi per un efficace gestione dello sbilanciamento.
3. Perdita Pesata dalla Densità Latente (LDWL): Una nuova funzione di perdita che dà priorità ai campioni rari considerando congiuntamente la loro densità nello spazio delle caratteristiche latenti (apprese tramite CVAE) e nello spazio del target (all'interno dei bin adattivi).
4. Bilanciamento dei Dati Multistadio: Una strategia che combina il clustering dello spazio delle caratteristiche (DBSCAN) con l'oversampling localizzato per arricchire le regioni sparse minimizzando il bias sintetico.
5. Design Agnostico rispetto al Regressore: Il framework restituisce un vettore di caratteristiche fuso che può essere integrato senza problemi con qualsiasi algoritmo di regressione standard (lineare, basato su alberi o neurale).

Risultati Sperimentali

Il framework è stato valutato su 16 dataset di benchmark per la regressione (ad esempio, California Housing, Wine Quality, Abalone) attraverso sei diversi regressori (MLP, XGBoost, Regressione Lineare, KNN, SVR, Ridge).

• Performance: Il pipeline ibrido ha superato costantemente sia i metodi standalone a livello di dati che quelli a livello di algoritmo, così come i classici regressori baseline senza gestione dello sbilanciamento.
• Metriche: Sono stati osservati miglioramenti in RMSE (Root Mean Squared Error), MAE (Mean Absolute Error) e $R^2$ (Coefficiente di Determinazione). Ad esempio, nel dataset airfoild, l'approccio ibrido ha prodotto un miglioramento del 568,71% in $R^2$ rispetto al regressore standalone.
• Correlazione con la Skewness: L'analisi ha rivelato una significativa correlazione positiva tra l'assolutezza della skewness (asimmetria) della variabile target e il miglioramento delle performance del pipeline ibrido. Il framework è più efficace in scenari con alta skewness del target.
• Limitazioni: Il framework mostra una dipendenza dal volume dei dati. In dataset con meno di ~1.000 campioni, il pipeline ha occasionalmente performato peggio dei regressori standalone a causa dell'overfitting nelle fasi di binning adattivo e CVAE, e dell'instabilità nella stima della densità.

Significato e Rivendicazioni

L'articolo sostiene che il framework proposto affronta una lacuna critica nella letteratura sulla regressione sbilanciata, andando oltre gli interventi isolati a livello di dati o di algoritmo. Unificando queste strategie, il framework fornisce una soluzione più completa per prevedere valori target rari ma critici.

Gli autori affermano che il loro approccio:

• Combina sinergicamente i benefici della diversità dell'aumento dei dati con l'ottimizzazione basata su principi della apprendimento cost-sensitive.
• Migliora la generalizzazione nelle regioni sparse senza i rischi di rumore dell'oversampling ingenuo o la cecità distributiva delle funzioni di perdita standard.
• Scala efficacemente verso compiti di regressione sbilanciata su larga scala, dimostrando che il grado di skewness del target è un proxy affidabile per l'efficacia del framework.

Lo studio conclude che, sebbene il framework richieda un volume di dati sufficiente per stabilizzare la sua architettura in cinque fasi, offre un potenziamento robusto, scalabile e agnostico rispetto al regressore per applicazioni del mondo reale che coinvolgono previsioni meteorologiche estreme, rilevamento di anomalie e previsioni di rischio medico o finanziario dove gli eventi rari sono di fondamentale importanza.