Riepilogo Tecnico: Counterfactual Residual Data Augmentation per la Regressione

Definizione del Problema

I compiti di regressione nel mondo reale in domini quali la medicina, la finanza e la produzione soffrono frequentemente di scarsità di dati, alti costi di raccolta dati e osservazioni rumorose. Sebbene l'aumento dei dati (data augmentation) sia un pilcolo fondamentale per il successo nella computer vision e nell'elaborazione del linguaggio naturale, le tecniche esistenti (ad es., trasformazioni geometriche, Mixup) si basano spesso su simmetrie che preservano l'etichetta o invarianze specifiche del dominio che non si traducono naturalmente nella regressione tabulare. Di conseguenza, i modelli di apprendimento supervisionato spesso non riescono a catturare i processi sottostanti quando gli esempi di addestramento sono limitati, portando all'overfitting e a una scarsa generalizzazione.

Metodologia: Counterfactual Residual Data Augmentation (CRDA)

Gli autori propongono la Counterfactual Residual Data Augmentation (CRDA), un framework agnostico rispetto al modello progettato per sintetizzare nuovi campioni di addestramento realistici per la regressione tabulare, sfruttando l'invarianza del rumore residuo.

Intuizione Centrale

Il metodo si basa sull'osservazione che, una volta che un regressore modella la componente sistematica dei dati, il rumore rimanente (residuo) può essere visto come una componente invariante sotto piccole perturbazioni di caratteristiche accuratamente selezionate. Preservando questo residuo mentre si modificano specifiche caratteristiche, CRDA genera campioni controfattuali che aderiscono alla distribuzione sottostante dei dati senza richiedere ulteriori dati dal mondo reale.

Fondamento Teorico

CRDA opera sotto l'assunzione di un Modello Causale Strutturale con Rumore Additivo (Additive-Noise SCM):
$$Y = g(X_P, X_R) + Z$$
Dove:

• $Y$ è la variabile target.
• $g(X_P, X_R)$ è la componente sistematica (aspettativa condizionale).
• $Z$ è il rumore strutturale (residuo).
• $X_P$ rappresenta le caratteristiche perturbabili e $X_R$ le caratteristiche fisse.

Il metodo si basa sull'Assunzione 3.1 (Invarianza del Residuo): Il termine di rumore $Z$ è condizionalmente indipendente dalle caratteristiche perturbabili $X_P$ date le caratteristiche fisse $X_R$ ($P(Z | X_P, X_R) = P(Z | X_R)$). Ciò implica che perturbare $X_P$ cambia la predizione sistematica ma non altera il rumore specifico dell'istanza.

Flusso Algoritmico

La pipeline CRDA (Algoritmo 1) procede come segue:

1. Addestramento Baseline: Un regressore di base $\hat{g}$ (ad es., MLP o XGBoost) viene addestrato sul dataset originale $D_{train}$.
2. Calcolo del Residuo: I residui empirici vengono calcolati: $\hat{z}_i = y_i - \hat{g}(x_i)$.
3. Selezione delle Caratteristiche (Filtro di Indipendenza): Per soddisfare l'Assunzione 3.1, l'algoritmo identifica un sottoinsieme di caratteristiche $X_P$ che sono probabilmente indipendenti dai residui. Ciò viene ottenuto tramite:
   • Algoritmo PC: Un controllo del grafo causale per rimuovere le caratteristiche con archi diretti verso il residuo $\hat{Z}$.
   • Controllo di Correlazione: Rimozione delle caratteristiche fortemente correlate con $\hat{Z}$.
   • Le caratteristiche rimanenti formano $X_P$; le altre formano $X_R$.
4. Generazione Controfattuale: Per ogni campione di addestramento, vengono generati $M$ campioni sintetici:
   • Si perturba $X_P$ utilizzando un fattore di scala uniforme: $x'_{i,P} = x_{i,P} \cdot (1 + \delta)$, dove $\delta \sim \text{Unif}[-p, p]$.
   • Si mantiene fissa $X_R$.
   • Si calcola l'etichetta controfattuale preservando il residuo originale: $y'_i = \hat{g}(x'_i) + \hat{z}_i$.
5. Validazione di Sicurezza: Prima del riaddestramento finale, un test di Wilcoxon signed-rank confronta le prestazioni del modello baseline con un modello addestrato sui dati aumentati tramite k-fold cross-validation. Se il p-value indica che non vi è un miglioramento statisticamente significativo, l'augmentation viene rifiutata e il baseline viene mantenuto.
6. Riaddestramento Finale: Se la validazione passa, un modello finale viene addestrato sull'unione dei dati originali e aumentati.

Contributi Chiave

1. Nuovo Framework di Data Augmentation: Una strategia agnostica rispetto al modello per la regressione tabulare centrata sul ragionamento controfattuale e l'invarianza del residuo, evitando la necessità di euristiche specifiche del dominio.
2. Principio di Invarianza del Residuo: Una formalizzazione di come specifiche caratteristiche possano essere perturbate senza corrompere la struttura del rumore, fornendo una base teorica per la selezione delle caratteristiche nell'augmentation.
3. Validazione Empirica: Valutazione completa attraverso benchmark sintetici e dataset reali (UCI, PMLB, Kaggle), dimostrando miglioramenti costanti per modelli neurali (MLP) ed ensemble (XGBoost).

Risultati Sperimentali

Gli autori hanno valutato CRDA su nove dataset benchmark con diverse dimensioni di campioni, confrontandolo con:

• Baseline: Nessuna augmentation.
• Competitor: Tecniche di regression augmentation allo stato dell'arte (C-Mixup, ADA) e modelli generativi profondi (CTGAN, TVAE, TabDDPM).

Risultati Chiave:

• Guadagni di Prestazione: In media, CRDA ha ridotto l'Errore Quadratico Medio (MSE) del 22,9% per i regressori MLP e del 6,4% per i regressori XGBoost su tutti i dataset.
• Robustezza: A differenza dei metodi geometrici (ad es., ADA, C-Mixup) che hanno mostrato modalità di fallimento catastrofiche (aumentando l'MSE di oltre il 100% in alcuni casi) e i modelli generativi profondi che spesso degradavano le prestazioni, CRDA ha costantemente migliorato o mantenuto le prestazioni senza degradazioni significative.
• Dipendenza dalla Dimensione del Campione: Il metodo è più efficace in un "punto ottimale" di dimensioni dei campioni (ad es., 2.5k–20k per gli MLP), dove il modello di base ha appreso il segnale principale ma beneficia ancora dell'esplorazione localizzata dello spazio delle caratteristiche. Per dataset molto piccoli, il modello di base è troppo impreciso per produrre residui significativi; per dataset molto grandi, il baseline è già ottimale.
• Meccanismo di Sicurezza: Il gate di sicurezza di Wilcoxon ha impedito con successo l'augmentation nei casi in cui non sarebbe stata utile (ad es., quando si utilizza un debole baseline di regressione lineare), garantendo che il metodo non degradi le prestazioni.

Significato e Rivendicazioni

Il paper posiziona CRDA come un rimedio semplice ed efficiente per contesti di regressione con pochi campioni e soggetti al rumore. Il suo significato risiede in:

• Praticità: Non richiede conoscenze specifiche del dominio o complessi modelli generativi, rendendolo facilmente applicabile a vari regressori.
• Fondamento Teorico: Inquadrando l'augmentation attraverso la lente dei controfattuali causali e dell'invarianza del residuo, offre un'alternativa fondata ai metodi di interpolazione euristici.
• Affidabilità: La validazione di sicurezza integrata assicura che il metodo agisca come un "parapetto", impedendo il degrado delle prestazioni in scenari in cui le assunzioni di augmentation (indipendenza del residuo) sono violate o il modello di base è insufficiente.

Gli autori concludono che CRDA offre un approccio robusto per espandere i dataset senza richiedere ulteriori dati reali, riducendo efficacementmente la varianza e migliorando l'adattamento del modello nei regimi di scarsità di dati. Il lavoro futuro suggerisce di estendere questi principi ai compiti di classificazione ed esplorare algoritmi di scoperta causale più robusti per la partizione delle caratteristiche.