Conditioning Tree-Based Diffusions and Flows for Probabilistic Tabular Regression

Sintesi Tecnica: Condizionamento di Alberi di Diffusione e Flussi per la Regressione Tabulare Probabilistica

Definizione del Problema
La regressione probabilistica su dati tabulari richiede modelli che combinino la forza predittiva dei modelli di boosting del gradiente con distribuzioni predittive complete, adatte alla calibrazione, al processo decisionale e alla quantificazione dell'incertezza. Sebbene i modelli di diffusione basati su alberi (ad es. Treeffuser) siano emersi come una soluzione, addestrando regressori LightGBM per stimare lo score di una densità condizionata perturbata dal rumore, essi ereditano attualmente i default di progettazione dei setting di diffusione neurale. Tali default — inclusi il percorso di addizione del rumore, la parametrizzazione, la distribuzione di addestramento, le feature e il campionatore — sono spesso subottimali per i learner ad alberi basati su istogrammi. Il paper sostiene che questi default agiscano come un vincolo determinante: il problema specifico di regressione supervisionata che l'ensemble di gradient boosting risolve è determinato da come vengono configurate queste scelte di condizionamento.

Metodologia: DiffGBM
L'autore introduce DiffGBM, un'estensione di Treeffuser che tratta le scelte di condizionamento della diffusione basata su alberi come assi espliciti e sintonizzabili anziché come default fissi. La metodologia è sviluppata lungo due assi primari:

1. Modifiche lato Score (lo spazio "Score-Flex"):
   L'autore propone una ricetta congiuntamente sintonizzabile per la diffusione basata su score su una superficie LightGBM condivisa. Le modifiche chiave includono:

   • Residualizzazione della Media Condizionale: Viene prima adattato un predittore della media $\hat{\mu}(x)$ tramite cross-validazione con LightGBM. La diffusione viene applicata al residuo $y - \hat{\mu}(x)$ invece che a $y$, spostando la localizzazione condizionale fuori dal target della regressione dello score.
   • Precondizionamento EDM: Seguendo i principi EDM, il modello predice un target de-noisato $D_\theta(y_t, t)$ scalato a varianza unitaria, ricostruendo lo score algebricamente. Ciò stabilizza il target di regressione per gli alberi, evitando la necessità di estrapolare magnitudo di predizione del rumore attraverso diversi livelli di rumore.
   • Campionamento del Tempo Log-Sigma e Feature: Invece di un campionamento temporale uniforme, la distribuzione di addestramento estrae $\log \sigma(t) \sim \mathcal{N}(-1.2, 1.2^2)$. Fondamentalmente, una feature esplicita $\log \sigma(t)$ viene aggiunta al vettore di input, permettendo agli split degli alberi di condizionarsi direttamente sul regime di rumore.
   • Pesatura della Perdita e Risoluzione dell'Istogramma: Questi sono esposti come dimensioni sintonizzabili per controllare dove viene impiegata la capacità del modello.

2. Flow Matching (FM) con Percorso Gaussiano:
   L'autore implementa un trainer di Gaussian-path flow-matching per $p(y|x)$.

   • Apprendimento del Campo di Velocità: Invece di apprendere direttamente uno score, il modello apprende un campo di velocità $v_\theta$ tramite gradient-boosted trees.
   • Recupero Algebrico dello Score: Per qualsiasi percorso gaussiano, lo score condizionale può essere recuperato algebricamente dalla velocità (Lemma 1), consentendo al modello di accedere a campionatori di interpolanti stocastici, se desiderato.
   • Efficienza del Campionatore: Questo approccio consente l'uso di campionatori ODE deterministici a pochi step (specificamente un Heun ODE a 5 step), riducendo significativamente la latenza di inferenza rispetto agli SDE stocastici.
   • Scelte del Percorso: L'autore confronta percorsi lineari, trigonometrici e di conservazione della varianza (VP). Nota che, mentre i percorsi VP mantengono gli input vicino alla scala unitaria, il percorso ottimale dipende dal dataset e dall'interazione con la residualizzazione.

Contributi Chiave

1. Flow Matching per la Predizione Condizionata Basata su Alberi: Un trainer di FM con percorso gaussiano che apprende un campo di velocità direttamente con gradient-boosted trees, offrendo il campionatore più economico e il punto operativo meglio calibrato tra le varianti di DiffGBM.
2. Una Ricetta di Score Giuntamente Sintonizzabile: L'esposizione delle modifiche lato score (residualizzazione, precondizionamento EDM, campionamento log-sigma, feature di rumore esplicite, pesatura della perdita e risoluzione dell'istogramma) come assi sintonizzabili. Questa "ricetta score-flex" rappresenta il caso speciale della ricetta pubblicata, ma permette l'ottimizzazione specifica per il dataset.
3. Il Condizionamento della Regressione come Collo di Bottiglia Condiviso: Il paper sostiene che i guadagni di performance in entrambi gli assi derivino da un migliore adattamento del problema supervisionato alla risoluzione finita degli split degli istogrammi. Il vincolo non è dato dalle proprietà di popolazione degli obiettivi, ma dalla finita allocazione di bin necessaria per servire simultaneamente tutti i livelli di rumore.

Risultati Sperimentali
Il metodo è stato valutato su undici benchmark standard di regressione tabulare (nove UCI, due scikit-learn) utilizzando un protocollo di tuning annidato (fold 0 per il tuning, fold 1–5 per la valutazione) con un budget matchato di 40 trial.

• Accuratezza (Score-Flex): La ricetta score-flex congiuntamente sintonizzata ha ottenuto il miglior punteggio di skill CRPS aggregato (0.725 vs 0.699 del baseline pubblicato) e CRPS normalizzato (1.106 vs 1.248). Ha superato il baseline pubblicato su ogni singolo dataset (paired Wilcoxon $p < 10^{-3}$).
• Calibrazione e Velocità (Flow Matching): La variante DiffGBM-FM è stata la riga DiffGBM meglio calibrata (errore di copertura più basso ai livelli 50/90% e tasso di passaggio PIT più alto) ed è il campionatore più veloce. È stata 5.2 volte più veloce del baseline pubblicato (61.3s totale vs 196.3s) mantenendo un CRPS competitivo (0.707).
• Studi di Ablazione:
  • Passare da Euler SDE a Heun ODE per il modello di score senza altre modifiche ha ridotto l'accuratezza, indicando che il campionatore non è un velocizzatore gratuito.
  • Il precondizionamento EDM ha fornito il salto singolo più grande nelle prestazioni lato score.
  • La residualizzazione è stata critica per il Flow Matching; senza di essa, le prestazioni di FM sono degradate significativamente.
  • I campionatori stocastici ($\epsilon > 0$) non hanno dominato Pareto rispetto ai campionatori deterministici ($\epsilon = 0$) in termini di CRPS aggregato o latenza, sebbene possano migliorare la copertura della coda nelle regioni ad alta incertezza.

Significatività e Rivendicazioni
Il paper sostiene che i default di progettazione ereditati dai setting di diffusione neurale siano il principale collo di bottiglia per la regressione probabilistica basata su alberi. Trattando il percorso di addizione del rumore, la parametrizzazione e la distribuzione di addestramento come scelte di condizionamento sintonizzabili, DiffGBM sblocca miglioramenti significativi sia in accuratezza che in calibrazione.

L'autore sottolinea che gli approcci "score-flex" e "flow-matching" sono complementari:

• Score-Flex è la scelta per l'accuratezza, che domina all'aumentare dei dati e vince sui dataset più grandi, sebbene comporti una latenza maggiore e una copertura centrale meno precisa a causa del suo campionatore stocastico.
• Flow Matching è la scelta veloce e ben calibrata, che eccelle su dataset piccoli-medi, dove il suo ODE a pochi step residualizzato è più forte.

Il lavoro conclude che non esiste una ricetta universale: la configurazione ottimale dipende dalle caratteristiche del dataset (ad es. dataset quasi deterministici come ct_slices preferiscono bin di istogramma più fini e la predizione del rumore rispetto a EDM). Il lavoro stabilisce che condizionare il problema supervisionato indotto alla risoluzione finita degli split degli istogrammi è la chiave per sbloccare il potenziale dei modelli di diffusione e di flusso basati su alberi.