Conditioning Tree-Based Diffusions and Flows for Probabilistic Tabular Regression

Technische Samenvatting: Conditionering van Boomgebaseerde Diffusies en Flows voor Probabilistische Tabulaire Regressie

Probleemstelling
Probabilistische regressie op tabulaire data vereist modellen die de voorspellende kracht van gradient-boosted bomen combineren met volledige predictieve distributies die geschikt zijn voor kalibratie, besluitvorming en onzekerheidskwantificatie. Hoewel boomgebaseerde diffusiemodellen (bijv. Treeffuser) een oplossing hebben opgeleverd door LightGBM-regressoren te trainen om de score van een door ruis verstoorde conditionele dichtheid te schatten, erven deze momenteel ontwerponderstandingen van neurale diffusie-instellingen. Deze defaults—inclusief het noising-pad, de parametrisering, de trainingsdistributie, kenmerken en de sampler—zijn vaak suboptimaal voor histogram-gebaseerde boom-learners. Het artikel betoogt dat deze defaults fungeren als een beperkende factor: de specifieke gesuperviseerde regressieproblematiek die een gradient-boosted ensemble oplost, wordt bepaald door hoe deze conditioneringskeuzes worden geconfigureerd.

Methodologie: DiffGBM
De auteur introduceert DiffGBM, een uitbreiding van Treeffuser die de conditioneringskeuzes van boomgebaseerde diffusie behandelt als expliciete, afstembare assen in plaats van vaste defaults. De methodologie is ontwikkeld langs twee primaire assen:

1. Modificaties aan de scorezijde (de "Score-Flex" ruimte):
   De auteur stelt een gezamenlijk afstembaar recept voor score-gebaseerde diffusie over een gedeeld LightGBM-oppervlak voor. Belangrijke modificaties zijn onder meer:

   • Conditional-Mean Residualization: Eerst wordt een cross-gevalideerde LightGBM gemiddelde voorspeller $\hat{\mu}(x)$ gefit. Diffusie wordt toegepast op het residu $y - \hat{\mu}(x)$ in plaats van op $y$, waardoor de conditionele locatie buiten het doel van de score-regressie wordt geplaatst.
   • EDM Preconditioning: Volgens de EDM-principes voorspelt het model een gedenoised doelwit $D_\theta(y_t, t)$ geschaald naar een eenheidsvariantie, waarbij de score algebraïsch wordt gereconstrueerd. Dit stabiliseert het regressiedoelwit voor bomen, wat voorkomt dat er geëxtrapoleerd moet worden over de magnitudes van ruisvoorspelling bij verschillende ruisniveaus.
   • Log-Sigma Tijd-sampling & Kenmerken: In plaats van uniforme tijd-sampling, trekt de trainingsdistributie $\log \sigma(t) \sim \mathcal{N}(-1.2, 1.2^2)$. Cruciaal is dat een expliciet $\log \sigma(t)$ kenmerk aan de inputvector wordt toegevoegd, waardoor de boom-splits direct kunnen conditioneren op het ruisregime.
   • Loss Weighting en Histogram Resolutie: Deze worden gepresenteerd als afstembare dimensies om te controleren waar de capaciteit van het model aan wordt besteed.

2. Gaussian-Path Flow Matching (FM):
   De auteur implementeert een Gaussian-path flow-matching trainer voor $p(y|x)$.

   • Velocity Field Learning: In plaats van direct een score te leren, leert het model een velocity field $v_\theta$ via gradient-boosted bomen.
   • Algebraische Score-reconstructie: Voor elk Gaussian pad kan de conditionele score algebraïsch worden teruggewonnen uit de velocity (Lemma 1), waardoor het model kan overstappen op stochastic-interpolant samplers indien gewenst.
   • Efficiëntie van de Sampler: Deze aanpak maakt het gebruik van deterministische, few-step ODE samplers mogelijk (specifiek een 5-staps Heun ODE), wat de inferentie-latentie aanzienlijk vermindert vergeleken met stochastische SDE's.
   • Padkeuzes: De auteur vergelijkt lineaire, trigonometrische en variance-preserving (VP) paden. Er wordt opgemerkt dat hoewel VP-paden de inputs nabij de eenheidsschaal houden, het optimale pad afhangt van de dataset en de interactie met residualization.

Belangrijkste Bijdragen

1. Flow Matching voor Conditionele Boomgebaseerde Voorspelling: Een Gaussian-path FM trainer die direct een velocity field leert met gradient-boosted bomen, wat de goedkoopste sampler en het best gekalibreerde werkpunt biedt onder de DiffGBM-varianten.
2. Een Gezamenlijk Afstembaar Score-recept: De blootstelling van score-side modificaties (residualization, EDM preconditioning, log-sigma sampling, expliciete ruis-kenmerken, loss weighting en histogram resolutie) als afstembare assen. Dit "score-flex" ruimte vertegenwoordigt het gepubliceerde recept als een speciaal geval, maar staat dataset-specifieke optimalisatie toe.
3. Regressie-conditionering als de Gedeelde Bottleneck: Het artikel stelt dat de prestatiewinsten in beide assen voortkomen uit een betere afstemming van het geïnduceerde gesuperviseerde probleem op de eindige split-resolutie van histogram-bomen. De beperking is niet de populatie-eigenschappen van de doelstellingen, maar de eindige bin-allocatie die nodig is om alle ruisniveaus simultaan te bedienen.

Experimentele Resultaten
De methode werd geëvalueerd op elf standaard tabulaire regressie benchmarks (negen UCI, twee scikit-learn) met behulp van een nested tuning protocol (fold 0 voor tuning, folds 1–5 voor evaluatie) met een gematchte 40-trial budget.

• Nauwkeurigheid (Score-Flex): Het gezamenlijk afgestemde score-flex recept bereikte de beste geaggregeerde CRPS skill score (0.725 vs. 0.699 voor de gepubliceerde baseline) en genormaliseerde CRPS (1.106 vs. 1.248). Het versloeg de gepubliceerde baseline op elk enkel dataset (gepaarde Wilcoxon $p < 10^{-3}$).
• Kalibratie en Snelheid (Flow Matching): De DiffGBM-FM variant was de best gekalibreerde DiffGBM-rij (laagste coverage error op 50/90% niveaus en hoogste PIT pass rate) en de goedkoopste sampler. Het was 5.2× sneller dan de gepubliceerde baseline (61.3s totaal vs. 196.3s) terwijl het concurrerende CRPS behield (0.707).
• Ablatie-studies:
  • Het wisselen van Euler SDE naar Heun ODE voor het score-model zonder andere wijzigingen verminderde de nauwkeurigheid, wat aangeeft dat de sampler geen gratis snelheidswinst is.
  • EDM preconditioning zorgde voor de grootste enkele sprong in score-side prestaties.
  • Residualization was cruciaal voor Flow Matching; zonder dit degradeerde de FM-prestatie aanzienlijk.
  • Stochastische samplers ($\epsilon > 0$) domineerden de deterministische samplers ($\epsilon = 0$) niet op geaggregeerde CRPS of latentie, hoewel ze de tail coverage in gebieden met hoge onzekerheid konden verbeteren.

Betekenis en Claims
Het artikel claimt dat de ontwerponderstandingen overgenomen van neurale diffusie-instellingen de primaire bottleneck vormen voor boomgebaseerde probabilistische regressie. Door de noising path, parametrisering en trainingsdistributie als afstembare conditioneringskeuzes te behandelen, ontsluit DiffGBM significante verbeteringen in zowel nauwkeurigheid als kalibratie.

De auteur benadrukt dat de "score-flex" en "flow-matching" benaderingen complementair zijn:

• Score-Flex is de keuze voor nauwkeurigheid, die domineert naarms grotere hoeveelheden data en wint op de grootste datasets, hoewel het hogere latentie en lossere centrale dekking met zich meebrengt door zijn stochastische sampler.
• Flow Matching is de snelle, goed gekalibreerde keuze, die wint op kleine- tot middelgrote datasets waar de residualized few-step ODE het sterkst is.

Het artikel concludeert dat geen enkel recept-as universeel is; de optimale configuratie hangt af van de kenmerken van de dataset (bijv. bijna-deterministische datasets zoals ct_slices geven de voorkeur aan fijnere histogram bins en ruisvoorspelling over EDM). Het werk stelt vast dat het conditioneren van het geïnduceerde gesuperviseerde probleem aan de eindige resolutie van histogram-splits de sleutel is tot het ontsluiten van het potentieel van boomgebaseerde diffusie- en flowmodellen.