Conditioning Tree-Based Diffusions and Flows for Probabilistic Tabular Regression

Resumo Técnico: Condicionamento de Difusões e Fluxos Baseados em Árvores para Regressão Tabular Probabilística

Problema
A regressão probabilística em dados tabulares requer modelos que combinem o poder preditivo de árvores de boosting de gradiente com distribuições preditivas completas adequadas para calibração, tomada de decisão e quantificação de incerteza. Embora modelos de difusão baseados em árvores (ex: Treeffuser) tenham emergido como uma solução ao treinar regressores LightGBM para estimar o score de uma densidade condicional perturbada por ruído, eles atualmente herdam padrões de design de configurações de difusão neural. Esses padrões — incluindo o caminho de adição de ruído, parametrização, distribuição de treinamento, características e amostrador — são frequentemente subótimos para aprendizes de árvores baseados em histogramas. O artigo argumenta que esses padrões atuam como uma restrição vinculativa: o problema específico de regressão supervisionada que um ensemble de boosting de gradiente resolve é determinado por como essas escolhas de condicionamento são configuradas.

Metodologia: DiffGBM
O autor introduz o DiffGBM, uma extensão do Treeffuser que trata as escolhas de condicionamento da difusão baseada em árvores como eixos explícitos e ajustáveis, em vez de padrões fixos. A metodologia é desenvolvida ao longo de dois eixos primários:

1. Modificações do Lado do Score (O Espaço "Score-Flex"):
   O autor propõe uma receita conjuntamente ajustável de difusão baseada em score sobre uma superfície LightGBM compartilhada. As modificações principais incluem:

   • Residualização da Média Condicional: Um preditor de média $\hat{\mu}(x)$ via LightGBM com validação cruzada é ajustado primeiro. A difusão é aplicada ao resíduo $y - \hat{\mu}(x)$ em vez de $y$, movendo a localização condicional para fora do alvo de regressão do score.
   • Pré-condicionamento EDM: Seguindo os princípios do EDM, o modelo prevê um alvo de desruído $D_\theta(y_t, t)$ escalonado para variância unitária, reconstruindo o score algebricamente. Isso estabiliza o alvo de regressão para as árvores, evitando a necessidade de extrapolar magnitudes de predição de ruído através de diferentes níveis de ruído.
   • Amostragem de Tempo e Características de Log-Sigma: Em vez de amostragem de tempo uniforme, a distribuição de treinamento extrai $\log \sigma(t) \sim \mathcal{N}(-1.2, 1.2^2)$. Crucialmente, uma característica explícita de $\log \sigma(t)$ é adicionada ao vetor de entrada, permitindo que os cortes (splits) das árvores condicionem diretamente no regime de ruído.
   • Pesagem de Perda e Resolução de Histograma: Estes são expostos como dimensões ajustáveis para controlar onde a capacidade do modelo é investida.

2. Fluxo de Correspondência de Gauss (Flow Matching - FM):
   O autor implementa um treinador de correspondência de fluxo de caminho Gaussiano para $p(y|x)$.

   • Aprendizado de Campo de Velocidade: Em vez de aprender um score diretamente, o modelo aprende um campo de velocidade $v_\theta$ via árvores de boosting de gradiente.
   • Recuperação Algébrica de Score: Para qualquer caminho Gaussiano, o score condicional pode ser recuperado algebricamente a partir da velocidade (Lema 1), permitindo que o modelo entre em amostradores de interpolante estocástico, se desejado.
   • Eficiência do Amostrador: Esta abordagem permite o uso de amostradores de ODE determinísticos de poucos passos (especificamente um ODE Heun de 5 passos), reduzindo significativamente a latência de inferência em comparação com SDEs estocásticas.
   • Escolhas de Caminho: O autor compara caminhos lineares, trigonométricos e de preservação de variância (VP). Ele observa que, embora os caminhos VP mantenham as entradas próximas da escala unitária, o caminho ideal depende do conjunto de dados e da interação com a residualização.

Principais Contribuições

1. Correspondência de Fluxo para Predição Condicional Baseada em Árvores: Um treinador de FM de caminho Gaussiano que aprende um campo de velocidade diretamente com árvores de boosting de gradiente, oferecendo o amostrador mais barato e o ponto de operação melhor calibrado entre as variantes do DiffGBM.
2. Uma Receita de Score Conjuntamente Ajustável: A exposição das modificações do lado do score (residualização, pré-condicionamento EDM, amostragem de log-sigma, características de ruído explícitas, pesagem de perda e resolução de histograma) como eixos ajustáveis. Este espaço "score-flex" representa a receita publicada como um caso especial, mas permite otimização específica para cada conjunto de dados.
3. O Condicionamento de Regressão como o Gargalo Compartilhado: O artigo postula que os ganhos de desempenho em ambos os eixos derivam de um melhor ajuste do problema supervisionado induzido à resolução finita de divisão (split) dos histogramas. A restrição não são as propriedades de nível populacional dos objetivos, mas a alocação finita de bins necessária para servir todos os níveis de ruído simultaneamente.

Resultados Experimentais
O método foi avaliado em onze benchmarks padrão de regressão tabular (nove UCI, dois scikit-learn) usando um protocolo de ajuste aninhado (fold 0 para ajuste, folds 1–5 para avaliação) com um orçamento correspondente de 40 tentativas.

• Acurácia (Score-Flex): A receita de score-flex ajustada conjuntamente alcançou o melhor escore de habilidade CRPS agregado (0.725 vs. 0.699 para a linha de base publicada) e CRPS normalizado (1.106 vs. 1.248). Superou a linha de base publicada em cada um dos conjuntos de dados (Wilcoxon pareado $p < 10^{-3}$).
• Calibração e Velocidade (Flow Matching): A variante DiffGBM-FM foi a linha de base do DiffGBM melhor calibrada (menor erro de cobertura nos níveis de 50/90% e maior taxa de passagem PIT) e o amostrador mais rápido. Foi 5,2× mais rápida que a linha de base publicada (61,3s total vs. 196,3s) mantendo um CRPS competitivo (0.707).
• Estudos de Ablação:
  • Trocar de Euler SDE para Heun ODE para o modelo de score sem outras mudanças reduziu a acurácia, indicando que o amostrador não é um ganho de velocidade gratuito.
  • O pré-condicionamento EDM proporcionou o maior salto individual no desempenho do lado do score.
  • A residualização foi crítica para o Flow Matching; sem ela, o desempenho do FM degradou significativamente.
  • Amostradores estocásticos ($\epsilon > 0$) não dominaram Pareto o amostrador determinístico ($\epsilon = 0$) em CRPS agregado ou latência, embora possam melhorar a cobertura de cauda em regiões de alta incerteza.

Significância e Alegações
O artigo alega que os padrões de design herdados de configurações de difusão neural são o principal gargalo para a regressão probabilística baseada em árvores. Ao tratar o caminho de adição de ruído, a parametrização e a distribuição de treinamento como escolhas de condicionamento ajustáveis, o DiffGBM desbloqueia melhorias significativas tanto em acurácia quanto em calibração.

O autor enfatiza que as abordagens "score-flex" e "flow-matching" são complementares:

• Score-Flex é a escolha de acurácia, dominando conforme os dados crescem e vencendo nos maiores conjuntos de dados, embora incorra em maior latência e cobertura central mais frouxa devido ao seu amostrador estocástico.
• Flow Matching é a escolha rápida e bem calibrada, vencendo em conjuntos de dados pequenos a médios, onde seu ODE de poucos passos residualizado é mais forte.

O artigo conclui que nenhuma receita única é universal; a configuração ideal depende das características do conjunto de dados (ex: conjuntos de dados quase determinísticos como ct_slices preferem bins de histograma mais finos e predição de ruído sobre EDM). O trabalho estabelece que condicionar o problema supervisionado induzido à resolução finita de divisões de histograma é a chave para desbloquear o potencial de modelos de difusão e fluxo baseados em árvores.