Improving Random Forests by Smoothing

Resumo Técnico: Melhoria de Florestas Aleatórias por Suavização

Enunciação do Problema
A regressão por floresta aleatória é um método não paramétrico robusto que se adapta às características locais dos dados por meio de particionamento orientado pelos dados. No entanto, suas previsões são inerentemente constantes por partes, resultando em descontinuidades nas fronteiras dos particionamentos. Essa falta de suavidade é particularmente problemática em regimes de dados reduzidos, onde a incapacidade de compartilhar informações através do espaço de entrada pode levar a desempenho subótimo. Embora existam métodos clássicos de suavização (por exemplo, estimadores de kernel) e variantes de árvores suaves, eles frequentemente lutam com escalabilidade em alta dimensão, aumento da complexidade computacional ou perda dos algoritmos eficientes de crescimento de árvores que tornam as florestas aleatórias atraentes. O desafio central é introduzir suavidade e diferenciabilidade às previsões de florestas aleatórias sem sacrificar sua adaptabilidade espacial ou eficiência computacional.

Metodologia
Os autores propõem um mecanismo de suavização baseado em kernel, aplicado pós-aprendizado, que opera sobre a saída de uma floresta aleatória treinada, em vez de alterar o próprio processo de construção das árvores.

1. Suavização Probabilística: O método define uma previsão suavizada $\tilde{f}(x_0)$ como a esperança da função de previsão original constante por partes $f(z)$ sobre uma variável latente $z$ distribuída de acordo com um kernel de probabilidade $k(\cdot | x_0, \lambda)$. Matematicamente, $\tilde{f}(x_0) = \mathbb{E}_{z \sim k}[f(z)]$.
2. Implementação Constante por Partes: Para árvores e florestas de decisão, onde o domínio é particionado em hipercubos paralelos aos eixos, essa esperança simplifica-se para uma soma ponderada dos valores constantes em cada região. Os pesos são as probabilidades de a variável latente cair em cada região, calculadas eficientemente usando as funções de distribuição acumulada (CDFs) do kernel escolhido.
3. Seleção de Kernel: Os autores utilizam kernels produto, especificamente as distribuições Gaussiana e secante hiperbólica (Hypsec). Estes são escolhidos para garantir que a função de previsão resultante seja diferenciável em todos os pontos. A secante hiperbólica é notada por seu decaimento exponencial da cauda, que mimetiza o comportamento assintótico da distribuição Laplace derivada da análise teórica da variabilidade dos pontos de divisão das árvores.
4. Justificativa Teórica: O artigo demonstra que este procedimento de suavização pode ser interpretado como capturando a variabilidade ou incerteza nos pontos de corte das árvores sob reamostragem das entradas de treinamento. Especificamente, a distribuição limite da estimativa do ponto de ruptura de uma árvore sob reamostragem segue uma distribuição Laplace; a suavização proposta mimetiza isso ao convolver a previsão com um kernel que aproxima essa variabilidade.
5. Aplicação em Ensemble: Como as florestas aleatórias são ensembles aditivos, o operador de suavização (sendo linear) pode ser aplicado a árvores individuais e depois médio, evitando a intratabilidade computacional de suavizar a estrutura de regiões exponencialmente complexa do ensemble completo.
6. Seleção de Modelo: Os parâmetros de suavização (escala $\lambda$) e os parâmetros de re-calibração afim ($\beta_0, \beta_1$) são selecionados minimizando a perda Out-of-Bag (OOB). Os autores empregam otimização baseada em gradiente (por exemplo, L-BFGS, AdamW) para lidar com a natureza não convexa da paisagem de perda OOB.

Principais Contribuições

• Framework de Suavização Pós-Aprendizado: Introduz uma abordagem geral e probabilística para equipar qualquer função aprendida constante por partes com suavidade arbitrária, mantendo a adaptabilidade espacial do modelo original.
• Interpretação Teórica: Fornece um elo teórico entre suavização por kernel e a incerteza dos pontos de divisão das árvores sob reamostragem de dados, justificando o uso de formas específicas de kernel.
• Implementação Eficiente: Demonstra que a suavização pode ser aplicada a florestas aleatórias de forma eficiente, explorando a linearidade do ensemble, reduzindo a complexidade de exponencial (em termos de regiões) para linear (em termos de regiões de árvores individuais).
• Validação Empírica: Mostra que uma floresta aleatória suavizada com um pequeno número de árvores (por exemplo, 10) pode superar florestas aleatórias padrão com ensembles significativamente maiores (até 100 árvores) e regressão por Processo Gaussiano em diversos conjuntos de dados.

Resultados Experimentais
A abordagem foi avaliada em 10 conjuntos de dados UCI com tamanhos de treinamento variando de 50 a 500 observações.

• Desempenho: O proposto "Ensemble de Árvores Suavizadas com Parâmetros por Dimensão" (EST-PD), usando kernels Gaussianos ou de secante hiperbólica, superou consistentemente a floresta aleatória de base (10 árvores) em 93–94% dos casos.
• Comparação com Baselines: Variantes do EST-PD superaram florestas aleatórias padrão com 20, 50 e 100 árvores em 81%, 69% e 64% dos casos, respectivamente. Elas também superaram substancialmente a regressão por Processo Gaussiano (vencendo 88% dos casos).
• Significância Estatística: Testes estatísticos não paramétricos (Friedman e Nemenyi) confirmaram que as variantes suavizadas formam um grupo de equivalência estatisticamente superior em comparação com florestas aleatórias padrão e Processos Gaussianos.
• Regime de Dados Reduzidos: O método mostrou força particular em cenários com escassez de dados (por exemplo, $n=50$), onde alcançou melhorias percentuais significativas no Erro Quadrático Médio (MSE) sobre as baselines padrão.
• Escolha de Kernel: Os kernels Gaussiano e de secante hiperbólica produziram perfis de desempenho notavelmente similares, sugerindo que a escolha do kernel tem impacto prático mínimo na eficácia.

Significância e Alegações
O artigo alega que a suavização pós-hoc oferece uma maneira computacionalmente tratável de melhorar a precisão preditiva de florestas aleatórias, particularmente quando os dados são limitados. Ao combinar a adaptabilidade de métodos baseados em árvores com as suposições de suavidade de métodos baseados em kernel, a abordagem aborda a questão de descontinuidade inerente às florestas padrão, sem exigir esquemas de ajuste complexos de árvores suaves. Os autores notam que, embora o framework se concentre na regressão (estimação da média condicional), o conceito poderia potencialmente se estender à quantificação de incerteza (variância condicional) e tarefas de classificação, embora estes permaneçam tópicos para pesquisa futura. O trabalho também destaca que, embora o método seja teoricamente extensível ao gradient boosting, a natureza sequencial das árvores de boosting apresenta desafios para a abordagem de calibração global utilizada aqui.