Improving Random Forests by Smoothing

Resumen Técnico: Mejora de los Bosques Aleatorios mediante Suavizado

Enunciado del Problema
La regresión con bosques aleatorios es un método robusto no paramétrico que se adapta a las características locales de los datos mediante una partición impulsada por los datos. Sin embargo, sus predicciones son inherentemente constantes por tramos, lo que resulta en discontinuidades en los límites de las particiones. Esta falta de suavidad es particularmente problemática en regímenes de datos pequeños, donde la incapacidad de compartir información a través del espacio de entrada puede conducir a un rendimiento subóptimo. Aunque existen métodos de suavizado clásicos (por ejemplo, estimadores de núcleo) y variantes de árboles blandos, a menudo luchan con la escalabilidad en alta dimensión, la complejidad computacional aumentada o la pérdida de los algoritmos eficientes de crecimiento de árboles que hacen atractivos a los bosques aleatorios. El desafío central es introducir suavidad y diferenciabilidad en las predicciones de los bosques aleatorios sin sacrificar su adaptabilidad espacial ni su eficiencia computacional.

Metodología
Los autores proponen un mecanismo de suavizado basado en núcleos, posterior al aprendizaje, que opera sobre la salida de un bosque aleatorio entrenado en lugar de alterar el propio proceso de construcción del árbol.

1. Suavizado Probabilístico: El método define una predicción suavizada $\tilde{f}(x_0)$ como la esperanza de la función de predicción original constante por tramos $f(z)$ sobre una variable latente $z$ distribuida según un núcleo de probabilidad $k(\cdot | x_0, \lambda)$. Matemáticamente, $\tilde{f}(x_0) = \mathbb{E}_{z \sim k}[f(z)]$.
2. Implementación Constante por Tramos: Para árboles y bosques de decisión, donde el dominio se particiona en hiperrectángulos paralelos a los ejes, esta esperanza se simplifica a una suma ponderada de los valores constantes en cada región. Los pesos son las probabilidades de que la variable latente caiga en cada región, calculadas eficientemente utilizando las funciones de distribución acumulada (CDF) del núcleo elegido.
3. Selección del Núcleo: Los autores utilizan núcleos de producto, específicamente las distribuciones Gaussiana y secante hiperbólica (Hypsec). Estos se eligen para asegurar que la función de predicción resultante sea diferenciable en todas partes. Se destaca que la secante hiperbólica tiene una decaída exponencial en la cola, lo que imita el comportamiento asintótico de la distribución Laplace derivada del análisis teórico de la variabilidad de los puntos de división del árbol.
4. Justificación Teórica: El artículo demuestra que este procedimiento de suavizado puede interpretarse como la captura de la variabilidad o incertidumbre en los puntos de corte del árbol bajo el remuestreo de las entradas de entrenamiento. Específicamente, la distribución límite de la estimación del punto de ruptura de un árbol bajo remuestreo sigue una distribución Laplace; el suavizado propuesto imita esto convolucionando la predicción con un núcleo que aproxima dicha variabilidad.
5. Aplicación a Ensembles: Dado que los bosques aleatorios son ensembles aditivos, el operador de suavizado (siendo lineal) puede aplicarse a árboles individuales y luego promediarse, evitando la intratabilidad computacional de suavizar la estructura de regiones exponencialmente compleja del ensemble completo.
6. Selección del Modelo: Los parámetros de suavizado (escala $\lambda$) y los parámetros de recalibración afín ($\beta_0, \beta_1$) se seleccionan minimizando la pérdida Out-of-Bag (OOB). Los autores emplean optimización basada en gradientes (por ejemplo, L-BFGS, AdamW) para manejar la naturaleza no convexa del paisaje de pérdida OOB.

Contribuciones Clave

• Marco de Suavizado Posterior al Aprendizaje: Introduce un enfoque general y probabilístico para dotar a cualquier función aprendida constante por tramos de suavidad arbitraria, manteniendo al mismo tiempo la adaptabilidad espacial del modelo original.
• Interpretación Teórica: Proporciona un vínculo teórico entre el suavizado por núcleos y la incertidumbre de los puntos de división del árbol bajo el remuestreo de datos, justificando el uso de formas de núcleo específicas.
• Implementación Eficiente: Demuestra que el suavizado puede aplicarse a los bosques aleatorios de manera eficiente aprovechando la linealidad del ensemble, reduciendo la complejidad de exponencial (en términos de regiones) a lineal (en términos de regiones de árboles individuales).
• Validación Empírica: Muestra que un bosque aleatorio suavizado con un número pequeño de árboles (por ejemplo, 10) puede superar a los bosques aleatorios estándar con ensembles significativamente más grandes (hasta 100 árboles) y a la regresión con Procesos Gaussianos en diversos conjuntos de datos.

Resultados Experimentales
El enfoque se evaluó en 10 conjuntos de datos de UCI con tamaños de entrenamiento que oscilaban entre 50 y 500 observaciones.

• Rendimiento: El "Ensemble de Árboles Suavizados con Parámetros por Dimensión" (EST-PD) propuesto, utilizando núcleos Gaussianos o de secante hiperbólica, superó consistentemente al bosque aleatorio de referencia (10 árboles) en un 93–94% de los casos.
• Comparación con Líneas Base: Las variantes EST-PD superaron a los bosques aleatorios estándar con 20, 50 y 100 árboles en el 81%, 69% y 64% de los casos, respectivamente. También superaron sustancialmente a la regresión con Procesos Gaussianos (ganando el 88% de los casos).
• Significancia Estadística: Las pruebas estadísticas no paramétricas (Friedman y Nemenyi) confirmaron que las variantes suavizadas forman un grupo de equivalencia estadísticamente superior en comparación con los bosques aleatorios estándar y los procesos gaussianos.
• Régimen de Datos Pequeños: El método mostró una fuerza particular en entornos con escasez de datos (por ejemplo, $n=50$), donde logró mejoras porcentuales significativas en el Error Cuadrático Medio (MSE) sobre las líneas base estándar.
• Elección del Núcleo: Los núcleos Gaussiano y de secante hiperbólica produjeron perfiles de rendimiento notablemente similares, lo que sugiere que la elección del núcleo tiene un impacto práctico mínimo en la eficacia.

Significado y Afirmaciones
El artículo afirma que el suavizado post-hoc ofrece una manera computacionalmente tratable de mejorar la precisión predictiva de los bosques aleatorios, particularmente cuando los datos son limitados. Al combinar la adaptabilidad de los métodos basados en árboles con las suposiciones de suavidad de los métodos de núcleo, el enfoque aborda el problema de la discontinuidad inherente a los bosques estándar sin requerir los esquemas de ajuste complejos de los árboles blandos. Los autores señalan que, aunque el marco se centra en la regresión (estimación de la media condicional), el concepto podría extenderse potencialmente a la cuantificación de la incertidumbre (varianza condicional) y a tareas de clasificación, aunque estos siguen siendo temas para futuras investigaciones. El trabajo también destaca que, aunque el método es teóricamente extensible al gradient boosting, la naturaleza secuencial de los árboles de boosting presenta desafíos para el enfoque de calibración global utilizado aquí.