Improving Random Forests by Smoothing

Résumé Technique : Amélioration des Forêts Aléatoires par Lissage

Énoncé du Problème
La régression par forêt aléatoire est une méthode non paramétrique robuste qui s'adapte aux caractéristiques locales des données grâce à une partition pilotée par les données. Cependant, ses prédictions sont intrinsèquement constantes par morceaux, entraînant des discontinuités aux frontières des partitions. Ce manque de régularité est particulièrement problématique dans les régimes de petites données, où l'incapacité de partager l'information à travers l'espace d'entrée peut conduire à des performances sous-optimales. Bien que des méthodes de lissage classiques (par exemple, les estimateurs à noyau) et des variantes d'arbres souples existent, elles peinent souvent à faire face à l'évolutivité en haute dimension, à une complexité computationnelle accrue, ou à une perte des algorithmes efficaces de croissance d'arbres qui rendent les forêts aléatoires attractives. Le défi central consiste à introduire de la régularité et de la différentiabilité dans les prédictions des forêts aléatoires sans sacrifier leur adaptabilité spatiale ni leur efficacité computationnelle.

Méthodologie
Les auteurs proposent un mécanisme de lissage post-apprentissage, basé sur les noyaux, qui opère sur la sortie d'une forêt aléatoire entraînée plutôt que d'altérer le processus de construction des arbres lui-même.

1. Lissage Probabiliste : La méthode définit une prédiction lissée $\tilde{f}(x_0)$ comme l'espérance de la fonction de prédiction originale constante par morceaux $f(z)$ par rapport à une variable latente $z$ distribuée selon un noyau de probabilité $k(\cdot | x_0, \lambda)$. Mathématiquement, $\tilde{f}(x_0) = \mathbb{E}_{z \sim k}[f(z)]$.
2. Implémentation Constante par Morceaux : Pour les arbres de décision et les forêts, où le domaine est partitionné en hyper-rectangles parallèles aux axes, cette espérance se simplifie en une somme pondérée des valeurs constantes dans chaque région. Les poids sont les probabilités que la variable latente tombe dans chaque région, calculées efficacement à l'aide des fonctions de répartition (CDF) du noyau choisi.
3. Sélection du Noyau : Les auteurs utilisent des noyaux produits, spécifiquement les distributions Gaussienne et sécante hyperbolique (Hypsec). Ils sont choisis pour garantir que la fonction de prédiction résultante soit différentiable partout. La sécante hyperbolique est notée pour sa décroissance exponentielle de la queue, qui imite le comportement asymptotique de la distribution de Laplace dérivée de l'analyse théorique de la variabilité des points de coupure des arbres.
4. Justification Théorique : L'article démontre que ce procédé de lissage peut être interprété comme capturant la variabilité ou l'incertitude des points de coupure des arbres sous un rééchantillonnage des entrées d'entraînement. Plus précisément, la distribution limite de l'estimation du point de rupture d'un arbre sous rééchantillonnage suit une distribution de Laplace ; le lissage proposé imite cela en convoluant la prédiction avec un noyau qui approxime cette variabilité.
5. Application aux Ensembles : Puisque les forêts aléatoires sont des ensembles additifs, l'opérateur de lissage (étant linéaire) peut être appliqué aux arbres individuels puis moyenné, évitant ainsi l'intraitabilité computationnelle du lissage de la structure de régions exponentiellement complexe de l'ensemble complet.
6. Sélection du Modèle : Les paramètres de lissage (échelle $\lambda$) et les paramètres de recalibration affine ($\beta_0, \beta_1$) sont sélectionnés en minimisant la perte Out-of-Bag (OOB). Les auteurs emploient une optimisation basée sur le gradient (par exemple, L-BFGS, AdamW) pour gérer le caractère non convexe du paysage de perte OOB.

Contributions Clés

• Cadre de Lissage Post-Apprentissage : Introduit une approche générale et probabiliste pour doter toute fonction apprise constante par morceaux d'une régularité arbitraire tout en conservant l'adaptabilité spatiale du modèle original.
• Interprétation Théorique : Établit un lien théorique entre le lissage par noyau et l'incertitude des points de coupure des arbres sous rééchantillonnage des données, justifiant l'utilisation de formes de noyaux spécifiques.
• Implémentation Efficace : Démontre que le lissage peut être appliqué aux forêts aléatoires de manière efficace en exploitant la linéarité de l'ensemble, réduisant la complexité d'exponentielle (en termes de régions) à linéaire (en termes de régions d'arbres individuels).
• Validation Empirique : Montre qu'une forêt aléatoire lissée avec un petit nombre d'arbres (par exemple, 10) peut surpasser les forêts aléatoires standards avec des ensembles significativement plus grands (jusqu'à 100 arbres) et la régression par processus gaussiens sur divers jeux de données.

Résultats Expérimentaux
L'approche a été évaluée sur 10 jeux de données UCI avec des tailles d'entraînement allant de 50 à 500 observations.

• Performance : La méthode proposée "Ensemble d'Arbres Lissés avec Paramètres par Dimension" (EST-PD) utilisant soit des noyaux gaussiens, soit des noyaux sécantes hyperboliques, a systématiquement surpassé la forêt aléatoire de référence (10 arbres) dans 93–94 % des cas.
• Comparaison avec les Références : Les variantes EST-PD ont surpassé les forêts aléatoires standards avec 20, 50 et 100 arbres dans 81 %, 69 % et 64 % des cas, respectivement. Elles ont également considérablement surpassé la régression par processus gaussiens (gagnant 88 % des cas).
• Significativité Statistique : Des tests statistiques non paramétriques (Friedman et Nemenyi) ont confirmé que les variantes lissées forment un groupe d'équivalence statistiquement supérieur par rapport aux forêts aléatoires standards et aux processus gaussiens.
• Régime de Petites Données : La méthode a montré une force particulière dans les contextes de pénurie de données (par exemple, $n=50$), où elle a atteint des améliorations significatives en pourcentage de l'Erreur Quadratique Moyenne (MSE) par rapport aux références standards.
• Choix du Noyau : Les noyaux gaussien et sécante hyperbolique ont produit des profils de performance remarquablement similaires, suggérant que le choix du noyau a un impact pratique minimal sur l'efficacité.

Signification et Revendications
L'article revendique que le lissage post-hoc offre un moyen computationnellement traitable d'améliorer la précision prédictive des forêts aléatoires, en particulier lorsque les données sont limitées. En combinant l'adaptabilité des méthodes basées sur les arbres avec les hypothèses de régularité des méthodes à noyaux, l'approche résout le problème de discontinuité inhérent aux forêts standards sans nécessiter les schémas d'ajustement complexes des arbres souples. Les auteurs notent que, bien que le cadre se concentre sur la régression (estimation de la moyenne conditionnelle), le concept pourrait potentiellement s'étendre à la quantification de l'incertitude (variance conditionnelle) et aux tâches de classification, bien que ceux-ci restent des sujets de recherche future. Le travail met également en évidence que, bien que la méthode soit théoriquement extensible au gradient boosting, la nature séquentielle des arbres de boosting présente des défis pour l'approche de calibration globale utilisée ici.