Confidence intervals for the random forest generalization error

Dans le monde de la science des données moderne, on demande souvent aux ordinateurs de faire des prédictions sur l'avenir en se basant sur des modèles trouvés dans le passé. Qu'il s'agisse de prévoir le prix d'une maison, de diagnostiquer une condition médicale ou de deviner si un client cessera d'utiliser un service, ces systèmes reposent sur des modèles complexes entraînés sur de vastes ensembles d'informations. Un défi central pour quiconque utilise ces outils est de savoir quel degré de confiance accorder à une prédiction. Ce n'est pas parce qu'un modèle est performant sur les données sur lesquelles il a été entraîné qu'il garantit de bien fonctionner dans de nouvelles situations inédites. Pour mesurer cette fiabilité, les scientifiques divisent traditionnellement leurs données en deux tas : l'un pour enseigner au modèle et l'autre pour le tester. Bien que cela fonctionne, c'est un processus lent et coûteux qui nécessite de couper les données en deux et de souvent réentraîner le modèle de nombreuses fois pour obtenir une image claire de sa précision.

Un type spécifique de modèle connu sous le nom de forêt aléatoire (random forest) a longtemps offert un raccourci ingénieux pour estimer sa performance. Imaginez une forêt où chaque arbre est un décideur entraîné sur une version légèrement différente des données. En raison de la manière dont ces arbres sont développés, chaque arbre individuel ignore une petite portion aléatoire des données d'entraînement. Cela signifie que pour chaque morceau d'information dans l'ensemble de données, il existe un groupe d'arbres qui ne l'a jamais vu lors de l'entraînement. Ces arbres peuvent ensuite être sollicités pour prédire cette information spécifique, fournissant ainsi un test de précision intégré sans jamais avoir besoin de diviser les données ou de lancer une nouvelle simulation. Cette méthode, connue sous le nom d'estimation « out-of-bag » (hors sac), est un outil standard depuis des décennies, offrant un moyen rapide, presque gratuit, d'obtenir un chiffre unique représentant l'erreur probable du modèle. Cependant, pendant longtemps, cette méthode n'a fourni qu'une estimation ponctuelle unique, laissant les utilisateurs sans une compréhension claire de l'étendue de l'incertitude entourant ce chiffre.

Dans un article publié fin 2021, le chercheur Paulo C. Marques F., de l'Institut Insper d'Éducation et de Recherche au Brésil, a proposé un moyen de transformer ce chiffre unique en une plage complète de confiance. L'objectif était d'utiliser les sous-produits existants du processus d'entraînement de la forêt aléatoire pour construire un intervalle de confiance — une plage statistique indiquant où le taux d'erreur réel est susceptible de se situer — sans le coût de calcul élevé de la division des données ou du réentraînement des modèles. L'approche du chercheur traite les données d'entraînement, ainsi que l'enregistrement de quels arbres ont ignoré quelles données et ce que ces arbres ont prédit, comme un ensemble complet. En rééchantillonnant de manière répétée cet ensemble grâce à une technique statistique spécifique appelée « bootstrapping », la méthode génère une distribution des taux d'erreur possibles. Cela permet la construction d'un intervalle de confiance qui reflète l'incertitude de la performance du modèle, tout en utilisant les mêmes données qui ont entraîné le modèle en premier lieu.

L'article démontre que cette méthode est non seulement efficace sur le plan informatique mais aussi statistiquement solide. À travers des simulations informatiques approfondies utilisant à la fois des tâches de régression, où l'objectif est de prédire un nombre continu, et des tâches de classification, où l'objectif est de trier des éléments en catégories, le chercheur a testé la fréquence à laquelle ces nouveaux intervalles de confiance capturaient réellement le taux d'erreur. Dans un exemple de régression impliquant une fonction mathématique complexe avec dix variables d'entrée, et un exemple de classification impliquant vingt variables, les simulations ont montré que les intervalles fonctionnaient exactement comme prévu. Lorsque le chercheur demandait un niveau de confiance de 95 %, l'erreur réelle tombait dans la plage calculée environ 95 % du temps sur des milliers d'essais simulés. De plus, la largeur de ces intervalles diminuait à un rythme prévisible à mesure que la quantité de données d'entraînement augmentait, confirmant que la méthode devient plus précise avec des ensembles de données plus importants.

Pour prouver que la méthode fonctionne sur des problèmes du monde réel, l'étude a appliqué la technique à quatre ensembles de données distincts. Le premier était une collection classique de données sur l'efficacité énergétique des voitures, où le modèle devait prédire les miles par gallon en fonction des caractéristiques du véhicule. Le deuxième impliquait un ensemble massif d'e-mails pour distinguer les messages légitimes des courriers indésirables (spam). Le troisième était un enregistrement détaillé des ventes de maisons à Ames, dans l'Iowa, utilisé pour prédire les prix de vente, et le quatrième suivait le comportement des clients pour une entreprise de télécommunications afin d'identifier ceux susceptibles d'annuler leur service. Pour chaque ensemble de données, le chercheur a calculé des intervalles de confiance à différents niveaux de certitude. Pour les données immobilières, par exemple, l'intervalle de confiance à 95 % pour l'erreur de prédiction variait d'environ vingt-trois mille dollars à vingt-sept mille dollars. Pour la tâche de détection de spam, l'intervalme pour le taux d'erreur était une plage étroite située entre environ 4,1 % et 5,4 %. Ces résultats ont montré que la méthode pouvait fournir des limites significatives et interprétables sur l'erreur pour diverses applications pratiques.

Un avantage significatif de cette approche est sa rapidité et sa simplicité. Parce qu'elle repose sur les données déjà générées lors de l'entraînement initial de la forêt aléatoire, elle évite le processus laborieux de division répétée des données et de réentraînement des modèles. Le chercheur a testé le temps d'exécution de la procédure sur un ordinateur portable standard et a constaté que même pour le plus grand ensemble de données contenant plus de quatre mille e-mails, l'ensemble du processus de génération des intervalles de confiance ne prenait qu'un peu plus d'une seconde. Cette efficacité rend la méthode accessible pour un usage quotidien, permettant aux scientifiques de données de quantifier la fiabilité de leurs modèles avec un effort supplémentaire minimal. Le travail souligne également une propriété unique de la méthode : parce qu'elle est basée sur la distribution des erreurs elles-mêmes, elle peut facilement traduire les résultats dans les unités naturelles du problème, telles que les dollars pour les prix des maisons ou les miles par gallon pour les voitures, rendant l'incertitude facile à comprendre pour les non-experts.

L'article conclut en notant que le code pour effectuer ces calculs est disponible gratuitement sous forme de bibliothèque open-source, permettant à d'autres d'appliquer la technique immédiatement. En transformant les sous-produits cachés d'un processus d'entraînement standard en une mesure robuste de l'incertitude, ce travail offre une voie directe pour comprendre les limites de la généralisation d'un modèle. Il confirme qu'avec les bons outils statistiques, les intervalles de confiance de la performance d'une forêt aléatoire peuvent être dérivés directement des données d'entraînement, offrant un moyen fiable et à faible coût de jauger la capacité d'un modèle prédictif à tenir dans le monde réel.