Résumé Technique : Correction de l'importance des variables calculée par les Forêts Aléatoires

Énoncé du Problème

Les Forêts Aléatoires (RF) sont largement reconnues comme des outils puissants pour l'analyse statistique des données et l'apprentissage automatique, offrant des performances robustes dans les tâches de classification et de régression. Une caractéristique clé des RF est leur capacité à produire des scores d'importance des variables, qui sont essentiels pour l'interprétation, la sélection et le diagnostic des modèles. Cependant, le calcul standard de l'importance des variables dans les RF — spécifiquement la méthode de la précision par permutation — souffre d'une limitation critique : il ne tient pas compte des corrélations entre les variables.

Lorsqu'une variable $U$ est fortement corrélée avec d'autres variables ($V_1, V_2, \dots$) conditionnellement à la variable réponse $Y$, l'importance de $U$ est souvent sous-estimée ou complètement masquée. Dans l'approche de permutation standard, le brassage des valeurs de $U$ rompt son association avec $Y$. Cependant, si $V_1, V_2, \dots$ restent dans le modèle et sont fortement corrélées à $U$, elles peuvent effectivement « combler » l'information manquante, entraînant une baisse négligeable de la précision prédictive. Par conséquent, l'importance calculée pour $U$ reste artificiellement basse, malgré le fait que $U$ soit un véritable prédicteur. Ce phénomène conduit à des écarts significatifs entre l'importance calculée et l'utilité prédictive réelle des variables.

Méthodologie

Pour remédier à l'effet de masquage causé par les variables corrélées, les auteurs proposent un cadre qui regroupe les variables sur la base de leurs corrélations conditionnelles (corrélation étant donnée la variable réponse $Y$) avant de calculer l'importance. L'idée centrale est de supprimer l'influence des variables corrélées lors de l'évaluation de l'importance d'une variable d'intérêt spécifique.

Le document définit le coefficient de corrélation conditionnelle $\rho(U, V | Y)$ comme le rapport de la covariance conditionnelle sur le produit des écarts-types conditionnels. En utilisant cette métrique, les auteurs explorent deux approches algorithmiques distinctes :

Méthode 1 : Correction par Variable Individuelle (corrVI-Individual)

Cette approche opère sur une base par variable :

1. Pour une variable cible $V_i$, l'algorithme identifie l'ensemble des variables $V_{cor}$ qui sont conditionnellement corrélées avec $V_i$.
2. Il construit un jeu de données réduit contenant toutes les variables excepté celles de $V_{cor}$ (noté $V_{nc}$).
3. La précision prédictive de la Forêt Aléatoire est calculée sur l'ensemble $V_{nc}$ puis sur l'ensemble $V_{nc} \cup \{V_i\}$.
4. L'importance de $V_i$ est définie comme l'augmentation de la précision prédictive lorsque $V_i$ est ajoutée à l'ensemble des variables non corrélées.
5. En supprimant toutes les variables corrélées, la méthode garantit que le gain de précision est attribué uniquement à $V_i$, empêchant ainsi le masquage.

Note : Les auteurs reconnaissent que cette méthode supprime « plus » d'informations que strictement nécessaire (car $V_{cor}$ peut contenir de l'information au-delà de $V_i$), ce qui peut conduire à une légère surestimation de l'importance. Cependant, ils soutiennent que cette surestimation est négligeable si les variables restantes offrent une séparation prédictive décente.

Méthode 2 : Correction par Clustering Spectral (corrVI-Spectral)

Cette approche regroupe l'ensemble des variables en sous-groupes disjoints basés sur les corrélations conditionnelles par paires :

1. Une matrice de corrélation conditionnelle par paires est calculée pour toutes les variables.
2. Cette matrice est traitée comme une matrice de similitude, et un clustering spectral est appliqué pour partitionner les variables en groupes disjoints ($G_1, \dots, G_K$) où les variables au sein d'un groupe sont fortement corrélées, et les variables entre les groupes sont faiblement corrélées.
3. Pour une variable $V$ appartenant au groupe $G_i$, l'algorithme supprime l'ensemble du groupe $G_i$ du jeu de données.
4. L'importance de $V$ est calculée comme l'augmentation de la précision prédictive lorsque $V$ est réajoutée à l'ensemble des variables $V_{nc} = \text{Toutes les Variables} \setminus G_i$.
5. Puisqu'aucune variable dans $V_{nc}$ n'est conditionnellement corrélée à $V$, le score d'importance n'est pas masqué.

Suppression vs Permutation :
Les auteurs choisissent explicitement de supprimer les variables corrélées plutôt que de les permuter lors du calcul de l'importance. Ils démontrent que, bien que la suppression ou la permutation d'une seule variable produise des résultats similaires en raison de la sélection de variables intégrée aux RF, la permutation de plusieurs variables simultanément peut dégrader la précision prédictive plus que la simple suppression. Cela est dû au fait que la permutation de plusieurs variables de bruit augmente la probabilité qu'une variable de bruit soit sélectionnée comme point de division, gonflant artificiellement la chute de précision. Par conséquent, la suppression est jugée comme l'approche la plus stable pour corriger les corrélations multi-variables.

Principales Contributions

1. Identification du Problème de Masquage : Le document souligne formellement comment les corrélations conditionnelles dans les RF conduisent à la sous-estimation de l'importance des variables, un problème souvent négligé dans les implémentations standards.
2. Cadre de Corrélation Conditionnelle : Les auteurs introduisent l'utilisation de la corrélation conditionnelle (donnée $Y$) comme métrique pour le regroupement des variables, plutôt que la corrélation inconditionnelle.
3. Deux Algorithmes de Correction : La proposition de deux méthodes efficaces sur le plan computationnel :
   • Méthode 1 : Une approche flexible, basée sur l'individu, qui supprime les variables corrélées spécifiques pour chaque cible.
   • Méthode 2 : Une approche de regroupement utilisant le clustering spectral pour gérer globalement les groupes de variables.
4. Validation Empirique : Les méthodes sont testées sur huit jeux de données réels provenant du dépôt de Machine Learning de l'UC Irvine, démontrant que les corrections s'alignent mieux avec la connaissance métier que les scores d'importance RF standards.

Résultats Expérimentaux

Les auteurs ont évalué les deux méthodes sur des jeux de données incluant Seeds, Indian Liver Patient, Heart Disease, Wine, Maternal Health, Obesity et Bank Marketing.

• Jeu de données Seeds : La RF originale attribuait une importance proche de zéro à « Compactness » ($V_3$) et une faible importance à « Area » ($V_1$) et « Perimeter » ($V_2$). Les deux méthodes de correction ont considérablement augmenté l'importance de $V_1$ et $V_2$. La Méthode 1 a correctement identifié $V_3$ comme ayant une importance non nulle (car elle contient une information unique), tandis que la Méthode 2 (en raison des limites du clustering) l'a légèrement sous-estimée.
• Jeu de données Indian Liver Patient : Des variables telles que l'Alkaline Phosphatase ($V_5$) et les Protéines Totales ($V_8$) se voyaient attribuer une importance proche de zéro par la RF standard. La Méthode 1 a correctement ajusté ces scores à la hausse, reflétant leur importance médicale. La Méthode 2 a échoué à ajuster $V_5$ car l'algorithme de clustering n'a pas pleinement capturé sa corrélation avec d'autres variables, masquant ainsi son importance.
• Jeu de données Heart Disease : Des variables critiques comme l'Âge ($V_1$), le Genre ($V_2$) et la Pression Artérielle au Repos ($V_4$) ont été significativement sous-classées par la RF standard. Les deux méthodes ont corrigé ces scores. Cependant, la Méthode 2 n'a pas réussi à ajuster $V_4$ et $V_{11}$ (Pente du segment ST) aussi efficacement que la Méthode 1 en raison des frontières de clustering.
• Jeux de données Obesity et Bank Marketing : Des tendances similaires ont été observées où des variables critiques pour le domaine (ex: Antécédents familiaux de surpoids, Historique de contact précédent) ont été sous-classées par la RF mais corrigées par les méthodes proposées. La Méthode 1 s'est avérée généralement plus robuste dans les cas où la structure de corrélation ne forme pas de clusters disjoints parfaits.

En général, la Méthode 1 a démontré une plus grande flexibilité et précision dans la correction des scores d'importance, particulièrement lorsque les variables formaient des structures de corrélation complexes que le clustering spectral ne pouvait pas partitionner parfaitement.

Signification et Revendications

Le document affirme que son approche fournit des « corrections raisonnables » aux scores d'importance des variables produits par les Forêts Aléatoires. La signification réside dans :

• Amélioration de l'Interprétabilité : En atténuant l'effet de masquage, les scores corrigés reflètent mieux la véritable contribution prédictive des variables, facilitant l'interprétation du modèle et la sélection de caractéristiques.
• Alignement avec le Domaine : Les scores d'importance corrigés s'alignent plus étroitement avec les connaissances établies du domaine (ex: marqueurs médicaux dans les jeux de données de maladies du foie et du cœur) par rapport aux scores RF standards.
• Applicabilité Générale : Bien que motivée par les RF, les auteurs notent que l'approche consistant à supprimer les variables corrélées pour évaluer l'importance est applicable aux méthodes prédictives générales.

Les auteurs maintiennent un ton modeste, reconnaissant que la Méthode 1 peut légèrement surestimer l'importance en supprimant plus d'informations que nécessaire, et que la performance de la Méthode 2 dépend de la qualité du clustering spectral. Ils ne prétendent pas résoudre tous les problèmes de l'importance des caractéristiques, mais proposent un mécanisme pratique et efficace pour traiter le problème spécifique du masquage induit par la corrélation.