Résumé technique : Extension des Arbres d'Ensemble Explicables (E2Tree) aux contextes de régression

Énoncé du problème

Les méthodes d'ensemble, en particulier les Forêts Aléatoires (RF), ont révolutionné l'apprentissage supervisé en offrant une haute précision prédictive grâce à l'agrégation d'apprenants faibles. Cependant, ces modèles fonctionnent comme des « boîtes noires », manquant de transparence quant à la manière dont ils traitent les valeurs d'entrée pour générer des prédictions. Cette opacité entrave la compréhension et la confiance des utilisateurs, en particulier dans des domaines critiques tels que la médecine et la finance. Bien qu'il existe des approches existantes pour l'interprétabilité — allant de modèles intrinsèquement interprétables (par exemple, les arbres de décision) à des outils d'explication a posteriori (par exemple, l'importance des variables, les valeurs de Shapley) — elles peinent souvent à équilibrer la précision du modèle avec la capacité d'élucider des interactions complexes et non linéaires entre les caractéristiques.

Le défi spécifique abordé dans cet article est l'extension de la méthodologie des Arbres d'Ensemble Explicables (E2Tree). Initialement proposée par Aria et al. (2024) pour des tâches de classification, E2Tree fournit une représentation graphique, de type arbre, des modèles RF qui prend en compte à la fois les effets des prédicteurs et les associations inter-prédicteurs. Les auteurs notent que, bien qu'E2Tree ait réussi à expliquer les RF de classification, une méthodologie correspondante pour les contextes de régression (modèles à résultat continu) faisait défaut.

Méthodologie

L'article propose une extension du cadre E2Tree pour traiter les problèmes de régression. L'objectif principal est de dériver une structure unique, de type arbre et interprétable, qui représente fidèlement la logique de prise de décision d'un modèle de régression par Forêt Aléatoire entraîné.

1. Construction de la matrice de dissimilarité

La méthodologie commence par la définition d'une matrice de dissimilarité $D$ dérivée du modèle RF. Soit $H = \{H_1, \dots, H_B\}$ une Forêt Aléatoire de $B$ apprenants faibles entraînés sur un échantillon de taille $n$. Pour deux observations quelconques $u_i$ et $u_j$, la dissimilarité $d_{ij}$ est définie comme $1 - O_{ij}$, où $O_{ij}$ est une mesure pondérée de co-occurrence.

$O_{ij}$ quantifie la fréquence à laquelle une paire d'observations tombe dans le même nœud à travers la séquence d'arbres, pondérée par une mesure locale d'ajustement $W(t)_{ij|b}$ pour le nœud $t$ dans l'arbre $b$ :
$$O_{ij} = \frac{\sum_{b=1}^{B} I(u_i \land u_j) \cdot W(t)_{ij|b}}{\max(\sum_{b} u_i W(t)_{i|b}; \sum_{b} u_j W(t)_{j|b})}$$

2. Ajustement spécifique à la régression

Une contribution clé de cet article est l'adaptation de la mesure locale d'ajustement $W(t)_{ij|b}$ pour la régression. Dans le contexte de la classification, cette mesure était basée sur la pureté ; en régression, les auteurs proposent d'utiliser l'Erreur Quadratique Moyenne Normalisée (NMSE) :
$$NMSE(t)_{ij|b} = \frac{MSE(t)_{ij|b}}{MSE_{max} \cdot p(t)}$$
Où :

• $MSE(t)_{ij|b}$ est l'erreur quadratique moyenne au nœud $t$.
• $p(t)$ est la proportion d'observations dans le nœud $t$.
• $MSE_{max}$ est l'erreur quadratique moyenne maximale théorique, calculée sur la base de l'étendue de la variable réponse $Y$ au sein du nœud (suivant Jacobson, 1969) : $MSE_{max} = \frac{(\max(Y|b) - \min(Y|b))^2}{9}$.

La mesure d'ajustement local est alors définie comme suit :
$$W(t)_{ij|b} = \begin{cases} 0 & \text{si } 1 - NMSE(t)_{ij|b} \le 0 \\ 1 - NMSE(t)_{ij|b} & \text{sinon} \end{cases}$$

3. Construction de l'arbre et règles d'arrêt

L'algorithme construit l'E2Tree en divisant récursivement les données sur la base de la matrice de dissimilarité $D$. Pour éviter le surajustement et garantir que l'arbre résultant soit parcimonieux, les auteurs introduisent des critères d'arrêt spécifiques au-delà des divisions RF standard :

• Seuil NMSE ($\gamma$) : Un nœud devient terminal si le $NMSE(t)_{ij|b}$ calculé tombe en dessous d'un seuil spécifié $\gamma$ (fixé à 0,05 dans les expériences).
• Équivalence distributionnelle : Pour chaque division potentielle, un test de Mann-Whitney est effectué pour vérifier si les distributions des valeurs prédites dans les nœuds enfants sont identiques. Si les distributions ne sont pas significativement différentes, la division est rejetée et le nœud parent est traité comme terminal.

Contributions clés

1. Extension méthodologique : La contribution principale est l'extension formelle d'E2Tree de la classification à la régression. Cela implique la redéfinition de la métrique locale d'ajustement pour utiliser le NMSE plutôt que la pureté de classification.
2. Représentation unifiée : La méthode fournit une structure unique, de type arbre, qui capture la logique globale d'une Forêt Aléatoire, y compris les interactions complexes entre les prédicteurs, tout en maintenant la précision prédictive de l'ensemble original.
3. Capacité d'explication duale : L'E2Tree résultant offre à la fois des explications globales (modèles et règles suivis par le modèle) et des explications locales (logique détaillée pour des instances spécifiques), comblant le fossé entre la performance de la boîte noire et l'interprétabilité humaine.
4. Implémentation open-source : Les auteurs fournissent un package R (e2tree) et la disponibilité du code, facilitant la reproductibilité et l'application ultérieure de la méthode.

Résultats expérimentaux

Les auteurs ont validé la méthode proposée en utilisant deux jeux de données du dépôt UCI Machine Learning : le jeu de données Iris (adapté pour la régression sur la longueur des pétales) et le jeu de données Auto MPG (prédiction de l'efficacité énergétique).

• Jeu de données Iris : L'E2Tree a réussi à reconstruire la structure de la matrice de co-occurrence du RF. Une analyse de clustering hiérarchique comparant la matrice RF originale ($O_{ij}$) et la matrice estimée par E2Tree ($\hat{O}_{ij}$) a produit un Indice de Fowlkes-Mallows (FMI) d'environ 90 %, indiquant un degré élevé de similarité dans la structure de clustering.
• Jeu de données Auto MPG : Malgré la taille plus importante du jeu de données et les relations non linéaires, l'E2Tree a efficacement visualisé les chemins de décision. La comparaison des cartes thermiques pour $O_{ij}$ et $\hat{O}_{ij}$ a abouti à un FMI d'environ 75 %.
• Interprétabilité : Dans les deux cas, l'E2Tree a fourni des voies claires de type « Si-Alors ». Pour les données Auto MPG, l'arbre a visualisé les effets négatifs de la cylindrée, du poids et de la puissance sur le MPG, et les effets positifs de l'année du modèle et de l'origine, offrant des perspectives qui ne sont pas directement accessibles à partir d'un modèle RF ajusté standard.

Signification et affirmations

L'article affirme qu'E2Tree garantit que les modèles d'apprentissage automatique restent des « outils d'autonomisation » en offrant un processus de prise de décision compréhensible sans sacrifier la précision de l'ensemble. Les auteurs soulignent que leur approche :

• Interprète le processus d'ensemble à travers une structure d'arbre unique et cohérente.
• Maintient la performance de précision de la Forêt Aléatoire sous-jacente.
• Fournit un outil puissant pour expliquer les interactions entre les prédicteurs qui déterminent les prédictions des nœuds finaux.

Les auteurs concluent que cette extension aborde à la fois les problèmes d'interprétabilité et d'explicabilité dans les contextes de classification et de régression. Ils notent que les travaux futurs visent à généraliser l'approche à d'autres méthodologies d'arbres d'ensemble et à développer de nouvelles métriques pour évaluer la fidélité des résultats E2Tree par rapport aux sorties de l'ensemble original. L'article ne prétend pas remplacer les modèles de boîte noire, mais plutôt fournir une couche d'explication transparente et a posteriori qui préserve l'utilité du modèle.