📊 statistics

Interpretable Network-assisted Random Forest+

Cet article introduit une famille de modèles interprétables assistés par réseau, fondés sur un cadre de forêt aléatoire généralisée, qui comble l'écart entre la haute précision de prédiction et la transparence du modèle en exploitant les dépendances de réseau tout en fournissant des outils complets pour quantifier les contributions des caractéristiques et du réseau.

Auteurs originaux : Tiffany M. Tang, Elizaveta Levina, Ji Zhu

Publié 2026-09-09

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tiffany M. Tang, Elizaveta Levina, Ji Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de la science des données moderne, les ordinateurs sont souvent enseignés pour apprendre à partir d'exemples, tout comme un étudiant qui étudie pour un examen. Pendant des décennies, l'hypothèse standard a été que chaque exemple est indépendant, un fait solitaire se tenant seul. Mais dans le monde réel, les choses sont rarement isolées. Les gens sont connectés par des amitiés, les villes par des routes, et les gènes par des voies biologiques. Ces connexions créent une toile d'influence où le comportement d'une personne ou l'état d'une ville peut se propager pour affecter ses voisins. Lorsque les points de données sont liés de cette manière, traiter les données comme indépendantes crée un angle mort, manquant les forces subtiles mais puissantes qui façonnent les résultats. Le défi pour les scientifiques est de construire des modèles capables d'utiliser ces connexions pour faire de meilleures prédictions sans transformer le modèle en une boîte noire que personne ne peut comprendre. Si un modèle prédit l'avenir d'un étudiant ou le taux de criminalité d'une ville en se basant sur son cercle social, nous devons savoir exactement à quel point ce cercle compte par rapport à son histoire personnelle.

C'est le problème abordé par une nouvelle méthode appelée NeRF+, développée par des chercheurs de l'Université de Notre Dame et de l'Université du Michigan. Ils ont cherché à créer un outil capable d'exploiter la puissance des connexions de réseau pour améliorer les prédictions tout en restant assez transparent pour que les humains puissent lui faire confiance. Les approches traditionnelles imposent souvent un choix : utiliser des systèmes complexes et hautement précis qui sont impossibles à interpréter, ou utiliser des systèmes simples et compréhensibles qui ne parviennent pas à capturer la nuance des données connectées. Les chercheurs ont comblé ce fossé en construisant un modèle flexible qui combine la force prédictive des arbres de décision avec la clarté des équations linéaires. Leur approche permet à l'ordinateur d'apprendre de la structure des données, identifiant non seulement quels traits personnels comptent, mais aussi à quel point le réseau environnant influence le résultat.

Le cœur de leur travail consiste à enseigner à l'ordinateur à reconnaître deux manières distinctes dont un réseau peut façonner la réalité. Parfois, les personnes qui sont proches dans un réseau sont similaires parce qu'elles partagent une qualité cachée, sous-jacente, comme l'appartenance au même groupe social. D'autres fois, elles sont similaires simplement parce qu'elles sont directement connectées et s'influencent mutuellement, comme des voisins qui adoptent des habitudes similaires. La nouvelle méthode peut détecter ces deux schémas. Elle y parvient en observant les données de deux manières simultanées. Premièrement, elle cartographie le réseau pour trouver des regroupements cachés, un peu comme trier des personnes en cercles basés sur qui elles connaissent. Deuxièmement, elle applique une règle de lissage qui encourage le modèle à traiter les voisins connectés comme similaires, capturant le flux direct d'influence entre eux. En combinant ces éléments avec les détails individuels de chaque personne ou lieu, le modèle crée une prédiction qui est à la fois précise et adaptable.

Pour garantir que cet outil soit utile à la prise de décision dans le monde réel, les chercheurs l'ont équipé d'un ensemble intégré de lentilles pour voir comment il fonctionne. Contrairement à d'autres systèmes avancés qui nécessitent des outils séparés, souvent peu fiables, pour expliquer leurs choix, ce modèle s'explique lui-même. Il peut dire à un chercheur exactement à quel point une caractéristique spécifique, comme la note d'un étudiant ou la température d'une ville, a contribué à une prédiction. Plus important encore, il peut séparer l'influence du réseau de l'influence des traits personnels. Il peut quantifier la part d'une prédiction provenant du fait qu'une personne est connectée à d'autres, et la part qui provient de ses propres caractéristiques uniques. Cette capacité à démêler la toile de l'individu est cruciale pour comprendre les véritables moteurs des résultats dans les systèmes complexes.

Les chercheurs ont testé leur méthode en utilisant des données simulées où ils connaissaient les règles exactes du jeu. Ils ont créé des scénarios où le réseau jouait un rôle faible, un rôle important, ou aucun rôle du tout, et où les relations entre les variables étaient simples ou extrêmement complexes. Dans chaque cas, la nouvelle méthode a performé aussi bien ou mieux que les techniques existantes. Lorsque le réseau était un facteur fort, la méthode l'utilisait pour augmenter la précision de manière significative. Lorsque le réseau était non pertinent, la méthode l'ignorait simplement sans perdre sa capacité de prédiction. Crucialement, elle a maintenu sa haute performance même lorsque les relations dans les données étaient irrégulières et imprévisibles, une situation où les modèles plus simples échouent souvent. Les simulations ont également montré que la méthode pouvait identifier correctement quelles parties du réseau étaient à l'origine des résultats, distinguant entre les regroupements cachés et les connexions directes.

Pour prouver que la méthode fonctionnait dans la réalité désordonnée du monde réel, l'équipe l'a appliquée à deux études de cas distinctes. La première concernait une grande expérience sur les conflits scolaires, où des chercheurs tentaient de prédire à quel point un étudiant percevrait son école comme étant amicale à la fin de l'année. Les données comprenaient le parcours des étudiants et une carte de leurs amitiés. Le nouveau modèle a prédit avec succès ces perceptions, et son analyse interne a révélé quelque chose de frappant : pour certaines écoles, la structure sociale globale était le moteur principal, tandis que pour d'autres, c'étaient les groupes d'amis très soudés qui comptaient le plus. Dans une école spécifique, le modèle a identifié un petit groupe isolé d'élèves de quatrième qui avaient des amitiés fortement liées à une perception négative de l'école. Sans la capacité du modèle à zoomer sur les connexions individuelles, ce groupe spécifique aurait pu être perdu dans le bruit moyen des données.

La seconde étude de cas portait sur les taux de criminalité à travers Philadelphie sur quinze ans. Ici, les données consistaient en des statistiques mensuelles de criminalité pour des centaines de quartiers, liés par leur adjacence physique. L'objectif était de prédire les taux de criminalité en utilisant les données météorologiques et le temps. Les résultats étaient clairs : le réseau des quartiers voisins était le facteur le plus important, dépassant de loin la météo ou le moment de l'année. Les outils internes du modèle ont montré que l'influence provenait presque entièrement de la connexion directe entre voisins, confirmant que les taux de criminalité ont tendance à se lisser à travers les frontières. Le modèle pouvait même localiser les quartiers spécifiques qui entraînaient ces schémas, montrant un gradient d'influence clair et fluide qui correspondait aux cartes de criminalité observées. Dans les écoles comme dans les villes, la méthode a prouvé qu'elle pouvait apprendre des connexions sans être confondue par elles.

Les chercheurs soulignent que cet outil est conçu pour les situations où comprendre le « pourquoi » est aussi important que la prédiction elle-même. Qu'il s'agisse d'un médecin essayant de comprendre un diagnostic, d'un décideur politique évaluant une intervention, ou d'un scientifique étudiant la dynamique sociale, la capacité de voir la contribution du réseau est vitale. La méthode ne prétend pas résoudre le mystère du comportement humain ou prouver qu'une chose en cause une autre, mais elle fournit une carte claire et honnête de la manière dont les données sont utilisées. Elle offre un moyen de naviguer dans la complexité des données connectées avec confiance, garantissant que les informations obtenues sont non seulement précises, mais aussi transparentes et dignes de confiance. En rendant visible l'invisible toile d'influence, ce travail ouvre la porte à des décisions plus éclairées dans un monde où tout est connecté.

Résumé technique : Réseau de forêts aléatoires assisté par réseau interprétable (NeRF+)

Énoncé du problème
Les algorithmes d'apprentissage automatique supposent généralement que les échantillons d'entraînement sont indépendants. Cependant, dans de nombreuses applications modernes (par exemple, les réseaux sociaux, les données spatiales), les points de données sont connectés via un réseau, induisant des dépendances qui réduisent la taille effective de l'échantillon et introduisent un biais. Bien que l'exploitation de ces dépendances (cohésion de réseau) puisse améliorer la prédiction, les méthodes existantes font face à un compromis :

Réseaux de neurones graphiques (GNN) : Offrent une grande précision de prédiction mais sont souvent des « boîtes noires », manquant d'interprétabilité intrinsèque. Les outils d'explicabilité post-hoc pour les GNN sont souvent instables et susceptibles d'attaques adverses.
Régression linéaire assistée par réseau (ex: RNC) : Hautement interprétable mais manque souvent de la flexibilité nécessaire pour capturer des relations non linéaires complexes, ce qui conduit à une performance de prédiction sous-optimale.
Méthodes d'arbres assistées par réseau (ex: Network BART, BAMDT) : Améliorent la prédiction mais manquent d'outils d'interprétabilité robustes. Les mesures d'importance existantes pour ces modèles souffrent souvent d'un biais envers les caractéristiques du réseau en raison du grand nombre de divisions de réseau potentielles, ce qui rend difficile la distinction entre l'importance du réseau et l'importance des caractéristiques.

Il existe un besoin pour une méthode qui équilibre une haute précision de prédiction avec une interprétabilité intrinsèque, capable spécifiquement de démêler la contribution des connexions de réseau de celle des caractéristiques des nœuds.

Méthodologie : NeRF+
Les auteurs proposent Network-assisted Random Forest Plus (NeRF+), une famille flexible de modèles construits sur le Random Forest Plus (RF+). RF+ généralise les forêts aléatoires standards en représentant les prédictions des arbres de décision par un modèle linéaire, combinant des caractéristiques basées sur des arbres non linéaires avec des caractéristiques linéaires.

NeRF+ incorpore l'information de réseau par deux mécanismes complémentaires :

Caractéristiques d'incorporation de réseau ( $Z$ ) : La matrice de covariables originale $X$ est augmentée de caractéristiques d'incorporation de réseau $Z$ (par exemple, les plongements spectraux du Laplacien) apprises uniquement à partir de la structure du réseau. Cela capture la cohésion dans l'espace latent.
Pénalité de cohésion de réseau ( $\alpha$ ) : Le modèle inclut un effet spécifique au nœud $\alpha$ régularisé par une pénalité de cohésion de réseau ( $\alpha^\top L \alpha$ ), où $L$ est le Laplacien du réseau. Cela encourage les prédictions pour les nœuds connectés à être similaires, capturant la lissité dans le réseau observé.

Formulation du modèle :
Pour une forêt de $T$ arbres, NeRF+ prédit la réponse $\hat{y}$ comme une moyenne d'ensemble :
$\hat{y} = \frac{1}{T} \sum_{t=1}^T \left( \hat{\alpha}^{(t)} + \tilde{X}\hat{\beta}^{(t)} + \Psi_t(\tilde{X})\hat{\gamma}^{(t)} \right)$
Où :

$\tilde{X} = [X, Z]$ est la matrice de caractéristiques augmentée.
$\hat{\alpha}^{(t)}$ représente les effets des nœuds (cohésion de réseau).
$\hat{\beta}^{(t)}$ sont les coefficients pour les caractéristiques linéaires.
$\Psi_t(\tilde{X})$ représente les caractéristiques de l'artère de décision (decision stump) dérivées des divisions d'arbres.
$\hat{\gamma}^{(t)}$ sont les coefficients pour les caractéristiques non linéaires basées sur les arbres.

Les paramètres sont estimés en minimisant une fonction de perte (par exemple, l'erreur au carré) plus des pénalités de régularisation (par exemple, $\ell_2$ sur $\beta$ et $\gamma$ , et la pénalité de cohésion sur $\alpha$ ).

Contributions clés : Outils d'interprétabilité
Une contribution primaire de l'article est une suite d'outils d'interprétabilité intrinsèques dérivés directement des paramètres du modèle, évitant ainsi le recours à des approximations post-hoc instables. Ces outils permettent aux chercheurs de :

Importance globale des caractéristiques :
- Importance par permutation : Mesure la chute de la précision de prédiction lorsque les valeurs des caractéristiques (ou des caractéristiques de réseau) sont permutées. Crucialement, cela permet la quantification séparée de l'importance de la cohésion de réseau ( $\alpha$ ) par rapport aux incorporations de réseau ( $Z$ ).
- Importance MDI+ : Une généralisation de la diminution de l'impureté moyenne (Mean Decrease in Impurity) adaptée pour RF+. Elle mesure la similitude entre la réponse et les prédictions faites en utilisant seulement un sous-ensemble de caractéristiques (en imputant les autres par les moyennes de colonnes), permettant le démêlage des contributions du réseau versus les caractéristiques.
Importance locale des caractéristiques :
- En exploitant la forme linéaire de NeRF+, les auteurs définissent des scores d'importance locale (similaires aux valeurs de Shapley) pour des échantillons individuels. Cela quantifie l'importance d'une caractéristique spécifique ou du réseau pour la prédiction d'un échantillon spécifique par rapport à la moyenne.
Influence de l'échantillon :
- Les auteurs dérivent des estimations approchées en forme fermée de type Leave-One-Out (LOO) pour les coefficients du modèle. Cela permet de calculer des scores d'influence d'échantillon pour identifier les valeurs aberrantes ou les observations influentes sans ré-ajuster le modèle $n$ fois.

Résultats
L'article évalue NeRF+ à travers des simulations et deux études de cas :

Simulations : NeRF+ atteint systématiquement une précision de prédiction compétitive ou supérieure (mesurée par $R^2$ $R^{2}$ ) par rapport à RNC, Network BART, RF+ standard et la régression linéaire à travers diverses formes fonctionnelles (linéaire, polynomiale, parcelle creuse localement très dense) et différents types d'effets de réseau (bloc additif, autocorrélation de réseau).
- NeRF+ identifie correctement les caractéristiques de signal par rapport aux caractéristiques de non-signal.
- Les mesures d'importance globale reflètent avec précision la force de l'effet de réseau et distinguent avec succès les contributions de la cohésion de réseau et des incorporations.
- Les scores d'influence d'échantillon identifient efficacement les valeurs aberrantes, les classant comme les échantillons les plus influents à mesure que la force de la perturbation augmente.
Étude de cas 1 (Conflit scolaire) : Pour prédire les perceptions des étudiants sur la convivialité scolaire, NeRF+ a performé de manière compétitive avec RNC (le meilleur performeur en moyenne), mais avec une plus grande cohérence entre les écoles. Les outils d'interprétabilité ont révélé que si la convivialité de base était le prédicteur le plus fort, les effets de réseau variaient selon les écoles : certains étaient portés par la structure communautaire (incorporations), tandis que d'autres étaient portés par la cohésion entre pairs. Les scores d'importance locale ont identifié des groupes d'amis spécifiques ayant de fortes influences négatives entre pairs qui n'étaient pas évidentes à partir des données brutes.
Étude de cas 2 (Criminalité à Philadelphie) : Prédiction des taux de criminalité mensuels par secteur censitaire. NeRF+ et RNC ont surpassé les méthodes non assistées par réseau. Les résultats ont indiqué que la cohésion de réseau était le facteur dominant (bien plus important que les covariables météorologiques ou temporelles), reflétant la lissité spatiale des taux de criminalité. Les cartes d'importance de réseau locales correspondent étroitement aux modèles observés de taux de criminalité, soulignant la capacité du modèle à capturer les dépendances spatiales.

Signification et affirmations
L'article affirme que NeRF+ comble le fossé entre la flexibilité du deep learning/des ensembles d'arbres et l'interprétabilité des modèles linéaires dans le contexte des données en réseau.

Interprétabilité intrinsèque : Contrairement aux GNN, NeRF+ fournit des interprétations basées sur le modèle dérivées directement des paramètres, évitant l'instabilité des explications post-hoc.
Démêlage : Il permet de quantifier de manière unique quelle part de la puissance de prédiction provient de la structure du réseau (cohésion vs incorporation) par rapport aux caractéristiques des nœuds.
Applicabilité : La méthode est particulièrement précieuse pour les domaines à enjeux élevés (ex: biomédical, sciences sociales) où la transparence et la compréhension de comment un modèle fait des prédictions sont aussi critiques que la précision.
Praticité : Les auteurs fournissent un package R avec une application Shiny pour faciliter l'utilisation de ces outils, et démontent que NeRF+ peut être ajusté efficacement (en moins de 3 minutes pour des jeux de données allant jusqu'à $n=1500$ ), ce qui est nettement plus rapide que Network BART.

Les auteurs notent modestement que les interprétations sont spécifiques au modèle ajusté et ne constituent pas une inférence causale, qui reste un domaine de recherche complexe et distinct. Ils suggèrent que les travaux futurs pourraient impliquer l'apprentissage conjoint des incorporations et du modèle, ou des extensions aux réseaux dynamiques.

Articles similaires