Accounting for shared covariates in semi-parametric Bayesian additive regression trees

Les auteurs proposent une extension des modèles semi-paramétriques à base d'arbres de régression bayésiens additifs (BART) qui permet d'inclure des covariables partagées entre les composantes paramétrique et non paramétrique en modifiant les mouvements de génération des arbres, résolvant ainsi les problèmes d'identifiabilité et de biais tout en offrant des performances compétitives pour l'analyse de données complexes comme celles des évaluations éducatives internationales.

L'essentiel

🌳 Le Problème : Deux cuisiniers dans la même cuisine

Imaginez que vous essayez de prédire la note d'un élève en mathématiques. Vous avez deux types d'outils pour cela :

1. Le Cuisinier Classique (Le modèle linéaire) : Il est très organisé. Il sait que "si les parents sont diplômés de l'université, la note augmente de 5 points". Il est excellent pour expliquer les règles simples et directes. Mais il est un peu rigide : il ne comprend pas bien les mélanges compliqués ou les situations où "tout dépend de tout".
2. Le Cuisinier Magicien (BART - Arbres de régression) : C'est un génie du chaos. Il peut détecter des motifs incroyablement complexes : "Si l'élève a faim ET que l'école a des problèmes de discipline ET qu'il fait 100 minutes de devoirs, alors la note chute drastiquement". Il est très précis pour prédire, mais c'est une "boîte noire". Personne ne comprend comment il arrive à ses conclusions.

Le défi des chercheurs :
Jusqu'à présent, pour utiliser les deux ensemble, on devait les séparer strictement. On donnait au Cuisinier Classique les ingrédients "sérieux" (comme le niveau d'éducation des parents) et au Cuisinier Magicien les ingrédients "bizarres" (comme la météo ou l'humeur du jour).
Le problème ? Dans la vraie vie, les ingrédients "sérieux" interagissent aussi entre eux ! Le niveau d'éducation des parents peut changer l'effet du temps passé sur les devoirs. En les séparant, on perdait ces interactions cruciales. De plus, les deux cuisiniers essayaient parfois de cuisiner le même plat en même temps, ce qui créait de la confusion (on ne savait plus qui avait mis le sel).

💡 La Solution : CSP-BART (Le Duo Parfait)

Les auteurs de ce papier (Prado, Parnell, et al.) ont créé une nouvelle méthode appelée CSP-BART. C'est comme si ils avaient réuni les deux cuisiniers dans la même cuisine, mais avec un chef d'orchestre très strict pour éviter la confusion.

Voici comment ça marche, avec des analogies :

1. Le partage des ingrédients (Covariates partagés)

Dans l'ancienne méthode, si "le temps de devoirs" était important pour expliquer les notes, il devait appartenir soit au cuisinier classique, soit au magicien, mais pas aux deux.
La nouveauté : Dans CSP-BART, "le temps de devoirs" est dans les deux paniers. Le cuisinier classique s'occupe de l'effet moyen (ex: "plus de devoirs = meilleures notes"), tandis que le magicien s'occupe des cas particuliers (ex: "mais seulement si l'élève a faim").

2. Les "Double-Poussées" et "Double-Élagages" (Les règles du jeu)

C'est le cœur de l'invention. Pour éviter que les deux cuisiniers ne cuisinent le même plat (ce qui fausse les résultats), les auteurs ont inventé de nouveaux mouvements pour le Cuisinier Magicien :

• La "Double-Poussée" (Double-grow) : Imaginez que le magicien veut ajouter une branche à son arbre de décision en utilisant un ingrédient "sérieux" (comme le niveau d'éducation). Au lieu de juste ajouter une branche, il est obligé d'ajouter une deuxième branche immédiatement avec un autre ingrédient.
  • Pourquoi ? Cela force le magicien à ne chercher que des interactions (des mélanges) et non pas des effets simples. L'effet simple reste la responsabilité exclusive du cuisinier classique.
• La "Double-Élagage" (Double-prune) : Si le magicien essaie de supprimer une branche pour revenir en arrière, il doit supprimer deux branches d'un coup. Cela empêche l'arbre de rester coincé dans une situation où il essaie d'expliquer un effet simple qu'il ne devrait pas gérer.

C'est comme si le magicien avait une règle : "Tu n'as le droit de toucher aux ingrédients principaux que si tu les mélanges immédiatement avec autre chose."

3. Le résultat : Une explication claire ET une prédiction précise

Grâce à ces règles, le modèle CSP-BART réussit le tour de force de :

• Donner des réponses précises (grâce à la magie du BART qui gère les interactions complexes).
• Expliquer clairement ce qui se passe (grâce au cuisinier classique qui garde les effets principaux bien isolés).

📊 L'Application : L'école internationale (TIMSS)

Pour tester leur idée, les chercheurs ont utilisé les données de l'enquête TIMSS 2019, qui compare les performances en mathématiques des élèves du monde entier.

Ils voulaient comprendre l'impact de trois choses :

1. Le niveau d'éducation des parents.
2. Le temps passé aux devoirs.
3. Les problèmes de discipline à l'école.

Ce qu'ils ont découvert :

• L'effet des devoirs n'est pas linéaire : Les modèles classiques pensaient que "plus de devoirs = meilleures notes". CSP-BART a révélé une nuance importante : faire trop de devoirs (plus de 90 minutes) ne aide pas, et peut même être contre-productif (peut-être que l'élève est en difficulté et galère). C'est une courbe en cloche, pas une ligne droite.
• Les interactions comptent : L'effet des devoirs dépend du niveau d'éducation des parents. Le modèle a pu voir ces liens complexes que les anciennes méthodes manquaient.

🏆 Pourquoi c'est important ?

Avant ce papier, si vous vouliez comprendre un phénomène complexe (comme la réussite scolaire, la santé, ou la finance), vous deviez choisir :

• Soit un modèle simple à expliquer mais imprécis.
• Soit un modèle très précis mais incompréhensible (une "boîte noire").

CSP-BART brise ce dilemme. Il permet de dire : "Voici exactement comment chaque facteur influence le résultat, tout en tenant compte de toutes les combinaisons bizarres et imprévues qui se produisent dans la réalité."

C'est comme avoir un GPS qui vous donne à la fois la route la plus rapide (précision) et qui vous explique pourquoi il y a des embouteillages à tel endroit (explication), même si la cause est un mélange complexe de pluie, d'accident et de travaux.

Résumé technique

Voici un résumé technique détaillé du papier de recherche intitulé "Accounting for Shared Covariates in Semi-Parametric Bayesian Additive Regression Trees" (Prado et al.), soumis aux Annals of Applied Statistics.

1. Problématique et Contexte

Les modèles linéaires généralisés (GLM) et les modèles additifs généralisés (GAM) sont largement utilisés pour leur interprétabilité, mais ils nécessitent une spécification préalable des termes d'interaction et supposent souvent des relations linéaires. Les arbres de régression bayésiens additifs (BART) offrent une grande flexibilité pour capturer des non-linéarités et des interactions complexes sans spécification préalable, mais ils fonctionnent souvent comme des "boîtes noires", rendant difficile l'interprétation des effets marginaux de covariables spécifiques.

Les modèles semi-paramétriques BART (comme le modèle SSP-BART de Zeldow, Lo Re III et Roy, 2019) tentent de combiner le meilleur des deux mondes : un prédicteur linéaire pour les effets principaux interprétables et un composant BART pour les interactions et non-linéarités non spécifiées. Cependant, ces modèles existants imposent une hypothèse restrictive : les ensembles de covariables du prédicteur linéaire ($X_1$) et du composant BART ($X_2$) doivent être disjoints ($X_1 \cap X_2 = \emptyset$).

Le problème central abordé par les auteurs est que cette hypothèse de disjonction empêche la modélisation d'interactions complexes impliquant les covariables d'intérêt principal (celles dans $X_1$) avec d'autres variables. De plus, si l'on tente de partager les covariables entre les deux composantes sans ajustements, cela crée des problèmes d'non-identifiabilité : les effets marginaux peuvent être estimés à la fois par le terme linéaire et par l'arbre, conduisant à des biais et une incertitude accrue.

2. Méthodologie : CSP-BART

Les auteurs proposent une nouvelle extension appelée CSP-BART (Combined Semi-Parametric Bayesian Additive Regression Trees). La méthode repose sur trois piliers fondamentaux :

A. Partage des Covariables

Contrairement au SSP-BART, CSP-BART autorise l'intersection des ensembles de covariables ($X_1 \cap X_2 \neq \emptyset$). Cela permet aux covariables d'intérêt principal d'interagir avec elles-mêmes et avec les covariables non principales au sein du composant BART, tout en conservant une estimation linéaire de leurs effets principaux.

B. Résolution de l'Identifiabilité (Mouvements "Double")

Pour éviter que le composant BART n'estime les effets marginaux déjà capturés par le prédicteur linéaire, les auteurs introduisent des modifications structurelles dans l'algorithme de génération des arbres (MCMC) :

• Double-Grow (Croissance Double) : Lorsqu'un arbre est un "stump" (racine unique) et qu'une covariable commune ($x \in X_1 \cap X_2$) est choisie pour la première division, une deuxième division est immédiatement proposée sur une autre variable. De plus, le paramètre du nœud terminal opposé à la première division (qui représenterait l'effet marginal pur de $x$) voit sa variance a priori réduite à zéro ($\mu \sim N(0, \epsilon)$), forçant ainsi son estimation vers zéro. Cela garantit que le composant BART ne capture que les interactions, pas les effets principaux.
• Double-Prune (Élagage Double) : C'est l'opération inverse. Si un arbre contient une seule division sur une variable commune, il est élagué deux fois de suite pour revenir à un stump, évitant ainsi les arbres invalides qui créeraient une redondance d'estimation.
• Contrôles de Validité : Des vérifications strictes sont ajoutées aux mouvements "change" et "swap" pour rejeter automatiquement toute structure d'arbre qui tenterait d'estimer un effet marginal d'une variable déjà présente dans $X_1$.

C. Hiérarchie des Priors

Le modèle remplace l'hypothèse de covariance isotrope (variance égale et non corrélée) des coefficients linéaires par une hiérarchie de priors :

• $\beta \sim MVN(b, \Omega_\beta)$
• $\Omega_\beta \sim IW(V, v)$ (Distribution Inverse Wishart)
  Cela permet de modéliser explicitement les corrélations entre les effets des covariables principales, offrant une meilleure estimation de l'incertitude.

D. Extension aux Effets Aléatoires

Le cadre CSP-BART est également étendu pour inclure des effets aléatoires dans le composant paramétrique (modèle mixte), permettant une analyse multiniveau tout en conservant les mécanismes d'identifiabilité.

3. Contributions Clés

1. Nouveauté Algorithmique : Introduction des mouvements "double-grow" et "double-prune" pour résoudre le problème d'identifiabilité dans les modèles semi-paramétriques partageant des covariables.
2. Flexibilité Structurelle : Suppression de l'hypothèse de disjonction entre $X_1$ et $X_2$, permettant de capturer des interactions complexes impliquant les variables d'intérêt principal.
3. Amélioration de l'Inférence : Utilisation d'une matrice de covariance hiérarchique pour les coefficients linéaires, améliorant la précision des estimations et la gestion des corrélations.
4. Implémentation Logicielle : Développement d'un package R (CSP-BART) disponible publiquement, incluant des stratégies pour gérer les valeurs manquantes via l'approche DART (Dirichlet Additive Regression Trees) pour les grands ensembles de données.

4. Résultats et Validation

Les auteurs valident CSP-BART à travers plusieurs études :

• Études de Simulation (Données de Friedman et Interactions) :

  • CSP-BART démontre un biais inférieur par rapport au SSP-BART, au SSP-BART* (partage de variables sans les nouvelles règles) et au VCBART (Varying Coefficient BART).
  • Le modèle récupère correctement les effets principaux même en présence d'interactions complexes, là où SSP-BART échoue (biais élevé) car il ne peut pas modéliser les interactions des variables d'intérêt.
  • CSP-BART surpasse ou égale les performances prédictives du GAM (qui bénéficie ici d'un avantage injuste en connaissant la structure vraie).

• Application TIMSS 2019 (Étude Internationale sur les Mathématiques et les Sciences) :

  • Données : Analyse des performances des élèves de 8ème année en Irlande (4 118 élèves, 270 prédicteurs initiaux).
  • Objectif : Quantifier l'impact de trois covariables principales : niveau d'éducation des parents, temps passé aux devoirs, et problèmes de discipline scolaire.
  • Résultats :
    • CSP-BART fournit des intervalles de crédibilité plus étroits et significatifs pour les effets principaux par rapport à SSP-BART et VCBART.
    • Détection d'interactions cruciales : Par exemple, l'interaction entre le niveau d'éducation des parents et le temps passé aux devoirs. Le modèle révèle que les élèves de parents très éduqués qui ne font aucun devoir ont des scores particulièrement bas, et que l'effet du temps de devoir n'est pas linéaire (diminution des rendements après 90 minutes).
    • Ces interactions seraient invisibles avec SSP-BART (qui interdit le partage) ou nécessiteraient une spécification manuelle complexe dans un GLM.

• Application Classification (Pima Indians Diabetes) :

  • Démonstration de la capacité du modèle à gérer des réponses binaires (probit link) avec une précision de classification supérieure à SSP-BART.

5. Signification et Conclusion

Ce travail représente une avancée significative dans la modélisation semi-paramétrique bayésienne. En résolvant le problème d'identifiabilité lié au partage de covariables, CSP-BART permet aux chercheurs de :

1. Interpréter les effets marginaux de variables d'intérêt critique avec une grande précision.
2. Découvrir automatiquement des interactions complexes impliquant ces mêmes variables sans hypothèses a priori restrictives.
3. Éviter les biais d'estimation courants dans les approches semi-paramétriques précédentes.

La méthode est particulièrement pertinente pour les domaines comme l'évaluation éducative, la santé publique et les sciences sociales, où les données sont multidimensionnelles, les interactions sont complexes, et l'interprétabilité des effets principaux est primordiale. L'approche offre un compromis optimal entre la flexibilité des méthodes "boîte noire" (BART) et la rigueur interprétable des modèles linéaires.