📊 statistics

Clustered random forests with correlated data for optimal estimation and inference under potential covariate shift

Cet article présente les Forêts Aléatoires Groupées (Clustered Random Forests), un algorithme qui exploite les corrélations intra-groupe pour améliorer la précision de la prédiction et l'inférence pour les données groupées, tout en démontrant que la sélection optimale des poids dépend de la distribution de la covariable cible sous un éventuel décalage de covariables.

Auteurs originaux : Elliot H. Young, Peter Bühlmann

Publié 2026-01-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Elliot H. Young, Peter Bühlmann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire la température future dans une ville. Vous disposez de beaucoup de données, mais ce n'est pas juste une liste de chiffres aléatoires. Les données arrivent par groupes (clusters). Par exemple, vous avez des relevés de température provenant de la même station météorologique pris toutes les heures pendant une semaine.

Dans un modèle météorologique standard (une « Forêt Aléatoire » ou Random Forest), l'ordinateur traite chaque relevat comme s'il était complètement indépendant. Il ne réalise pas que la température à 10h00 est étroitement liée à celle de 10h05 car elles proviennent de la même station. C'est comme demander conseil à un groupe d'amis, mais traiter leurs réponses comme si c'étaient des étrangers qui ne se sont jamais parlé, ignorant le fait que des amis ont souvent tendance à être d'accord entre eux, ce qui contient en réalité une information précieuse.

Ce document présente un nouvel outil appelé Forêts Aléatoires Groupées (Clustered Random Forests). Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : Ignorer le « câlin collectif »

Lorsque les données arrivent sous forme de clusters (comme des mesures répétées pour une même personne, ou des élèves dans une même classe), les éléments à l'intérieur du groupe sont « corrélés ». Ils s'influencent mutuellement.

L'ancienne méthode : Les Forêts Aléatoires standards ignorent cela. Elles traitent chaque donnée comme une île isolée. Cela conduit à des prédictions un peu « vacillantes » (variance élevée) et à des intervalles de confiance (la plage où la réponse est susceptible de se trouver) trop larges.
La nouvelle méthode : La méthode des auteurs reconnaît le « câlin collectif ». Elle utilise une astuce mathématique spéciale (moindres carrés pondérés) pour dire : « Hé, ces points sont liés, alors traitons-les ensemble plutôt que de les traiter comme des inconnues aléatoires. » Cela rend les prédictions plus stables et les intervalles de confiance plus serrés.

2. L'astuce de vitesse : Rapide comme l'éclair

Habituellement, lorsque vous essayez de prendre en compte ces relations complexes entre les points de données, les mathématiques deviennent incroyablement lourdes et lentes. C'est comme essayer de résoudre un puzzle où chaque pièce est collée à toutes les autres.

La promesse du papier : Les auteurs ont trouvé un moyen de réaliser ce calcul complexe presque aussi vite que la méthode simple et standard. Ils utilisent un raccourci ingénieux (descente de gradient conjuguée) qui maintient la vitesse « linéaire ».
Analogie : Imaginez qu'une méthode standard mette 1 heure pour trier un jeu de cartes. Une méthode traditionnelle « corrélée » pourrait prendre 100 heures. Cette nouvelle méthode prend 1 heure et 5 minutes. Elle est assez rapide pour être utilisée sur des ensembles de données massifs sans attendre indéfiniment.

3. La surprise du « Décalage de Covariable » : Un modèle ne convient pas à tout le monde

C'est la partie la plus surprenante du document.

Le scénario : Imaginez que vous ayez entraîné votre modèle sur des données de New York (hivers froids, étés chauds). Maintenant, vous voulez l'utiliser pour prédire la météo à Miami (chaud toute l'année). Ce changement d'environnement est appelé « décalage de covariable » (covariate shift).
L'ancienne croyance : Pour des données indépendantes, la meilleure façon de gérer ce décalage est généralement de simplement re-pondérer les données en fonction de la différence avec le nouvel endroit.
La nouvelle découverte : Les auteurs ont découvert que pour les données corrélées, la « meilleure » façon de pondérer les groupes change selon l'endroit où vous essayez de faire la prédiction.
- Analogie : Pensez à une équipe de randonneurs. Si vous voulez prédire la vitesse à laquelle ils marcheront sur un chemin plat (Données d'entraînement), vous pourriez pondérer l'équipe en fonction de leur vitesse moyenne. Mais si vous voulez prédire leur vitesse sur une montagne escarpée (Données de test), la « meilleure » façon de pondérer l'équipe change complètement.
- L'avertissement : Si vous utilisez une méthode qui optimise les données d'entraînement (comme la validation croisée standard ou les méthodes basées sur la vraisemblance), elle pourrait choisir les « mauvais » poids pour le nouvel environnement. Le papier montre que cela peut conduire à des prédictions terribles — parfois même pires qu'en ignorant simplement les corrélations !
- La solution : Leur méthode vous permet de dire à l'ordinateur : « Je veux la meilleure prédiction pour cet environnement spécifique, » et elle ajuste les poids en conséquence.

4. Preuve par le monde réel

Les auteurs ont testé cela de deux manières :

Simulations : Ils ont créé des données fictives où ils connaissaient la réponse. Ils ont montré que leur méthode était plus précise et donnait des intervalles de confiance plus serrés que les méthodes standard, surtout lorsque la distribution des données changeait.
Données réelles (Patients VIH) : Ils ont examiné les comptes de cellules CD4 (un marqueur de santé) pour des patients atteints du VIH au fil du temps. Comme chaque patient a plusieurs mesures, les données sont groupées.
- Résultat : Leur méthode a prédit les comptes cellulaires avec la même précision que la méthode standard, mais avec des marges d'erreur nettement plus petites (intervalles de confiance plus serrés). Pour un patient, l'incertitude a chuté de 40 %.

Résumé

Le document présente une version plus intelligente et plus rapide de l'algorithme populaire de la « Forêt Aléatoire » pour les données groupées.

Il écoute le groupe : Il utilise les relations entre les points de données pour faire de meilleures prédictions.
Il est rapide : Il ne ralentit pas l'ordinateur.
Il s'adapte : Il réalise que la « meilleure » façon de gérer les données groupées change en fonction de la question ou de l'environnement spécifique posé, évitant ainsi que le modèle n'échoue lorsque les données changent.

Les auteurs ont même rendu cela disponible sous la forme d'un package logiciel (appelé corrRF) afin que d'autres puissent l'utiliser.

Résumé technique : Forêts Aléatoires Groupées avec Données Correlées

Énoncé du Problème

Les jeux de données du monde réel présentent fréquemment des structures groupées (clusters) découlant de mesures répétées, d'études longitudinales ou de regroupements géographiques. Dans ces contextes, les observations au sein d'un groupe sont souvent corrélées, ce qui viole l'hypothèse de variables indépendantes et identiquement distribuées (i.i.d.) standard à de nombreux algorithmes d'apprentissage automatique. Bien que les modèles paramétriques à effets mixtes puissent rendre compte de ces corrélations, ils reposent sur des hypothèses paramétriques spécifiques concernant les structures de moyenne et de covariance ; une spécification erronée de ces structures peut entraîner un biais substantiel et une estimation incohérente.

Les approches non paramétriques existantes, telles que les Forêts Aléatoires (RF), ignorent généralement les corrélations intra-groupe ou tentent de les modéliser via des structures de covariance paramétriques rigides (ex: arbres REEM, Mixed Effects Random Forests). Ces méthodes existantes souffrent souvent d'une complexité computationnelle (complexité cubique) ou ne parviennent pas à garantir une réduction de la variance par rapport aux RF standards. De plus, une lacune critique existe dans la compréhension de la manière dont l'estimation optimale et l'inférence se comportent sous un décalage de distribution de covariables (covariate distribution shift) lorsque les données sont corrélées. Les méthodes standard optimisées pour la distribution d'entraînement peuvent être arbitrairement médiocres lorsque la distribution de test change, un phénomène moins étudié dans les contextnements de données corrélées que pour les données indépendantes.

Méthodologie : Forêts Aléatoires Groupées (CRF)

Les auteurs proposent les Forêts Aléatoires Groupées (Clustered Random Forests - CRF), une extension non paramétrique de l'algorithme de Forêt Aléatoire conçue spécifiquement pour les données groupées. L'innovation centrale réside dans la modification du mécanisme de prédiction par feuille des arbres de décision constitutifs.

Cadre Algorithmique

Arbres de Décision Groupés (CDT) : Au lieu d'utiliser les Moindres Carrés Ordinaires (OLS) pour estimer la moyenne au sein d'une feuille (comme dans les RF standards), les CRF emploient les Moindres Carrés Pondérés (WLS).
- La prédiction dans une feuille est une moyenne pondérée des observations, où les poids sont dérivés d'une matrice de poids par groupe $W_i(\rho)$ .
- Ces poids sont conçus pour tenir compte des corrélations intra-groupe. Les auteurs se concentrent sur des classes paramétriques de poids, spécifiquement les structures équicorrélées (échangeables) et AR(1), qui permettent un ajustement efficace sur le plan computationnel.
Estimation des Poids :
- Contrairement aux méthodes basées sur la vraisemblance (ex: REEM, MERF) qui estiment les paramètres de covariance via le maximum de vraisemblance sur les résidus, la CRF estime le paramètre de poids $\rho$ pour minimiser l'Erreur Quadratique Moyenne de Prédiction (MSPE) sous une distribution de covariables cible $Q$ .
- Cela permet à l'algorithme de s'adapter à un décalage de covariables (covariate shift). Le poids optimal $\rho^*$ est une fonction de la distribution cible $Q$ .
- L'estimation utilise un ethos "indépendant du modèle de covariance", estimant $\rho$ en minimisant un estimateur empirique de la variance intégrée sur la distribution cible $Q$ , plutôt qu'en supposant un modèle génératif spécifique pour les erreurs.
Honnêteté et Sous-échantillonnage :
- L'algorithme impose la propriété d'honnêteté (Wager et Athey, 2018) : les données utilisées pour déterminer les séparations (splits), estimer les poids et effectuer les prédictions sont strictement séparées.
- Il emploie une stratégie de sous-échantillonnage de type "bootstrap de petits sacs" (bootstrap of little bags) pour construire la forêt et estimer la variance, permettant la construction d'intervalles de confiance valides.

Efficacité Computationnelle

Une réussite technique significative est le développement d'algorithmes qui ajustent les CRF en temps approximativement linéaire par rapport au nombre d'observations. En exploitant la structure des matrices de poids équicorrélées et AR(1), les auteurs utilisent la descente de gradient conjuguée pour résoudre les problèmes WLS, évitant ainsi la complexité $O(M^3)$ associée à l'inversion de matrices denses dans les méthodes de forêts à effets mixtes existantes.

Contributions Théoriques Clés

1. Taux Asymptotiques et Optimalité Minimax

Les auteurs dérivent des bornes supérieures asymptotiques pour la MSPE générale sous décalage de covariables $Q$ . Ils démontrent qu'il existe des règles de séparation et des régimes de sous-échantillonnage au sein du cadre CRF qui atteignent des taux minimax optimaux pour l'estimation ponctuelle de fonctions de moyenne Lipschitziennes. Ces taux correspondent à ceux des forêts aléatoires standards pour les données i.i.d., malgré la complexité supplémentaire de la corrélation.

2. Décalage de Covariables et Poids Optimaux

Une découverte théorique centrale est que, pour des données corrélées, le paramètre de poids optimal $\rho$ qui minimise la MSPE n'est pas invariant aux décalages de covariables.

Le Théorème 2 établit que les poids optimaux pour une distribution cible $Q$ peuvent différer arbitrairement de ceux optimaux pour la distribution d'entraînement.
Par conséquent, les méthodes qui estiment les poids uniquement sur la distribution d'entraînement (par exemple, via la validation croisée ou la maximisation de la vraisemblance sur les résidus d'entraînement) peuvent être arbitrairement sous-optimales sous un décalage de distribution, performant moins bien que même les forêts aléatoires non pondérées standards.
Cela contraste avec les contextes de données indépendantes où les schémas de repondération (comme la pondération par importance) sont bien compris ; dans les contextes de données corrélées, la stratégie de pondération optimale est intrinsèquement liée à la distribution cible $Q$ .

3. Inférence et Normalité Asymptotique

L'article prouve que les CRF dominées par la variance sont asymptotiquement gaussiennes de manière ponctuelle et uniforme sur une classe de distributions. Ce résultat est valable sous des taux de sous-échantillonnage spécifiques qui garantissent la dominance de la variance sur le biais. Cette garantie théorique permet la construction d'intervalles de confiance asymptotiquement valides pour la fonction de moyenne conditionnelle, avec des largeurs qui convergent à des taux plus rapides que les RF standards grâce à la réduction de la variance obtenue en tenant compte des corrélations.

Résultats Empiriques

Les auteurs valident leurs découvertes théoriques à travers des simulations et une application réelle :

Simulation de Décalage de Covariables : Dans un contexte de données équicorrélées, les CRF optimisées pour une distribution de test décalée ( $Q = \text{Unif}[1, 2]$ ) ont nettement surpassé les RF standards, les forêts optimisées pour l'erreur d'entraînement (TRAIN) et les forêts basées sur la vraisemblance (REEM). Notamment, les forêts TRAIN et REEM ont performé moins bien que les RF standards sous le décalage, confirmant le risque théorique d'ignorer les décalages de distribution dans l'estimation des poids.
Simulation d'Inférence : Dans des contextes d'erreurs corrélées AR(2), les CRF ont obtenu des intervalles de confiance plus étroits (réduction de la largeur) tout en maintenant une couverture nominale (95 %) par rapport aux RF standards. Cela s'est traduit par une erreur quadratique moyenne plus faible pour les estimations ponctuelles.
Application Réelle (Comptes CD4 pour le VIH) : En analysant les comptes de cellules CD4 chez des séroconvertisseurs du VIH, les CRF ont fourni des prédictions personnalisées avec une réduction de 20 à 40 % de la variance estimée par rapport aux RF standards, démontrant une utilité pratique dans les tâches de prédiction médicale impliquant des mesures répétées.

Signification et Revendications

L'article affirme fournir une extension pratique et théoriquement fondée des Forêts Aléatoires aux données groupées qui :

Exploite la Corrélation : Améliore la précision de la prédiction et la précision de l'inférence en modélisant explicitement la dépendance intra-groupe sans dépendre de modèles de moyenne paramétriques rigides.
Traite le Décalage de Covariables : Identifie et résout une faille critique des méthodes de données corrélées existantes : l'incapacité à adapter les poids au décalage de la distribution de covariables. Les auteurs soutiennent que l'estimation non paramétrique optimale sous décalage de covariables nécessite une distribution cible spécifiée par l'utilisateur pour déterminer les poids.
Assure la Scalabilité : Surmonte les barrières computationnelles des méthodes de forêts à effets mixtes précédentes, offrant une solution de complexité temporelle linéaire comparable aux forêts aléatoires standards.
Permet une Inférence Valide : Fournit la première théorie asymptotique pour les forêts groupées dominées par la variance qui permet la construction d'intervalles de confiance serrés et valides.

Les auteurs positionnent leur travail comme un pont entre la flexibilité de l'apprentissage automatique non paramétrique et la gestion rigoureuse des structures de dépendance, offrant une nouvelle perspective sur le problème du décalage de covariables dans le contexte des données corrélées.