Résumé technique : Régression polynomiale avec bagging appliquée à la prédiction environnementale

1. Énoncé du problème

Les réseaux de neurones profonds (NN) sont devenus la norme pour la prédiction de haute dimension en économie de l'environnement, tels que la détection des inondations, la prévision des incendies de forêt et la prédiction des rendements agricoles. Bien que les NN offrent une précision supérieure grâce à la sur-paramétrisation, ils fonctionnent comme des « boîtes noires », ce qui les rend difficiles à auditer, à aligner sur les connaissances du domaine ou à utiliser pour la conception de politiques où l'interprétabilité est requise.

La régression polynomiale standard offre une alternative transparente basée sur les coefficients, mais souffre de la « malédiction de la dimensionnalité ». À mesure que le nombre de covariables ($d$) et le degré polynomial ($J$) augmentent, le nombre de termes de base du dictionnaire ($k$) explose (par exemple, $k \approx (J+1)^d$). Cela conduit à :

1. Une intractabilité computationnelle : L'inversion de matrices $k \times k$ devient impossible.
2. Des taux de convergence lents : La taille de l'échantillon requise pour une estimation cohérente croît exponentiellement avec la dimension, rendant la régression polynomiale standard peu pratique dans des contextes de haute dimension.

L'article recherche une méthode d'ensemble native à l'économétrie qui conserve l'interprétabilité des modèles polynomiaux tout en atteignant une précision prédictive compétitive dans des environnements de haute dimension.

2. Méthodologie

Cadre théorique : Estimateurs de séries partitionnés

Les auteurs s'appuient sur la littérature des régressions de séries/sieves (Newey, Stone) pour dériver des bornes de risque $L_2$ en échantillon fini et asymptotiques. Ils introduisent la Régression Polynomiale Partitionnée (RPP), où les covariables sont divisées en $B$ groupes, et les caractéristiques polynomiales sont construites indépendamment au sein de chaque groupe plutôt qu'à travers toutes les interactions.

• Analyse de compromis : Le partitionnement réduit la complexité effective de la base (abaissant l'erreur d'estimation) au prix d'une augmentation de l'erreur d'approximation. Les auteurs dérivent des conditions sous lesquelles un niveau intermédiaire de partitionnement ($B^*$) améliore les taux de convergence, particulièrement pour les fonctions cibles lisses ($g \in \Sigma^s(X)$).
• Effets marginaux : La théorie est étendue à l'estimation des Dérivées Partielles Moyennes (DPM). Les auteurs démontrent que si les dérivées de la fonction de dictionnaire sont à support clairsemé, les taux d'estimation pour les effets marginaux peuvent être plus rapides que pour la fonction elle-même. Cela suggère que des modèles plus simples avec des dictionnaires de base connus (comme les polynômes) peuvent fournir des estimations de l'effet marginal plus fiables, même si leur précision prédictive globale est similaire.

Algorithme proposé : Régression polynomiale avec bagging (BPR)

Motivés par les bénéfices théoriques du partitionnement, les auteurs proposent la Régression polynomiale avec bagging et projections aléatoires (BPR). La BPR combine trois concepts :

1. Projections aléatoires : Les modèles sont ajustés sur des sous-ensembles aléatoires de caractéristiques ($F$) plutôt que sur l'ensemble complet.
2. Bagging (Ensemble) : $M$ modèles de base sont entraînés sur des sous-échantillons aléatoires de données et moyennés pour réduire la variance.
3. Régularisation : Une pénalisation $\ell_2$ (Ridge) est appliquée pour gérer la colinéarité et améliorer l'ajustement hors échantillon.

Algorithme 1 (BPR) :

1. Pour $m = 1$ à $M$ :
   • Échantillonner $F$ caractéristiques de manière aléatoire.
   • Échantillonner $S$ observations (sous-échantillon).
   • Générer des caractéristiques polynomiales de degré $J$ pour les caractéristiques sélectionnées.
   • Ajuster un modèle linéaire généralisé régularisé (logistique pour la classification, linéaire pour la régression).
2. Agrégation des prédictions : Moyenne des sorties des $M$ modèles (ou vote majoritaire pour la classification).

La méthode permet aux chercheurs d'ajuster les hyperparamètres ($J, F, M, S, \lambda$) via une validation croisée pour naviguer dans le compromis entre erreur d'approximation et d'estimation, estimant efficacement la taille optimale du partition $B^*$ pour un ensemble de données donné.

3. Résultats clés

Contributions théoriques

• Bornes de risque : L'article fournit de nouvelles bornes de risque $L_2$ en échantillon fini et asymptotiques pour les estimateurs de séries partitionnés. Il démontre que le partitionnement contrôle la croissance du dictionnaire de base, permettant des taux de convergence plus rapides dans les hautes dimensions par rapport à la régression de série standard.
• Taux des effets marginaux : Le corollaire 2.2 établit que l'erreur d'estimation pour les effets marginaux dépend de l'échelle du support de la dérivée ($s_j$) plutôt que du nombre total de paramètres ($k$). Cela implique que les modèles ayant des structures marginales plus simples et clairsemées (comme la BPR) peuvent offrir des estimations plus précises des effets marginaux que les modèles complexes de type « boîte noire ».
• Partitionnement optimal : Les auteurs caractérisent la taille de groupe optimale $B^*$, montrant qu'elle augmente avec la lissé de la fonction cible et le degré polynomial, mais diminue avec la dimensionnalité de l'espace des caractéristiques.

Application empirique : Classification des cultures

La méthode est appliquée à un problème de classification multi-classes de cultures utilisant l'imagerie satellite (optique RapidEye et radar UAVSAR) près de Winnipeg, Canada. La tâche consiste à distinguer sept types de cultures (maïs, pois, canola, soja, avoine, blé, feuilles larges) à partir de 174 caractéristiques.

• Performance prédictive : La BPR a atteint une précision de test de 0,997, surpassant les références de réseaux neuronaux rapportées pour le même ensemble de données (environ 0,992). Cela a été réalisé avec un plongement de faible degré (degré 2) et une taille d'ensemble modeste (10 sacs), utilisant nettement moins de paramètres que les réseaux neuronaux sur-paramétrés.
• Interprétabilité :
  • Résumés de coefficients : Les auteurs ont démontré comment agréger les coefficients à travers l'ensemble du bagging pour estimer les Dérivées Partielles Moyennes (DPM). Pour l'indice de végétation par différence normalisée (NDVI), la BPR a correctement identifié une relation négative avec la probabilité de présence de soja (cohérent avec les prioris agronomiques : le soja est moins vert en juillet au début que les cultures concurrentes).
  • Graphiques de dépendance partielle (PDP) : Alors que les PDP de la BPR montraient des relations claires et intuitives entre l'NDVI et la probabilité de culture, les PDP des réseaux neuronaux étaient essentiellement plats. Les auteurs soutiennent que les réseaux neuronaux distribuent les signaux prédictifs entre des substituts corrélés, obscurcissant l'effet marginal des variables individuelles, tandis que le sous-échantillonnage aléatoire des caractéristiques de la BPR force les apprenants de base à modéliser explicitement la relation des variables incluses.

4. Signification et affirmations

L'article prétend offrir une « troisième voie » entre la haute précision des réseaux neuronaux « boîte noire » et l'interprétabilité des modèles économétriques standards, qui échouent souvent en haute dimension.

• Alternative native à l'économétrie : La BPR fournit une structure transparente basée sur les coefficients qui soutient l'interprétabilité et s'aligne sur les prioris scientifiques, répondant aux exigences émergentes de gouvernance (ex: l'IA Act de l'UE) pour la transparence algorithmique.
• Justification théorique de la simplicité : Les résultats suggèrent que pour les fonctions cibles lisses, des modèles plus simples avec une croissance de base contrôlée peuvent égaler la performance prédictive de modèles complexes de type boîte noire tout en offrant une interprétabilité supérieure et des estimations d'effets marginaux plus fiables.
• Utilité pratique : Les auteurs démontrent que la BPR n'est pas seulement une construction théorique, mais un outil pratique qui égale les performances de pointe pour les tâches de prédiction environnementale tout en restant facile à diagnostiquer à l'aide de résumés économétriques standards (tableaux de coefficients, PDP).

L'article conclut que bien que la régression polynomiale standard soit rarement utilisée en raison de ses taux de convergence lents, la Régression polynomiale avec bagging et projections aléatoires atténue avec succès ces problèmes, faisant d'elle un substitut viable et interprétable aux réseaux neuronaux dans les applications environnementales de haute dimension.