Résumé technique : Dépasser la validation croisée spatiale et aléatoire en modélisation environnementale

1. Énoncé du problème

L'application de la modélisation prédictive spatiale en écologie et en géosciences fait face à un défi critique : comment évaluer correctement la précision des cartes lorsqu'un échantillon probabiliste formel de la zone de prédiction n'est pas disponible. Bien qu'un consensus existe pour considérer l'échantillonnage probabiliste indépendant comme la référence absolue pour l'estimation de la précision, de tels échantillons sont souvent irréalisables avec les grandes bases de données écologiques opportunistes (par exemple, GBIF, sPlotOpen).

Par conséquent, les chercheurs s'appuient sur des stratégies de division des données, principalement la validation croisée aléatoire (CV) et la validation croisée spatiale. Cependant, un débat important persiste concernant la méthode qui produit des estimations non biaisées :

• La CV aléatoire suppose que les données sont indépendantes et identiquement distribuées (iid). Les critiques soutiennent que cela ignore l'autocorrélation spatiale, entraînant une fuite de données et des estimations de précision excessivement optimistes lorsque les points d'entraînement sont regroupés.
• La CV spatiale (par exemple, CV par blocs) impose une indépendance spatiale entre les plis d'entraînement et de test. Les critiques soutiennent que cela crée des scénarios d'extrapolation artificiels pour des données distribuées aléatoirement, conduisant à des estimations d'erreur excessivement pessimistes.

Le problème central est que la littérature traite souvent l'« interpolation » (les zones d'entraînement et de prédiction se chevauchent) et l'« extrapolation » (prédiction vers de nouvelles zones) comme des opposés binaires. En pratique, la plupart des ensembles de données écologiques se situent sur un continuum entre ces extrêmes, caractérisé par des degrés variables de biais d'échantillonnage et de regroupement. Les méthodes existantes échouent à s'adapter de manière flexible à ce continuum, résultant en des estimations de précision peu fiables qui ne reflètent pas la difficulté réelle de la prédiction.

2. Méthodologie

Pour combler cette lacune, les auteurs reproduisent et étendent une étude de simulation initialement présentée par Wadoux et al. (2021), en se concentrant sur la prédiction de la biomasse aérienne au-dessus du sol (AGB) des forêts dans le bassin amazonien à l'aide de modèles Random Forest et de 28 prédicteurs environnementaux.

Conception de la simulation

L'étude a généré quatre designs d'échantillonnage distincts pour représenter le continuum d'extrapolation :

1. Aléatoire : Points d'entraînement distribués aléatoirement sur la zone de prédiction.
2. Faiblement regroupés : Regroupement modéré des points d'entraînement.
3. Fortement regroupés : Forte densité de points d'entraînement dans des zones spécifiques, laissant de grandes lacunes.
4. Extrapolation : Points d'entraînement dans une région, zone de prédiction dans une région géographique complètement distincte.

Stratégies d'évaluation comparées

L'étude a comparé trois stratégies de validation croisée par rapport à une base de référence d'inférence basée sur le design (utilisant des échantillons de test aléatoires indépendants) :

1. CV aléatoire : Division aléatoire standard.
2. CV spatiale : Division utilisant des blocs spatiaux pour imposer une distance entre les plis.
3. CV adaptative au domaine de prédiction : Une nouvelle catégorie de méthodes mise en œuvre à l'aide de la correspondance des distances aux k plus proches voisins (kNNDM). Cette approche vise explicitement à faire correspondre la distribution des distances aux plus proches voisins entre les plis d'entraînement et de test à la distribution des distances entre le domaine de prédiction et les données d'entraînement.

Métriques quantitatives

• Statistique de Wasserstein ($W$) : Utilisée pour quantifier le degré d'extrapolation en mesurant la différence entre la densité des distances spatiales aux plus proches voisins au sein de l'ensemble d'entraînement et la distance entre les lieux de prédiction et l'ensemble d'entraînement.
• Racine de l'erreur quadratique moyenne (RMSE) : La métrique principale pour évaluer la précision. L'étude a calculé la différence entre le RMSE estimé (issu de la CV) et le RMSE vrai (calculé par rapport à la vérité simulée sur toute la zone).
• Zone de validité (AoA) : Un indice de dissimilarité utilisé pour définir l'étendue géographique où le modèle a été entraîné et validé, limitant les estimations de précision aux régions où la difficulté de prédiction ressemble aux données d'entraînement.

3. Contributions clés

Conceptuelle : Le continuum d'extrapolation

L'article s'oppose à une vision binaire de l'interpolation versus l'extrapolation. Il propose plutôt que les scénarios de prédiction existent sur un continuum défini par la densité des distances spatiales aux plus proches voisins. La difficulté de prédiction augmente à mesure que l'écart entre les lieux d'entraînement et de prédiction s'élargit, quantifié par la statistique de Wasserstein.

Méthodologique : Évaluation adaptative au domaine de prédiction

Les auteurs introduisent l'évaluation adaptative au domaine de prédiction comme une nouvelle catégorie de validation croisée. Contrairement à la CV aléatoire ou spatiale, qui imposent des règles fixes (aléatoire ou indépendance), les méthodes adaptatives (spécifiquement kNNDM) ajustent de manière flexible la stratégie de rééchantillonnage pour ressembler à la situation de prédiction.

• Dans les scénarios d'échantillonnage aléatoire, elle imite la CV aléatoire (faibles distances).
• Dans les scénarios regroupés ou d'extrapolation, elle imite la CV spatiale (grandes distances).
  L'objectif n'est pas d'imposer l'indépendance en soi, mais de s'assurer que la « difficulté de prédiction » dans les plis de validation correspond à la difficulté dans le domaine de prédiction réel.

Empirique : Résolution du dilemme du biais

L'étude démontre que :

• La CV aléatoire surestime systématiquement la précision (sous-estime l'erreur) dans les scénarios regroupés et d'extrapolation en raison de la fuite de données.
• La CV spatiale sous-estime systématiquement la précision (surestime l'erreur) dans les scénarios aléatoires ou faiblement regroupés car elle force une extrapolation là où il n'y en a pas.
• La CV adaptative au domaine de prédiction fournit les estimations les plus fiables à travers le continuum, correspondant systématiquement au RMSE vrai dans les scénarios aléatoires, faiblement regroupés et fortement regroupés.

Limite de la précision globale

L'article souligne que même la meilleure méthode de CV échoue dans les scénarios d'extrapolation pure (prédiction vers une région complètement nouvelle). Dans ces cas, les estimations de la CV restent excessivement optimistes car le modèle rencontre des valeurs de prédicteurs en dehors de sa distribution d'entraînement. Les auteurs soulignent que les estimations de précision ne sont valables que dans la Zone de validité (AoA), où le domaine de prédiction ressemble au domaine d'entraînement.

4. Résultats

Les résultats de la simulation (visualisés dans la figure 2 de l'article) montrent :

• CV aléatoire : A produit un biais négatif (sous-estimation de l'erreur) pour les designs regroupés et d'extrapolation.
• CV spatiale : A produit un biais positif (surestimation de l'erreur) pour les designs aléatoires et faiblement regroupés.
• CV adaptative au domaine de prédiction : A fourni des estimations les plus proches de zéro de différence (estimation parfaite) pour les designs aléatoires, faiblement regroupés et fortement regroupés.
• Scénario d'extrapolation : Même la CV adaptative a eu du mal à estimer avec précision l'erreur réelle pour toute la zone, confirmant que les statistiques de performance ne se généralisent pas à des régions fondamentalement différentes des données d'entraînement. Cependant, lorsque l'évaluation est restreinte à la Zone de validité, les estimations s'améliorent considérablement.

5. Importance et affirmations

Les auteurs positionnent ce travail comme une consolidation du débat en cours entre les partisans de la validation croisée aléatoire et spatiale. Ils affirment :

1. Estimation non biaisée : Seul un échantillon probabiliste fournit une estimation véritablement non biaisée de la précision des cartes ; toutes les méthodes de CV sont des substituts.
2. Adéquation contextuelle : Il n'existe pas de méthode de CV « meilleure » unique. La CV aléatoire convient aux données aléatoires ; les méthodes spatiales conviennent à l'extrapolation. Cependant, la plupart des cas réels se situent entre les deux.
3. Solution adaptative : L'évaluation adaptative au domaine de prédiction offre un cadre unifié qui s'adapte au contexte de prédiction spécifique (le continuum d'extrapolation), produisant des estimations de précision plus réalistes que les approches rigides aléatoires ou spatiales.
4. Portée de validité : Les estimations de précision dérivées de la CV ne sont significatives que pour de nouvelles situations de prédiction qui ressemblent aux plis de validation en termes de difficulté de prédiction. Par conséquent, les prédictions et leurs évaluations de précision associées doivent être restreintes à la Zone de validité.

L'article conclut que si la validation croisée ne peut pas remplacer l'inférence basée sur le design, l'évaluation adaptative au domaine de prédiction offre une approche équilibrée et flexible pour l'ajustement des modèles et l'estimation de la précision en l'absence d'échantillons probabilistes, résolvant efficacement le compromis entre la fuite de données et l'extrapolation artificielle.