Impact Range Assessment (IRA): An Interpretable Sensitivity Measure for Regression Modelling

Résumé Technique : Évaluation de la Plage d'Impact (IRA) pour la Modélisation de Régression

Énoncé du Problème
Les modèles de régression sont largement utilisés pour modéliser les relations entre des prédicteurs et des variables de réponse numériques ; cependant, l'interprétation de l'influence des prédicteurs individuels reste un défi. Dans la régression linéaire, les coefficients dépendent de l'échelle et perdent leur interprétation initiale en unités après une standardisation. Dans les modèles non linéaires, particulièrement les algorithmes d'apprentissage automatique, l'absence de paramètres interprétables rend difficile la comparaison de l'influence des prédicteurs. Les méthodes d'analyse de sensibilité existantes présentent des limites : les approches locales basées sur les dérivées ne capturent que les effets dans une région restreinte de l'espace d'entrée, tandis que les méthodes globales (ex. Sobol, Morris) sont souvent gourmandes en calcul et mathématiquement complexes. De plus, les méthodes d'inspection visuelle comme les diagrammes de dispersion manquent d'une métrique quantitative pour classer l'importance des prédicteurs. Il existe un besoin pour une méthode intuitive, efficace et agnostique au modèle afin de quantifier et de classer l'influence des prédicteurs sur l'ensemble de leur plage observée.

Méthodologie : Évaluation de la Plage d'Impact (IRA)
Les auteurs proposent l'Impact Range Assessment (IRA), une mesure de sensibilité agnostique au modèle conçue pour quantifier l'influence maximale de chaque prédicteur numérique continu sur la variable de réponse d'un modèle de régression. La méthode fonctionne en mesurant le changement potentiel total de la variable de réponse lorsqu'un prédicteur spécifique est fait varier à travers sa plage de données observée, tandis que les autres prédicteurs sont maintenus constants sur la base d'observations de fond.

L'algorithme IRA se compose de cinq étapes :

1. Sélection : Un seul prédicteur est sélectionné comme « prédicteur cible ».
2. Interpolation : $M$ valeurs espacées uniformément sont générées entre la valeur minimale et maximale observée du prédicteur cible.
3. Échantillonnage de Fond : $K$ observations sont tirées aléatoirement avec remplacement à partir du jeu de données d'entraînement original pour servir de contextes de fond.
4. Modification : Pour chaque observation de fond, le prédicteur cible est remplacé par les $M$ valeurs interpolées, créant ainsi $M$ ensembles d'entrées modifiés par échantillon de fond.
5. Calcul : Le modèle prédit la réponse pour tous les ensembles modifiés. Pour chaque observation de fond $k$, la plage des sorties prédites ($\max \hat{y}_i^k - \min \hat{y}_i^k$) est calculée. La valeur IRA pour le prédicteur $i$ est la moyenne de ces plages sur l'ensemble des $K$ observations de fond :
   $$IRA_i = \frac{1}{K} \sum_{k=1}^{K} (\max \hat{y}_i^k - \min \hat{y}_i^k)$$

La méthode supporte deux modes d'exécution :

• Exécution unique : Fournit une estimation ponctuelle de l'impact du prédicteur.
• Exécution répétée : Répète le processus plusieurs fois avec différents échantillons de fond aléatoires pour générer une distribution des valeurs IRA, permettant le calcul d'intervalles de confiance (IC) à 95 % pour évaluer la stabilité et l'incertitude.

Résultats Clés
La méthode a été évaluée à l'aide de jeux de données synthétiques (linéaires et non linéaires) et d'une étude de cas réelle impliquant un jeu de données de minoterie.

• Données Linéaires Synthétiques : Appliquée à un modèle de régression linéaire, l'IRA en exécution unique a réussi à distinguer les prédicteurs pertinents des variables de bruit non pertinentes. Les prédicteurs pertinents ($X_1, X_3, X_4, X_6, X_7$) ont produit des valeurs IRA significativement plus élevées que les non pertinents ($X_2, X_5, X_8$). Les résultats étaient robustes et identiques à travers diverses configurations de points interpolés (50–500) et de tailles d'échantillons de fond (50–500), indiquant qu'une analyse répétée n'est pas nécessaire pour les modèles linéaires simples.
• Données Non Linéaires Synthétiques : Appliquée à un régresseur Random Forest, l'IRA a de nouveau correctement identifié les prédicteurs pertinents avec des valeurs plus élevées que les non pertinents. L'étude a révélé que l'utilisation de 50 points interpolés sous-estimait légèrement les impacts dans les relations non linéaires, tandis que 100 points ou plus fournissaient des estimations stables. De même, l'augmentation des observations de fond de 50 à 100 a amélioré la stabilité, avec des rendements décroissants au-delà de 100. Une configuration de 100 points interpolés et 200 observations de fond a été jugée optimale pour équilibrer stabilité et coût computationnel. L'analyse IRA répétée (50–90 répétitions) a confirmé la stabilité des classements et a fourni des intervalles de confiance étroits.
• Étude de Cas (Indice de Durabilité des Granulés) : Dans un modèle de régression linéaire multiple prédisant l'Indice de Durabilité des Granulés (PDI) à partir de données de fabrication d'aliments, l'IRA a classé les prédicteurs par influence. Les résultats ont mis en évidence que le « Teneur en Graisse », le « Teneur en ADF » et l'« Humidité Intérieure » étaient les facteurs les plus influents.
  • Comparaison avec les méthodes précédentes : Les auteurs ont contrasté l'IRA avec une analyse de sensibilité locale précédente (You et al.) qui faisait varier les prédicteurs de ±20 % de leur moyenne. La méthode locale identifiait la « Température d'Expansion » comme la plus influente sur la base d'une plage étroite, tandis que l'IRA, qui considérait la plage observée complète (62,5 °C à 111,7 °C), a révélé que la « Teneur en Graisse » avait un impact total plus important (changement d'environ 5,5 unités de PDI) par rapport à la « Production Cumulative » (changement d'environ 1,6 unité) malgré la plage numérique plus large de cette dernière. Cela a démontré la capacité de l'IRA à fournir une métrique de résumé globale.

Signification et Revendications
L'article affirme que l'IRA offre une approche simple et intuitive pour interpréter et classer l'influence des prédicteurs, améliorant ainsi la transparence et la fiabilité des modèles. Ses principales contributions incluent :

1. Interprétabilité : Elle fournit une valeur unique et interprétable représentant le changement maximal possible de la variable de réponse dû à la variation d'un prédicteur, accessible tant aux utilisateurs techniques qu'aux non-techniques.
2. Agnosticisme au Modèle : La méthode s'applique à la fois aux modèles linéaires et non linéaires, y compris ceux comportant des variables transformées ou des prédicteurs sur des échelles différentes.
3. Capture des Interactions : En utilisant des observations de fond, l'IRA capture partiellement les effets d'interaction basés sur des combinaisons réalistes de prédicteurs, contrairement aux méthodes qui font varier un prédicteur de manière isolée sans contexte.
4. Robustesse : La méthode permet une analyse répétée pour évaluer la stabilité des résultats et générer des intervalles de confiance, répondant ainsi à l'incertitude inhérente à l'échantillonnage aléatoire.

Limites
Les auteurs reconnaissent plusieurs contraintes :

• L'IRA n'est pas bien adaptée aux prédicteurs numériques discrets ou catégoriels sans adaptation aux valeurs observées uniques.
• Son application est difficile pour la régression logistique en raison de la nature probabiliste de la sortie.
• Les valeurs de l'IRA dépendent du jeu de données et ne peuvent pas être comparées entre des jeux de données ayant des plages de prédicteurs différentes.
• Les résultats peuvent être sensibles aux valeurs extrêmes ; les auteurs suggèrent de restreindre la plage d'analyse (ex. 25e–75e percentile) en présence de valeurs aberrantes.
• Un ajustement des paramètres (nombre de points interpolés et d'échantillons de fond) peut être nécessaire pour différents modèles.