Résumé technique : Sails – Analyse par substituts des interactions via des lissages d'effets locaux

Énoncé du problème

Les interactions entre caractéristiques sont un moteur principal du pouvoir prédictif dans les modèles complexes d'apprentissage automatique (ML), pourtant les méthodes existantes d'IA explicable (XAI) peinent à les caractériser pleinement. Les approches actuelles se concentrent généralement soit sur :

1. La détection et la quantification : Des méthodes comme la statistique H ou les indices d'interaction de Shapley identifient qu'une interaction existe et mesurent sa force, mais ne révèlnt pas sa forme fonctionnelle.
2. La visualisation restreinte : Des méthodes comme l'ALE (Effets Locaux Accumulés) 2D ou le REPID (Effets Régionaux) visualisent les interactions, mais produisent souvent des graphiques 3D difficiles à interpréter, ne parviennent pas à capturer l'hétérogénéité continue ou sont limitées à des types d'interactions spécifiques (ex. : séparables par produit).

Il existe une lacune notable dans la boîte à outils XAI pour un cadre intégré et agnostique au modèle capable de détecter les interactions par paire, de catégoriser leur forme fonctionnelle (linéaire, séparable par produit ou non séparable par produit) et de fournir des visualisations adaptées pour chaque type.

Méthodologie : Le cadre Sails

Sails (Surrogate-based Analysis of Interactions via Local effect Smooths) est un cadre agnostique au modèle conçu pour analyser les interactions par paire d'une Caractéristique d'Intérêt (FOI) en ajustant des substituts de type Modèle Additif Généralisé (GAM) interprétables aux effets locaux d'un modèle boîte noire. Le cadre fonctionne en deux étapes séquentielles suivies de trois capacités intégrées.

1. Estimation des effets locaux

Sails exploite la décomposabilité locale des dérivées de l'ALE. Pour un modèle boîte noire $\hat{f}$, l'effet local par rapport à une caractéristique $x_j$ est défini par $h(x_j, x_{-j}) = \partial_j \hat{f}(x_j, x_{-j})$.

• Partitionnement par intervalles : La FOI ($X_j$) est partitionnée en $K$ intervalles.
• Différences finies : Les effets locaux sont estimés pour les observations au sein de chaque intervalle en utilisant des différences finies des prédictions du modèle, normalisées par la largeur de l'intervalle.
• Base théorique : Selon la décomposition de l'ANOVA fonctionnelle (FANOVA), si $X_j$ est fixé, la variation des effets locaux provient uniquement des interactions impliquant $X_j$. Ainsi, l'hétérogénéité de ces effets locaux à travers d'autres caractéristiques indique une interaction.

2. Ajustement du substitut GAM

Pour chaque intervalle $k$ de la FOI, Sails ajuste un substitut GAM distinct :

• Entrées : Les autres caractéristiques $X_{-j}$.
• Cible : Les effets locaux estimés $\hat{h}^{(i)}_k$.
• Structure : $\hat{s}^{(k)}(x_{-j}) = \hat{s}^{(k)}_0 + \sum_{l \neq j} \hat{s}^{(k)}_l(x_l)$.
• Interprétation : On conjecture que les termes lissés $\hat{s}^{(k)}_l$ approchent les dérivées partielles des composantes d'interaction ($\partial_j g_{jl}$) à une constante de centrage près.

3. Capacités intégrées

Sur la base des substituts ajustés, Sails réalise trois tâches :

(i) Détection d'interaction

Sails teste la significativité des termes lissés pour chaque caractéristique $X_l$ au sein de chaque intervalle en utilisant des tests F sur les coefficients de base.

• Agrégation : Comme les tests à travers les intervalles sont dépendants, les p-valeurs sont agrégées à l'aide de la moyenne harmonique des p-valeurs pour fournir une mesure de significativité globale.
• Correction : Une correction du taux de fausse découverte (FDR) de Benjamini-Hochberg est appliquée pour les comparaisons multiples.
• Heuristique : En raison de l'absence de bruit additif dans les calculs d'effets locaux et de l'utilisation de splines pénalisées, les p-valeurs résultantes sont traitées comme une heuristique de la significativité globale de l'interaction plutôt que comme des valeurs statistiques exactes.

(ii) Catégorisation d'interaction

Sails catégorise les interactions détectées en trois types en utilisant des mesures heuristiques basées sur le $R^2$ dérivées des termes lissés :

1. Linéaire : Si les termes lissés $\hat{s}^{(k)}_l$ sont identiques à travers les intervalles (à une constante près), l'interaction est linéaire par rapport à la FOI. Mesuré par $R^2_{lin}$, qui ajuste une courbe unique aux évaluations regroupées.
2. Séparable par produit : Si les termes lissés partagent la même forme mais diffèrent seulement par un facteur d'échelle, l'interaction est séparable par produit ($g_{jl}(x_j, x_l) = \phi_j(x_j)\phi_l(x_l)$). Mesuré par $R^2_{prod}$, qui ajuste une courbe unique aux ratios des termes lissés en un point de référence.
3. Non séparable par produit : Si aucune de ces conditions ne tient, l'interaction est classée comme générale/non séparable.

(iii) Visualisation sur mesure

Selon la catégorisation, Sails génère des visualisations spécifiques :

• Linéaire : Visualise le lisseur univarié $\phi_l(x_l)$.
• Séparable par produit : Visualise la forme de $\phi_l(x_l)$ via le lisseur basé sur le ratio.
• Générale : Pour les interactions non séparables, Sails intègre les termes lissés $\hat{s}^{(k)}_l$ à travers les intervalles pour reconstruire la fonction d'interaction $g_{jl}$, en appliissant un double centrage pour imposer les contraintes FANOVA. Cela fournit une visualisation 2D de la manière dont l'effet d'interaction varie avec la caractéristique d'interaction pour différents intervalles de la FOI.

Évaluation empirique et résultats

Le cadre a été validé par des simulations contrôlées et une application au monde réel.

Simulations

Des expériences ont été menées sur des données synthétiques avec des structures de corrélation et des ordres d'interaction variables (linéaire, séparable par produit, non séparable et d'ordre supérieur).

• Détection : Sails a correctement identifié les caractéristiques en interaction avec de faibles taux de faux positifs sous des conditions de caractéristiques indépendantes et corrélées. Il est resté robuste même avec de fortes corrélations, identifiant correctement les caractéristiques de bruit comme non interactives.
• Catégorisation : Sous l'indépendance des caractéristiques, Sails a parfaitement discriminé entre les interactions linéaires, séparables par produit et non séparables.
  • Limites : Le $R^2_{prod}$ s'est dégradé sous de fortes corrélations (en raison des décalages de centrage) et lors d'interactions d'ordre supérieur (en raison de la spécification erronée du substitut). Le $R^2_{lin}$ était plus robuste mais a également légèrement décliné face à des termes d'ordre supérieur non linéaires.
• Visualisation :
  • Les visualisations linéaire et séparable par produit correspondaient étroitement aux vérités terrain sous indépendance.
  • La visualisation basée sur l'intégration générale a réussi à récupérer des formes d'interaction complexes (ex. : ondes sinusoïdales) sous indépendance.
  • Sous l'effet des corrélations et des interactions d'ordre supérieur, les visualisations ont montré des artefacts ou une précision réduite, mais sont restées des approximations informatives.

Application au monde réel

Sails a été appliqué à un modèle XGBoost prédisant la consommation électrique à Tétouan, au Maroc, en utilisant general_diffuse_flows (rayonnement solaire) comme FOI.

• Résultats : Le cadre a identifié des interactions avec l'Heure, la Température, l'UnixTime et la Vitesse du vent.
• Interprétation :
  • Heure : A révélé que des niveaux de rayonnement intermédiaires sont corrélés à une augmentation de la consommation en soirée (éclairage du crépuscule), tandis qu'un faible rayonnement est corrélé à la consommation diurne (éclairage par temps couvert).
  • Température : A montré des effets synergiques où le faible rayonnement + basse température (chauffage + éclairage) et le rayonnement élevé + haute température (climatisation) augmentent tous deux la consommation.
  • Vitesse du vent : Présentait une forme quasi séparable par produit, avec des courbes partageant une forme cohérente à travers les intervalles.
• Ajustement du substitut : Le $R^2$ moyen en échantillon des substituts GAM était de 0,96, indiquant qu'ils capturent la majeure partie de la variation de l'effet local.

Signification et affirmations

L'article affirme que Sails comble une lacune critique dans la boîte à outils XAI en allant au-delà de la simple détection d'interaction pour passer à la caractérisation de la forme fonctionnelle des interactions par paire.

• Agnostique au modèle : Il fonctionne avec n'importe quel modèle boîte noire.
• Flux de travail intégré : Il combine détection, catégorisation et visualisation dans un seul pipeline.
• Interprétabilité : En catégorisant les interactions, il permet des visualisations sur mesure qui sont plus faciles à interpréter que les graphiques de contour 3D génériques.
• Robustesse : Il démontre son efficacité pour détecter des interactions même en présence de corrélations entre caractéristiques, un défi courant dans les données réelles.

Limites et travaux futurs

Les auteurs reconnaissent plusieurs limites :

1. Étendue des tâches : Actuellement limité aux tâches de régression ; l'extension à la classification est un travail futur.
2. Garanties théoriques : La conjecture selon laquelle les termes lissés approchent les dérivées partielles de la FANOVA manque de preuve théorique rigoureuse.
3. Sensibilité à la corrélation : Les mesures de catégorisation ($R^2_{prod}$) sont sensibles aux fortes corrélations entre caractéristiques.
4. Ordre d'interaction : Le cadre suppose des interactions par paire ; les interactions d'ordre supérieur peuvent causer une spécification erronée du substitut et des artefacts.
5. Directions futures : Extensions potentielles incluant l'utilisation de substituts GA2M pour les interactions d'ordre supérieur, l'application de la méthode à d'autres méthodes d'effets locaux (ex. : ICE, valeurs de Shapley) et l'unification de l'approche avec GADGET pour les effets régionaux.