Résumé technique : Au-delà des décompositions additives : l'interprétabilité par la séparabilité

Énoncé du problème

L'apprentissage automatique interprétable fait face à une tension fondamentale entre la précision prédictive et la transparence structurelle. Si les modèles « boîte noire » (par exemple, les réseaux de neurones profonds, les ensembles de boosting de gradient) atteignent des performances de pointe, ils manquent de structures lisibles. À l'inverse, les modèles « boîte de verre » comme les Modèles Additifs Généralisés (GAM) offrent la transparence mais échouent souvent à capturer des interactions complexes ou reposent sur des hypothèses paramétriques mal spécifiées.

Les méthodes d'interprétabilité actuelles, incluant les explications post-hoc (par exemple, SHAP, Integrated Gradients) et les modèles de boîte de verre, reposent largement sur des décompositions additives. Les auteurs soutiennent que les représentations additives souffrent de modes de défaillance critiques en présence de fortes interactions :

1. Annulation de signal : Les explications SHAP locales peuvent annuler les effets principaux et d'interaction, conduisant à une attribution nulle pour des caractéristiques actives.
2. Masquage d'interaction : Les graphiques de dépendance partielle (PDP) marginalisent sur d'autres caractéristiques, écartant de fait les informations d'interaction d'ordre supérieur et ne récupérant que les effets principaux.
3. Extrapolation hors support : La moyenne marginale dans des espaces de caractéristiques corrélées peut conduire à des motifs spécieux dans les régions de faible densité.

Le papier pose comme thèse que ces limitations découlent de l'incapacité inhérente des projections additives à représenter fidèlement des structures d'interaction multiplicatives ou séparables sans perte d'information.

Méthodologie : Apprentissage par Séparation Tensorielle (TSL)

Les auteurs proposent le Tensor Separation Learning (TSL), un modèle de régression conçu pour apprendre une somme de produits de rang 1 univariés par caractéristique. Contrairement aux modèles séparables standards, le TSL impose des contraintes structurelles spécifiques pour garantir la stabilité et l'interprétabilité.

Formulation du modèle

L'estimateur TSL $\hat{m}(x)$ est défini comme une somme de $R$ étapes, où chaque étape $\ell$ est la différence de deux produits séparables positifs :
$$\hat{m}(x) = \sum_{\ell=1}^{R} \left( \lambda^{(\ell)}_+ \prod_{j=1}^p \hat{m}^{(\ell)}_{+,j}(x_j) - \lambda^{(\ell)}_- \prod_{j=1}^p \hat{m}^{(\ell)}_{-,j}(x_j) \right)$$
Les contraintes clés incluent :

• Positivité : Toutes les fonctions composantes $\hat{m}^{(\ell)}_{\pm,j}(x_j)$ sont contraintes d'être strictement positives ($>0$). Cela garantit que chaque composante amplifie ou supprime de manière univoque son produit, éliminant l'ambiguïté de signe inhérente aux produits non contraints.
• Différence ordonnée : Chaque étape est une différence de deux termes positifs, permettant au modèle de représenter des contributions signées tout en maintenant des facteurs positifs.

Paramétrage : Backbone et Tilt

Pour améliorer l'interprétabilité, les auteurs introduisent un reparamétrage backbone/tilt (colonne vertébrale/inclinaison) pour chaque paire de caractéristiques dans une étape :
$$\hat{m}^{(\ell)}_{\pm,j}(x_j) = b^{(\ell)}_j(x_j) e^{\pm d^{(\ell)}_j(x_j)}$$

• Backbone ($b$) : Représente l'amplitude partagée ou la « porte d'activité » de l'étape. Il détermine où l'étape est active (les valeurs proches de zéro désactivent l'étape).
• Tilt ($d$) : Représente le déséquilibre signé entre les branches positive et négative. Il contrôle la directionnalité de la contribution.
  Cette décomposition sépare la magnitude d'un effet de sa direction signée, permettant une visualisation fidèle même lorsque la contribution signée nette est proche de zéro en raison d'une annulation.

Procédure d'ajustement

Le TSL utilise une procédure gourmande par étapes avec réajustement orthogonal :

1. Ajustement par étapes : À chaque étape $\ell$, le modèle ajuste les résidus actuels en utilisant une approche de raffinement de tenseur de grille inspirée de CART (Classification and Regression Trees). Il apprend des fonctions univariées constantes par morceaux sur une partition adaptative.
2. Bagging et Agrégation : Pour réduire la variance, plusieurs tenseurs de grille sont ajustés en parallèle sur des échantillons de bootstrap. Un schéma d'agrégation basé sur la similitude (ancré à une grille de référence et filtrant les valeurs aberrantes) combine ces derniers en un prédicteur d'étape unique.
3. Réajustement orthogonal : Après l'ajustement d'une nouvelle étape, tous les coefficients de l'étape $\{\lambda^{(k)}_\pm\}$ sont optimisés conjointement via les moindres carrés par rapport à la cible $y$. Ce rétro-ajustement garantit que les coefficients sont optimaux compte tenu de l'ensemble actuel des étapes.

Principales contributions

1. Apprentissage par Séparation Tensorielle (TSL) : Un nouvel algorithme de régression qui estime la moyenne conditionnelle comme une somme de différences de produits séparables de rang 1 positifs.
2. Interprétabilité native du modèle : Les auteurs prouvent que pour le TSL, le modèle ajusté peut être exactement reconstruit à partir de ses fonctions de dépendance partielle de premier ordre (à des facteurs constants près). Contrairement aux méthodes post-hoc, les visualisations du TSL (courbes de dépendance partielle 1D) ne sont pas des approximations mais des représentations fidèles des composantes ajustées. La décomposition backbone/tilt permet aux praticiens de distinguer la magnitude (activité) de la direction (déséquilibre signé).
3. Théorie de l'approximation : Le papier établit un taux d'approximation de $O(1/\sqrt{r})$ pour la classe d'hypothèses TSL sur des fonctions possédant des dérivées partielles mixtes d'ordre $p$ bornées (spécifiquement dans l'espace de Sobolev $W^{(1,1)}_{mix}$), en utilisant le cadre de l'Approximation Gourmande Orthogonale (OGA).

Résultats expérimentaux

Les auteurs ont évalué le TSL sur la suite de régression OpenML CTR 23 (27 jeux de données) par rapport à des modèles de référence de pointe :

• Modèles de référence : Modèles boîte noire (XGBoost, LightGBM, Forêt Aléatoire) et modèles interprétables (Explainable Boosting Machines (EBM), SepALS — un modèle séparable sans les contraintes du TSL).
• Performance : Le TSL atteint des performances prédictives compétitives. Dans le groupe interprétable, le TSL se classe dans le top 3 sur 17 des 27 jeux de données et est le meilleur modèle interprétable sur 5.
• Analyse comparative :
  • Le TSL surpasse l'EBM et les ensembles d'arbres sur des jeux de données présentant de fortes structures séparables de bas rang (ex: socmob, California housing).
  • Sur California housing, le TSL capture des interactions spatiales localisées et non monotones (ex: primes côtières) que l'EBM et XGBoost lissent ou ne parviennent pas à isoler dans des résumés 1D.
  • Étude de cas synthétique : Dans un exemple synthétique où un effet quadratique fort est masqué par une interaction d'ordre 3 (résultant en une dépendance partielle 1D nulle), le TSL réussit à récupérer la magnitude sous-jacente via ses courbes de backbone, alors que les courbes PDP et ICE standards échouent à révéler le signal sans agrégations complexes.
  • Ablation : Supprimer la contrainte de positivité et la structure de différence ordonnée (TSL 1-produit) dégrade considérablement la performance, confirmant que ces contraintes sont cruciales pour la flexibilité de représentation et la stabilité.

Signification et affirmations

Le papier affirme que le TSL offre une voie distincte vers l'interprétabilité en allant « au-delà des décompositions additives ». Sa principale importance réside dans :

• Visualisation fidèle : En imposant la séparabilité et la positivité, le TSL garantit que les graphiques de dépendance partielle récupèrent la forme exacte des facteurs ajustés, évitant la perte d'information et le masquage inhérents aux projections additives des modèles interactifs.
• Gestion des interactions : Le TSL fournit un mécanisme pour visualiser et comprendre les interactions d'ordre élevé via des résumés 1D (backbone et tilt) sans recourir à des explications opaques de boîte noire ou à des graphiques de haute dimension.
• Précision compétitive : Il démontre qu'un modèle de boîte de verre doté d'une structure séparable peut rivaliser avec de puissants modèles de boîte noire d'ensembles d'arbres sur des benchmarks de régression, remettant en question l'idée qu'une grande précision nécessite de sacrifier l'interprétabilité.

Les auteurs restent modestes quant aux limites, reconnaissant que les taux d'approximation du TSL dépendent d'hypothèses de lissage mixte et que la représentation séparable souffre d'une non-identifiabilité (nécessitant les procédures spécifiques d'agrégation/filtrage décrites). Ils notent que sur des problèmes purement additifs, les méthodes existantes comme l'EBM pourraient rester des bases de comparaison plus fortes.