Improved Predictive Performance and Interpretability for Mesomorphic Neural Networks Using Local Fidelity Regularization

Résumé technique : Amélioration de la performance prédictive et de l'interprétabilité des réseaux de neurones mésomorphes par la régularisation de la fidélité locale

Énoncé du problème
Les réseaux de neurones mésomorphes interprétables (IMN) ont été proposés pour combler le fossé entre la puissance prédictive de l'apprentissage profond et l'interprétabilité des modèles linéaires. Dans un IMN, une structure dorsale (backbone) de réseau de neurones génère dynamiquement les poids d'une couche de sortie linéaire, permettant une attribution de caractéristiques par instance. Cependant, la formulation originale souffre d'une vulnérabilité critique : le modèle est sous-déterminé. Parce que la structure dorsale du réseau de neurones est hautement expressive, elle peut atteindre une performance prédictive optimale en concentrant toute la variance explicative dans un seul poids (souvent l'ordonnée à l'origine) tout en supprimant les autres. Ce comportement « dégénéré » produit des prédictions mathématiquement exactes, mais des interprétations qui sont totalement infidèles aux relations sous-jacentes des données. Paradoxalement, la pénalité L1 initialement proposée pour encourager la parcimonie exacerbe ce problème en favorisant de telles configurations dégénérées.

Méthodologie : Régularisation de la fidélité locale (LFR)
Pour remédier à cela, les auteurs introduisent la Régularisation de la fidélité locale (LFR), un nouveau terme de pénalité conçu pour aligner les poids linéaires générés avec les variations locales présentes dans les données d'entraînement.

• Base théorique : Idéalement, les poids linéaires générés $w_j(x_i, \theta)$ devraient correspondre aux dérivées partielles de la fonction de prédiction par rapport à chaque caractéristique ($\nabla f(x_i)$). Cependant, s'appuyer sur des gradients analytiques est coûteux en termes de calcul (nécessitant une double rétropropagation) et risque de capturer du bruit infinitésimal plutôt que des tendances macroscopiques.
• Interpolation inspirée de SMOTE : Pour surmonter ces problèmes, la LFR évite les dérivées exactes. Au lieu de cela, elle construit un voisinage local autour d'un point ancré $x_i$ en générant des échantillons synthétiques via une stratégie inspirée de la technique de suréchantillonnage des minorités synthétiques (SMOTE). Pour un ancre donné, $K$ points synthétiques $\tilde{x}_k$ sont créés par interpolation linéaire avec les points de données voisins : $\tilde{x}_k = x_i + \alpha_k(x' - x_i)$.
• La pénalité : La perte LFR ($L_{LFR}$) impose que l'approximation linéaire ancrée en $x_i$ (utilisant les poids générés) doit extrapoler avec précision la prédiction complète du réseau de neurones sur ces points synthétiques. La pénalité est la différence quadratique moyenne entre l'extrapolation linéaire et le passage direct (forward pass) complet du réseau à travers le voisinage synthétique.
• Optimisation : La fonction objectif totale combine la perte de prédiction originale, la pénalité de parcimonie L1 et la nouvelle pénalité LFR. Les auteurs proposent une stratégie de réglage utilisant un score composite $S(\gamma)$ qui équilibre la performance prédictive (par exemple, l'AUROC ou le $R^2$) et la fidélité de l'explication (mesurée par la réduction de l'infidélité par rapport au modèle non régularisé).

Contributions clés

1. Mécanisme de régularisation novateur : L'introduction de la LFR, qui empêche l'effondrement des poids en ancrant les interprétations dans la structure géométrique des données via des contraintes de fidélité locale.
2. Amélioration double de la performance : Des preuves empiriques démontrant que la LFR non seulement résout les défauts d'interprétabilité, mais améliore également systématiquement la performance prédictive, offrant des résultats compétitifs avec les modèles de type « boîte noire » de pointe.
3. Implémentation en code ouvert : Une implémentation Python modulaire du cadre LFR-IMN avec une API de style scikit-learn, rendue publique.

Résultats expérimentaux
Le papier évalue la méthode proposée à travers des tests synthétiques et des benchmarks du monde réel :

• Expériences synthétiques : Sur un jeu de données synthétiques avec des effets locaux de vérité terrain connus (incluant des termes d'interaction), l'IMN non régularisé a échoué à récupérer les effets réels, poussant les poids des caractéristiques vers zéro et absorbant la magnitude dans l'ordonnée à l'origine. En revanche, l'IMN-LFR a réussi à récupérer les véritables gradients locaux. Notamment, en utilisant une structure TabResNet complexe, l'IMN-LFR a obtenu un MSE de test nettement plus bas (0,0244) par rapport à l'IMN non régularisé (0,0444), démontrant que les contraintes d'interprétabilité peuvent améliorer la généralisation.
• Évaluation XAI-Bench : En utilisant le cadre XAI-Bench avec des importances de vérité terrain connues, les auteurs ont comparé l'IMN-LFR à l'IMN non régularisé et aux expliqueurs post-hoc standards (LIME, SHAP) appliqués à des modèles boîtes noires. L'étude a utilisé une nouvelle métrique, l'Infidélité Évoluée (Scaled Infidelity), pour mesurer la précision des gradients locaux. Les résultats ont indiqué que l'IMN-LFR fournissait des explications hautement fidèles tout en maintenant ou en améliorant la précision prédictive (AUROC) par rapport à la ligne de base non régularisée.
• Benchmarks du monde réel : Les évaluations à travers la suite de benchmarks OpenML ont montré que l'IMN-LFR a atteint des scores AUROC très compétitifs avec des méthodes de premier plan comme CatBoost et TabNet, sans compromettre la précision au profit de l'explicabilité.

Signification et affirmations
Le papier affirme que la LFR-IMN offre un double avantage : elle garantit des interprétations fiables et fidèles en empêchant le modèle d'exploiter des solutions dégénérées, et elle améliore simultanément la performance prédictive. Les auteurs soutiennent que, contrairement à l'hypothèse courante d'un arbitrage entre précision et interprétabilité, l'imposition de la fidélité locale peut conduire à des frontières de décision plus robustes. La méthode est présentée comme une solution pratique pour les applications critiques (ex: santé, finance) où des performances élevées et des explications dignes de confiance sont des prérequis. Le travail est soutenu par un dépôt open-source pour faciliter l'adoption et la recherche ultérieure.