Résumé Technique : Diriger l'entraînement de réseaux de neurones par des contraintes interprétables basées sur la dépendance partielle

Énoncé du Problème

Le domaine de l'Intelligence Artificielle Explicable (XAI) a connu une croissance significative dans le développement de techniques pour interpréter les décisions des modèles. Cependant, une lacune critique subsiste dans l'évaluation de la qualité de ces explications et, plus important encore, dans l'ajustement des modèles pour garantir que leurs explications s'alignent sur les connaissances préalables du domaine. Les approches existantes en « apprentissage guidé par l'explication » (EGL) se concentrent principalement sur les tâches de classification (impliquant souvent des images ou du texte) et supposent généralement une connaissance de l'importance des caractéristiques ou de régions spécifiques d'entrée. De plus, de nombreuses méthodes qui incorporent des contraintes se concentrent sur les propriétés structurelles de la fonction (par exemple, la convexité, la monotonicité) plutôt que sur les explications elles-mêmes.

Ce travail traite du défi consistant à diriger l'entraînement de réseaux de neurones pour des problèmes de régression — incluant spécifiquement la prévision de systèmes dynamiques — afin de garantir que la réponse moyenne du modèle à certaines caractéristiques (sa dépendance partielle) s'aligne avec une forme fonctionnelle de connaissance métier. L'objectif est de produire des modèles qui sont non seulement plus efficaces en termes de données et plus robustes aux décalages hors distribution (OOD), mais qui fournissent également des explications fidèles aux connaissances préalables fournies.

Méthodologie

La Dépendance Partielle comme Contrainte

Les auteurs définissent le problème comme l'apprentissage d'un modèle différentiable $h_\theta(x)$ tel que sa dépendance partielle (PD) sur un sous-ensemble de caractéristiques $x_k$ s'aligne avec une forme fonctionnelle connue. La PD d'une fonction $f$ sur $x_k$ est définie comme la valeur attendue de la fonction sur la distribution marginale des autres caractéristiques $x_{-k}$ :
$$PD_\infty(f, x_k) = \mathbb{E}_{x_{-k}}[f(x_k, x_{-k})]$$

Les auteurs supposent que la vraie PD suit une forme algébrique $h^\phi_k(x_k)$, paramétrée par $\phi$. Cette forme peut représenter une relation physique connue (par exemple, logarithmique, sinusoïdale) à l'exclusion des constantes de mise à l'échelle et de biais.

Algorithme d'Entraînement

L'objectif d'entraînement minimise une fonction de perte combinée $L_\lambda$ qui équilibre la précision prédictive et l'adhérence à la contrainte de PD :
$$L_\lambda(h_\theta, h^\phi_k, f; LS) = (1 - \lambda)L_{tot}(h_\theta, f; LS) + \lambda L_{PD}(h_\theta, h^\phi_k; LS)$$
Où :

• $L_{tot}$ est l'erreur quadratique moyenne standard sur l'ensemble d'entraînement.
• $L_{PD}$ mesure la différence au carré entre la PD estimée du modèle et la fonction cible $h^\phi_k$ évaluée sur un ensemble spécifique de points $x_k$.
• $\lambda \in [0, 1]$ contrôle le compromis.

Stratégie d'Optimisation :
Les auteurs proposent une procédure d'optimisation alternée (Algorithme 1) :

1. Initialisation : La fonction cible $h^\phi_k$ est ajustée aux sorties brutes pendant un nombre déterminé d'époques pour initialiser $\phi$.
2. Étapes Alternées : Les paramètres du modèle $\theta$ et les paramètres du prior $\phi$ sont mis à jour par blocs alternés. Tous les $S$ époques, $\phi$ est mis à jour pour minimiser la perte de PD étant donné le $\theta$ actuel, puis $\theta$ est mis à jour pour minimiser la perte combinée.
3. Construction du Jeu de Données : Un composant crucial est la construction d'un jeu de données distinct $LS_{PD}$ pour le terme de contrainte. Ce jeu de données peut être soit :
   • En distribution (ID) : Échantillons tirés de la distribution d'entraînement $p(x_k)$.
   • Linspace (L) : Un ensemble de valeurs espacées uniformément couvrant le domaine d'entrée (pouvant s'étendre au-delà de la distribution d'entraînement). Les auteurs soutiennent que contraindre sur des points uniformément espacés aide le modèle à généraliser vers les régions mal échantillonnées et les données OOD.

Contributions Clés

1. Nouveau Cadre EGL pour la Régression : Contrairement aux travaux EGL précédents axés sur l'importance des caractéristiques en classification, cette approche contraint la forme fonctionnelle de la dépendance partielle dans les tâches de régression, y compris les systèmes dynamiques.
2. Configuration de Contrainte Linspace : Le papier introduit et valide empiriquement l'utilisation de contraintes « linspace » (contraindre la PD sur des points uniformément espacés à travers le domaine) comme une alternative supérieure aux contraintes en distribution. Cette configuration force le modèle à apprendre la forme fonctionnelle correcte même dans les régions où les données sont rares.
3. Robustesse à la Rareté des Données et aux Décalages OOD : La méthode s'avère particulièrement efficace dans les régimes de faible volume de données et lorsque les données de test subissent des décalages en dehors de la distribution d'entraînement.
4. Comparaison avec l'Apprentissage Fondé sur la Physique : Les auteurs comparent leur approche de contrainte à modèle unique aux modèles hybrides informés par la physique (ex: APHYNITY, PD-hybrid). Ils démontrent que leur méthode offre souvent de meilleures performances prédictives et des estimations de PD plus fidèles, particulièrement lorsque le problème sous-jacent ne satisfait pas strictement les hypothèses d'additivité requises par les modèles hybrides.

Résultats Expérimentaux

Les auteurs ont évalué la méthode sur des problèmes synthétiques (Friedman, Produit), des jeux de données réels (Résistance à la compression du béton, PHALK) et un système dynamique (Pendule amorti).

• Performance Prédictive : Les modèles entraînés avec des contraintes de PD surpassent systématiquement les modèles non contraints, surtout lorsque la taille de l'échantillon d'entraînement diminue (par exemple, 50 échantillons). Dans de nombreux cas, les modèles contraints entraînés sur 50 échantillons atteignent des performances comparables aux modèles non contraints entraînés sur 300 échantillons.
• Qualité de l'Explication : Les estimations de PD des modèles contraints s'alignent de manière significative plus précisément avec la connaissance préalable (vérité terrain ou approximée) que celles des modèles non contraints.
• Linspace vs In-Distribution : À travers toutes les expériences, les contraintes linspace (contrainte sur des points uniformément espacés) ont généralement surpassé les contraintes en distribution. Cela était particulièrement évident dans les scénarios d'extrapolation où les données de test tombaient en dehors du domaine d'entraînement. Les contraintes linspace ont aidé à atténuer l'impact des décalages de domaine, tandis que les contraintes en distribution échouaient souvent à généraliser au-delà de la plage d'entraînement.
• Robustesse à la Connaissance Mal Spécifiée : Même lorsque la connaissance préalable était imparfaite (par exemple, supposer une relation de racine carrée au lieu de logarithmique, ou utiliser une série de Fourier avec des fréquences incorrectes), les modèles contraints par linspace sont restés robustes. Ils ont souvent surpassé les modèles non contraints et, dans les contextes d'extrapolation, ont produit des formes de PD plus proches de la fonction sous-jacente réelle que les modèles entraînés avec des contraintes en distribution.
• Systèmes Dynamiques : La méthode a été étendue avec succès à la prévision de systèmes dynamiques (Neural ODEs), montrant une amélioration de la prédiction de trajectoire et de l'alignement de la PD, particulièrement lorsque les états initiaux étaient hors distribution.

Signification et Revendications

Le papier affirme que le pilotage des réseaux de neurones via des contraintes de dépendance partielle est un mécanisme puissant pour l'apprentissage guidé par l'explication. La principale signification réside dans la capacité de :

• Améliorer l'Efficacité des Données : Atteindre une haute précision prédictive avec nettement moins d'échantillons d'entraînement en exploitant les connaissances fonctionnelles préalables.
• Renforcer la Généralisation : Produire des modèles qui généralisent mieux aux données hors distribution (OOD) en imposant la forme fonctionnelle correcte sur l'ensemble du domaine d'entrée, et pas seulement là où les données sont denses.
• Garantir des Explications Fidèles : Garantir que l'interprétabilité du modèle (via les graphiques de PD) reflète les connaissances de l'expert métier, empêissant le modèle d'apprendre des prédictions « correctes » pour de « mauvaises » raisons.

Les auteurs notent que bien que la méthode entraîne des coûts de calcul plus élevés en raison de l'estimation de la dépendance partielle (nécessitant des évaluations du modèle sur de multiples combinaisons de caractéristiques), il s'agit d'un compromis gérable pour les régimes de faible volume de données où la généralisation et l'interprétabilité sont primordiales. Ils concluent que cette approche offre une alternative plus générique aux modèles hybrides informés par la physique, car elle ne nécessite pas de décomposition additive explicite du problème.