Résumé technique : Des décisions des réseaux de neurones aux cas d'entraînement

Problématique

Les réseaux de neurones sont de plus en plus déployés dans des domaines à enjeux élevés (ex. : diagnostic médical, approbation de crédit, enchères énergétiques) où les décisions nécessitent plus que des explications au niveau des caractéristiques. Les auditeurs et les parties prenantes ont besoin de preuves au niveau des cas : des instances d'entraînement spécifiques qui soutiennent une décision, les résultats que ces instances ont portés, et la manière dont elles façonnent la préférence d'action actuelle. Bien que les méthodes d'attribution de caractéristiques (ex. : valeurs de Shapley) identifient les variables d'entrée influentes, elles ne retracent pas explicitement les décisions vers les données d'entraînement.

Les réseaux de neurones standards absorbent l'expérience d'entraînement dans des paramètres appris, ce qui rend la connexion entre une décision déployée et ses cas d'entraînement pertinents indirecte. Bien que la Théorie de la Décision Basée sur les Cas (CBDT - Case-Based Decision Theory) formalise le raisonnement en agrégeant le soutien des résultats provenant de cas mémorisés, l'application de ce cadre aux réseaux de neurones standards avec des représentations fixes reste un défi ouvert. Le problème central est de déterminer quand et comment les coefficients d'une lecture linéaire sur une représentation neuronale fixe peuvent être interprétés comme des poids de similitude de type CBDT par rapport à des termes d'influence géométrique signés, et comment utiliser cette décomposition pour l'audit post-entraînement sans réentraînement.

Méthodologie

1. Cadre théorique : Décomposition exacte des cas

L'article établit un lien mathématique exact entre les lectures par Moindres Carrés Ordinaires (OLS) sur des représentations neuronales fixes et le raisonnement basé sur les cas.

• Configuration : Considérons un réseau entraîné avec une carte de représentation fixe $\phi(x) \in \mathbb{R}^H$. Pour une action discrète $a$, la lecture est linéaire : $Q(x, a) = v_a^\top \phi(x)$.
• Lecture OLS : Le vecteur de poids $v_a$ est ajusté via OLS pour minimiser la perte au carré contre les vecteurs de retour conditionnels à l'action $r_a$ dérivés des cas d'entraînement.
• Décomposition exacte : Les auteurs démontrent que le score de lecture pour toute action $a$ à une entrée $x$ est exactement une somme pondérée des retours des cas d'entraînement :
  $$Q(x, a) = \sum_{i=1}^n \alpha_i(x) r_{i,a}$$
  où le coefficient $\alpha_i(x) = \phi(x)^\top G^{-1} \phi(x_i)$ est déterminé par la matrice de Gram empirique $G = \Phi^\top \Phi$ des représentations d'entraînement.
• Sémantique :
  • Régime de similitude CBDT : Si la représentation est blanchie ($G = nI_H$) et que les coefficients sont non négatifs, $\alpha_i(x)$ se comporte comme un poids de similitude CBDT standard (produit scalaire mis à l'échelle).
  • Influence géométrique-grammienne signée : En dehors de ce régime, les coefficients sont signés et non normalisés. Ils représentent une influence géométrique-grammienne signée, où les coefficients positifs indiquent des cas proches dans l'espace de représentation qui augmentent le score, et les coefficients négatifs agissent comme des corrections de champ lointain qui abaissent ou compensent le score.

2. Signaux d'audit

Sur la base de cette décomposition, les auteurs proposent trois signaux d'audit :

1. Score d'audit de cas : Décompose le score d'action en contributions $\psi_i(a, x) = \alpha_i(x)r_{i,a}$. Le tri par contribution absolue identifie les cas influents ; le tri par signe distingue les cas de soutien des cas de compensation.
2. Entropie d'influence : Mesure la cohérence des preuves d'action parmi les $k$ cas les plus influents. Une faible entropie indique un soutien cohérent pour une seule action ; une entropie élevée suggère des preuves conflictuelles.
3. Diagnostic de risque d'influence de cas : Combine l'entropie d'influence avec un terme de désaccord de Gini parmi les 10 meilleurs cas pour signaler les requêtes présentant un soutien faible ou dispersé, particulièrement utile pour détecter les décalages de covariables (covariate shifts).

3. Configuration expérimentale

La méthode est évaluée sur :

• Générateur de CBDT synthétique : Pour vérifier la récupération de structures de préférence de cas connues.
• Enchères énergétiques PJM : Données de charge réelles avec des retours de prix synthétiques pour un problème d'enchères à 3 actions.
• Jeux de données UCI : Adult Income (tâche d'approbation) et Default Credit (tâche d'exposition au risque) utilisant des retours proxys.
• Lignes de base (Baselines) : Fonctions d'influence, Sélection de points de représentant (Representer Point Selection), TracIn, et une ligne de base de produit scalaire.

Contributions clés

1. Compte de type CBDT exact : L'article prouve que pour les lectures OLS à représentation fixe, chaque score d'action est une agrégation exacte des retours des cas d'entraînement. Cela fournit une voie directe et non approximative allant d'une décision neuronale aux cas d'entraînement spécifiques qui la façonnent.
2. Clarification sémantique : Les auteurs caractérisent les conditions sous lesquelles les poids de cas fonctionnent comme des poids de similitude CBDT (régime blanchi, non négatif) par rapport au fait qu'ils doivent être interprétés comme une influence géométrique-grammienne signée. Cette distinction évite la confusion entre « similitude » et « influence » dans les contextes d'audit.
3. Cadre d'audit sans réentraînement : L'audit proposé nécessite uniquement l'ajustement d'une sonde OLS de couche supérieure sur une représentation fixe. Il ne nécessite pas l'accès à la trajectoire d'optimisation originale, le réentraînement du modèle, ou des approximations basées sur la perturbation.

Résultats

• Récupération de la structure de cas : Dans le cadre CBDT synthétique, la lecture OLS a atteint 96,0 % d'accord de test avec l'action optimale CBDT, et les scores de soutien reconstruits ont montré une forte corrélation avec les véritables soutiens CBDT pour toutes les actions.
• Qualité de l'attribution : Comparée aux lignes de base (Fonctions d'influence, Point de représentant, TracIn), la méthode proposée a obtenu la cohérence d'action Top-30 la plus élevée (0,941 contre 0,909 pour les fonctions d'influence) et une corrélation de Pearson compétitive avec les contributions de cas de vérité terrain.
• Performance en conditions réelles :
  • PJM : La politique neuronale et le décideur CBDT se sont accordés sur 3221 décisions sur 3358 tests. Les désaccords étaient concentrés dans les régions de transition de charge à faible marge. L'audit a réussi à identifier que les actions « agressives » avaient un alignement de soutien plus faible, les signalant pour une inspection plus approfondie.
  • Tâches UCI : Un accord élevé réseau-CBDT a été observé (0,9408 pour Adult Income, 0,875 pour Default Credit). L'audit a identifié avec succès l'action « approbation standard » dans Default Credit comme étant la moins fidèlement reconstruite, soulignant l'ambiguïté.
• Utilité diagnostique : Le score de risque d'influence de cas a amélioré l'AUC pour la détection des prédictions incorrectes sous décalage de covariables par rapport aux lignes de base standard de marge de réseau, démontant son utilité pour identifier les requêtes faiblement soutenues.

Signification et affirmations

L'article affirme fournir une vue d'audit pratique post-entraînement des décisions neuronales en rendant la base des cas d'entraînement algébriquement explicite.

• Modestie sur la portée : Les auteurs déclarent explicitement que la décomposition exacte s'applique aux lectures OLS à représentation fixe. Ils ne prétendent pas qu'un entraînement non linéaire de bout en bout arbitraire admet la même décomposition sans cette réduction.
• Limites de l'interprétabilité : Le cadre clarifie que les cas récupérés ne sont pas uniformément « supportifs » ; les coefficients négatifs jouent un rôle crucial en tant que corrections géométriques. L'audit est valide dans la mesure de la fidélité de la sonde (mesurée par la reconstruction du score).
• Praticité : La méthode offre un compromis : elle induit une latence par requête plus élevée (environ 58,6 ms) par rapport aux lignes de base de l'ordre de la milliseconde, mais fournit une récupération de cas plus pertinente pour la décision sans réentraînement ni accès aux trajectoires d'entraînement.

Ce travail comble le fossé entre la rigueur théorique de la Théorie de la Décision Basée sur les Cas et le déploiement pratique des réseaux de neurones, offrant un outil pour tracer, inspecter et contester les décisions d'IA à enjeux élevés à travers le prisme de leur historique d'entraînement.