Résumé Technique : De l'Espace Latent aux Données d'Entraînement : Spécialisation Explicable dans les MLP Minimales

Énoncé du Problème

L'article examine si des biais d'entraînement explicites peuvent induire des neurones cachés dans des Perceptrons Multicouches (MLP) à une seule couche cachée et minimale à se spécialiser dans des rôles distincts, et si une telle spécialisation améliore la reconstruction de l'ensemble de données d'entraînement à partir des poids appris. Alors que des travaux antérieurs ont établi que les données d'entraînement peuvent être récupérées à partir des paramètres du réseau (par exemple, via la mémorisation ou la reconstruction directe), cette étude se concentre sur le processus d'entraînement lui-même : des pertes structurelles peuvent-elles être conçues pour biaiser l'espace latent vers une configuration plus structurée, spécialisée et récupérable ? Les auteurs encadrent cela dans le contexte de l'explicabilité et de la certification des modèles, postulant que si l'entraînement façonne un espace latent doté d'une structure interne interprétable (spécifiquement, des prototypes spécialisés), le comportement du modèle devient plus auditable.

Méthodologie

L'étude emploie un régime expérimental contrôlé utilisant des MLP Gaussiennes minimales entraînées sur des ensembles de données synthétiques unidimensionnels.

• Architecture : Un réseau à une seule couche cachée avec des fonctions d'activation gaussiennes ($\sigma(z) = \exp(-z^2)$). La largeur de la couche cachée ($H$) est fixée égale à la taille de l'ensemble de données ($N$). Chaque unité gaussienne est paramétrée par un centre (emplacement du prototype $\hat{x}_j = -b_j/w_j$) et une largeur.
• Ensemble de données : Paires scalaires $(x_i, y_i)$ échantillonnées uniformément dans $[0, 1]^2$, avec $N \in \{3, 5, 10, 30, 50, 100\}$.
• Objectif d'entraînement : La perte d'ajustement standard ($L_{fit}$) est augmentée de trois pertes structurelles distinctes, combinées via un masque binaire (8 configurations au total) :
  1. Perte de Couverture ($L_{coverage}$) : Une force attractive encourageant chaque échantillon d'entraînement à avoir un prototype à proximité.
  2. Perte de Séparation ($L_{separation}$) : Une force répulsive décourageant l'effondrement des prototypes (encourageant la distance entre les centres).
  3. Perte de Chevauchement ($L_{overlap}$) : Une force répulsive pénalisant plusieurs unités cachées répondant fortement au même input.
• Métriques :
  • Erreur de Reconstruction ($E$) : L'erreur invariante par permutation entre l'ensemble de données original et l'ensemble de données reconstruit à partir des prototypes appris (en utilisant l'affectation hongroise).
  • Ratio de Spécialisation ($S$) : Le ratio de prototypes distincts utilisés pour couvrir les points d'entraînement (des valeurs plus élevées indiquent une meilleure spécialisation).
• Protocole : 480 runs contrôlés répartis sur 6 tailles d'ensembles de données, 8 masques de perte, 5 ensembles de données et 2 initialisations aléatoires par configuration.

Contributions Clés

1. Identification des Effets des Pertes Structurelles : L'article évalue systématiquement comment les forces structurelles attractives (couverture) et répulsives (séparation, chevauchement) interagissent avec la reconstruction basée sur les prototypes.
2. Le « Mécanisme d'Expulsion » : Les auteurs identifient un mode de défaillance spécifique où les pertes répulsives (spécifiquement le chevauchement et, sous certains hyperparamètres, la séparation) poussent l'optimiseur vers un équilibre dégénéré. Dans cet état, les centres de prototypes sont repoussés en dehors de l'enveloppe convexe des inputs d'entraînement (expulsés), les rendant inactifs. Cela se traduit par une mauvaise reconstruction malgré un bon ajustement du modèle aux données d'entraînement.
3. Principe de Conception pour la Récupérabilité : L'étude propose un principe de conception concret : « Toute perte structurelle répulsive doit être compensée par un attracteur compatible. » Sans attracteur (comme la couverture) pour maintenir les prototypes dans la région des données, les forces répulsives effondrent la géométrie latente en expulsant les prototypes à l'infini.
4. Classement Empirique : Les auteurs établissent un classement empirique stable des biais structurels : la couverture est systématiquement bénéfique ; la séparation a des effets mitigés ; le chevauchement est systématiquement nuisible.

Résultats

• Précision de Reconstruction : L'entraînement avec couverture uniquement (masque 010) produit systématiquement l'erreur de reconstruction moyenne la plus faible pour toutes les tailles d'ensembles de données. Les masques activant la pénalité de chevauchement (par exemple 100, 111) forment une « bande supérieure » distincte d'erreurs élevées, nettement pire que la ligne de base.
• Optimisation vs Géométrie : La dégradation causée par les pénalités de chevauchement n'est pas due à un échec de l'optimisation (le modèle ajuste les données d'entraînement $L_{fit}$ aussi bien que les autres masques). Au contraire, le préjudice provient du placement des prototypes : les masques actifs sur le chevauchement repoussent tous les prototypes en dehors de la plage d'entrée $[0, 1]$, ne laissant aucun neurone actif pour soutenir la reconstruction.
• Spécialisation : La couverture augmente le ratio de spécialisation ($S$) par rapport à la ligne de base. À l'inverse, les masques actifs sur le chevauchement font effondrer le ratio de spécialisation vers $1/N$ (effectivement zéro) à mesure que $N$ croît, car tous les prototypes sont expulsés et les quelques neurones restants dans l'enveloppe doivent couvrir tous les inputs.
• Sensibilité aux Hyperparamètres : La perte de séparation se comporte comme un répulsif « doux » à la température nominale de l'article ($\tau = 10^{-2}$) mais devient expulsif (nuisible) à mesure que $\tau$ augmente, confirmant que la frontière entre une séparation utile et une expulsion catastrophique dépend des hyperparamètres.
• Évolutivité : Le classement qualitatif (Couverture > Ligne de base > Chevauchement) reste stable et statistiquement significatif à mesure que $N$ augmente de 3 à 100.

Importance et Revendications

L'article revendique que ses résultats fournissent un principe de conception simple pour un entraînement conscient de la récupérabilité des prototypes. Les auteurs soutiennent que l'ajout de termes structurels à une fonction objectif n'est pas suffisant ; la géométrie induite par ces termes doit être compatible avec l'objectif d'optimisation. Spécifiquement, les forces répulsives qui encouragent la diversité ou la séparation peuvent involontairement détruire la structure latente si elles ne sont pas équilibrées par une force attractive qui ancre les représentations aux données.

L'étude positionne cela comme une contribution à l'explicabilité et à la certification des modèles. En comprenant comment les biais d'entraînement façonnent la géométrie latente, les praticiens peuvent concevoir des procédures d'entraînement produisant des modèles dotés de structures internes auditable (prototypes spécialisés) plutôt que de s'appuyer uniquement sur des explications a posteriori de comportements de boîtes noires. Les auteurs déclarent explicitement que ces conclusions sont dérivées d'un cadre minimal et contrôlé (données synthétiques 1D, MLP Gaussiennes) et ne doivent pas être extrapolées à des architectures profondes ou de haute dimension sans validation supplémentaire, bien qu'ils suggèrent que les dynamiques sous-jacentes d'attraction-répulsion puissent se généraliser à d'autres contextes comme la classification à longue traîne.