Résumé Technique : Apprentissage de Représentations Cohérentes : Une Approche Topologique de l'Interprétabilité

Énoncé du Problème

Les réseaux de neurones profonds (DNN) apprennent souvent des représentations où les caractéristiques latentes individuelles manquent de signification interprétable. Bien que l'entraînement à la classification sépare avec succès les variétés (manifolds) de classes dans l'espace latent, cela ne garantit pas que les neurones individuels correspondent à des concepts compréhensibles par l'humain. Dans les contextes non supervisés comme les auto-encodeurs, le problème est exacerbé : sans étiquettes de classe pour guider la séparation, les réseaux peuvent apprendre des représentations où des échantillons sémantiquement liés sont dispersés, et où les caractéristiques individuelles s'activent sur des sous-ensembles déconnectés et incohérents de la variété des données.

Les techniques de régularisation existantes, telles que la parcimonie (L1), encouragent les caractéristiques à s'activer sur peu d'échantillons mais ne parviennent pas à garantir que ces échantillons sont géométriquement liés. Une caractéristique parcimonieuse peut toujours s'activer sur des régions dispersées de la variété des données. Inversement, les circuits neuronaux biologiques (par exemple, les cellules de grille et les cellules de direction de la tête) parviennent à l'interprétabilité grâce à la localité : les neurones répondent à des régions contiguës de l'espace d'état. Cet article pose la localité comme un principe de conception pour les codes neuronaux interprétables et cherche à formaliser ce principe pour l'imposer aux réseaux de neurones artificiels.

Méthodologie

1. Cadre Théorique : Matrices Cohérentes

Les auteurs introduisent la cohérence, une propriété géométrique inspirée du codage neuronal et fondée sur l'analyse topologique des données (TDA). Ils modélisent l'espace latent d'un réseau avec des activations non négatives sous la forme d'une matrice non négative $M$, où les lignes représentent les échantillons et les colonnes les caractéristiques.

Une matrice est définie comme $\epsilon$-cohérente si elle satisfait deux conditions :

1. $\epsilon$-localité : Chaque ligne (échantillon) porte attention à un ensemble géométriquement regroupé de colonnes (caractéristiques), et vice versa. Ceci est quantifié par la variance de Fréchet. Plus précisément, la carte barycentrique $\phi$ (cartographiant un échantillon vers la moyenne pondérée des caractéristiques) et $\psi$ (cartographiant une caractéristique vers la moyenne pondérée des échantillons) doivent présenter une faible variance par rapport aux caractéristiques/échantillons réels.
2. $\epsilon$-couverture : Chaque échantillon est bien décrit par une certaine caractéristique, et chaque caractéristique est nécessaire à un certain échantillon. Cela garantit qu'aucune partie de l'espace n'est laissée sans couverture ou redondante.

Garantie Topologique :
Le papier proule que si une matrice est $\epsilon$-cohérente et que les cartes barycentriques sont lipschitziennes, les filtrations de Vietoris-Rips des échantillons et des caractéristiques sont $\epsilon^{1/2}$-entrelacées. Cela implique que l'espace des échantillons et l'espace des caractéristiques partagent des structures topologiques compatibles. Par exemple, si les données se situent sur un cercle, les caractères cohérents doivent paver ce cercle en arcs contigus, garantissant que l'espace des caractéristiques reflète la topologie de l'espace des échantillons.

2. L'Objectif COH

Pour imposer la cohérence pendant l'entraînement, les auteurs dérivent COH, une fonction de perte différentiable basée sur la variance de Fréchet.

• Normalisation : La méthode utilise une normalisation L1 au carré pour traiter les lignes et les colonnes comme des distributions de probabilité.
• Composantes de la perte : La perte pénalise les quantités de variance (localité) et de couverture pour les lignes et les colonnes.
• Implémentation : L'objectif est ajouté à toute architecture possédant des activations non négatives (par exemple, via Softplus). Il calcule les cartes barycentriques et leurs variances, en agrégeant les $k$ plus mauvais cas pour assurer la robustesse face aux valeurs aberrantes.

Contributions Clés

1. Définition de la Cohérence : Les auteurs définissent formellement l' $\epsilon$-cohérence pour les matrices non négatives, en la liant à l'entrelacement des filtrations de Vietoris-Rips. Cela fournit une garantie théorique que l'espace latent des échantillons et l'espace latent des caractéristiques partagent une topologie compatible.
2. Objectif Différentiable (COH) : Ils introduisent COH, une fonction de perte pratique qui impose des contraintes de localité et de couverture. Contra\text{à} la parcimonie, qui limite le nombre d'activations, COH limite la connectivité géométrique des activations.
3. Validation Empirique : La méthode est validée dans trois contextes distincts :
   • Données Synthétiques : Récupération de la topologie de cercles disjoints.
   • MNIST Roté : Apprentissage de caractéristiques interprétables pour des chiffres rotés.
   • Modèles de Langage : Application de la cohérence aux plongements de jetons (tokens) de BERT pour obtenir des caractéristiques interprétables alignées sur des catégories lisibles par l'humain.

Résultats Expérimentaux

Auto-encodeurs sur Données Synthétiques et MNIST Roté

• Récupération de la Topologie : Dans l'expérience test "Deux Cercles", les auto-encodeurs standards et les modèles régularisés par L1 ont échoué à produire un espace de caractéristiques avec la topologie circulaire correcte. Seul le modèle COH a récupéré la topologie circulaire disjointe attendue dans les espaces d'échantillons et de caractéristiques.
• Chiffre Unique (MNIST Roté) : Pour un seul chiffre roté (6), COH a atteint 100 % de caractéristiques ajustées (caractéristiques s'activant sur des arcs de rotation cohérents), contre 63 % pour L1. Les caractéristiques COH étaient moins parcimonieuses mais significativement plus interprétables concernant l'angle de rotation.
• Double Chiffre (MNIST Roté) : Dans un contexte plus complexe avec deux chiffres, COH a produit de manière constante des espaces latents cohérents. Bien que les métriques d'interprétabilité (comme la pureté) varient selon les graines (seeds) en raison de l'existence de multiples solutions cohérentes valides (par exemple, cercles séparés vs cercles fusionnés), les métriques de cohérence (Localité et Couverture) sont restées stables. Combiner COH avec la parcimonie L1 a réussi à guider le modèle vers une solution désenchevêtrée avec une séparation de classes fiable.

Plongements de Jetons BERT

• Configuration : Un petit modèle BERT a été entraîné avec des plongements de jetons non négatifs (via Softplus) et l'objectif COH.
• Interprétabilité :
  • Recouvrement : Les caractéristiques du modèle COH présentent un recouvrement nettement plus élevé avec les voisinages de jetons les plus proches du modèle BERT standard (signé) (Recouvrement moyen : 0,45 contre 0,22 pour le Softplus seul).
  • Catégories Lisibles par l'Humain : En utilisant un LLM (Claude Opus) pour juger l'interprétabilité, 87,6 sur 256 caractéristiques du modèle COH ont été jugées interprétables, contre 0 pour la base de référence Softplus-seule.
  • Catégories Identifiées : Les caractéristiques COH s'alignent sur des catégories sémantiques spécifiques incluant les années, les termes de parenté, les noms de lieux, les unités de mesure, les adverbes d'atténuation, les prépositions de direction et des types de verbes spécifiques (ex: mouvement, cognition, passé).

Signification et Revendications

Le papier affirme fournir un cadre rigoureux pour coupler les échantillons latents et les caractéristiques latentes afin qu'ils partagent une topologie compatible. La signification réside dans le passage de l'interprétabilité des caractéristiques individuelles à l'interprétabilité de l'espace de caractéristiques dans son ensemble.

• Garantie Géométrique : Le travail démontre que l'imposition de la connectivité géométrique (cohérence) produit des caractéristiques qui ne sont pas seulement parcimonieuses, mais structurellement alignées avec la variété des données.
• Complémentarité : Les auteurs notent que la cohérence est complémentaire d'autres objectifs ; par exemple, la parcimonie peut être utilisée pour choisir parmi plusieurs solutions cohérentes valides sans sacrifier la garantie géométrique.
• Limites : Les auteurs reconnaissent modestement que l'hypothèse de Lipschitz sur les cartes barycentriques est vérifiée empiriquement plutôt qu'imposée. Ils notent également que la méthode ne contrôle pas quelle solution cohérente spécifique est trouvée dans des contextes multi-classes complexes (par exemple, si les chiffres fusionnent ou se séparent), bien qu'elle garantisse que la solution trouvée est cohérente.

Ce travail relie l'analyse topologique des données, les neurosciences et l'apprentissage de représentations, offrant à la fois une fondation théorique (via des analogues de la dualité de Dowker et l'entrelacement) et un outil pratique pour apprendre des espaces latents interprétables sans nécessifier de supervision explicite.