📊 statistics

Symmetric Divergence and Normalized Similarity: A Unified Topological Framework for Representation Analysis

Cet article introduit un cadre topologique unifié comprenant la Divergence de Topologie de Représentation Symétrique (SRTD) pour un diagnostic structurel précis et la Similitude Topologique Normalisée (NTS) pour un étalonnage invariant à l'échelle, surmontant ainsi les limitations d'asymétrie et de non-bornage des méthodes existantes afin de fournir un outil robuste pour l'analyse des représentations neurales.

Auteurs originaux : Yan Wang, Tianyang Hu

Publié 2026-06-05

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yan Wang, Tianyang Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Mesurer comment l'IA « réfléchit »

Imaginez que vous avez deux chefs différents (réseaux de neurones) qui préparent une soupe. Vous voulez savoir : Font-ils la même soupe ?

Pendant longtemps, les scientifiques ont essayé de répondre à cette question en examinant les ingrédients (les données) et en mesurant à quel point les bols se ressemblent (analyse géométrique). Un outil populaire pour cela est appelé CKA. C'est comme vérifier si les bols ont la même forme et la même taille.

Cependant, ce papier soutient que regarder la forme du bol ne suffit pas. Parfois, deux bols semblent identiques de l'extérieur, mais les ingrédients à l'intérieur sont disposés de manières complètement différentes. Pour correr cela, les auteurs introduisent une nouvelle boîte à outils basée sur la Topologie (l'étude des formes et des connexions). Ils appellent leur boîte à outils une « Lentille Topologique ».

Cette boîte à outils possède deux outils principaux, conçus pour résoudre deux problèmes spécifiques des méthodes précédentes.

Problème 1 : La « rue à sens unique » et le « score non borné »

Avant ce papier, il existait un outil appelé RTD (Divergence de Topologie de Représentation). Il était bon pour repérer les différences, mais présentait deux défauts majeurs :

Il était injuste (Asymétrique) : Si vous compariez le Chef A au Chef B, vous obteniez un score. Si vous compariez le Chef B au Chef A, vous obteniez un score différent. C'était comme une règle qui donnait des longueurs différentes selon le sens dans lequel on la tenait.
Il était non borné (Difficile à comparer) : Le score pouvait être n'importe quel nombre énorme. Si vous compariez deux petits bols, le score était petit. Si vous compariez deux bols géants, le score était énorme. Cela rendait impossible de dire : « Ces deux soupes sont différentes à 50 % » car les chiffres changeaient constamment en fonction de la quantité de soupe que vous aviez.

La solution : Une boîte à outils unifiée

Les auteurs ont construit deux nouveaux outils pour corriger ces problèmes.

Outil 1 : SRTD (Divergence de Topologie de Représentation Symétrique)

L'objectif : Obtenir un diagnostic parfait, équitable et détaillé de là où les deux soupes diffèrent.

L'analogie : Imaginez que vous avez deux cartes d'une ville. Une carte montre les routes, et l'autre montre les rivières.
- Les anciens outils essayaient de les comparer en regardant d'abord les routes, puis les rivières, et en faisant la moyenne des résultats. C'était désordonné et donnait des réponses différentes selon l'ordre.
- SRTD est comme la création d'une super-carte qui combine à la fois les routes et les rivières en une seule vue. Elle regarde l'« Union » (tout ce qui existe dans l'une ou l'autre carte) et l'« Intersection » (uniquement ce qui existe dans les deux).
- En comparant directement ces deux vues, le SRTD donne un score unique et équitable. Peu importe le sens dans lequel on regarde, la réponse est la même.
Pourquoi c'est utile : Il indique exactement où les structures diffèrent. Si un chef a mis du sel dans la soupe et l'autre du sucre, le SRTD pointe précisément cet endroit. Il fonctionne également comme une « fonction de perte » (loss function), ce qui signifie que vous pouvez l'utiliser pour apprendre à un ordinateur à faire de meilleures soupes en minimisant ce score.

Outil 2 : NTS (Similitude Topologique Normalisée)

L'objectif : Obtenir un score simple et standardisé entre -1 et 1 que vous pouvez utiliser pour comparer n'importe quels modèles, quelle que soit leur taille.

L'analogie : Imaginez que vous classiez la « connectivité » de deux réseaux sociaux différents.
- Les anciens outils comptaient le nombre total de poignées de main. Si le Réseau A a 1 000 personnes et le Réseau B a 1 000 000 de personnes, les chiffres sont totalement différents et impossibles à comparer équitablement.
- NTS ignore le compte total. Au lieu de cela, il regarde l'ordre dans lequel les gens rejoignent des groupes.
- Exemple : Dans les deux réseaux, la Personne A rejoint le groupe en premier, puis la Personne B, puis ils rencontrent la Personne C. Même si le Réseau B est un million de fois plus grand, si l'ordre de l'adhésion est le même, le NTS dit qu'ils sont très similaires (Score : 1). Si l'ordre est complètement brouillé, ils sont différents (Score : -1).
Pourquoi c'est utile : Il crée une « règle universelle ». Vous pouvez comparer un petit modèle à un immense Modèle de Langage Étendu (LLM) et obtenir un score significatif. Il est robuste face à la « saturation de distance », un problème où les outils géométriques (comme le CKA) s'embrouillent et disent que tout semble identique lorsque les modèles deviennent très complexes.

Qu'ont-ils découvert ? (Les expériences)

Les auteurs ont testé ces outils dans plusieurs scénarios :

Clusters Synthétiques : Ils ont créé des données factices avec des formes claires (comme des cercles de points).
- Résultat : Les anciens outils (CKA) ne pouvaient pas voir la différence lorsque les formes changeaient légèrement. Les nouveaux outils (SRTD et NTS) ont immédiatement perçu les changements.
Couches de Deep Learning : Ils ont examiné le « cerveau » d'une petite IA de reconnaissance d'images (TinyCNN), couche par couche.
- Résultat : Les nouveaux outils ont montré un motif clair : les couches proches les unes des autres dans le réseau sont similaires, et les couches éloignées sont différentes. Les anciens outils se sont embrouillés et ont donné des résultats bizarres et incohérents.
- Bonus : Les nouveaux outils ont repéré une « rupture » spécifique dans le réseau (là où l'IA passe de l'observation de détails locaux à des motifs globaux) que les anciens outils avaient totalement manquée.
Modèles de Langage Étendus (LLMs) : Ils ont comparé des modèles d'IA célèbres (comme Llama, Qwen et Mistral).
- Résultat : Les outils géométriques (CKA) ont subi une « saturation » — ils disaient que presque tous les modèles étaient identiques parce que les chiffres étaient trop élevés.
- NTS a percé le bruit. Il a réussi à identifier que les modèles de la même « famille » (par exemple, Qwen et ses versions améliorées) partagent un ADN structurel profond, même s'ils paraissent différents en surface. Il a même correctement identifié qu'un modèle « distillé » (une version plus petite d'un grand modèle) était structurellement similaire à son parent, une connexion que les anciens outils avaient manquée.

Résumé

L'ancienne méthode : Mesurait à quel point la « forme » des données différait, mais les chiffres étaient désordonnés, injustes et difficiles à comparer.
La nouvelle méthode (SRTD) : Une carte équitable et détaillée qui montre exactement où deux modèles diffèrent.
La nouvelle méthode (NTS) : Un « score de similitude » standardisé (de -1 à 1) qui fonctionne comme un système de classement, permettant de comparer équitablement de petits modèles avec des modèles géants.

Le papier conclut que bien que ces outils soient actuellement excellents pour analyser et diagnostiquer l'IA, ils ne sont pas encore prêts à être utilisés directement pour entraîner l'IA (car le NTS n'est pas « différentiable », ce qui signifie qu'il ne peut pas être facilement utilisé comme un guide étape par étape pour l'optimisation). Cependant, ils offrent une façon beaucoup plus claire et plus fiable de comprendre comment les réseaux de neurones fonctionnent réellement.

Résumé Technique : Divergence Symétrique et Similitude Normalisée : Un Cadre Topologique Unifié pour l'Analyse des Représentations

Énoncé du Problème

L'analyse des données topologiques (TDA) offre une perspective intrinsèque pour comparer les représentations de réseaux de neurones, pourtant les méthodes macroscopiques existantes font face à des limitations significatives. Plus précisément, le cadre de la Divergence de la Topologie de la Représentation (RTD) et ses variantes souffrent de deux problèmes critiques :

Incomplétude Théorique et Asymétrie : La RTD « symétrique » couramment utilisée est définie comme une moyenne brute de deux valeurs directionnelles ( $RTD(w, \tilde{w})$ et $RTD(\tilde{w}, w)$ ). Ces valeurs peuvent différer radicalement sans explication théorique claire de cette asymétrie. De plus, la variante duale, Max-RTD, proposée pour enrichir l'information de gradient, manque d'une relation théorique pleinement caractérisée avec la RTD.
Absence de Normalisation : La RTD et la RTD-lite produisent des scores positifs non bornés qui dépendent fortement de la taille de l'échantillon et des échelles de distance intrinsèques. Cela rend le benchmarking inter-scénarios (par exemple, comparer différents modèles, couches ou jeux de données) peu fiable et difficile à interpréter. Les tentatives existantes pour rescaler les distances (par exemple, en utilisant le quantile 0,9) sont heuristiques et insuffisantes pour des contextes hétérogènes.

Ces limitations entravent la capacité à effectuer à la fois un diagnostic structurel fin et une évaluation robuste et standardisée des représentations neuronales.

Méthodologie

Les auteurs proposent un outil topologique unifié comprenant deux composantes complémentaires : la Divergence de la Topologie de la Représentation Symétrique (SRTD) pour le diagnostic structurel et la Similitude Topologique Normalisée (NTS) pour l'évaluation standardisée.

1. Divergence de la Topologie de la Représentation Symétrique (SRTD)

Pour remédier à l'asymétrie et aux lacunes théoriques de la famille RTD, les auteurs introduisent la SRTD.

Concept : Au lieu de moyenner deux divergences directionnelles, la SRTD mesure directement la divergence topologique entre l'union et l'intersection des filtrations de Vietoris-Rips de deux nuages de points.
Construction : Elle utilise une matrice auxiliaire symétrique ( $M_{sym}$ ) construite à partir du minimum élément par élément ( $min(w, \tilde{w})$ ) et du maximum ( $max(w, \tilde{w})$ ) des matrices de distance. La divergence est définie comme la somme des longueurs de barres (barcodes) dérivées de l'homologie persistante de ce graphe auxiliaire.
Unification Théorique : La SRTD fournit un cadre unifié où les mesures asymétriques (RTD et Max-RTD) sont décomposées en une large composante symétrique partagée (SRTD) et de plus petites composantes « privées » propres à chaque filtration.
Efficacité (SRTD-lite) : Suivant l'approche RTD-lite, les auteurs définissent la SRTD-lite, qui approxime la divergence topologique complète en utilisant les poids de l'Arbre Couvrant de Poids Minimum (MST) : elle est définie comme la différence entre les poids du MST de $max(w, \tilde{w})$ et de $min(w, \tilde{w})$ .
Propriété Clé : Les auteurs prouvent que pour la version « lite », $Max\text{-}RTD\text{-}lite + RTD\text{-}lite = SRTD\text{-}lite$ , établissant un ordre hiérarchique strict où la SRTD-lite sert de mesure médiane équilibrée.

2. Similitude Topologique Normalisée (NTS)

Pour permettre un benchmarking robuste entre scénarios, les auteurs proposent la NTS, une métrique bornée entre -1 et 1.

Motivation : Contrairement aux mesures de divergence qui somment les longueurs de barres (sensibles aux valeurs aberrantes et à l'échelle), la NTS se concentre sur la corrélation de rang des ordres de fusion hiérarchiques.
Mécanisme :
- Elle identifie l'ensemble des « paires de base » défini par l'union des arêtes dans les MST des deux représentations.
- Elle calcule la corrélation de rang de Spearman entre les temps de fusion (ou les distances d'arêtes) de ces paires de base dans les deux représentations.
- Deux variantes sont définies : NTS-E (basée sur les distances d'arêtes) et NTS-M (basée sur les temps de fusion).
Propriétés : La NTS est invariante à l'échelle et robuste aux variations de la taille de l'échantillon. Elle capture la structure topologique en comparant l'ordre dans lequel les composantes connexes fusionnent, plutôt que la magnitude absolue des distances.

Principales Contributions

Achèvement du Cadre RTD : L'introduction de la SRTD résout l'asymétrie théorique des variantes RTD précédentes. Elle consolide l'information diagnostique dans une signature de cross-barcode symétrique unique, offrant un objectif d'optimisation plus efficace sans le surcoût des calculs directionnels duaux.
Introduction de la NTS : La proposition de la NTS surmonte la nature non bornée des divergences topologiques. En exploitant la normalisation basée sur les rangs, elle fournit un score de similitude standardisé, comparable entre différents jeux de données, architectures de modèles et pipelines expérimentaux.
Caractérisation Théorique : L'article établit des relations mathématiques rigoureuses entre RTD, Max-RTD et SRTD en utilisant des cônes de mapping et des suites exactes longues en homologie, clarifiant le rôle de Max-RTD et la source de l'asymétrie.
Algorithmes Efficaces : Les auteurs fournissent des variantes légères (SRTD-lite et NTS-E) qui opèrent en temps $O(n^2(\alpha_{uf}(n) + d))$ , ce qui les rend scalables pour l'analyse de représentations à grande échelle.

Résultats Expérimentaux

L'outil a été évalué à travers des contextes de deep learning synthétiques et réels :

Décalages Hiérarchiques Synthétiques : Dans des expériences impliquant des clusters gaussiens et des plongements UMAP, la NTS et les familles SRTD ont correctement capturé l'augmentation de la dissimilarité structurelle. En revanche, la CKA était largement insensible à ces changements, et la RTD-lite produisait des tendances inversées anormales, soulignant la nécessité de la composante $max(w, \tilde{w})$ et de la normalisation.
Analyse par Couches de CNN : Sur un TinyCNN entraîné sur CIFAR-10, la NTS et la CKA présentent des paysages de similitude quasi-diagonaux cohérents et interprétables (la similitude décroissant avec la profondeur). Cependant, la famille RTD non normalisée n'a pas réussi à récupérer cette tendance monotone, produisant des cartes de chaleur irrégulières. Crucialement, les mesures topologiques (NTS et SRTD-lite) ont détecté une transition structurelle abrupte au niveau de la dernière couche de pooling — un changement fonctionnel manqué par les bases géométriques comme la CKA.
Analyse de Grands Modèles de Langage (LLM) : Appliquée aux familles de LLM (Qwen, InternLM, Baichuan, Llama) sur les jeux de données TruthfulQA et ToxiGen :
- Intra-Modèle : La NTS a révélé des « empreintes digitales » hiérarchiques cohérentes au sein des familles de modèles, tandis que la CKA produisait souvent des cartes de chaleur saturées ou incohérentes en raison de la saturation des distances.
- Inter-Modèle : La NTS a fourni une vue plus nette et plus discriminante des relations entre modèles par rapport à la CKA, qui souffrait d'une saturation de score (regroupement près de 1,0).
- Cas de Distillation : Dans une étude de cas sur DeepSeek-R1-Ds (distillé de Qwen2.5-Math), la CKA a produit un score de similitude faible ne reflétant pas la lignée, tandis que la NTS a identifié avec succès une haute similitude structurelle, suggérant que les ordres de fusion topologiques sont plus robustes aux décalages géométriques induits par la distillation.

Signification et Revendications

L'article affirme offrir une perspective rigoureuse et consciente de la topologie qui complète les mesures géométriques existantes comme la CKA.

Pour le Diagnostic : La SRTD et la SRTD-lite fournissent des preuves fines et interprétables des divergences structurelles et servent de termes de perte efficaces pour l'optimisation (par exemple, dans les autoencodeurs), atteignant des performances de pointe au sein de la classe RTD avec une efficacité améliorée.
Pour le Benchmarking : La NTS offre une métrique fiable et invariante à l'échelle pour comparer les représentations à travers des contextes hétérogènes, surmontant les problèmes d'interprétabilité des divergences non normalisées.
Limites : Les auteurs notent que la NTS est actuellement une mesure d'analyse uniquement et qu'elle n'est pas différentiable, ce qui empêche son utilisation directe dans l'optimisation de modèles. Des travaux futurs sont suggérés pour développer une formulation différentiable. De plus, les variantes légères reposent principalement sur des caractéristiques de dimension 0, échangeant des informations topologiques d'ordre supérieur contre la scalabilité.

Ce travail se positionne comme une étape fondamentale vers la compréhension des représentations neuronales à travers un prisme topologique unifié, comblant le fossé entre le diagnostic structurel fin et l'évaluation standardisée robuste.