📊 statistics

Symmetric Divergence and Normalized Similarity: A Unified Topological Framework for Representation Analysis

Dit artikel introduceert een verenigd topologisch kader bestaande uit Symmetric Representation Topology Divergence (SRTD) voor precieze structurele diagnose en Normalized Topological Similarity (NTS) voor schaal-invariante benchmarking, waarmee de beperkingen van asymmetrie en onbegrensdheid van bestaande methoden worden overwonnen om een robuust hulpmiddel te bieden voor de analyse van neurale representaties.

Oorspronkelijke auteurs: Yan Wang, Tianyang Hu

Gepubliceerd 2026-06-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yan Wang, Tianyang Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Meten hoe AI "denkt"

Stel je voor dat je twee verschillende chefs (neurale netwerken) hebt die een soep maken. Je wilt weten: Maken zij dezelfde soep?

Al een lange tijd proberen wetenschappers dit te beantwoorden door naar de ingrediënten (de data) te kijken en te meten hoe vergelijkbaar de kommen eruitzien (geometrische analyse). Een populair hulpmiddel hiervoor is CKA. Dat is alsof je controleert of de kommen dezelfde vorm en grootte hebben.

Deze paper betoogt echter dat kijken naar de vorm van de kom niet genoeg is. Soms zien twee kommen er van buiten identiek uit, maar zijn de ingrediënten binnenin op een totaal andere manier gerangschikt. Om dit op te lossen, introduceren de auteurs een nieuwe toolkit gebaseerd op Topologie (de studie van vormen en verbindingen). Ze noemen hun toolkit een "Topologische Lens".

Deze toolkit bevat twee hoofdinstrumenten, ontworpen om twee specifieke problemen met de vorige methoden op te lossen.

Probleem 1: De "Eenrichtingsweg" en de "Onbegrensde Score"

Voordat deze paper bestond, was er een tool genaamd RTD (Representation Topology Divergence). Deze was goed in het opsporen van verschillen, maar had twee grote gebreken:

Het was oneerlijk (Asymmetrisch): Als je Chef A met Chef B vergeleek, kreeg je één score. Als je Chef B met Chef A vergeleek, kreeg je een andere score. Het was als een liniaal die verschillende lengtes gaf, afhankelijk van de richting waarin je hem vasthield.
Het was onbegrensd (Moeilijk te vergelijken): De score kon elk enorm getal zijn. Als je twee kleine kommen vergeleek, was de score klein. Als je twee gigantische kommen vergeleken, was de score enorm. Dit maakte het onmogelijk om te zeggen: "Deze twee soepen zijn 50% verschillend", omdat de getallen bleven veranderen op basis van hoeveel soep je had.

De Oplossing: Een Verenigde Toolkit

De auteurs bouwden twee nieuwe tools om deze problemen op te lossen.

Tool 1: SRTD (Symmetric Representation Topology Divergence)

Het Doel: Een perfecte, eerlijke en gedetailleerde diagnose krijgen van waar de twee soepen verschillen.

De Analogie: Stel je voor dat je twee kaarten van een stad hebt. De ene kaart toont de wegen, en de andere toont de rivieren.
- Oude tools probeerden ze te vergelijken door eerst naar de wegen te kijken, dan naar de rivieren, en de resultaten te middelen. Dit was rommelig en gaf verschillende antachten afhankelijk van de volgorde.
- SRTD is als het maken van een superkaart die zowel de wegen als de rivieren combineert in één enkel beeld. Het kijkt naar de "Unie" (alles wat in de ene of de andere kaart bestaat) en de "Doorsnede" (alleen wat in beide kaarten bestaat).
- Door deze twee weergaven direct met elkaar te vergelijken, geeft SRTD een enkele, eerlijke score. Het maakt niet uit welke kant je op kijkt; het antwoord is hetzelfde.
Waarom het nuttig is: Het vertelt je precies waar de structuren verschillen. Als de ene chef zout in de soep deed en de andere suiker, wijst SRTD direct naar die plek. Het werkt ook als een "loss function", wat betekent dat je een computer kunt leren om betere soepen te maken door deze score te minimaliseren.

Tool 2: NTS (Normalized Topological Similarity)

Het Doel: Een eenvoudige, gestandaardiseerde score tussen -1 en 1 krijgen die je kunt gebruiken om elke twee modellen te vergelijken, ongeacht hun grootte.

De Analogie: Stel je voor dat je de "connectiviteit" van twee verschillende sociale netwerken rangschikt.
- Oude tools telden het totale aantal handdrukken. Als Netwerk A 1.000 mensen heeft en Netwerk B 1.000.000, zijn de getallen totaal verschillend en onmogelijk eerlijk te vergelijken.
- NTS negeert het totale aantal. In plaats daarvan kijkt het naar de volgorde waarin mensen lid worden van groepen.
- Voorbeeld: In beide netwerken sluit Persoon A zich eerst aan, dan Persoon B, en dan ontmoeten zij Persoon C. Zelfs als Netwerk B een miljoen keer groter is, zegt NTS dat ze zeer vergelijkbaar zijn (Score: 1) als de volgorde van het aansluiten hetzelfde is. Als de volgorde volledig door elkaar gehusseld is, zijn ze verschillend (Score: -1).
Waarom het nuttig is: Het creëert een "universele liniaal". Je kunt een klein model vergelijken met een massaal Large Language Model (LLM) en een betekenisvolle score krijgen. Het is robuust tegen "afstandssaturatie", een probleem waarbij geometrische tools (zoals CKA) in de war raken en zeggen dat alles er hetzelfde uitziet wanneer modellen zeer complex worden.

Wat hebben ze gevonden? (De Experimenten)

De auteurs testten deze tools in verschillende scenario's:

Synthetische Clusters: Ze maakten nepdata met duidelijke vormen (zoals cirkels van stippen).
- Resultaat: De oude tools (CKA) konden het verschil niet zien wanneer de vormen licht veranderden. De nieuwe tools (SRTD en NTS) zagen de veranderingen onmiddellijk.
Deep Learning Lagen: Ze bekeken de "hersenen" van een kleine beeldherkennende AI (TinyCNN) laag voor laag.
- Resultaat: De nieuwe tools toonden een duidelijk patroon: lagen die dicht bij elkaar liggen in het netwerk zijn vergelijkbaar, en lagen die ver uit elkaar liggen zijn verschillend. De oude tools raakten in de war en gaven vreemde, inconsistente resulten.
- Bonus: De nieuwe tools ontdekten een specifieke "breuk" in het netwerk (waar de AI overschakelt van het kijken naar lokale details naar globale patronen) die de oude tools volledig misten.
Large Language Models (LLMs): Ze vergeleken beroemde AI-modellen (zoals Llama, Qwen en Mistral).
- Resultaat: Geometrische tools (CKA) raakten "verzadigd"—ze zeiden dat bijna alle modellen identiek leken omdat de getallen te hoog waren.
- NTS sneed door de ruis heen. Het identificeerde succesvol dat modellen uit dezelfde "familie" (bijv. Qwen en de geüpgradede versies ervan) een diepe structurele DNA delen, zelfs als ze er aan de oppervlakte anders uitzien. Het identificeerde zelfs correct dat een "gedestilleerd" model (een kleinere versie van een groot model) structureel vergelijkbaar was met zijn ouder, een connectie die de oude tools misten.

Samenvatting

De Oude Manier: Mat hoe meget de "vorm" van de data verschilde, maar de getallen waren rommelig, oneerlijk en moeilijk te vergelijken.
De Nieuwe Manier (SRTD): Een eerlijke, gedetailleerde kaart die laat zien waar twee modellen precies verschillen.
De Nieuwe Manier (NTS): Een gestandaardiseerde "gelijkenis-score" (van -1 tot 1) die werkt als een rankingsysteem, waardoor je kleine modellen eerlijk kunt vergelijken met gigantische modellen.

De paper concludeert dat hoewel deze tools momenteel geweldig zijn voor het analyseren en diagnosticeren van AI, ze nog niet klaar zijn om AI direct te trainen (omdat NTS niet "differentieerbaar" is, wat betekent dat het niet gemakkelijk als stap-voor-stap gids voor optimalisatie kan worden gebruikt). Ze bieden echter een veel helderdere, betrouwbaardere manier om te begrijken hoe neurale netwerken daadwerkelijk werken.

Technische Samenvatting: Symmetrische Divergentie en Genormaliseerde Gelijkenis: Een Verenigd Topologisch Kader voor Representatieanalyse

Probleemstelling

Topologische Data-Analyse (TDA) biedt een intrinsief perspectief voor het vergelijken van neurale netwerkrepresentaties, maar bestaande macroscopische methoden kampen met significante beperkingen. Specifiek lijden het Representation Topology Divergence (RTD) framework en zijn varianten onder twee kritieke problemen:

Theoretische Onvolledigheid en Asymmetrie: De veelgebruikte "symmetrische" RTD is gedefinieerd als een brute-force gemiddelde van twee directionele waarden ( $RTD(w, \tilde{w})$ en $RTD(\tilde{w}, w)$ ). Deze waarden kunnen drastisch verschillen zonder een duidelijke theoretische verklaring voor de asymmetrie. Bovendien ontbreekt een volledig gekarakteriseerde theoretische relatie met de duale variant, Max-RTD, die wordt voorgesteld om gradiëntinformatie te verrijken.
Gebrek aan Normalisatie: RTD en RTD-lite produceren onbegrensde positieve scores die sterk afhankelijk zijn van de steekproefomvang en intrinsieke afstandsschalen. Dit maakt benchmarking tussen scenario's (bijv. het vergelijken van verschillende modellen, lagen of datasets) onbetrouwbaar en moeilijk te interpreteren. Bestaande pogingen om afstanden te herschalen (bijv. met behulp van de 0,9-kwantiel) zijn heuristisch en ontoereikend voor heterogene instellingen.

Deze beperkingen hinderen zowel de fijnmazige structurele diagnose als de robuuste, gestandaardiseerde evaluatie van neurale representaties.

Methodologie

De auteurs stellen een verenigde topologische toolkit voor bestaande uit twee complementaire componenten: Symmetric Representation Topology Divergence (SRTD) voor structurele diagnose en Normalized Topological Similarity (NTS) voor gestandaardiseerde evaluatie.

1. Symmetric Representation Topology Divergence (SRTD)

Om de asymmetrie en de theoretische hiaten in de RTD-familie aan te pakken, introduceren de auteurs SRTD.

Concept: In plaats van twee directionele divergenties te middelen, meet SRTD direct de topologische discrepantie tussen de unie en de doorsnede van de Vietoris-Rips filtraties van twee puntenwolken.
Constructie: Het maakt gebruik van een symmetrische hulpmatrix ( $M_{sym}$ ) die is geconstrueerd uit de elementgewijze minimum ( $min(w, \tilde{w})$ ) en maximum ( $max(w, \tilde{w})$ ) van de afstandmatrices. De divergentie wordt gedefinieerd als de som van de barcode-lengtes afgeleid van de persistente homologie van deze hulpgraaf.
Theoretische Unificatie: SRTD biedt een verenigd kader waarbij de asymmetrische maten (RTD en Max-RTD) worden gedecomposeerd in een grote, gedeelde symmetrische component (SRTD) en kleinere, "private" componenten die uniek zijn voor individuele filtraties.
Efficiëntie (SRTD-lite): Volgens de RTD-lite benadering definiëren de auteurs SRTD-lite, die de volledige topologische divergentie benadert met behulp van Minimum Spanning Tree (MST) gewichten. Het wordt gedefinieerd als het verschil tussen de MST-gewichten van $max(w, \tilde{w})$ en $min(w, \tilde{w})$ .
Kerneigenschap: De auteurs bewijzen dat voor de lite-versie, $Max\text{-}RTD\text{-}lite + RTD\text{-}lite = SRTD\text{-}lite$ , waarmee een strikte hiërarchische ordening wordt vastgesteld waarbij SRTD-lite dient als een gebalanceerde, mediaan maatstaf.

2. Normalized Topological Similarity (NTS)

Om robuuste cross-scenario benchmarking mogelijk te maken, stellen de auteurs NTS voor, een metriek begrensd tussen -1 en 1.

Motivatie: In tegen tegenover de divergentiematen die barcode-lengtes sommeren (die gevoelig zijn voor uitschieters en schaal), richt NTS zich op de rangcorrelatie van hiërarchische merge-ordes.
Mechanisme:
- Het identificeert de set van "core pairs" gedefinieerd door de unie van de randen in de MST's van beide representaties.
- Het berekent de Spearman's rangcorrelatie tussen de merge-tijden (of edge-afstanden) van deze core pairs in de twee representaties.
- Er worden twee varianten gedefinieerd: NTS-E (gebaseerd op edge-afstanden) en NTS-M (gebaseerd op merge-tijden).
Eigenschappen: NTS is schaalinvariant en robuust tegen variaties in steekproefomvang. Het legt de topologische structuur vast door de volgorde te vergelijken waarin verbonden componenten samensmelten (mergen), in plaats van de absolute grootte van de afstanden.

Belangrijkste Bijdragen

Voltooiing van het RTD-framework: De introductie van SRTD lost de theoretische asymmetrie van eerdere RTD-varianten op. Het consolideert diagnostische informatie in een enkele, symmetrische cross-barcode signatuur, wat een efficiëntere optimalisatie-objective biedt zonder de overhead van duale directionele berekeningen.
Introductie van NTS: De voorstel van NTS overwint de onbegrensde aard van topologische divergenties. Door gebruik te maken van rang-gebaseerde normalisatie, biedt het een gestandaardiseerde gelijkenissscore die vergelijkbaar is over verschillende datasets, modelarchitecturen en experimentele pipelines.
Theoretische Karakterisering: Het artikel stelt rigoureuze wiskundige relaties vast tussen RTD, Max-RTD en SRTD met behulp van mapping cones en lange exacte sequenties in homologie, waardoor de rol van Max-RTD en de bron van asymmetrie worden verduidelijkt.
Efficiënte Algoritmen: De auteurs bieden lichtgewicht varianten (SRTD-lite en NTS-E) die opereren in $O(n^2(\alpha_{uf}(n) + d))$ tijd, wat ze schaalbaar maakt voor grootschalige representatieanalyse.

Experimentele Resultaten

De toolkit werd geëvalueerd in synthetische en real-world deep learning settings:

Synthetische Hiërarchische Verschuivingen: In experimenten met Gaussische clusters en UMAP-embeddings legden NTS en de SRTD-families correct toenemende structurele dissimilariteit vast. In contrast hiermee was CKA grotendeels ongevoelig voor deze veranderingen, en produceerde RTD-lite anomale, geïnverteerde trends, wat de noodzaak van de $max(w, \tilde{w})$ component en normalisatie benadrukt.
CNN Layer-wise Analyse: Op een TinyCNN getraind op CIFAR-10 vertoonden NTS en CKA consistente, interpreteerbare bijna-diagonale gelijkenislandschappen (gelijkenis neemt af met de diepte). Echter, de ongenormaliseerde RTD-familie slaagde er niet in dit monotone trend te herstellen en produceerde onregelmatige heatmaps. Cruciaal is dat topologische maten (NTS en SRTD-lite) een scherpe structurele transitie detecteerden bij de laatste pooling layer—een functionele verschuiving die gemist werd door geometrische baselines zoals CKA.
Large Language Model (LLM) Analyse: Toegepast op LLM-families (Qwen, InternLM, Baichuan, Llama) op TruthfulQA en ToxiGen datasets:
- Intra-Model: NTS onthulde consistente hiërarchische "vingerafdrukken" binnen modelfamilies, terwijl CKA vaak verzadigde of inconsistente heatmaps produceerde door afstandszat-ure.
- Inter-Model: NTS bood een scherper, meer discriminerend beeld van modelrelaties vergeleken met CKA, dat leed onder score-verzadiging (clustering nabij 1.0).
- Distillatie Case: In een casestudy van DeepSeek-R1-Ds (gedestilleerd van Qwen2.5-Math), leverde CKA een lage gelijkenissscore op die de afstamming niet weerspiegelde, terwijl NTS een hoge structurele gelijkenis identificeerde, wat suggereert dat topologische merge-ordes robuuster zijn tegen distillatie-geïnduceerde geometrische verschuivingen.

Betekenis en Claims

Het artikel claimt een rigoureus, topologie-bewust perspectief te bieden dat bestaande geometrische maten zoals CKA complementeert.

Voor Diagnose: SRTD en SRTD-lite bieden fijnmazig, interpreteerbaar bewijs van structurele discrepanties en dienen als effectieve loss-termen voor optimalisatie (bijv. in autoencoders), waarbij ze state-of-the-art prestaties binnen de RTD-klasse bereiken met verbeterde efficiëntie.
Voor Benchmarking: NTS biedt een betrouwbare, schaal-invariante metriek voor het vergelijken van representaties over heterogene settings, waarbij de interpretatieproblemen van ongenormaliseerde divergenties worden overwonnen.
Beperkingen: De auteurs merken op dat NTS momenteel een analyse-only maatstaf is en niet-differentieerbaar is, wat direct gebruik voor modeloptimalisatie verhindert. Toekomstig werk wordt gesuggereerd om een differentieerbare formulering te ontwikkelen. Daarnaast vertrouwen de lichtgewicht varianten primair op 0-dimensionale features, waarbij een afruil wordt gemaakt tussen hogere-orde topologische inzichten en schaalbaarheid.

Dit werk positioneert zich als een fundamentele stap naar het begrijpen van neurale representaties via een verenigd topologisch oogpunt, waarbij de kloof wordt overbrugd tussen fijnmazige structurele diagnose en robuuste, gestandaardiseerde evaluatie.