📊 statistics

Symmetric Divergence and Normalized Similarity: A Unified Topological Framework for Representation Analysis

Dieses Paper führt ein vereinheitlichtes topologisches Framework ein, das die Symmetric Representation Topology Divergence (SRTD) für eine präzise strukturelle Diagnose und die Normalized Topological Similarity (NTS) für ein skala-invariantes Benchmarking umfasst und damit die Asymmetrie- und Unbeschränktheitslimitierungen bestehender Methoden überwindet, um ein robustes Werkzeug für die Analyse neuronaler Repräsentationen bereitzustellen.

Ursprüngliche Autoren: Yan Wang, Tianyang Hu

Veröffentlicht 2026-06-05

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yan Wang, Tianyang Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Messen, wie KI „denkt“

Stellen Sie sich vor, Sie haben zwei verschiedene Köche (neuronale Netze), die eine Suppe zubereiten. Sie wollen wissen: Machen sie dieselbe Suppe?

Seit langem versuchen Wissenschaftler, dies zu beantworten, indem sie die Zutaten (die Daten) betrachten und messen, wie ähnlich sich die Schüsseln sehen (geometrische Analyse). Ein beliebtes Werkzeug dafür ist CKA. Das ist so, als würde man prüfen, ob die Schüsseln die gleiche Form und Größe haben.

Dieses Paper argumentiert jedoch, dass es nicht ausreicht, nur auf die Form der Schüssel zu achten. Manchmal sehen zwei Schüsseln von außen identisch aus, aber die Zutaten darin sind auf völlig unterschiedliche Weise angeordnet. Um dies zu beheben, führen die Autoren ein neues Toolkit basierend auf der Topologie (der Lehre von Formen und Verbindungen) ein. Sie nennen ihr Toolkit eine „topologische Linse“.

Dieses Toolkit besteht aus zwei Hauptwerkzeugen, die darauf ausgelegt sind, zwei spezifische Probleme der bisherigen Methoden zu lösen.

Problem 1: Die „Einbahnstraße“ und der „unbegrenzte Score“

Vor diesem Paper gab es ein Tool namens RTD (Representation Topology Divergence). Es war gut darin, Unterschiede aufzuspüren, hatte aber zwei wesentliche Mängel:

Es war unfair (asymmetrisch): Wenn man Koch A mit Koch B verglich, erhielt man einen Score. Verglich man Koch B mit Koch A, erhielt man einen anderen Score. Es war wie ein Lineal, das unterschiedliche Längen liefert, je nachdem, in welche Richtung man es hält.
Es war unbegrenzt (schwer vergleichbar): Der Score konnte jede beliebige, riesige Zahl annehmen. Wenn man zwei kleine Schüsseln verglich, war der Score klein. Wenn man zwei riesige Schüsseln verglich, war er riesig. Dies machte es unmöglich zu sagen: „Diese zwei Suppen sind zu 50 % unterschiedlich“, weil sich die Zahlen ständig änderten, je nachdem, wie viel Suppe man hatte.

Die Lösung: Ein einheitliches Toolkit

Die Autoren haben zwei neue Tools entwickelt, um diese Probleme zu lösen.

Tool 1: SRTD (Symmetric Representation Topology Divergence)

Das Ziel: Eine perfekte, faire und detaillierte Diagnose darüber zu erhalten, wo sich die beiden Suppen unterscheiden.

Die Analogie: Stellen Sie sich vor, Sie haben zwei Stadtpläne. Ein Plan zeigt die Straßen, der andere zeigt die Flüsse.
- Alte Tools versuchten, sie zu vergleichen, indem sie zuerst die Straßen und dann die Flüsse betrachteten und die Ergebnisse im Durchschnitt bildeten. Das war chaotisch und lieferte je nach Reihenfolge unterschiedliche Antworten.
- SRTD ist wie das Erstellen einer Super-Karte, die sowohl die Straßen als auch die Flüsse in einer einzigen Ansicht kombiniert. Es betrachtet die „Vereinigungsmenge“ (alles, was in entweder Karte existiert) und den „Durchschnitt“ (nur das, was in beiden existiert).
- Durch den direkten Vergleich dieser beiden Ansichten liefert SRTD einen einzigen, fairen Score. Es spielt keine Rolle, aus welcher Richtung man schaut; das Ergebnis ist dasselbe.
Warum es nützlich ist: Es sagt Ihnen genau, wo die Strukturen sich unterscheiden. Wenn ein Koch Salz in die Suppe gegeben hat und der andere Zucker, zeigt SRTD direkt auf diese Stelle. Es kann auch als „Loss Function“ (Verlustfunktion) dienen, was bedeutet, dass man es nutzen kann, um einen Computer zu lehren, bessere Suppen zu machen, indem man diesen Score minimiert.

Tool 2: NTS (Normalized Topological Similarity)

Das Ziel: Einen einfachen, standardisierten Score zwischen -1 und 1 zu erhalten, den man für jeden Vergleich von Modellen nutzen kann, unabhängig von deren Größe.

Die Analogie: Stellen Sie sich vor, Sie bewerten die „Konnektivität“ zweier verschiedener soziale Netzwerke.
- Alte Tools zählten die Gesamtzahl der Händeschüttelungen. Wenn Netzwerk A 1.000 Menschen hat und Netzwerk B 1.000.000 Menschen, sind die Zahlen völlig unterschiedlich und unmöglich fair zu vergleichen.
- NTS ignoriert die Gesamtzahl. Stattdessen achtet es auf die Reihenfolge, in der Menschen Gruppen beitreten.
- Beispiel: In beiden Netzwerken tritt Person A zuerst bei, dann Person B, dann treffen sie Person C. Selbst wenn Netzwerk B eine Million Mal größer ist, wenn die Reihenfolge des Beitritts dieselbe ist, sagt NTS, dass sie sehr ähnlich sind (Score: 1). Wenn die Reihenfolge völlig durcheinander ist, sind sie unterschiedlich (Score: -1).
Warum es nützlich ist: Es schafft ein „universelles Lineal“. Sie können ein winziges Modell mit einem massiven Large Language Model (LLM) vergleichen und einen aussagekräftigen Score erhalten. Es ist robust gegenüber „Distanz-Sättigung“, einem Problem, bei dem geometrische Tools (wie CKA) verwirrt werden und behaupten, alles sähe gleich aus, wenn Modelle sehr komplex werden.

Was haben sie herausgefunden? (Die Experimente)

Die Autoren testeten diese Tools in mehreren Szenarien:

Synthetische Cluster: Sie erstellten künstliche Daten mit klaren Formen (wie Kreise aus Punkten).
- Ergebnis: Die alten Tools (CKA) konnten den Unterschied nicht erkennen, wenn sich die Formen leicht veränderten. Die neuen Tools (SRTD und NTS) bemerkten die Änderungen sofort.
Deep Learning Layer (Schichten): Sie untersuchten das „Gehirn“ einer kleinen Bilderkennungs-KI (TinyCNN) Schicht für Schicht.
- Ergebnis: Die neuen Tools zeigten ein klares Muster: Schichten, die im Netzwerk nah beieinander liegen, sind ähnlich, und Schichten, die weit entfernt sind, sind unterschiedlich. Die alten Tools wurden verwirrt und lieferten seltsame, inkonsistente Ergebnisse.
- Bonus: Die neuen Tools entdeckten einen spezifischen „Bruch“ im Netzwerk (wo die KI von der Betrachtung lokaler Details zu globalen Mustern wechselt), den die alten Tools völlig übersehen hatten.
Large Language Models (LLMs): Sie verglichen berühmte KI-Modelle (wie Llama, Qwen und Mistral).
- Ergebnis: Geometrische Tools (CKA) waren „gesättigt“ – sie sagten, dass fast alle Modelle identisch aussehen, weil die Zahlen zu hoch waren.
- NTS durchbrach dieses Rauschen. Es identifizierte erfolgreich, dass Modelle aus derselben „Familie“ (z. B. Qwen und seine verbesserten Versionen) eine tiefe strukturelle DNA teilen, selbst wenn sie an der Oberfläche anders aussehen. Es identifizierte sogar korrekt, dass ein „destilliertes“ Modell (eine kleinere Version eines großen Modells) strukturell ähnlich zu seinem Elternmodell war – eine Verbindung, die die alten Tools übersehen hatten.

Zusammenfassung

Der alte Weg: Mass, wie sehr sich die „Form“ der Daten unterscheidet, aber die Zahlen waren chaotisch, unfair und schwer vergleichbar.
Der neue Weg (SRTD): Eine faire, detaillierte Karte, die genau zeigt, wo sich zwei Modelle unterscheiden.
Der neue Weg (NTS): Ein standardisierter „Ähnlichkeits-Score“ (von -1 bis 1), der wie ein Rankingsystem funktioniert und es ermöglicht, winzige Modelle fair mit riesigen zu vergleichen.

Das Paper kommt zu dem Schluss, dass diese Tools zwar derzeit großartig für die Analyse und Diagnose von KI sind, aber noch nicht bereit sind, direkt zum Trainieren von KI verwendet zu werden (da NTS nicht „differenzierbar“ ist, also nicht einfach als Schritt-für-Schritt-Anleitung für die Optimierung genutzt werden kann). Sie bieten jedoch einen viel klareren und zuverlässigeren Weg, um zu verstehen, wie neuronale Netze tatsächlich funktionieren.

Technisches Resümee: Symmetrische Divergenz und normalisierte Ähnlichkeit: Ein vereinheitlichtes topologisches Framework zur Repräsentationsanalyse

Problemstellung

Die Topologische Datenanalyse (TDA) bietet eine intrinsische Perspektive für den Vergleich von neuronalen Netzwerkrepräsentationen, doch bestehende makroskopische Methoden stehen vor erheblichen Einschränkungen. Speziell leidet das Framework der Representation Topology Divergence (RTD) und dessen Varianten unter zwei kritischen Problemen:

Theoretische Unvollständigkeit und Asymmetrie: Die häufig verwendete „symmetrische“ RTD wird als ein Brute-Force-Durchschnitt zweier gerichteter Werte ( $RTD(w, \tilde{w})$ und $RTD(\tilde{w}, w)$ ) definiert. Diese Werte können sich drastisch unterscheiden, ohne dass eine klare theoretische Erklärung für die Asymmetrie vorliegt. Zudem fehlt dem dualen Variant, Max-RTD, der zur Anreicherung von Gradienteninformationen vorgeschlagen wurde, eine vollständig charakterisierte theoretische Beziehung zu RTD.
Mangelnde Normalisierung: RTD und RTD-lite erzeugen ungebundene positive Scores, die stark von der Stichprobengröße und den intrinsischen Distanzskalen abhängen. Dies macht das Benchmarking über verschiedene Szenarien hinweg (z. B. den Vergleich verschiedener Modelle, Schichten oder Datensätze) unzuverlässig und schwer interpretierbar. Bestehende Versuche, Distanzen zu skalieren (z. B. durch das 0,9-Quantil), sind heuristisch und unzureichend für heterogene Settings.

Diese Einschränkungen behindern sowohl die feingliedrige strukturelle Diagnose als auch die robuste, standardisierte Evaluierung neuronaler Repräsentationen.

Methodik

Die Autoren schlagen ein vereinheitlichtes topologisches Toolkit vor, das aus zwei komplementären Komponenten besteht: Symmetric Representation Topology Divergence (SRTD) für die strukturelle Diagnose und Normalized Topological Similarity (NTS) für die standardisierte Evaluierung.

1. Symmetric Representation Topology Divergence (SRTD)

Um die Asymmetrie und die theoretischen Lücken der RTD-Familie zu adressieren, führen die Autoren SRTD ein.

Konzept: Anstatt zwei gerichtete Divergenzen zu mitteln, misst SRTD direkt die topologische Diskrepanz zwischen der Vereinigung und dem Schnitt der Vietoris-Rips-Filtrationen zweier Punktwolken.
Konstruktion: Es nutzt eine symmetrische Hilfsmatrix ( $M_{sym}$ ), die aus dem elementweisen Minimum ( $min(w, \tilde{w})$ ) und Maximum ( $max(w, \tilde{w})$ ) der Distanzmatrizen konstruiert wird. Die Divergenz ist definiert als die Summe der Barcode-Längen, die aus der persistenten Homologie dieses Hilfsgraphen abgeleitet werden.
Theoretische Vereinheitlichung: SRTD bietet ein vereinheitlichtes Framework, in dem die asymmetrischen Maße (RTD und Max-RTD) in eine große, gemeinsame symmetrische Komponente (SRTD) und kleinere, „private“ Komponenten, die einzigartig für einzelne Filtrationen sind, zerlegt werden.
Effizienz (SRTD-lite): In Anlehnung an den RTD-lite-Ansatz definieren die Autoren SRTD-lite, welches die volle topologische Divergenz unter Verwendung von Gewichten des Minimum Spanning Tree (MST) approximiert. Es ist definiert als die Differenz zwischen den MST-Gewichten von $max(w, \tilde{w})$ und $min(w, \tilde{w})$ .
Schlüsseleigenschaft: Die Autoren beweisen, dass für die Lite-Version gilt: $Max\text{-}RTD\text{-}lite + RTD\text{-}lite = SRTD\text{-}lite$ , wodurch eine strikte hierarchische Ordnung etabliert wird, in der SRTD-lite als balanciertes Median-Maß dient.

2. Normalized Topological Similarity (NTS)

Um ein robustes Cross-Scenario-Benchmarking zu ermöglichen, schlagen die Autoren NTS vor, eine Metrik, die zwischen -1 und 1 beschränkt ist.

Motivation: Im Gegensatz zu Divergenzmaßen, die Barcode-Längen summieren (welche sensitiv gegenüber Ausreißern und Skalen sind), konzentriert sich NTS auf die Rangkorrelation der hierarchischen Verschmelzungsordnungen.
Mechanismus:
- Es identifiziert die Menge der „Core-Paare“, die durch die Vereinigung der Kanten in den MSTs beider Repräsentationen definiert sind.
- Es berechnet die Spearman-Rangkorrelation zwischen den Verschmelzungszeiten (oder Kantendistanzen) dieser Core-Paare in den beiden Repräsentationen.
- Es werden zwei Varianten definiert: NTS-E (basierend auf Kantendistanzen) und NTS-M (basierend auf Verschmelzungszeiten).
Eigenschaften: NTS ist skaleninvariant und robust gegenüber Variationen der Stichprobengröße. Es erfasst die topologische Struktur durch den Vergleich der Reihenfolge, in der verbundene Komponenten verschmelzen, anstatt die absolute Magnitude der Distanzen zu betrachten.

Zentrale Beiträge

Vervollständigung des RTD-Frameworks: Die Einführung von SRTD löst die theoretische Asymmetrie vorangegangener RTD-Varianten. Es konsolidiert diagnostische Informationen in eine einzige, symmetrische Cross-Barcode-Signatur und bietet ein effizienteres Optimierungsziel ohne den Overhead dualer gerichteter Berechnungen.
Einführung von NTS: Der Vorschlag von NTS überwindet die ungebundene Natur topologischer Divergenzen. Durch die Nutzung rangbasierter Normalisierung bietet es einen standardisierten Ähnlichkeitswert, der über verschiedene Datensätze, Modellarchitekturen und experimentelle Pipelines hinweg vergleichbar ist.
Theoretische Charakterisierung: Das Paper etabliert rigorose mathematische Beziehungen zwischen RTD, Max-RTD und SRTD unter Verwendung von Mapping Cones und langen exakten Sequenzen in der Homologie, wodurch die Rolle von Max-RTD und die Quelle der Asymmetrie geklärt werden.
Effiziente Algorithmen: Die Autoren stellen leichtgewichtige Varianten (SRTD-lite und NTS-E) bereit, die in $O(n^2(\alpha_{uf}(n) + d))$ Zeit operieren, was sie für die groß angelegte Repräsentationsanalyse skalierbar macht.

Experimentelle Ergebnisse

Das Toolkit wurde in synthetischen und realen Deep-Learning-Settings evaluiert:

Synthetische hierarchische Verschiebungen: In Experimenten mit Gaußschen Clustern und UMAP-Embeddings erfassten NTS und die SRTD-Familie korrekt zunehmende strukturelle Unähnlichkeiten. Im Gegensatz dazu war CKA weitgehend unempfindlich gegenüber diesen Änderungen, und RTD-lite produzierte anomale, invertierte Trends, was die Notwendigkeit der $max(w, \tilde{w})$ -Komponente und der Normalisierung verdeutlicht.
CNN-Layer-weise Analyse: Bei einer auf CIFAR-10 trainierten TinyCNN zeigten NTS und CKA konsistente, interpretierbare, nahezu diagonale Ähnlichkeitslandschaften (Ähnlichkeit nimmt mit der Tiefe ab). Jedoch versagte die unnormalisierte RTD-Familie dabei, diesen monotonen Trend wiederherzustellen, und produzierte irreguläre Heatmaps. Entscheidend ist, dass topologische Maße (NTS und SRTD-lite) einen scharfen strukturellen Übergang am finalen Pooling-Layer detektierten – einen funktionalen Shift, den geometrische Baselines wie CKA übersahen.
Analyse von Large Language Models (LLMs): Anwendung auf LLM-Familien (Qwen, InternLM, Baichuan, Llama) auf TruthfulQA und ToxiGen Datensätzen:
- Intra-Modell: NTS offenbarte konsistente hierarchische „Fingerab Fingerprints“ innerhalb von Modellfamilien, während CKA oft gesättigte oder inkonsistente Heatmaps produzierte, bedingt durch Distanz-Sättigung.
- Inter-Modell: NTS bot im Vergleich zu CKA eine schärfere, diskriminativere Sicht auf die Beziehungen der Modelle, da CKA unter Score-Sättigung litt (Clustering nahe 1.0).
- Distillations-Fallstudie: In einer Fallstudie zu DeepSeek-R1-Ds (destilliert von Qwen2.5-Math) lieferte CKA einen niedrigen Ähnlichkeitswert, der die Abstammungslinie nicht widerspiegelte, während NTS eine hohe strukturelle Ähnlichkeit identifizierte. Dies deutet darauf hin, dass topologische Verschmelzungsordnungen robuster gegenüber durch Destillation induzierten geometrischen Verschiebungen sind.

Bedeutung und Ansprüche

Das Paper beansprucht, eine rigorose, topologiebewusste Perspektive zu bieten, die bestehende geometrische Maße wie CKA ergänzt.

Für die Diagnose: SRTD und SRTD-lite liefern feingliedrige, interpretierbare Belege für strukturelle Diskrepanzen und dienen als effektive Loss-Terme für die Optimierung (z. B. in Autoencodern), wobei sie eine State-of-the-Art-Performance innerhalb der RTD-Klasse bei verbesserter Effizienz erreichen.
Für das Benchmarking: NTS bietet ein zuverlässiges, skaleninvariantes Maß zum Vergleich von Repräsentationen in heterogenen Settings und überwindet die Interpretationsprobleme ungebundener Divergenzen.
Limitierungen: Die Autoren merken an, dass NTS derzeit ein reines Analyse-Maß ist und nicht differenzierbar ist, was den direkten Einsatz in der Modelloptimierung verhindert. Zukünftige Arbeit wird die Entwicklung einer differenzierbaren Formulierung vorschlagen. Zudem verlassen sich die leichtgewichtigen Varianten primär auf 0-dimensionale Features, wobei sie höhere topologische Erkenntnisse zugunsten der Skalierbarkeit eintauschen.

Die Arbeit positioniert sich als ein grundlegender Schritt zum Verständnis neuronaler Repräsentationen durch eine vereinheitlichte topologische Linse, indem sie die Lücke zwischen feingliedriger struktureller Diagnose und robustem, standardisiertem Benchmarking schließt.