🤖 AI

TopoAlign: Topology-Aware Visual Representation Alignment

Ursprüngliche Autoren: Xinyuan Yan, Rita Sevastjanova, Mennatallah El-Assady, Bei Wang

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Xinyuan Yan, Rita Sevastjanova, Mennatallah El-Assady, Bei Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei verschiedene Köche (neuronale Netze), die versuchen, dasselbe Gericht zuzubereiten (dieselben Daten zu verarbeiten, wie Wörter oder Bilder). Selbst wenn sie am Ende ein köstliches Gericht haben, könnten sie ihre Zutaten und Kochschritte sehr unterschiedlich organisieren.

TopoAlign ist ein neues Werkzeug, das uns hilft zu sehen, wie diese beiden Köche ihre Zutaten organisieren – nicht nur, indem wir auf den finalen Geschmack schauen, sondern indem wir das gesamte Küchenlayout kartieren.

Hier ist eine einfache Aufschlüsselung, wie es funktioniert, unter Verwendung alltäglicher Analogien:

1. Das Problem: Zwei verschiedene Karten

Wenn Computer lernen, verwandeln sie Daten (wie das Wort „Apfel" oder ein Bild einer Katze) in lange Listen von Zahlen. Diese Listen sind wie hochdimensionale Koordinaten.

Der alte Weg: Frühere Werkzeuge versuchten, diese Listen zu vergleichen, indem sie den Abstand zwischen einzelnen Zahlen maßen. Es ist, als würde man versuchen, zwei Städte zu vergleichen, indem man den Abstand zwischen jedem einzelnen Haus misst. Das liefert zwar eine Zahl, zeigt aber nicht die Form der Stadt oder wie die Nachbarschaften verbunden sind.
Der TopoAlign-Weg: Dieses Werkzeug verwendet etwas, das Mapper-Graph genannt wird. Stellen Sie sich vor, Sie nehmen ein unscharfes, hochauflösendes Foto einer Stadt und verwandeln es in eine einfache U-Bahn-Karte.
- Knoten (Stationen): Dies sind Cluster ähnlicher Elemente (z. B. eine Station für „Früchte", eine andere für „Fahrzeuge").
- Kanten (Gleise): Diese zeigen, wo sich die Cluster überschneiden (z. B. eine Verbindung zwischen „Früchte" und „rote Dinge", weil Äpfel beides sind).

2. Die Lösung: Die U-Bahn-Karten ausrichten

TopoAlign nimmt die „U-Bahn-Karte" von Koch A und die „U-Bahn-Karte" von Koch B und versucht, sie nebeneinander zu legen, damit Sie sehen können, wo sie übereinstimmen und wo sie sich unterscheiden.

Dies geschieht in drei Hauptschritten:

Schritt 1: Die Karten zusammenziehen (Globale Ausrichtung)

Stellen Sie sich vor, Sie haben zwei U-Bahn-Karten, die auf separaten Papierstücken gezeichnet sind. Beide sind unordentlich und unterschiedlich orientiert. TopoAlign nutzt eine „magnetische Kraft", um die beiden Karten sanft zusammenzuziehen.

Wenn eine Station auf Karte A „Hunde" repräsentiert und eine Station auf Karte B ebenfalls „Hunde" repräsentiert, zieht das Werkzeug sie nahe zusammen.
Dies erzeugt eine koordinierte Ansicht, in der Sie sofort erkennen können, ob die beiden Köche ihre „Hunde"-Stationen im gleichen Teil der Karte oder in völlig verschiedenen Ecken organisiert haben.

Schritt 2: Passende Nachbarschaften finden (Lokale Ausrichtung)

Sobald die Karten zusammengezogen sind, sucht das Werkzeug nach spezifischen Nachbarschaften, die übereinstimmen. Es verwendet eine Technik namens Bubble Sets.

Stellen Sie sich vor, Sie zeichnen eine leuchtende, verschwommene Blase um eine Gruppe von Stationen auf beiden Karten.
Die Farbe der Blase verrät Ihnen, wie stark sich die darin enthaltenen Zutaten überschneiden (Jaccard-Ähnlichkeit).
Die Glätte des Blasenrandes verrät Ihnen, wie gut organisiert diese Nachbarschaft ist.
Dies hilft Experten schnell zu erkennen: „Ah, Koch A hat eine große, unordentliche Station für 'Tiere', aber Koch B hat diese in drei saubere Stationen aufgeteilt: 'Katzen', 'Hunde' und 'Vögel'."

Schritt 3: Mit einer „Membran"-Ansicht heranzoomen

Manchmal müssen Sie genau sehen, welche Zutaten zwischen zwei passenden Nachbarschaften geteilt werden.

TopoAlign verwendet eine Membran-Ansicht. Stellen Sie sich zwei parallele Glaswände vor. An der linken Wand befindet sich die Nachbarschaft von Koch A; an der rechten die von Koch B.
Schnüre (Kanten) verbinden die spezifischen Elemente, die zwischen den beiden Wänden geteilt werden.
Wenn die Schnüre verwickelt sind, bedeutet das, dass die Köche verwirrt sind, wie sie Dinge gruppieren sollen. Wenn die Schnüre gerade und klar sind, stimmen die Köche perfekt überein.
Sie können Knoten auch „zusammenführen", um die Ansicht zu vereinfachen, ähnlich wie beim Herauszoomen auf einer Karte, um das große Ganze zu sehen, oder beim Hineinzoomen, um die Details zu erkennen.

3. Was haben sie gefunden? (Die Fallstudien)

Die Autoren testeten dies an zwei Arten von „Köchen":

Sprachmodelle (BERT): Sie beobachteten, wie sich ein Modell im Laufe der Zeit veränderte, während es lernte (von 2 Tagen Training bis zu 6 Tagen).
- Die Erkenntnis: Anfangs war das Modell unordentlich und gruppierte Wörter danach, wie sie aussahen (z. B. „for" und „four" zusammen). Später lernte es, sie nach Bedeutung zu gruppieren. TopoAlign zeigte genau, wann und wie das Modell aufhörte, verwirrt zu sein, und begann, Wörter nach ihren tatsächlichen Definitionen zu organisieren.
Multimodale Modelle (CLIP): Sie verglichen, wie ein Modell Bilder im Vergleich zu Text versteht.
- Die Erkenntnis: Das Modell könnte ein Bild einer „Frau mit einem Hydranten" als eine Sache sehen, aber die Textbeschreibung könnte „Hydranten" und „Frauen" separat gruppieren. TopoAlign visualisierte diese „kreuzenden" Pfade und zeigte genau, wo das Bildverständnis und das Textverständnis nicht übereinstimmten.

Zusammenfassung

TopoAlign ist wie ein Übersetzer, der komplexe, unsichtbare Computermathematik in zwei nebeneinander liegende U-Bahn-Karten verwandelt. Es hilft Experten zu sehen:

Wo zwei Modelle übereinstimmen (sie haben dieselben Stationen).
Wo sie sich nicht einig sind (ein Modell hat eine Station aufgeteilt, das andere sie zusammengeführt).
Wie sich die Organisation verändert, während das Modell lernt (die Karte wird im Laufe der Zeit sauberer und logischer).

Es sagt Ihnen nicht nur, ob zwei Modelle ähnlich sind; es zeigt Ihnen die Form ihres Denkens.

Technische Zusammenfassung: TopoAlign

Problemstellung

Neuronale Netze kodieren Eingaben als hochdimensionale Vektoren (Repräsentationen), die aufgabenrelevante Strukturen und Semantiken erfassen. Eine fundamentale Aufgabe bei der Analyse dieser Modelle ist die Repräsentationsausrichtung (representation alignment), die misst, inwieweit verschiedene Modelle, Schichten oder Trainingsbedingungen für dieselben Eingaben ähnliche Repräsentationen erzeugen. Diese Analyse ist entscheidend für das Verständnis der Lern dynamiken von Modellen, die Informierung des Architekturentwurfs, die Steuerung der Modellauswahl und die Bewertung der Robustheit.

Bestehende Ansätze zur Quantifizierung der Ausrichtung stützen sich primär auf geometrische Eigenschaften, wie z. B. paarweise Ähnlichkeitsmatrizen, vergleiche auf Nachbarschaftsbasis (z. B. k-nächste Nachbarn) oder Clusterähnlichkeit. Obwohl diese Methoden aggregierte skalare Scores liefern, verschleiern sie oft nuancierte strukturelle Muster und bieten nur begrenzte Einblicke in die globale Organisation von Repräsentationsräumen. Darüber hinaus konzentrieren sich existierende Visual Analytics-Tools häufig auf punktuelle Distanzen oder erfordern eine manuelle Inspektion von Korrespondenzen und fehlen systematische Methoden zum Vergleich der topologischen Strukturen von Repräsentationen über Modelle hinweg.

Methodik: TopoAlign

Um diese Einschränkungen zu adressieren, schlagen die Autoren TopoAlign vor, ein topologiebewusstes Visual Analytics-Framework, das Modellrepräsentationen vergleicht, indem es Mapper-Graphen analysiert, eine Technik aus der Topologischen Datenanalyse (TDA). Das Framework arbeitet in einem mehrskaligen, top-down-Workflow:

1. Eingabe und Graphkonstruktion

Gegeben einen gemeinsamen Eingabedatensatz $D$ und zwei Modelle (oder Schichten) $f_1$ und $f_2$ , extrahiert das System Repräsentationen $Z_1$ und $Z_2$ . Es konstruiert zwei Mapper-Graphen, $G_1$ und $G_2$ , unter Verwendung identischer Parameterkonfigurationen (Filterfunktion, Intervallüberlappung und Clustering-Algorithmus wie DBSCAN), um eine vergleichbare Auflösung sicherzustellen.

Knoten repräsentieren Cluster von Datenpunkten.
Kanten bezeichnen nicht-leere Schnittmengen (Überlappungen) zwischen diesen Clustern.
Das System verwendet die $\ell_2$ -Norm als Standard-Filterfunktion, um Magnitudenvariationen in den Repräsentationen zu erfassen.

2. Gemeinsame kraftbasierte Optimierung (Globale Ausrichtung)

Um einen direkten visuellen Vergleich zu ermöglichen, konstruiert TopoAlign einen gemeinsamen Mapper-Graphen ( $G_{joint}$ ), indem es intergraphische Kanten zwischen Knoten in $G_1$ und $G_2$ einführt, die gemeinsame Datenpunkte teilen.

Ziel: Berechnung koordinierter 2D-Layouts für beide Graphen gleichzeitig.
Mechanismus: Das System minimiert eine Energiefunktion $L(p)$ $L (p)$ , die ausbalanciert:
- Intra-graphische Kräfte: Standard-Anziehungskräfte (federartig) und Abstoßungskräfte (partikelartig), um die interne Struktur jedes einzelnen Graphen zu erhalten.
- Inter-graphische Ausrichtungskräfte: Ein Term, der Knoten, die Datenpunkte teilen, näher zusammenzieht. Die Stärke dieser Kraft wird durch die Jaccard-Ähnlichkeit der Daten-Teilmengen gewichtet und durch einen Parameter $\lambda$ gesteuert.
Ergebnis: Eine nebeneinander angeordnete Visualisierung, bei der strukturell ähnliche Regionen räumlich ausgerichtet sind und globale topologische Unterschiede (z. B. Verzweigungen, Schleifen, Komponententrennung) offenbaren.

3. Automatische Entdeckung lokaler Ausrichtungen

Das System identifiziert automatisch lokale Korrespondenzen zwischen den beiden Graphen mittels ausrichtungsorientierter spektraler Clustering auf dem gemeinsamen Graphen.

Clustering: Knoten werden in Gruppen partitioniert, in denen intra-graphische Verbindungen dicht sind und inter-graphische Verbindungen entsprechende Regionen verknüpfen.
Visualisierung: Jedes identifizierte Paar lokaler Ausrichtung wird mittels Bubble Sets visualisiert.
- Schattierungstransparenz: Kodiert die Jaccard-Ähnlichkeit (Inhaltsausrichtung).
- Wellenform der Grenze: Kodiert den Silhouette-Score (strukturelle Kohärenz).
Dies ermöglicht es Benutzern, lokale Ausrichtungen schnell zu identifizieren und ihre Qualität zu bewerten, ohne manuelle Inspektion.

4. Abfrage von Ausrichtungs-Motiven

Lokale Ausrichtungspaare werden in fünf kanonische Motive kategorisiert, basierend darauf, wie Komponenten zwischen den beiden Teilgraphen abgebildet werden:

Eins-zu-eins: Konsistente Merkmalsrepräsentation.
Fan-out: Eine einzelne Komponente spaltet sich in mehrere auf (deutet auf Verfeinerung oder Entwirrung hin).
Fan-in: Mehrere Komponenten verschmelzen zu einer (deutet auf Aggregation hin).
Kreuzung: Komplexe, teilweise überlappende Neuorganisation.
Verschwinden/Auftauchen: Merkmale, die nur in einem Modell vorhanden sind.
Benutzer können Ausrichtungen basierend auf diesen Mustern filtern und erkunden.

5. Mehrskalige feinkörnige Inspektion (Membran-Ansicht)

Um detaillierte Korrespondenzen ohne visuelles Chaos zu inspizieren, führt TopoAlign eine membraninspirierte Visualisierung ein.

Aggregation: Komponenten werden iterativ zu „Supernodes" zusammengeführt, geleitet durch die bedingte Entropie der inter-Kanten. Diese Strategie vermeidet trivialen Zusammenbruch und enthüllt kohärente Ausrichtungsstrukturen auf intermediären Abstraktionsebenen.
Visualisierung: Die beiden Teilgraphen werden als parallele Schichten dargestellt, die durch inter-Kanten verbunden sind. Supernodes werden als Ovale gerendert, die ihre interne Struktur enthalten, wodurch Benutzern die Exploration von Ausrichtungen auf mehreren Skalen ermöglicht wird (von groben Supernodes bis zu feinkörnigen Datenpunkten).
Integration: Das System integriert LLM-basierte Agenten (z. B. GPT-4o), um den textuellen Inhalt ausgerichteter Elemente zusammenzufassen und so die semantische Interpretation zu unterstützen.

Hauptbeiträge

Global ausgerichtete Mapper-Visualisierungen: Ein gemeinsames kraftbasiertes Optimierungsframework, das koordinierte Einbettungen für den direkten Vergleich globaler topologischer Strukturen erzeugt.
Automatische intergraphische Regionskorrespondenz: Ein ausrichtungsorientierter Clustering-Ansatz, der strukturell übereinstimmende Teilgraphen automatisch identifiziert.
Interpretierbare Charakterisierung lokaler Ausrichtungen: Eine auf Bubble Sets basierende Visualisierung, gekoppelt mit einer motifbasierten Abfrage, um lokale Muster (Aufspaltung, Verschmelzung usw.) aufzudecken und die Qualität der Ausrichtung zu bewerten.
Mehrskalige Ausrichtungsinspektion: Eine membraninspirierte Visualisierungstechnik, die die detaillierte Erkundung feinkörniger struktureller Korrespondenzen unterstützt und dabei visuelles Chaos minimiert.
Integriertes interaktives System: Ein einheitlicher Arbeitsbereich, der explorative Analysen von globalen Strukturen bis hin zu lokalen Mustern ermöglicht.

Ergebnisse und Fallstudien

Die Autoren demonstrieren TopoAlign durch Fallstudien an Sprachmodellen (BERT-Base, BERT-Tiny) und multimodalen Modellen (CLIP):

Trainingsdynamik (BERT): Der Vergleich von BERT-Base im Epoche 2 vs. Epoche 6 zeigte, dass das Feinabstimmen semantische Kategorien progressiv entwirrt. Frühe Epochen zeigten gemischte Komponenten, während spätere Epochen eine klare Trennung aufwiesen. Spezifische Motive wie „Fan-out" (Aufspaltung gemischter Kategorien) und „Fan-in" (Verschmelzung ähnlicher Kategorien) wurden identifiziert und korrelierten mit verbesserter Vorhersagegenauigkeit.
Schichtentwicklung (BERT): Der Vergleich von Schicht 3 vs. Schicht 12 zeigte einen Übergang von lexikalischer Organisation (Gruppierung nach Wortform) in frühen Schichten zu semantischer Organisation (Gruppierung nach Kategorie) in späteren Schichten.
Modellkapazität (BERT-Base vs. BERT-Tiny): Das kleinere Modell zeigte mehr verflochtene Labelstrukturen. TopoAlign identifizierte spezifische semantische Merkmale (z. B. das Wort „like"), die das kleinere Modell im Vergleich zum größeren Modell nicht entwirren konnte, was gezielte Feinabstimmungsstrategien nahelegt.
Multimodale Ausrichtung (CLIP): Der Vergleich von Bild- und Caption-Repräsentationen offenbarte modality-spezifische Unterschiede in der semantischen Granularität. Beispielsweise deuteten „Fan-out"-Muster darauf hin, dass Captions feinere semantische Unterscheidungen erfassen als Bilder, während „Kreuzung"-Muster hervorhoben, wie verschiedene Modalitäten Konzepte (z. B. „Frau" vs. „Feuerhydrant") unterschiedlich gruppieren.

Expertenfeedback

Eine vorläufige Studie mit fünf Deep-Learning-Experten (Promovierende und Postdocs) ergab positives Feedback:

Experten fanden das Layout der globalen Ausrichtung effektiv, um Korrespondenzen ohne manuelle Knoteninspektion zu identifizieren.
Die automatische Entdeckung von Ausrichtungen und die Motive-Kategorisierung wurden als intuitiv und hilfreich für das Verständnis übergeordneter Muster erachtet.
Die Bubble-Sets-Visualisierung wurde für die Auswahl von Strukturen basierend auf der Unschärfe der Grenzen gelobt.
Verbesserungsvorschläge umfassten das Hinzufügen semantischer Annotationen direkt zu Bubble Sets sowie die Verfeinerung der Interpretation von Supernode-Verbindungen in der Membran-Ansicht.

Bedeutung und Behauptungen

Die Arbeit behauptet, die erste Arbeit zu sein, die neuronale Netzrepräsentationen systematisch unter Verwendung topologischer Abstraktionen (Mapper-Graphen) vergleicht.

Neuartigkeit: Im Gegensatz zu früheren Arbeiten, die auf geometrischen Distanzen oder manueller Vergleichung beruhen, bietet TopoAlign ein systematisches, automatisiertes Framework für mehrskaligen topologischen Vergleich.
Generierung von Erkenntnissen: Das Framework enthüllt bedeutungsvolle strukturelle Phänomene – wie Merkmalsaufspaltung, Verschmelzung und Entwirrung –, die durch aggregierte Metriken oft verschleiert werden.
Nützlichkeit: Es unterstützt die Modellinterpretation, die Robustheitsanalyse und das Verständnis der Lern dynamiken über Trainingsstadien, Schichten und Modalitäten hinweg.
Bescheidenheit: Die Autoren erkennen an, dass ihre automatische Ausrichtungserkennung darauf ausgelegt ist, potenziell bedeutungsvolle Korrespondenzen aufzudecken, anstatt eine einzelne optimale Lösung zu liefern, und dient als Einstiegspunkt für explorative Analysen. Sie weisen zudem darauf hin, dass die interne Repräsentationsausrichtung nicht immer direkt mit der Modellleistung korreliert, obwohl Leistungsmetriken helfen können, beobachtete Muster zu kontextualisieren.