📊 statistics

Scalable and Interpretable Representation Alignment with Ordinal Similarity

Dieses Paper führt ein skalierbares und interpretierbares Ordinal-Similarity-Framework ein, das durch Triplet- und Quadruplet-Similarity-Indizes instanziiert wird, um die Interpretierbarkeits-, Robustheits- und Skalierbarkeitsbeschränkungen bestehender Metriken zur Repräsentationsausrichtung zu überwinden.

Ursprüngliche Autoren: Diogo Soares, Pankhil Gawade, Andrea Dittadi, Ewa Szczurek

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Diogo Soares, Pankhil Gawade, Andrea Dittadi, Ewa Szczurek

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu beurteilen, wie ähnlich sich zwei verschiedene Karten derselben Stadt sind. Eine Karte wurde von einem Menschen gezeichnet, die andere von einem Roboter.

Das Problem mit aktuellen Werkzeugen
Derzeit verwenden Wissenschaftler Werkzeuge, um diese „Karten“ (die eigentlich komplexe Datendarstellungen innerhalb von KI-Modellen sind) zu vergleichen. Aber diese Werkzeuge haben drei große Mängel:

Sie sind verwirrend: Die Scores, die sie liefern, sind wie eine Rohzahl ohne Lineal. Ist ein Score von 0,7 gut? Schlecht? Es kommt auf die Größe der Karte oder die Art der Tinte an, was es schwierig macht, zu wissen, was „gut“ eigentlich bedeutet.
Sie sind fragil: Wenn man einen seltsamen, riesigen Stein (einen „Ausreißer“) auf die Karte wirft, könnte das Werkzeug schreien, dass die beiden Karten völlig unterschiedlich sind, selbst wenn 99 % von ihnen perfekt übereinstimmen.
Sie sind langsam: Um einen genauen Score zu erhalten, müssen diese Werkzeuge oft jede einzelne Straße und Gasse messen. Bei einer riesigen Stadt (einem gewaltigen Datensatz) dauert das ewig, weshalb Menschen auf unzuverlässige Abkürzungen zurückgreifen müssen.

Die neue Lösung: Der „Ordinale“ Ansatz
Die Autoren dieser Arbeit schlagen eine neue Art vor, Karten zu vergleichen, die Ordinale Ähnlichkeit genannt wird. Anstatt die exakte Distanz zwischen zwei Punkten zu messen (z. B. „Punkt A ist genau 5 Meilen von Punkt B entfernt“), interessiert sie nur die Reihenfolge oder das Ranking der Distanzen.

Denken Sie an Folgendes:

Alter Weg: „Ist A 5 Meilen von B entfernt und ist C 10 Meilen von B entfernt?“
Neuer Weg: „Ist A näher an B als C ist?“

Wenn die Antwort auf die zweite Frage in beiden Karten dieselbe ist, liegt ein Übereinstimmungspunkt vor. Es ist egal, wie viele Meilen es genau sind, nur die relative Reihenfolge zählt.

Die zwei neuen Werkzeuge: TSI und QSI
Die Arbeit führt zwei spezifische Werkzeuge ein, um dies zu erreichen:

TSI (Triplet Similarity Index): Stellen Sie sich vor, Sie wählen eine Person (den „Anker“) und zwei Freunde. Sie fragen: „Ist Freund 1 näher am Anker als Freund 2?“
- Wenn beide Karten darin übereinstimmen, wer näher dran ist, ist das ein „Gewinn“.
- TSI zählt, wie oft die Karten bei diesen „Wer ist näher?“–Fragen übereinstimmen.
- Analogie: Es ist, als würde man prüfen, ob zwei Personen sich über die Reihenfolge ihrer Lieblingseisgeschmacksrichtungen einig sind, ungeachtet dessen, wie sehr sie diese mögen.
QSI (Quadruplet Similarity Index): Dies geht noch einen Schritt weiter. Stellen Sie sich zwei Paare von Menschen vor. Sie fragen: „Ist der Abstand zwischen Paar A kleiner als der Abstand zwischen Paar B?“
- Dies prüft, ob die Karten über die Skalierung der Abstände zwischen verschiedenen Gruppen übereinstimmen, nicht nur in Bezug auf eine einzelne Person.
- Analogie: Es prüft, ob beide Karten übereinstimmen, dass „der Park näher an der Schule liegt als die Bibliothek zum Stadion“.

Warum dies ein Game-Changer ist

Es ist leicht zu verstehen: Der Score ist eine einfache Wahrscheinlichkeit. Wenn Sie einen Score von 0,5 erhalten, bedeutet das, dass die Karten völlig zufällig sind (wie ein Münzwurf). Wenn Sie 0,8 erhalten, bedeutet das, dass die Karten in 80 % der Fälle übereinstimmen, wer näher dran ist. Sie benötigen kein PhD, um zu wissen, dass 0,8 besser als 0,5 ist.
Es ist robust: Wenn Sie einen riesigen Stein (einen Ausreißer) auf die Karte werfen, stört dies nur einen winzigen Bruchteil der „Wer ist näher?“–Fragen. Der Rest der Karte bleibt perfekt. Der Score bewegt sich kaum, sodass das Werkzeug nicht in Panik gerät.
Es ist schnell: Da das Werkzeug nur an der Reihenfolge interessiert ist, kann es kluge mathematische Tricks anwenden, um die Antwort durch die Überprüfung einer winzigen Stichprobe der Stadt zu erraten. Es kann Ihnen in Sekundenschnelle eine hochgradig genaue Antwort liefern, selbst für massive Datensätze, ohne jede einzelne Straße messen zu müssen.

Was sie bewiesen haben
Die Autoren haben mathematisch bewiesen, dass:

Diese Werkzeuge robust sind: Sie gehen nicht kaputt, wenn die Daten unordentlich sind.
Sie skalierbar sind: Sie arbeiten schnell bei riesigen Datenmengen.
Sie äquivalent dazu sind, zu prüfen, ob die „Nachbarschaften“ auf der Karte dieselben sind. Wenn die Karten übereinstimmen, wer am nächsten bei wem ist, sind sie im Wesentlichen dieselbe Karte.

Echtwelt-Tests
Das Team hat dies getestet auf:

KI-Training: Beobachtung, wie sich die interne „Karte“ einer KI während des Lernens verändert. Ihr Werkzeug zeigte, dass die Karte mit der Zeit besser und konsistenter wird.
Multimodale Modelle (wie CLIP): Überprüfung, ob eine KI versteht, dass ein Bild einer Katze und das Wort „Katze“ ähnlich sind. Ihr Werkzeug zeigte, dass größere, intelligentere Modelle eine bessere Ausrichtung (Alignment) aufweisen, während ältere Werkzeuge verwirrt waren, wenn sich die Modelle in ihrer Größe änderten.

Zusammenfassend lässt sich sagen
Diese Arbeit liefert Wissenschaftlern ein neues, zuverlässiges und leicht lesbares Lineal, um die Ähnlichkeit von KI-Modellen zu messen. Anstatt sich in komplexen Zahlen und fragilen Messungen zu verlieren, können sie nun einfach fragen: „Sind sich diese zwei Modelle einig, wer näher an wem liegt?“ und eine klare, vertrauenswürdige Antwort erhalten.

Technisches Resümee: Skalierbare und interpretierbare Repräsentationsausrichtung mit ordinaler Ähnlichkeit

Problemstellung

Die Bewertung der Ähnlichkeit zwischen Repräsentationsräumen ist eine grundlegende Herausforderung im Repräsentationslernen, die für die Interpretation des Modellverhaltens, die Ausrichtung künstlicher Systeme an der menschlichen Kognition sowie das Design von Transfer Learning oder generativen Modellen essenziell ist. Bestehende Ähnlichkeitsmetriken leiden jedoch unter drei kritischen Einschränkungen:

Mangelnde Interpretierbarkeit: Die meisten Metriken liefern lediglich Rohwerte ohne intuitive Bedeutung oder konsistente Baselines, was es schwierig macht, zwischen bedeutsamer Ausrichtung und scheinbarer Ähnlichkeit zu unterscheiden.
Anfälligkeit für Ausreißer: Aktuelle Metriken sind oft nicht robust; eine geringe Anzahl extremer Ausreißer kann Ähnlichkeitswerte drastisch verändern, wodurch perfekt ausgerichtete Repräsentationen als falsch ausgerichtet erscheinen können.
Komputative Unbehandbarkeit: Die exakte Berechnung für große Datensätze ist aufgrund hoher Speicher- und Zeitanforderungen oft nicht machbar, was die Nutzung heuristischer Approximationen erzwingt, denen theoretische Garantien für die Korrektheit fehlen.

Methodik

Die Autoren schlagen einen Wechsel von Metriken vor, die auf präzisen nominalen Distanzwerten basieren, hin zu solchen, die robuste relationale Eigenschaften betonen, inspiriert durch die nicht-metrische multidimensionale Skalierung (NMDS). Die Kernhypothese ist, dass die Bewahrung ordinaler Beziehungen (Rangordnungen von Distanzen) die wesentliche Struktur erfasst, die für die Ausrichtung benötigt wird.

Das Paper führt zwei primäre Metriken auf Basis ordinaler Konsistenz ein:

Triplet Similarity Index (TSI): Misst die Konsistenz der ankerbasierten relativen Ähnlichkeit. Er evaluiert den Anteil der Tripletts $(i, j, k)$ , bei denen die ordinale Beziehung „Punkt $i$ ist näher an $j$ als an $k$ “ über zwei Repräsentationsräume hinweg bewahrt bleibt.
Quadruplet Similarity Index (QSI): Misst die Konsistenz der relativen Ähnlichkeit zwischen disjunkten Paaren. Er evaluiert den Anteil der Quadruplets $(i, j, k, l)$ , bei denen die Beziehung „Distanz $(i, j)$ ist kleiner als Distanz $(k, l)$ “ bewahrt bleibt.

Theoretische Grundlagen

Probabilistische Interpretation: TSI und QSI sind als Wahrscheinlichkeit definiert, dass eine zufällig gewählte ordinale Beziehung bewahrt wird. Dies liefert eine direkte semantische Bedeutung (z. B. impliziert ein TSI von 0,8, dass 80 % der Tripletts in der Ordnung übereinstimmen).
Baseline für Unähnlichkeit: Die Autoren beweisen, dass die erwartete Punktzahl für statistisch unabhängige Repräsentationen gegen etwa $0,5$ konvergiert (unter Annahme vernachlässigbarer Gleichheiten/Ties), wodurch eine universelle, interpretierbare Baseline für zufällige Ausrichtung unabhängig von Datensatzgröße oder Dimensionalität etabliert wird.
Nachbarschaftsäquivalenz: Eine formale Äquivalenz wird zwischen perfekter TSI-Ausrichtung und der Bewahrung von Mutual Nearest Neighbors (MNN) über alle Skalen ( $k=1$ bis $N-2$ ) hergestellt.
Robustheit: Theoretische Schranken zeigen, dass TSI und QSI inhärent robust gegenüber Ausreißern und Korruptionen sind. Die Abweichung des Ähnlichkeitswertes ist durch den Anteil der transformierten Punkte begrenzt, was sicherstellt, dass spärliche Ausreißer den Metrikwert nicht unverhältnismäßig verschieben können.
Metrik-Axiome: Es wird bewiesen, dass die komplementären Distanzen ( $1 - \text{TSI}$ und $1 - \text{QSI}$ ) die Axiome einer ordentlichen Metrik (Äquivalenz, Symmetrie und Dreiecksungleichung) erfüllen.

Komputative Effizienz

Während naive Implementierungen oft eine Laufzeit von $O(N^3)$ und $O(N^4)$ erfordern würden, nutzen die Autoren Verbindungen zum Kendall-Rangkorrelationskoeffizienten, um effiziente Algorithmen zu entwickeln:

Exakte Berechnung: TSI kann in $O(N^2 \log N)$ Zeit und $O(N)$ Speicher berechnet werden; QSI in $O(N^2 \log N)$ Zeit und $O(N^2)$ Speicher.
Skalierbare Approximation: Als beschränkte U-Statistiken erlauben TSI und QSI fundierte Monte-Carlo-Approximationen. Durch das Sampling einer geringen Anzahl von Tripletts oder Quadruplets können die Metriken mit einem additiven Fehler $\epsilon$ und einer Konfidenz von $1-\delta$ geschätzt werden, wobei die Zeit unabhängig von der Datensatzgröße $N$ ist.

Zentrale Beiträge

Ordinale Ähnlichkeitsformulierung: Die Formalisierung von TSI und QSI als Metriken basierend auf der Übereinstimmung relativer Ähnlichkeiten und Distanzvergleiche.
Theoretische Interpretierbarkeit: Demonstration einer direkten probabilistischen Interpretation und die Etablierung einer stabilen, universellen Baseline ( $\approx 0,5$ ) für unähnliche Repräsentationen.
Verbindung zur Nachbarschaftskonsistenz: Beweis, dass perfekte TSI-Ausrichtung äquivalent zur gemeinsamen Mutual-Nearest-Neighbor-Ausrichtung über alle Skalen hinweg ist.
Garantierte Robustheit: Theoretische Schranken, die die Robustheit gegenüber Ausreißern und Korruptionen garantieren und damit eine Schwachstelle bestehender Metriken wie CKA adressieren.
Komputative Skalierbarkeit: Bereitstellung effizienter exakter Algorithmen und eines fundierten Approximationsschemas mit theoretischen Fehlerschranken, was die Anwendung auf massive Datensätze ermöglicht.
Empirische Validierung: Validierung über diverse Szenarien hinweg, einschließlich der Verfolgung der Konvergenz von Repräsentationen während des Trainings und der Bewertung der multimodalen Ausrichtung in CLIP-Modellen.

Experimentelle Ergebnisse

Die Autoren validieren die vorgeschlagenen Metriken durch mehrere Experimente:

Konsistente Baselines: In Tests mit statistisch unabhängigen Repräsentationen hielten TSI und QSI stabile Werte nahe 0,5 über variierende Stichprobengrößen und Dimensionen hinweg. Im Gegensatz dazu zeigten Metriken wie CKA, SVCCA und PWCCA eine hohe Sensitivität gegenüber diesen Parametern und lieferten teilweise nahezu perfekte Ausrichtungswerte für unabhängige Daten.
Ausreißer-Robustheit: Als 2 % der Datenpunkte mit zunehmender Ausreißerstärke perturbiert wurden, blieben TSI und QSI bemerkenswert stabil und hielten sich an ihre theoretischen Untergrenzen. Im Gegensatz dazu fielen nachbarschaftsbasierte Metriken (MutualNN, CKNNA) und kernelbasierte Metriken (CKA) aufgrund von „Hubness“-Effekten, die durch Ausreißer induziert wurden, auf nahezu Null ab.
Approximationsqualität: Die fundierte Sampling-Approximation für TSI und QSI zeigte eine schnelle, monotone Konvergenz mit vernachlässigbarer Abweichung und übertraf damit signifikant die Standard-Batch-Approximationen, die für andere Metriken verwendet werden.
Reale Anwendungen:
- Trainingsdynamik: TSI und QSI verfolgten präzise die Konvergenz der Vision Transformer (ViT) Repräsentationen während des Trainings auf CIFAR-10 und unterschieden zwischen Modellen, die mit demselben Seed trainiert wurden (Konvergenz gegen 1,0), und solchen mit unterschiedlichen Seeds (Konvergenz gegen eine sub-perfekte Ausrichtung).
- Multimodale Ausrichtung: Bei der Evaluierung von CLIP-Modellen unterschiedlicher Skalierung erfassten TSI und QSI korrekt die monotone Zunahme der Ausrichtung. Bemerkenswerterweise zeigte CKA ein kontraintuitives Verhalten (einen Abfall des Scores), wenn es auf ein Modell mit einer anderen Einbettungsdimension überging, was dessen Sensitivität gegenüber Änderungen der Dimensionalität unterstreicht.

Bedeutung

Das Paper behauptet, dass TSI und QSI einen rigorosen, skalierbaren und theoretisch fundierten Rahmen für die Repräsentationsausrichtung bieten. Durch die Priorisierung der Distanzordnung gegenüber Rohwerten bieten diese Metriken:

Interpretierbarkeit: Die Scores besitzen klare probabilistische Bedeutungen und stabile Baselines, was es Praktikern ermöglicht, die Qualität der Ausrichtung ohne fallspezifische Kalibrierung zu beurteilen.
Robustheit: Sie sind theoretisch garantiert unempfindlich gegenüber spärlichen Ausreißern und Korruptionen – eine Eigenschaft, die vielen aktuellen State-of-the-Art-Metriken fehlt.
Skalierbarkeit: Die Fähigkeit, exakte Werte effizient zu berechnen oder sie mit garantierten Fehlerschranken zu approximieren, macht sie anwendbar auf moderne großskalige Datensätze, bei denen andere Methoden versagen oder unzuverlässige Heuristiken erfordern.

Die Autoren kommen zu dem Schluss, dass ordinale Ähnlichkeit Praktikern ermöglicht, Repräsentationen besser zu verstehen und zu entwerfen, indem sie eine zuverlässige Alternative zu bestehenden Metriken bietet, die oft unter Problemen der Interpretierbarkeit, Fragilität und komputativen Beschränkungen leiden.