🤖 machine learning

Class Angular Distortion Index for Dimensionality Reduction

Dieser Beitrag stellt den Class Angular Distortion Index (CADI) vor, ein differenzierbares Metrik auf Basis innerer Winkel, das die Glaubwürdigkeit der Clusterorganisation in Dimensionsreduktionsprojektionen bewertet und die Einschränkungen bestehender Metriken adressiert, die relative Clusteranordnungen nicht erfassen oder sphärische Formen voraussetzen.

Ursprüngliche Autoren: Kaviru Gunaratne, Stephen Kobourov, Jacob Miller

Veröffentlicht 2026-05-04

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kaviru Gunaratne, Stephen Kobourov, Jacob Miller

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Dilemma der „flachen Karte"

Stellen Sie sich vor, Sie haben eine riesige, dreidimensionale Skulptur aus verschiedenen farbigen Tonkugeln. Einige Kugeln sind wie russische Puppen ineinander verschachtelt, einige haben die Form langer Ringe und andere sind zu komplexen Knoten verdreht.

Nun stellen Sie sich vor, Sie möchten ein Foto dieser Skulptur machen, um es jemandem zu zeigen, der nur zweidimensionale Zeichnungen versteht (wie ein Blatt Papier). Genau das leistet die Dimensionsreduktion (DR): Sie presst komplexe, hochdimensionale Daten in ein einfaches 2D- oder 3D-Bild zusammen, damit Menschen sie sehen können.

Das Problem ist, dass das Abflachen eines 3D-Objekts auf eine 2D-Seite es unvermeidlich verzerrt.

Der alte Weg: Seit Jahren sind beliebte Werkzeuge wie t-SNE und UMAP die „Künstler" dieser Welt. Sie sind hervorragend darin, ähnliche Dinge zusammenzufassen. Wenn Sie einen Haufen roten Tons und einen Haufen blauen Tons haben, erzeugen sie zwei deutliche, dichte Klumpen auf dem Papier.
Der Haken: Obwohl sie die Klumpen hübsch aussehen lassen, vermasseln sie oft die Beziehung zwischen den Klumpen. Sie könnten den roten Klumpen direkt neben den blauen setzen, obwohl sie in der ursprünglichen 3D-Welt auf entgegengesetzten Seiten des Raumes waren. Oder sie könnten einen langen, verdrehten Ring zu einem dichten Kreis zerquetschen, sodass er wie ein fester Ball aussieht.

Die alten Lineale: Warum sie versagten

Wissenschaftler benötigten eine Möglichkeit, diese „Fotos" zu bewerten, um zu sehen, welches das ehrlichste ist. Sie benutzten alte Lineale wie den Silhouette-Score und den Davies-Bouldin-Index.

Stellen Sie sich diese alten Lineale als Richter vor, denen nur eine Sache wichtig ist: „Sind die Gruppen dicht und getrennt?"

Wenn der Richter zwei dichte, runde, getrennte Klumpen sieht, gibt er eine hohe Punktzahl.
Wenn der Richter eine lange, gewundene Kette oder eine Reihe verschachtelter Ringe sieht, gerät er in Verwirrung. Er könnte denken, die verschachtelten Ringe seien nur ein großer, chaotischer Klumpen, oder er könnte eine zufällige, chaotische Zeichnung bevorzugen, weil sie zufällig wie getrennte Klumpen aussieht.

Das Papier argumentiert, dass diese Richter blind für Form und Struktur sind. Es ist ihnen egal, ob ein Ring tatsächlich ein Ring ist oder ob eine Kugel in einer anderen steckt; sie wollen einfach nur saubere, runde, getrennte Kreise sehen.

Die neue Lösung: CADI (Der „Winkel"-Richter)

Die Autoren führen eine neue Metrik namens CADI (Class Angular Distortion Index) ein.

Die Analogie: Der Tourist mit der Kamera
Stellen Sie sich vor, Sie sind ein Tourist, der in einem Museum vor einer Skulptur steht. Um die Form des Raumes zu verstehen, schauen Sie nicht nur auf die Entfernung zwischen Objekten, sondern auf die Winkel.

Wenn Sie an Punkt A stehen und auf die Punkte B und C schauen, wie groß ist dann der Winkel zwischen Ihrer Sichtlinie zu B und Ihrer Sichtlinie zu C?
Wenn Sie an einen anderen Ort gehen, verändert sich dieser Winkel dann?

CADI funktioniert auf die gleiche Weise. Anstatt zu messen, wie weit Cluster voneinander entfernt sind, misst es die Winkel, die von Tripeln von Punkten gebildet werden.

Es wählt einen Punkt in einer Gruppe (Klasse A) aus.
Es wählt zwei Punkte in einer anderen Gruppe (Klasse B) aus.
Es misst den Winkel, der am ersten Punkt gebildet wird.

Wenn das 2D-Bild die „Form" der Welt bewahrt, bleiben diese Winkel gleich. Wenn das Bild einen Ring zu einer Kugel zerquetscht, ändern sich diese Winkel wild. CADI berechnet den „Fehler" in diesen Winkeln. Eine niedrigere Punktzahl bedeutet, dass die Winkel bewahrt wurden und die Karte ehrlicher ist.

Warum das wichtig ist: Der „Russische Puppe"-Test

Das Papier testet dies mit einem spezifischen Beispiel: Verschachtelte Kugeln (wie russische Puppen).

Die Realität: Sie haben eine kleine Kugel in einer mittleren, die in einer großen steckt.
Die alten Richter (Silhouette): Sie hassen das. Sie wollen drei separate, runde Bälle sehen. Sie könnten einen zufälligen, chaotischen Streudiagramm als „gut" bewerten, weil die Punkte zufällig getrennt aussehen, obwohl die Verschachtelungsstruktur vollständig verloren gegangen ist.
Der neue Richter (CADI): Er betrachtet die Winkel. Er sieht, dass die „innere" Kugel von der „äußeren" Kugel aus unter einem bestimmten Winkel betrachtet wird. Er weiß, dass, wenn die Projektion dies zu einem Durcheinander flacht, die Winkel falsch sein werden. Er identifiziert korrekt die Projektion, die die „Puppen" verschachtelt hält.

Das neue Werkzeug: AngleEmbedding

Da CADI auf Mathematik basiert, die schrittweise berechnet werden kann (es ist „differenzierbar"), bauten die Autoren nicht nur ein Lineal, sondern einen neuen Künstler.

Sie entwickelten eine neue Methode namens AngleEmbedding.

Stellen Sie sich dies als eine neue Art von Kamera vor, die nicht nur versucht, Dinge zusammenzufassen. Stattdessen versucht sie, die Winkelfehler zu minimieren.
Sie verwendet ein neuronales Netzwerk (eine Art KI), um das Bild ständig anzupassen, bis die Winkel zwischen den Gruppen so nah wie möglich an der ursprünglichen 3D-Welt liegen.
Das Ergebnis? Projektionen, die vielleicht etwas „chaotischer" oder weniger „perfekt getrennt" aussehen als bei t-SNE, aber die Wahrheit darüber aussagen, wie die Gruppen zueinander stehen (z. B. dass eine Gruppe tatsächlich in einer anderen steckt oder dass sie eine Kette bilden).

Zusammenfassung der Ergebnisse

Alte Metriken sind verzerrt: Sie lieben runde, getrennte Klumpen und hassen komplexe Formen wie Ringe, Ketten oder verschachtelte Strukturen. Sie geben oft hohe Punktzahlen für schlechte, zufällige Karten.
CADI sieht die Form: Durch das Messen von Winkeln kann CADI den Unterschied zwischen einer echten verschachtelten Struktur und einem chaotischen Haufen erkennen. Es belohnt Karten, die das „Gerüst" der Daten intakt halten.
AngleEmbedding funktioniert: Die neue Methode, die sie mit CADI entwickelt haben, rekonstruiert erfolgreich komplexe Strukturen (wie die verschachtelten Kugeln und verbundenen Ringe), die andere beliebte Tools nicht korrekt darstellen können.

Das Fazit: Wenn Sie sehen wollen, wie verschiedene Datengruppen getrennt sind, sind die alten Werkzeuge (t-SNE/UMAP) in Ordnung. Aber wenn Sie die wahre Geometrie und die Beziehungen zwischen diesen Gruppen verstehen wollen (wie wer in wem steckt oder wie sie miteinander verketten sind), ist CADI der bessere Richter und AngleEmbedding der bessere Künstler.

1. Problemstellung

Techniken zur Dimensionsreduktion (DR) (z. B. t-SNE, UMAP, PCA) sind unverzichtbar für die Visualisierung hochdimensionaler Daten. Eine kritische Einschränkung bei der aktuellen Bewertung von DR-Verfahren ist jedoch die irreführende Darstellung von Clusterbeziehungen.

Das Kernproblem: Obwohl viele DR-Methoden Cluster erfolgreich trennen (sie zu distincten "Klumpen" machen), verzerren sie oft die globalen geometrischen Beziehungen zwischen diesen Clustern. Beispielsweise können verschachtelte Strukturen, gekrümmte Mannigfaltigkeiten oder verwobene Cluster in der Projektion flachgedrückt oder willkürlich umgeordnet werden.
Einschränkungen bestehender Metriken: Aktuelle Qualitätsmetriken erfassen diese Verzerrungen nicht, da sie auf fehlerhaften Annahmen beruhen:
- Trennbarkeitsannahme: Metriken wie der Silhouette-Score und der Davies-Bouldin-Index gehen davon aus, dass Cluster kompakt, kugelförmig und gut getrennt sind. Sie belohnen Projektionen, die enge, isolierte "Klumpen" erzeugen, selbst wenn dies die wahre topologische Struktur zerstört (z. B. indem verschachtelte Kugeln in getrennte Kreise verwandelt werden).
- Zentroid-Bias: Metriken wie Label Trustworthiness & Continuity (Label-T&C) stützen sich auf Clusterzentroide. Wenn Cluster überlappen oder verschachtelt sind (Zentroide fallen zusammen), können diese Metriken nicht zwischen einer treuen Projektion und einer zufälligen unterscheiden.
- Punktweise vs. Cluster-Ebene: Die meisten Metriken bewerten Punkt-zu-Punkt- oder Paarabstände und übersehen höherwertige geometrische Beziehungen zwischen Gruppen von Punkten.

2. Methodik: Class Angular Distortion Index (CADI)

Die Autoren schlagen CADI vor, eine neue Metrik, die entwickelt wurde, um die Erhaltung geometrischer Beziehungen zwischen Clustern unter Verwendung von Innenwinkeln zu bewerten.

Kernkonzept

Anstatt Abstände zwischen Zentroiden oder einzelnen Punkten zu messen, misst CADI die Innenwinkel, die von Tripeln von Punkten gebildet werden, wobei der Referenzpunkt zu einer Klasse gehört und die anderen beiden Punkte zu einer anderen Klasse.

Intuition: Indem beobachtet wird, wie ein Cluster $C_b$ aus der Perspektive eines Punktes im Cluster $C_a$ "aussieht" (via dem Winkel $\angle jik$ ), erfasst die Metrik die Form und relative Ausrichtung der Cluster.
Differenzierbarkeit: Da sie auf der Kosinusähnlichkeit von Winkeln beruht, ist CADI differenzierbar, was ihre Verwendung als Verlustfunktion für Optimierungen ermöglicht.

Mathematische Definition

Gegeben ein Datensatz $X$ und eine Projektion $Y$ mit einer Partition von Klassen $C$ :
$\text{CADI}(X, Y, C) = \frac{1}{T} \sum_{i \in C_a, j,k \in C_b, j \neq k} \left( \cos(\theta_X(j,i,k)) - \cos(\theta_Y(j,i,k)) \right)^2$
Wobei:

$i$ ein Referenzpunkt in der Klasse $C_a$ ist.
$j, k$ Punkte in einer anderen Klasse $C_b$ sind.
$\theta$ den Innenwinkel bei $i$ darstellt, der von den Vektoren zu $j$ und $k$ gebildet wird.
$T$ die Gesamtzahl der gesampelten Tripel ist.
Ziel: Minimierung von CADI (näher an 0 ist besser).

Praktische Umsetzung

Sampling: Die Berechnung der vollen Summe ist $O(n^3)$ . Die Autoren zeigen, dass das Sampeln von $k = O(n)$ Tripeln (speziell $40n$ ) stabile Ergebnisse mit vernachlässigbarer Varianz liefert, was die Metrik skalierbar macht.
Invarianz: CADI ist invariant gegenüber Translation, Rotation und einheitlicher Skalierung, da es ausschließlich auf Winkeln beruht.
AngleEmbedding: Die Autoren führen einen neuen DR-Algorithmus ein, AngleEmbedding, der CADI als Verlustfunktion verwendet, die über ein parametrisches neuronales Netzwerk (Feedforward-Netzwerk) optimiert wird, um Projektionen zu erzeugen, die spezifisch die winkelbasierten Beziehungen zwischen Klassen erhalten.

3. Hauptbeiträge

Neue Metrik (CADI): Eine Qualitätsmetrik auf Cluster-Ebene, die über die Annahmen der "Kugelförmigkeit" und "Trennbarkeit" bestehender Metriken hinausgeht. Sie zielt speziell auf die Erhaltung komplexer Strukturen wie verschachtelter, gekrümmter oder verwobener Cluster ab.
Demonstration von Fehlermodi: Das Papier liefert umfangreiche Beweise dafür, dass bestehende Metriken (Silhouette, Label-T&C usw.) oft zufällige Projektionen oder "Klumpen"-Projektionen höher bewerten als Projektionen, die komplexe Topologien treu erhalten.
AngleEmbedding-Algorithmus: Eine neuartige überwachte DR-Technik, die CADI optimiert und beweist, dass die Metrik effektiv genutzt werden kann, um die Erzeugung hochfider Projektionen zu steuern.
Umfassendes Benchmarking: Evaluation über 20+ synthetische und reale Datensätze (einschließlich verschachtelter Kugeln, Ringe, Genexpression und Textdaten), bei der CADI mit 8 anderen Metriken und 8 DR-Algorithmen verglichen wird.

4. Ergebnisse

Die Evaluation hebt signifikante Diskrepanzen zwischen CADI und bestehenden Metriken hervor:

Synthetische Daten (Verschachtelte Kugeln & Ringe):
- Szenario: Die Daten bestehen aus 5 verschachtelten Kugeln oder einer Kette ineinander verschlungener Ringe.
- Bestehende Metriken: Der Silhouette-Score und Label-T&C bewerten t-SNE oder UMAP (die die Ringe in separate Klumpen zerlegen oder die Kugeln zerstreuen) oft als die besten, oder bewerten sogar zufällige Projektionen hoch, weil sich die Zentroide überlappen.
- CADI: Identifiziert korrekt AngleEmbedding und PCA (die die lineare oder verschachtelte Ordnung erhalten) als die besten und weist Methoden, die die Topologie zerstören, die schlechtesten Scores zu.
Reale Daten (Leber, USPS, TREC):
- Leber-Daten: Krebszellen (HCC) weisen eine höhere Varianz auf als gesunde Zellen. t-SNE erzeugt gleich große, getrennte Klumpen und verbirgt diese Varianz. CADI belohnt AngleEmbedding und PCA, die den HCC-Cluster korrekt als weiter gestreut zeigen.
- USPS (Ziffern): Die Clustergrößen variieren je nach Ziffer erheblich. t-SNE erzwingt gleich große Cluster. CADI belohnt Projektionen, bei denen die Clustergrößen die wahre Datenverteilung widerspiegeln (erhalten durch AngleEmbedding).
- Korrelation: CADI zeigt eine geringe Korrelation mit anderen Metriken (z. B. Spearman-Korrelation mit Silhouette von ca. 0,24), was bestätigt, dass es einen distincten Aspekt der Projektionsqualität misst.
Hyperparameter-Tuning: CADI wurde erfolgreich zur Steuerung der Hyperparameter-Auswahl für UMAP eingesetzt und identifizierte Konfigurationen, die die globale Struktur besser erhalten, selbst wenn die visuelle Inspektion mehrdeutig ist.

5. Bedeutung und Fazit

Paradigmenwechsel: Das Papier argumentiert, dass für Aufgaben im Zusammenhang mit der Analyse von Clusterbeziehungen (z. B. Verständnis von Hierarchie, Verschachtelung oder globaler Topologie) aktuelle "Trennbarkeits-fokussierte" Metriken irreführend sind. CADI bietet eine notwendige Alternative zur Bewertung struktureller Fidelity.
Werkzeugauswahl: Die Autoren klären die geeigneten Anwendungsfälle:
- Verwenden Sie t-SNE/UMAP, wenn das Ziel einfach die Identifizierung der Anzahl der Cluster ist oder für die initiale Exploration.
- Verwenden Sie CADI/AngleEmbedding, wenn das Ziel ist zu verstehen, wie Cluster zueinander in Beziehung stehen, ihre relativen Positionen und ihre geometrischen Formen.
Zukünftige Arbeit: Die Autoren schlagen vor, AngleEmbedding auf nicht-euklidische Räume (Kugeln, Hyperboloide) zu erweitern und eine weitere theoretische Analyse der Aggregation von Winkel-Fehlern durchzuführen.

Zusammenfassend adressiert CADI eine kritische Blindstelle in der Evaluation der Dimensionsreduktion, indem es die Verzerrung der geometrischen Beziehungen zwischen Clustern quantifiziert und so einen zuverlässigeren Leitfaden für Analysten bietet, die mit komplexen, nicht-kugelförmigen Datenstrukturen arbeiten.