Correlation of divergency: c-delta. Being different in a similar way or not

Dieser Beitrag stellt den c-delta-Koeffizienten vor, ein neuartiges statistisches Maß zur Quantifizierung der Ähnlichkeit von internen Divergenzmustern zwischen zwei Wertegruppen, das sich von herkömmlichen Korrelationskoeffizienten unterscheidet und Anwendungen in Bereichen wie Quantenphysik, Genetik und maschinellem Lernen ermöglicht.

Das Wesentliche

Der „Klang der Unterschiede": Eine neue Art, Muster zu messen

Stellen Sie sich vor, Sie haben zwei Gruppen von Menschen: Gruppe A (z. B. eine Schar von Vögeln) und Gruppe B (z. B. eine Schar von Schmetterlingen).

Normalerweise fragen Statistiker: „Wenn Vogel A laut ist, ist dann Schmetterling B auch laut?" Das ist die klassische Korrelation (wie bei Pearson oder Spearman). Sie schauen, ob sich die Werte direkt entsprechen.

Johan Hoorn stellt in diesem Papier eine völlig neue Frage: „Wenn sich ein Vogel von der Gruppe abhebt (z. B. sehr laut ist), hebt sich dann der entsprechende Schmetterling auch von seiner Gruppe ab?"

Er möchte nicht wissen, ob die Werte gleich sind, sondern ob sich die Art und Weise, wie die Gruppen „unruhig" oder „verschieden" sind, ähnlich verhält.

1. Das Herzstück: Der „cδ"-Koeffizient

Der Autor nennt diese neue Messgröße cδ (Correlation of Divergency). Man kann sich das wie einen „Wetterbericht für die Unvorhersehbarkeit" vorstellen.

• Das Problem: Herkömmliche Werkzeuge messen nur, ob zwei Dinge zusammenwachsen (wie zwei Pflanzen, die im gleichen Takt wachsen).
• Die Lösung von cδ: cδ misst, ob zwei Gruppen auf die gleiche chaotische Art chaotisch sind.

Die Analogie des Orchesters:
Stellen Sie sich zwei Orchester vor.

• Im Orchester A spielt die Geige oft falsch, die Trompete ist manchmal zu laut, und das Schlagzeug ist unregelmäßig.
• Im Orchester B passiert genau das Gleiche: Die Geige macht Fehler, die Trompete schreit, das Schlagzeug hakt.
• Selbst wenn die Noten in Orchester A völlig anders klingen als in Orchester B (andere Melodie), haben sie das gleiche Muster an „Fehlern".
• cδ würde hier einen hohen Wert anzeigen: „Aha! Beide Orchester sind auf die gleiche Art unperfekt."
• Wenn Orchester A chaotisch ist, Orchester B aber perfekt synchron spielt, wäre cδ niedrig.

2. Wie funktioniert das Zählen? (Die Mathematik im Kleiderschrank)

Statt einfach zu vergleichen, wie groß ein Wert ist, schaut cδ auf jeden einzelnen Wert und fragt: „Wie sehr unterscheidest du dich von allen anderen in deiner eigenen Gruppe?"

1. Der Abgleich: Für jeden Vogel wird gemessen, wie weit er vom Durchschnitt der anderen Vögel entfernt ist.
2. Der Vergleich: Dann wird geschaut: Ist der Schmetterling, der dem Vogel zugeordnet ist, auch weit vom Durchschnitt der Schmetterlinge entfernt?
3. Das Ergebnis: Wenn ja, haben sie ein ähnliches „Divergenz-Muster". Wenn nein, sind sie unterschiedlich.

3. Die Grenzen des Werkzeugs (Was cδ nicht kann)

Das Papier ist sehr ehrlich über die Schwächen des neuen Werkzeugs:

• Kein Minus-Zeichen: cδ kann keine negativen Werte annehmen. Es kann also nicht unterscheiden zwischen „Wir sind beide chaotisch" und „Wir sind beide chaotisch, aber genau entgegengesetzt".
  • Analogie: Es ist wie ein Thermometer, das nur anzeigt, wie „heiß" das Chaos ist, aber nicht, ob es nach oben oder unten brodelt. Der Autor schlägt vor, dies mit einem zusätzlichen klassischen Korrelations-Test zu kombinieren, um die Richtung zu erkennen.
• Empfindlichkeit gegenüber „Ausreißern": Wenn in einer Gruppe ein einzelner Wert extrem verrückt ist (ein riesiger Ausreißer), verzerrt das das Ergebnis stark.
  • Lösung: Man kann eine „sanftere" Version verwenden, die nicht so stark auf extreme Werte reagiert (ähnlich wie man bei einer Schätzung den größten und kleinsten Wert ignoriert).
• Kein Nullpunkt bei Langeweile: Wenn eine Gruppe gar keine Unterschiede hat (alle sind gleich), funktioniert die Rechnung nicht. Man braucht also immer eine gewisse Vielfalt in den Daten.

4. Wofür ist das gut? (Anwendungsbereiche)

Warum sollte man sich dafür interessieren? Das Papier nennt viele spannende Felder:

• Quantenphysik: Um zu prüfen, ob zwei Quantensysteme auf die gleiche Art „unsicher" oder „verstreut" sind.
• Genetik: Um zu sehen, ob zwei verschiedene Tierarten auf die gleiche Art genetisch variieren (z. B. ob die Unterschiede zwischen Mutter und Kind bei Menschen und Affen ähnlich strukturiert sind).
• Maschinelles Lernen: Um zu testen, ob zwei verschiedene KI-Modelle ihre Fehler auf die gleiche Art machen.
• Qualitätskontrolle: Wenn Maschine A und Maschine B Teile produzieren, sind die Schwankungen in der Größe der Teile ähnlich?

5. Fazit: Ein neues Werkzeug für eine alte Frage

Johan Hoorn sagt im Grunde: „Wir haben viele Werkzeuge, um zu messen, ob zwei Dinge zusammenpassen. Aber wir haben kein gutes Werkzeug, um zu messen, ob zwei Dinge auf die gleiche Art unterschiedlich sind."

Der cδ-Koeffizient füllt diese Lücke. Er ist wie ein neuer Spiegel, der nicht das Gesicht zeigt, sondern die Struktur der Falten.

Wichtig zu wissen:

• Es ist noch ein neues, experimentelles Werkzeug (ein „Preprint").
• Es ist nicht so einfach zu interpretieren wie eine normale Korrelation (die zwischen -1 und 1 liegt).
• Man muss vorsichtig sein mit kleinen Datenmengen und extremen Ausreißern.

Kurz gesagt: Wenn Sie wissen wollen, ob zwei Gruppen „auf die gleiche Art verrückt" sind, ist cδ das Werkzeug, das Sie brauchen. Wenn Sie wissen wollen, ob sie „auf die gleiche Art normal" sind, reicht die alte Statistik.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Papers auf Deutsch:

Technische Zusammenfassung: Korrelation der Divergenz ($c\delta$)

Titel: Correlation of Divergency: $c\delta$. Being different in a similar way or not.
Autor: Johan F. Hoorn
Veröffentlichung: arXiv:stat.ME (2026)

1. Problemstellung und Motivation

Herkömmliche Korrelationskoeffizienten wie Pearson ($r$) oder Spearman ($\rho$) messen die direkte Assoziation zwischen gepaarten Werten zweier Variablen (d. h., ob hohe Werte in $X$ mit hohen Werten in $Y$ einhergehen). Es fehlt jedoch ein statistisches Maß, das die Ähnlichkeit der internen Streuungsmuster (Divergenzstrukturen) zweier Datensätze quantifiziert.

Die zentrale Forschungsfrage lautet: Ähneln sich die Art und Weise, wie Werte innerhalb einer Gruppe voneinander abweichen, der Art und Weise, wie Werte in einer anderen Gruppe voneinander abweichen?
Dies ist insbesondere in Bereichen wie der Quantenphysik (Vergleich von Messergebnisspreizungen), der Genetik, der Psychometrie und beim Maschinellen Lernen relevant, wo es nicht um die lineare Beziehung der Werte selbst, sondern um die Struktur der Variabilität geht.

2. Methodik: Der $c\delta$-Koeffizient

Der Autor stellt den Korrelationskoeffizienten der Divergenz ($c\delta$) vor. Dieser misst nicht die Assoziation der Rohwerte, sondern die Korrelation der Divergenzmagnituden jedes Punktes innerhalb seines eigenen Datensatzes.

Berechnungsschritte:

1. Interne Divergenz ($D_{x,i}$ und $D_{y,i}$): Für jeden Datenpunkt $x_i$ (und analog $y_i$) wird die Divergenz zu allen anderen Punkten im selben Datensatz berechnet.
   • Standardvariante (quadratisch): $D_{x,i} = \sqrt{\frac{1}{n-1} \sum_{j \neq i} (x_i - x_j)^2}$ (Wurzel aus dem mittleren quadratischen Abstand).
   • Robuste Variante (absolut): Ersetzung durch absolute Differenzen (Gini-ähnlich), um Ausreißer weniger stark zu gewichten.
2. Zähler (Signal): Die Produkte der entsprechenden Divergenzmagnituden werden über alle Paare summiert: $\sum_{i=1}^n (D_{x,i} \cdot D_{y,i})$.
3. Nenner (Rauschen/Normalisierung): Das Produkt der durchschnittlichen internen Divergenzen beider Gruppen: $\bar{D}_x \cdot \bar{D}_y$.
4. Formel:
   $$c\delta = \frac{\sum_{i=1}^n (D_{x,i} \cdot D_{y,i})}{\bar{D}_x \cdot \bar{D}_y}$$

Eigenschaften:

• Skaleninvarianz: Durch die Normalisierung ist das Maß unabhängig von der Einheit der Daten.
• Bereich: Theoretisch $[0, \infty)$. Es gibt keine negativen Werte, da Divergenzmagnituden immer positiv sind.
• Komplexität: $O(N^2)$ aufgrund der paarweisen Berechnungen.

3. Wichtige Beiträge und Ergebnisse

• Neue statistische Kategorie: $c\delta$ füllt eine Lücke in der Statistik, indem es die Ähnlichkeit von Dispersionsstrukturen misst, nicht von Wertepaaren. Es ist konzeptionell anders als Pearson, Spearman, Energie-Distanz (Energy Distance) oder Maximum Mean Discrepancy (MMD).
• Interpretation:
  • Ein hoher $c\delta$-Wert bedeutet, dass Punkte, die in Gruppe $X$ weit von anderen entfernt sind, auch in Gruppe $Y$ weit von ihren Nachbarn entfernt sind ("unterschiedlich auf die gleiche Weise").
  • Ein niedriger Wert deutet auf keine strukturelle Ähnlichkeit der Streuung hin.
• Normalisierung und Vergleichbarkeit: Da $c\delta$ keine feste Obergrenze hat, schlägt der Autor vor, den Wert relativ zur maximalen Selbstähnlichkeit ($c\delta_{max}$, berechnet für $X$ gegen $X$) zu skalieren, um einen normierten Index im Bereich $[0, 1]$ zu erhalten. Dies ermöglicht eine bessere Interpretation, ist jedoch stichprobenabhängig.
• Umgang mit Ausreißern: Die Standardformel (quadratische Differenzen) ist sehr anfällig für Ausreißer (ähnlich wie die Varianz). Als Lösung wird eine Variante mit absoluten Differenzen (L1-Norm) oder eine rangbasierte Version vorgeschlagen.
• Inferenz: Da keine geschlossene Nullverteilung existiert, werden Permutationstests (zum Berechnen von p-Werten) und Bootstrap-Verfahren (für Konfidenzintervalle) als geeignete Inferenzmethoden empfohlen.
• Erweiterungen: Das Konzept lässt sich auf komplexe Zahlen (Quantenzustände) und Wahrscheinlichkeitsverteilungen (mittels Distanzmetriken wie Wasserstein oder KL-Divergenz) erweitern, wobei dies für Quantensysteme noch spekulativ ist.

4. Limitationen

• Keine Richtungserkennung: Da $c\delta$ immer positiv ist, kann es nicht zwischen ähnlichen und genau inversen Divergenzmustern unterscheiden (z. B. wenn $X$ steigt und $Y$ fällt, aber die Streuungsmuster gleich bleiben). Als Abhilfe wird empfohlen, zusätzlich die Pearson-Korrelation zwischen den Divergenzvektoren zu berechnen.
• Definition bei Null-Varianz: Wenn eine Gruppe keine interne Varianz hat (alle Werte identisch), ist der Nenner null und $c\delta$ undefiniert.
• Kleinstichproben: Bei sehr kleinen $n$ (z. B. $<10$) ist das Maß instabil und schwer zu interpretieren.
• Vergleichbarkeit: Ohne Normalisierung sind Werte zwischen verschiedenen Studien schwer vergleichbar.

5. Signifikanz und Anwendungsbereiche

Die Arbeit bietet ein neues Werkzeug für die Analyse von Datenstrukturen, wo die Art der Variabilität wichtiger ist als die Werte selbst.

• Quantenphysik: Vergleich der Streuung von Messergebnissen zwischen verschiedenen Quantensystemen oder zur Validierung von Quantensimulatoren.
• Biologie & Genetik: Vergleich von Mustern genetischer Divergenz zwischen Arten oder Populationen.
• Qualitätssicherung: Vergleich der Variabilitätsmuster verschiedener Produktionsmaschinen.
• Maschinelles Lernen: Validierung von Clustering-Algorithmen oder Vergleich der Varianzstrukturen in Feature-Sets.

Fazit:
Der $c\delta$-Koeffizient ist ein innovatives, wenn auch noch nicht vollständig ausgereiftes statistisches Maß. Er bietet eine einzigartige Perspektive auf die Ähnlichkeit von Variabilitätsmustern, erfordert jedoch sorgfältige Anwendung (insbesondere bezüglich Ausreißern und Normalisierung) und den Einsatz nicht-parametrischer Inferenzmethoden (Permutation/Bootstrap), um valide Schlussfolgerungen zu ziehen.