Robust Dependence Detection in Official Statistics: A Data Based Methodology

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: „Beeinflussen sich diese zwei Dinge in der Welt tatsächlich gegenseitig?“ In der Welt der offiziellen Statistik – jener Zahlen, die Regierungen nutzen, um Gesetze zu erlassen, Schulen zu bauen und Volkswirtschaften zu sanieren – ist diese Frage alles entscheidend. Aber hier ist der Haken: Die Indizien sind nicht immer ordentlich und sauber. Manchmal ist die Beziehung zwischen zwei Dingen, wie etwa dem Einkommen einer Familie und ihrem Bildungsstand, keine gerade Linie. Es kann eine Kurve sein, eine Schleife oder ein Muster, das erst sichtbar wird, wenn man sich die Extreme ansieht.

Lange Zeit nutzten Statistiker eine „Lupe“ namens Korrelation, um diese Verbindungen zu finden. Betrachten Sie dieses alte Werkzeug als ein Lineal, das nur gerade Linien misst. Wenn zwei Dinge perfekt gemeinsam steigen, sagt das Lineal: „Ja, sie sind miteinander verbunden!“ Aber wenn die Beziehung ein Kreis, eine Welle oder ein chaotisches Zickzack ist, gerät das Lineal durcheinander und sagt: „Hier ist nichts“, selbst wenn eine Verbindung direkt vor seinen Augen verborgen liegt. Schlimmer noch: Wenn die Daten ein paar seltsame, verrauschte Ausreißer enthalten (wie einen Milliardär, der versehentlich in einer Umfrage unter Durchschnittsverdienern enthalten ist), kann das Lineal völlig versagen. Dieses Papier widmet sich einem neuen, superstarken Detektiv-Werkzeug, das darauf ausgelegt ist, jede Art von Verbindung zu finden, egal wie seltsam, chaotisch oder verborgen sie auch sein mag, um sicherzustellen, dass die Zahlen, die unsere Gesellschaft leiten, tatsächlich die Wahrheit sagen.

---

Die große Idee des Papers: Ein neuer Detektiv für chaotische Daten

Das Papier mit dem Titel „Robust Dependence Detection in Official Statistics“ stellt eine neue Methode namens Bergsma–Dassios's τ∗ (ausgesprochen „Tau-Stern“) vor. Der Autor, Sthitadhi Das, argumentt, dass dieses Werkzeug ein Wendepunkt für die offizielle Statistik ist, da es Beziehungen erkennen kann, die die alten Standardwerkzeuge übersehen.

Um zu verstehen, warum das wichtig ist, stellen Sie sich vor, Sie versuchen herauszufinden, ob die Menge an Bildung, die eine Person besitzt, mit ihrem Einkommen verknüpft ist.

• Der alte Weg (Kendall's τ und Spearman's ρ): Diese sind wie der Blick auf einen geraden Pfad einen Hügel hinauf. Wenn mehr Bildung immer mehr Geld bedeutet, funktionieren sie großartig. Aber wenn die Beziehung eine Schleife ist (vielleicht führt zu viel Bildung in einem spezifischen Bereich zu geringerem Gehalt, oder das Einkommen steigt und fällt dann wieder), gehen diese Werkzeuge verloren. Sie haben auch Schwierigkeiten, wenn die Daten durch seltsame Fehler oder Ausreiler „kontaminiert“ sind.
• Der neue Weg (τ∗): Dieses Werkzeug ist wie eine Drohne, die über die gesamte Landschaft fliegen kann. Es sucht nicht nur nach geraden Linien; es sucht nach jedem Muster. Es prüft Gruppen von vier Datenpunkten gleichzeitig, um zu sehen, ob diese „komplottieren“, um eine Beziehung aufzuzeigen. Das Papier beweist, dass τ∗ ein „konsistenter“ Detektiv ist: Wenn es irgendeine Verbindung zwischen zwei Variablen gibt, wird τ∗ sie finden. Wenn es „Null“ sagt, sind die Variablen wirklich unabhängig.

Was das Paper tatsächlich herausgefunden hat

Der Autor hat über das bloße Reden über dieses neue Werkzeug hinausgegangen und es einer strengen Testreihe unterzogen, um zu sehen, wie es gegen die Klassiker (wie Kendall's τ, Spearman's ρ und Hoeffding's D) und andere moderne Schwergewichte (wie Distance Correlation und HSIC) abschneidet.

1. Das Simulationslabor: Die Werkzeuge testen
Die Forscher erstellten 1.000 künstliche Datensätze, um verschiedene reale Szenarien zu simulieren. Sie testeten die Werkzeuge auf:

• Lineare Beziehungen: Gerade Linien (einfach).
• Nicht-monotone Beziehungen: Wellige oder kreisförmige Muster (schwer).
• Symmetrische Beziehungen: Wie eine „V“-Form, bei der das Einkommen steigt, während man sich von der Mitte entfernt (sehr schwer für alte Werkzeuge).
• Kontaminierte Daten: Datensätze mit 10 % „Rauschen“ oder Ausreißern, um reale Fehler zu simulieren.

Die Ergebnisse:

• Die alten Werkzeuge: In den „Linearen“ Tests waren Kendall's τ und Spearman's ρ großartig und erreichten eine Power von etwa 98 % (das heißt, sie fanden die Verbindung 98 von 100 Mal). Aber als die Daten wellig oder kreisförmig wurden, brach ihre Leistung ein. Bei einem Sinuswellen-Muster sank ihre Power auf etwa 45 %. Für eine „V“-Form stürzte sie auf etwa 22 % ab. Sie haben die Verbindung im Grunde übersehen.
• Hoeffding's D: Dieses Werkzeug war inkonsistent. Es versagte oft dabei, Verbindungen zu finden, und erreichte in kontaminierten Daten Werte von nur 48 %.
• Der neue Star (τ∗): Dieses Werkzeug war der MVP. Es erreichte 95,3 % bei den welligen Mustern und 93,7 % bei den „V“-Formen. Selbst als 10 % der Daten aus Müll (Ausreißern) bestanden, blieb es gelassen und erzielte 90,4 %.
• Die anderen modernen Werkzeuge: Distance Correlation und HSIC machten ebenfalls sehr gut ab und erreichten oft Werte in den 90ern, aber τ∗ hatte einen leichten Vorsprung bei der Handhabung von ordinalen Daten (Daten, die ranggeordnet sind, wie „Niedrig, Mittel, Hoch“) und blieb robust gegenüber Ausreißern.

2. Echte Detektivarbeit: Die EU-SILC-Daten
Der Autor wandte diese Werkzeuge dann auf die reale Welt an, indem er die Daten der EU-SILC (European Union Statistics on Income and Living Conditions) für Deutschland, Italien und Polen nutzte. Er untersuchte die Verbindung zwischen Bildung und Einkommen.

• In Deutschland und Italien: Die neuen Werkzeuge (τ∗, Distance Correlation und HSIC) fanden eine stärkere, signifikantere Verbindung als die alten Werkzeuge. In Deutschland lieferte τ∗ beispielsweise einen Wert von 0,151 mit einem p-Wert von 0,001 (sehr signifikant), während das alte Kendall's τ mit 0,098 niedriger war.
• In Polen: Die Verbindung war schwächer. Hier sagten die alten Werkzeuge (Kendall und Spearman), dass der Zusammenhang statistisch nicht signifikant sei (p-Werte von 0,210 und 0,240). Die modernen Werkzeuge (τ∗, Distance Correlation und HSIC) konnten jedoch ein schwaches Signal aufgreifen, wobei die p-Werte auf 0,078, 0,053 und 0,045 sanken. Dies deutな darauf hin, dass τ∗ in der Lage sein könnte, „Flüstern“ einer Beziehung aufzufangen, die die alten Werkzeuge zu taub hören.

Sie testeten auch Daten der Weltbank (BIP vs. Lebenserwartung) und den Adult Income Dataset (Bildung vs. Einkommensklasse). In jedem Fall fanden τ∗, Distance Correlation und HSIC konsequent stärkere, zuverlässigere Beweise für eine Verbindung als die traditionellen Methoden, insbesondere wenn die Daten gemischt (einige Zahlen, einige Kategorien) oder chaotisch waren.

Warum das für jeden wichtig ist

Das Paper kommt zu dem Schluss, dass die alten Werkzeuge zwar für einfache, gerade Linien noch nützlich sind, aber für die komplexen, nicht-linearen und chaotischen Realitäten der modernen Gesellschaft gefährlich blind sind.

Wenn eine Regierung die alten Werkzeuge verwendet, könnte sie einen entscheidenden politischen Einblick verpassen, weil die Daten für ein gerades Lineal wie „zufällig“ aussehen. Durch die Einführung von τ∗ können offizielle Statistiker:

• Daten besser validieren: Versteckte Fehler oder seltsame Muster in Volkszählungsdaten aufspüren.
• Versteckte politische Zusammenhänge finden: Erkennen, wie Bildung das Einkommen in verschiedenen Regionen wirklich beeinflusst, selbst wenn die Beziehung keine gerade Linie ist.
• Mit chaotischen Daten umgehen: Mit realen Umfragen arbeiten, die Ausreißer, fehlende Zahlen oder gemischte Antworttypen (wie „Hauptschule“, „College“, „Promotion“) enthalten.

Der Autor schlägt vor, dass τ∗ ein „fundiertes und rechentechnisch praktikables“ Werkzeug ist, das in das Standardrepertoire der offiziellen Statistik aufgenommen werden sollte. Es ist kein Zauberstab, der alles löst, aber es ist ein wesentlich schärferes, zuverlässigeres Vergrößerungsglas für eine Welt, die selten eine gerade Linie ist.