New Equivalence Tests for Approximate Independence in Contingency Tables

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Sind zwei Dinge in Ihren Daten wirklich miteinander verbunden oder tun sie nur so? Vielleicht untersuchen Sie, ob die Augenfarbe etwas mit der Haarfarbe zu tun hat, oder ob das Geschlecht eines Patienten beeinflusst, wie er auf ein bestimmtes Medikament reagiert. In der Welt der Statistik nennt man dies das Testen auf „Unabhängigkeit“.

Normalerweise suchen Detektive nach einer perfekten Übereinstimmung. Wenn die Daten keine perfekte 100-prozentige Übereinstimmung zeigen, sagen sie: „Aha! Sie sind miteinander verbunden!“ Aber im echten Leben ist nichts jemals perfekt perfekt. Manchmal sind zwei Dinge fast unabhängig, gerade so ähnlich, dass die winzigen Unterschiede nicht wirklich eine Rolle spielen. Hier kommt die „annähernde Unabhängigkeit“ ins Spiel.

Das Problem? Die alten Detektiv-Werkzeuge waren etwas klobig. Sie stützten sich auf eine Methode, die jedes Mal die Lösung eines massiven, komplizierten mathematischen Rätsels (einer sogenannten „numerischen Optimierung“) erforderte. Es war, als würde man versuchen, eine Nadel im Heuhaufen zu finden, indem man für jedes einzelne Stück Heu einen neuen Roboter baut. Das war langsam, und der Roboter blieb manchmal stecken.

Das neue Detektiv-Set
Vladimir Ostrovski, ein Statistiker aus Köln, Deutschland, hat ein brandneues, eleganteres Detektiv-Set gebaut. Anstatt mit diesem schweren mathematischen Rätsel zu kämpfen, hat er zwei neue, superschnelle Wege erfunden, um die „Distanz“ zwischen Ihren Daten und der Idee der totalen Unabhängigkeit zu messen.

Stellen Sie es sich wie das Messen vor, wie weit ein wackeliger Tisch von einer perfekt flachen Oberfläche entfernt ist.

1. Das „absolute“ Lineal ($d_a$): Dies misst den rohen Unterschied. Es ist, als würde man prüfen, wie viele Millimeter das Tischbein vom Boden entfernt ist.
2. Das „relative“ Lineal ($d_r$): Dies misst den Unterschied im Verhältnis zur Größe des Tisches. Es ist, als würde man fragen: „Ist dieses Wackeln riesig im Vergleich zur Größe des Tisches, oder ist es nur ein winziger Fleck?“

Diese neuen Lineale sind einfach zu verwenden. Man braucht keinen Supercomputer, um sie abzulesen; man kann das Ergebnis sofort berechnen.

Der „Bootstrap“-Zaubertrick
Hier ist der knifflige Teil: Um zu wissen, ob Ihre Messung ein „echter“ Unterschied oder nur ein Zufall ist, der durch eine kleine Stichprobe verursacht wurde, müssen Sie den „kritischen Wert“ kennen. Es ist, als müsste man wissen, wie viel Wackeln zu viel ist, bevor man den Tisch als kaputt bezeichnet.

Der alte Weg berechnete dies mithilfe einer theoretischen Formel, die bei Millionen von Datenpunkten hervorragend funktioniert, aber etwas wackelig wird, wenn man nur wenige hat. Um dies zu beheben, nutzt der Autor einen Trick namens Bootstrap.

Stellen Sie sich vor, Sie haben eine Tüte Murmeln, die Ihre Daten repräsentieren. Die Bootstrap-Methode ist wie das Hineingreifen in die Tüte, das Herausnehmen einer Handvoll, das Erstellen einer Kopie, das Zurücklegen der Murmeln und die Wiederholung dieses Vorgangs tausendfach, um zu sehen, wie sehr die Ergebnisse schwanken. Dies liefert ein viel genaueres Bild dessen, was bei kleineren Gruppen von Daten geschieht.

Aber es gab einen Haken: Um diesen Bootstrap-Trick für die Unabhängigkeit durchzuführen, benötigt man normalerweise einen spezifischen „Randpunkt“ – einen magischen Ort, an dem die Daten exakt an der Grenze zur Unabhängigkeit liegen. Diesen Punkt zu finden, war wie der Versuch, ein bestimmtes Sandkorn an einem Strand ohne Karte zu finden.

Die Lösung: Eine randomisierte Landkarte
Der Autor hat dies gelöst, indem er einen „randomisierten Schätzer“ erschaffen hat. Anstatt zu versuchen, dieses eine perfekte Sandkorn zu finden, wirft die Methode ein Netz über den Strand. Sie erzeugt eine Reihe von zufälligen „Exterieur-Punkten“ (Orte, die definitiv nicht unabhängig sind) und zieht dann eine Linie zwischen Ihren Daten und diesen Punkten, um die Grenze zu finden.

Es ist wie zu sagen: „Ich weiß nicht genau, wo die Waldkante ist, aber wenn ich von meinem Haus aus in Richtung eines Berges gehe, von dem ich weiß, dass er weit weg ist, werde ich schließlich die Waldkante erreichen.“ Dies macht den gesamten Prozess schnell und rechnerisch möglich, selbst für komplexe Tabellen.

Was die Simulationen zeigten
Der Autor hat nicht nur geraten; er hat ein massives Simulationslabor betrieben. Er erstellte tausende von fiktiven Datentabellen verschiedener Größen (von winzigen $2 \times 4$-Gittern bis hin zu riesigen $5 \times 5$-Gittern) und testete seine neue Methode gegen die alte.

• Die gute Nachricht: Die neuen „Bootstrap“-Tests sind viel besser darin, kleine Stichprobengrößen zu handhaben. Sie halten sich viel besser an die Regeln (das „nominale Niveau“ von 0,05) als die alten „asymptotischen“ Tests, die tendenziell zu vorsichtig (konservativ) wurden, wenn die Tabellen größer wurden.
• Der Haken: Die Tests sind nicht überall perfekt. Wenn die Daten Kategorien mit fast null Personen enthalten (wie eine Kategorie, deren Wahrscheinlichkeit nahe Null liegt), können die Tests etwas zu eifrig sein, um eine Verbindung zu finden (antikonservativ). Der Autor warnt davor, dass man besonders vorsichtig sein muss, wenn Ihre Daten leere oder fast leere Boxen enthalten.
• Der „Schrumpfungs“-Trick: Um die Tests sicherer zu machen, zeigte der Autor, dass wenn man den „Toleranzparameter“ (die Menge an Wackeln, die man akzeptieren möchte) auf 0,18 schrumpft, die Tests sehr zuverlässig werden und selten Fehlalarme auslösen.

Echtwelt-Tests
Der Autor hat sein neues Kit bei drei realen Rätseln ausprobiert:

1. Nitrendipin-Therapie: Beeinflusst das Geschlecht, wie Patienten auf dieses Blutdruckmedikament reagieren? Mit einer Stichprobe von 217 Personen deuteten die neuen Tests darauf hin, dass Geschlecht und Ergebnis annähernd unabhängig sind (sie sind nicht stark verknüpft).
2. Augen- und Haarfarbe: Gehen braune Augen immer mit braunen Haaren einher? Die Tests bestätigten das, was wir bereits wissen: Sie sind nicht unabhängig. Die Daten zeigten eine starke Verbindung, und die Tests akzeptierten Unabhängigkeit nur, wenn man eine enorme Menge an „Wackeln“ (eine Toleranz von etwa 0,58) zuließ.
3. Kinder und Einkommen: Hängt die Anzahl der Kinder einer Familie von ihrem Einkommen ab? Dieser Datensatz war riesig (25.263 Personen), aber einige Kategorien waren sehr leer. Die Tests deuteten darauf hin, dass sie annähernd unabhängig sein könnten, aber die Annäherung war aufgrund dieser leeren Kategorien „sehr ungenau“.

Das Fazit
Dieses Paper behauptet nicht, das Rätsel der Unabhängigkeit für immer gelöst zu haben. Stattdessen bietet es ein neues, schnelleres und zuverlässigeres Set an Werkzeugen für Statistiker. Es ersetzt ein langsames, schweres mathematisches Rätsel durch eine schnelle, intelligente Berechnung und eine clevere „Random Walk“-Methik, um mit kleinen Datensätzen umzugehen.

Der Autor stellt ein kostenloses „Detektiv-Kit“ (Softwarecode) online zur Verfügung, das jeder nutzen kann. Während die Tests in den meisten Situationen gut funktionieren, warnt das Paper ausdrücklich davor, dass sie mit Vorsicht zu genießen sind, wenn man es mit Datenkategorien zu tun hat, die nur sehr wenige Einträge aufweisen. Es ist eine leistungsstarke neue Art, die Welt zu betrachten, aber wie jeder gute Detektiv muss man auch wissen, wann man seine Hinweise doppelt prüfen muss.