Cohen's f or Mean Standardized Differences? Assessing Covariate Balance with Multivalued Treatments

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: „Hat das neue Medikament den Patienten tatsächlich geholfen, oder war er von Natur aus schon gesünder?“ In der Welt der medizinischen Forschung vergleichen Wissenschaftler verschiedene Gruppen von Menschen – wie etwa diejenigen, die Medikament A, Medikament B oder ein Placebo nehmen –, um die Wahrheit zu finden. Aber es gibt einen Haken: Bevor sie die Ergebnisse vergleichen können, müssen sie sicherstellen, dass die Gruppen fair sind. Wenn die „Medikament A“-Gruppe zufällig aus jungen, fitten Athleten besteht, während die „Placebo“-Gruppe aus älteren Menschen mit Erkältungen besteht, ist der Vergleich hinfällig. Dies nennt man Kovariaten-Balance.

Lange Zeit hatten Wissenschaftler, wenn sie nur zwei Gruppen verglichen, ein perfektes Werkzeug, um die Fairness zu prüfen: die standardisierte Mittelwertdifferenz (Standardized Mean Difference, SMD). Man kann sie sich wie ein „Fairness-Lineal“ vorstellen, das misst, wie weit die durchschnittlichen Alter oder Gesundheitswerte zweier Gruppen auseinanderliegen. Wenn die Zahl klein ist (wie 0,1), sind die Gruppen ausgewogen; wenn sie groß ist, sind sie es nicht. Aber was passiert, wenn man drei oder mehr Gruppen hat? Plötzlich funktioniert das alte Lineal nicht mehr. Man kann nicht einfach den Abstand zwischen Gruppe A und B messen, dann B und C, und dann behaupten, man hätte die ganze Sache erledigt. Man braucht einen einzigen, „omnibus“-Score – ein Master-Messgerät, das anzeigt, ob der gesamte Raum voller Gruppen gleichzeitig fair ist. Bis jetzt haben Forscher geraten, wie sie diese paarweisen Messungen kombinieren, oder sie haben ein statistisches Werkzeug namens Cohen's f verwendet, das ursprünglich für eine andere Art von mathematischem Problem entwickelt wurde. Diese Arbeit stellt eine einfache, entscheidende Frage: Welches Werkzeug ist der beste „Fairness-Ruler“, wenn man drei oder mehr Behandlungen vergleicht?

---

Das große Showdown der Fairness-Lineale

In dieser Studie hat Dr. Ariel Linden ein riesiges digitales Simulationslabor aufgebaut, um die zwei Hauptkontender für den Titel „Bestes Multi-Group Fairness-Lineal“ zu testen. Auf der einen Seite haben wir den Status Quo, was im Grunde die Methode „Durchschnitt aller Differenzen“ ist. Stellen Sie sich vor, Sie haben drei Teams: Rot, Blau und Grün. Die Status-Quo-Methode misst die Lücke zwischen Rot und Blau, dann Blau und Grün, dann Rot und Grün, und berechnet dann entweder den Durchschnitt dieser L gaps oder wählt einfach die größte Lücke aus, um sie zu melden. Es ist wie ein Lehrer, der eine Klasse bewertet, indem er sich jedes Paar von Schülern ansieht und sagt: „Okay, der durchschnittliche Größenunterschied ist gering“, oder „Nun, das größte und das kleinste Kind sind sehr unterschiedlich, also ist die Klasse unausgewogen.“

Auf der anderen Seite steht Cohen's f, ein klassisches statistisches Werkzeug, das seit Jahrzehnten existiert, aber normalerweise zur Analyse der Varianz in Experimenten verwendet wird. Dr. Linden erkannte, dass dieses Werkzeug als „Fairness-Lineal“ für mehrere Gruppen umfunktioniert werden kann. Anstatt nur die Abstände zu mitteln, berechnet Cohen's f ein „Root-Mean-Square“ der Differenzen. Um eine spielerische Metapher zu verwenden: Wenn die Status-Quo-Methode wie das Messen der Durchschnittsgeschwindigkeit einer Gruppe von Läufern ist, dann ist Cohen's f eher wie die Berechnung der Gesamtenergie der Gruppe. Es schenkt den Läufern, die besonders weit vorne oder hinten liegen, besondere Aufmerksamkeit, gewichtet sie jedoch basierend darauf, wie viele Menschen in jeder Gruppe sind.

Das Simulationsrennen

Um zu sehen, welches Lineal tatsächlich funktioniert, hat Dr. Linden nicht nur echte Daten betrachtet, sondern eine virtuelle Welt erschaffen. Er generierte tausende fiktive Patienten mit unterschiedlichen Merkmalen (einige normal, einige schief verteilt, einige Ja/Nein-Merkmale) und ordnete sie 3, 4 oder 6 verschiedenen Behandlungsgruppen zu. Dann führte er „Confounding“ ein – ein schickes Wort für Unfairness –, indem er sicherstellte, dass bestimmte Gruppen absichtlich kränkere oder gesündere Patienten erhielten. Er testete diese Gruppen unter zwei Bedingungen: einer, in der die Gruppen perfekt ausbalanciert waren (wie bei einer zufälligen Lotterie), und einer, in der sie verzerrt waren (wie bei einem manipulierten Spiel).

Dann ließ er die Gruppen durch einen Prozess des „Propensity Score Weighting“ laufen. Stellen Sie sich dies als eine digitale Waage vor, die versucht, die Gruppen neu auszubalancieren, indem sie den unterrepräsentierten Menschen mehr Gewicht verleiht und den überrepräsentierten weniger, um die Gruppen effektiv wieder fair aussehen zu lassen. Das Ziel war zu sehen: Welches Lineal (Cohen's f oder der Durchschnitt/Max-SMD) war besser darin, vorherzusagen, ob die endgültigen Behandlungsergebnisse tatsächlich verzerrt waren?

Die Ergebnisse: Ein Unentschieden für den ersten Platz, aber mit einem Twist

Die Simulationsergebnisse waren faszinierend. Als Dr. Linden überprüfte, wie gut jedes Lineal die tatsächliche „Verzerrung“ (den Fehler im endgültigen medizinischen Fazit) vorhersagte, ergaben Cohen's f und der Durchschnitt der SMD einen Gleichstand um den ersten Platz.

• Die Korrelation: Beide Werkzeuge waren unglaublich gut darin, die Verzerrung zu verfolgen. Wenn die Gruppen unausgewogen waren, stiegen beide Zahlen an. Wenn die Gruppen ausgewogen waren, sanken beide. Die Korrelation zwischen dem Wert des Lineals und dem tatsächlichen Fehler lag bei der Betrachtung aller Daten zusammen bei etwa 0,93 für beide. Selbst wenn man nur die „korrekt gewichteten“ Gruppen betrachtete, pendelten sich beide bei etwa 0,79 ein.
• Der Verlierer: Der „Maximum SMD“ (die Methode, die einfach das schlechteste Paar von Gruppen auswählt und den Rest ignoriert) war der schwächste. Er war am wenigsten zuverlässig bei der Vorhersage der Gesamtzerrung. Es ist wie ein Lehrer, dem nur der eine Schüler wichtig ist, der die Prüfung nicht bestanden hat, und der ignoriert, dass der Rest der Klasse großartig war; er ist zu sensibel gegenüber einem einzelnen schlechten Paar und übersieht das große Ganze.

Bedeutet das also, dass Cohen's f der magische Zauberstab ist, der alles ersetzt? Nicht ganz. Die Arbeit schließt die Idee explizit aus, dass Cohen's f in Bezug auf die Genauigkeit „besser“ sei. Es schneidet genauso gut ab wie die alte Methode. Die Arbeit macht jedoch eine sehr wichtige Entdeckung über die Skalierung.

Das „Äpfel und Birnen“-Problem

Hier ist die kritischste Erkenntnis: Man kann die Werte von Cohen's f nicht direkt mit den Werten der Standardisierten Mittelwertdifferenz (SMD) vergleichen.

Stellen Sie sich vor, Sie haben zwei Thermometer. Eines misst die Temperatur in Celsius, das andere in Fahrenheit. Wenn Sie „20“ auf dem Celsius-Thermometer sehen, wissen Sie, dass es ein warmer Tag ist. Aber wenn Sie „20“ auf dem Fahrenheit-Thermometer sehen, ist es eiskalt! Sie können nicht einfach sagen: „Oh, 20 ist auf beiden gleich.“

Die Arbeit beweist mathematisch, dass Cohen's f und der Durchschnitt der SMD wie diese verschiedenen Thermometer sind.

• Wenn Sie 3 Gruppen haben, ist Cohen's f etwa 0,63 mal so groß wie der Durchschnitt der SMD.
• Wenn Sie 6 Gruppen haben, ist Cohen's f etwa 0,77 mal so groß wie der Durchschnitt der SMD.

Das bedeutet, wenn ein Forscher an eine SMD von 0,10 gewöhnt ist und denkt: „Okay, das ist eine kleine, akzeptable Unausgewogenheit“, kann er nicht einen Cohen's f von 0,10 sehen und dasselbe denken. Tatsächlich könnte ein Cohen's f von 0,10 eine größere Unausgewogenheit darstellen als eine SMD von 0,10, je nachdem, wie viele Gruppen Sie haben. Die Arbeit warnt ausdrücklich davor, die alte „0,10-Regel“ direkt auf Cohen's f anzuwenden.

Die „Gruppengrößen“-Falle

Es gibt noch einen weiteren Twist. Cohen's f hat ein eingebautes Merkmal, das die alte Methode nicht hat: Es gewichtet die Gruppen nach ihrer Größe.

• Die große Gruppe: Wenn die größte Gruppe (sagen wir 80 % der Patienten) leicht unausgewogen ist, wird Cohen's f laut darüber schreien.
• Die kleine Gruppe: Wenn eine winzige Gruppe (sagen wir 5 % der Patienten) völlig unausgewogen ist, wird Cohen's f vielleicht nur flüstern, weil sie durch die geringe Anzahl an Menschen „heruntergewichtet“ wird.

Die Arbeit illustriert dies mit einem realen Beispiel einer Herzinsuffizienz-Studie. Vor der Gewichtung war die größte Unausgewogenheit zwischen der riesigen „Kontrollgruppe“ und einer kleinen „Fernüberwachungs-Gruppe“ vorhanden. Die alte Methode (Durchschnitt der SMD) sah darin ein großes Problem (0,134). Cohen's f sah es auch, aber da die Kontrollgruppe so riesig war, erschien der Wert kleiner (0,065). Beide stimmten darin überein, dass die Gruppen unausgewogen waren, aber die Zahlen sahen unterschiedlich aus.

Der Autor argumentt, dass diese Gewichtung eine „substanzielle Entscheidung“ ist. Wenn es Ihnen um die gesamte Population geht, ist Cohen's f großartig, weil es sich auf die Gruppen konzentriert, die am wichtigsten sind (die großen). Aber wenn es Ihnen um eine seltene Behandlung geht, die nur wenige Menschen erhalten, könnte Cohen's f die Tatsache verschleiern, dass diese wenigen Menschen unfair behandelt werden.

Das Urteil

Was also sollte ein Forscher tun?

1. Keine Panik: Cohen's f ist ein gültiges, theoretisch fundiertes Werkzeug, um die Balance in Multi-Group-Studien zu prüfen. Es verfolgt die Verzerrung genauso gut wie die alten Methoden.
2. Verwechseln Sie die Lineale nicht: Verwenden Sie niemals den alten „0,10“-Grenzwert für Cohen's f. Die Zahlen befinden sich auf einer anderen Skala.
3. Schauen Sie unter die Haube: Die Arbeit empfiehlt, dass Sie, wenn Sie Cohen's f verwenden, auch die Aufschlüsselung der Zahlen angeben müssen. Sie müssen die „Pro-Level“-Scores (wie jede spezifische Gruppe abschneidet) und die „Paarweise“-Scores (wie jedes Paar von Gruppen abschneidet) sehen. Wenn Sie nur auf den einzelnen „Cohen's f“-Wert schauen, könnten Sie eine spezifische Gruppe übersehen, die in Schwierigkeiten steckt.

Letztendlich legt die Arbeit nahe, dass Cohen's f eine kraftvolle neue Ergänzung für das Werkzeug des Detektivs ist, die eine mathematisch elegante Möglichkeit bietet, mehrere Gruppen gleichzeitig zu betrachten. Aber wie jedes gute Werkzeug kommt es mit Anweisungen: Wissen Sie, wie man die Skala liest, und prüfen Sie immer die Details, bevor Sie den Fall als gelöst erklären.