Cohen's f or Mean Standardized Differences? Assessing Covariate Balance with Multivalued Treatments

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: "Heeft het nieuwe medicijn de patiënt werkelijk beter gemaakt, of was de patiënt van nature al gezonder?" In de wereld van medisch onderzoek vergelijken wetenschappers verschillende groepen mensen met elkaar — zoals mensen die Medicijn A nemen, Medicijn B of een placebo — om de waarheid te vinden. Maar er is een addertje onder het gras: voordat ze de resultaten kunnen vergelijken, moeten ze ervoor zorgen dat de groepen eerlijk zijn. Als de "Medicijn A"-groep toevallig vol zit met jonge, fitte atleten, terwijl de "Placebo"-groep vol zit met ouderen met griepjes, dan is de vergelijking gebroken. Dit wordt covariaatbalans genoemd.

Lange tijd hadden wetenschappers, wanneer ze slechts twee groepen vergeleken, een perfect instrument om eerlijkheid te controleren: de Standardized Mean Difference (SMD). Zie dit als een "eerlijkheidsliniaal" die meet hoe ver de gemiddelde leeftijden of gezondheidsscores van twee groepen uit elkaar liggen. Als het getal klein is (zoals 0,1), zijn de groepen in balans; als het groot is, zijn ze dat niet. Maar wat gebeurt er als je drie of meer groepen hebt? Plotseling werkt de oude liniaal niet meer. Je kunt niet zomaar de afstand tussen Groep A en B meten, en dan B en C, en dan zeggen dat je klaar bent. Je hebt een enkele, "omnibus"-score nodig — een meestermeter die je vertelt of de hele kamer met groepen tegelijkertijd eerlijk is. Tot nu toe hadden onderzoekers een methode om die paarwijze metingen te combineren, of gebruikten ze een statistisch hulpmiddel genaamd Cohen's f, dat oorspronelijk ontworpen was voor een ander soort wiskundig probleem. Dit artikel stelt een simpele, cruciale vraag: Wanneer je drie of meer behandelingen vergelijkt, welk hulpmiddel is dan de beste "eerlijkheidsliniaal"?

---

De Grote Showdown van de Eerlijkheidsliniaal

In deze studie heeft Dr. Ariel Linden een enorme digitale simulatie-omgeving opgezet om de twee belangrijkste kandidaten voor de titel "Beste Multi-Groep Eerlijkheidsliniaal" te testen. Aan de ene kant hebben we de Status Quo, wat in feid de "Gemiddelde van Alle Verschillen"-methode is. Stel je voor dat je drie teams hebt: Rood, Blauw en Groen. De Status Quo-methode meet het gat tussen Rood en Blauw, dan Blauw en Groen, en dan Rood en Groen, en berekent vervolgens ofwel het gemiddelde van die gaten, of kiest simpelweg het grootste gat om te rapporteren. Het is alsof een leraar een klas beoordeelt door naar elk paar leerlingen te kijken en te zeggen: "Oké, het gemiddelde verschil in hun lengte is klein," of "Nou, de langste en de kortste leerling zijn erg verschillend, dus de klas is uit balans."

Aan de andere kant staat Cohen's f, een klassiek statistisch hulpmiddel dat al decennia bestaat maar meestal wordt gebruikt voor het analyseren van variantie in experimenten. Dr. Linden realiseerde zich dat dit hulpmiddel hergebruikt kon worden als een "eerlijkheidsliniaal" voor meerdere groepen. In plaats van alleen de gaten te middelen, berekent Cohen's f een "root-mean-square" van de verschillen. Om een speelse metafoor te gebruiken: als de Status Quo-methode lijkt op het berekenen van de gemiddelde snelheid van een groep hardlopers, dan is Cohen's f meer als het berekenen van de totale energie van de groep. Het besteedt extra aandacht aan de hardlopers die echt ver voorop of achterop liggen, maar het weegt hen op basis van hoeveel mensen er in elke groep zitten.

De Simulatie-race

Om te zien welke liniaal echt werkt, keek Dr. Linden niet alleen naar echte gegevens; hij creëerde een virtuele wereld. Hij genereerde duizenden fictieve patiënten met verschillende kenmerken (sommige normaal, sommige scheef verdeeld, sommige ja/nee-kenmerken) en wijsde hen toe aan 3, 4 of 6 verschillende behandelgroepen. Vervolgens introduceerde hij "confounding" — een chic woord voor oneerlijkheid — door bepaalde groepen opzettelijk zieker of gezonder te maken. Hij testte deze groepen onder twee omstandigheden: één waarbij de groepen perfect in balans waren (zoals bij een willekeurige loting) en één waar ze scheef verdeeld waren (zoals bij een vals spel).

Daarna liet hij de groepen door een "propensity score weighting"-proces gaan. Stel je dit voor als een digitale weegschaal die probeert de groepen opnieuw in balans te brengen door meer gewicht te geven aan de ondervertegenwoordigde mensen en minder aan de oververtegenwoordigde mensen, waardoor de groepen er effectief weer eerlijk uitzien. Het doel was om te zien: Welke liniaal (Cohen's f of de Gemiddelde/Max SMD) was beter in het voorspellen of de uiteindelijke behandelresultaten daadwerkelijk bevooroordeeld waren?

De Resultaten: Een Gelijkspel, Maar met een Twist

De resultaten van de simulatie waren fascinerend. Toen Dr. Linden controleerde hoe goed elke liniaal de werkelijke "bias" (de fout in de uiteindelijke medische conclusie) voorspelde, trokken Cohen's f en de Gemiddelde SMD in het gelijk voor de eerste plaats.

• De Correlatie: Beide instrumenten waren ongelooflijk goed in het volgen van de bias. Wanneer de groepen uit balans waren, gingen beide getallen omhoog. Wanneer de groepen in balans waren, gingen beide omlaag. De correlatie tussen de score van de liniaal en de werkelijke fout was ongeveer 0,93 voor beide bij het bekijken van alle gegevens samen. Zelfs bij het kijken naar alleen de "correct gewogen" groepen, schommelden ze beide rond de 0,79.
• De Verliezer: De "Maximale SMD" (de methode die gewoon het slechtste paar groepen uitkiest en de rest negeert) was de zwakste. Het was de minst betrouwbare methader bij het voorspellen van de algemene bias. Het is als een leraar die alleen geeft om de ene leerling die een toets heeft gefaald en negeert dat de rest van de klas het geweldig heeft gedaan; het is te gevoelig voor één slecht paar en mist het grotere plaatje.

Dus betekent dit dat Cohen's f de magische oplossing is die alles vervangt? Niet precies. Het artikel sluit expliciet de gedachte uit dat Cohen's f "beter" is in termen van nauwkeurigheid. Het presteert net zo goed als de oude methode. Echter, het artikel maakt een zeer belangrijke ontdekking over schaal.

Het "Appels en Oranjes"-probleem

Dit is de meest cruciale bevinding: Je kunt de getallen van Cohen's f niet direct vergelijken met de getallen van de Standardized Mean Difference (SMD).

Stel je voor dat je twee thermometers hebt. De ene meet temperatuur in Celsius, en de andere in Fahrenheit. Als je "20" op de Celsius-thermometer ziet, weet je dat het een warme dag is. Maar als je "20" op de Fahrenheit-thermometer ziet, is het ijskoud! Je kunt niet zomaan zeggen: "Oh, 20 is hetzelfde op beide."

Het artikel bewijst wiskundig dat Cohen's f en de Gemiddelde SMD als die verschillende thermometers werken.

• Als je 3 groepen hebt, zal Cohen's f ongeveer 0,63 keer de grootte van de Gemiddelde SMD zijn.
• Als je 6 groepen hebt, zal Cohen's f ongeveer 0,77 keer de grootte van de Gemiddelde SMD zijn.

Dit betekent dat als een onderzoeker gewend is aan een SMD van 0,10 en denkt: "Oké, dat is een kleine, acceptabele onbalans," hij/zij niet een Cohen's f van 0,10 kan zien en hetzelfde kan zeggen. Sterker nog, een Cohen's f van 0,10 kan in feite een grotere onbalans vertegenwoordigen dan een SMD van 0,10, afhankelijk van hoeveel groepen je hebt. Het artikel waarschuwt expliciet tegen het direct toepassen van de oude "0,10-regel" op Cohen's f.

De "Groepsgrootte"-valstrik

Er is nog een extra wending. Cohen's f heeft een ingebouwde functie die de oude methode niet heeft: het weegt de groepen op basis van hun grootte.

• De Grote Groep: Als de grootste groep (bijvoorbeeld 80% van de patiënten) een beetje uit balans is, zal Cohen's f daar luid over roepen.
• De Kleine Groep: Als een kleine groep (bijvoorbeeld 5% van de patiënten) extreem uit balans is, kan Cohen's f er slechts over fluisteren, omdat het "naar beneden wordt gewogen" door het kleine aantal mensen.

Het artikel illustreert dit met een echt voorbeeld van een hartfalenstudie. Vóór de weging was de grootste onbalans tussen de enorme "Controlegroep" en een kleine "Remote Monitoring"-groep. De oude methode (Gemiddelde SMD) zag dit als een groot probleem (0,134). Cohen's f zag het ook, maar omdat de controlegroep zo groot was, leek het getal kleiner (0,065). Beiden waren het erover eens dat de groepen uit balans waren, maar de getallen zagen er anders uit.

De auteur stelt dat deze weging een "inhoudelijke keuze" is. Als je om het gehele populatie geeft, is Cohen's f geweldig omdat het zich richt op de groepen die er het meest toe doen (de grote groepen). Maar als je om een zeldzame behandeling geeft die slechts een paar mensen krijgen, kan Cohen's f het feit maskeren dat die paar mensen onrechtvaardig worden behandeld.

Het Eindoordeel

Dus, wat moet een onderzoeker doen?

1. Raak niet in paniek: Cohen's f is een valide, theoretisch onderbouwd hulpmiddel voor het controleren van balans in studies met meerdere groepen. Het volgt de bias net zo goed als de oude methoden.
2. Haal de linialen niet door elkaar: Gebruik nooit de oude "0,10"-grens voor Cohen's f. De getallen zitten op een andere schaal.
3. Kijk onder de motorkap: Het artikel adviseert dat als je Cohen's f gebruikt, je ook de uitsplitsing van de cijfers moet rapporteren. Je moet de "per-level" scores (hoe het met elke specifieke groep gaat) en de "pairwise" scores (hoe elk paar groepen met elkaar staat) zien. Als je alleen naar het enkele "Cohen's f"-getal kijkt, mis je misschien een specifieke groep die in de problemen zit.

Uiteindelijk suggereert het artikel dat Cohen's f een krachtige nieuwe toevoeging is aan de gereedschapskist van de detective, die een wiskundig elegante manier biedt om naar meerdere groepen tegelijk te kijken. Maar zoals elk goed instrument, komt het met instructies: weet hoe je de schaal leest, en controleer altijd de details voordat je de zaak als opgelost beschouwt.