📊 statistics

Cohen's f or Mean Standardized Differences? Assessing Covariate Balance with Multivalued Treatments

Questo articolo introduce un comando Stata per estendere l'f di Cohen e le differenze medie standardizzate (SMD) per la valutazione del bilanciamento delle covariate in trattamenti multivalore, dimostrando attraverso simulazioni che l'f di Cohen segue il bias di stima con la stessa efficacia della SMD media assoluta, fornendo al contempo un'alternativa teoricamente fondata all'approccio della SMD massima, attualmente prevalente ma meno ottimale.

Autori originali: Ariel Linden

Pubblicato 2026-08-12

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ariel Linden

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero: "Il nuovo medicinale ha effettivamente fatto guarire il paziente, o il paziente era semplicemente più sano fin dall'inizio?". Nel mondo della ricerca medica, gli scienziati confrontano spesso diversi gruppi di persone — come quelli che assumono il Farmaco A, il Farmaco B o un placebo — per trovare la verità. Ma c'è un intoppo: prima di poter confrontare i risultati, devono assicurarsi che i gruppi siano equi. Se il gruppo del "Farmaco A" è composto da giovani atleti in forma, mentre il gruppo del "Placebo" è pieno di anziani con l'influenza, il confronto è compromesso. Questo si chiama covariate balance (bilanciamento delle covariate).

Per molto tempo, quando gli scienziati confrontavano solo due gruppi, avevano uno strumento perfetto per verificare l'equità chiamato Standardized Mean Difference (SMD). Immaginalo come un "righello della correttezza" che misura quanto siano distanti le età medie o i punteggi di salute di due gruppi. Se il numero è piccolo (come 0,1), i gruppi sono bilanciati; se è grande, non lo sono. Ma cosa succede quando hai tre o più gruppi? Improvvisamente, il vecchio righello non funziona più. Non puoi semplicemente misurare la distanza tra il Gruppo A e B, poi tra B e C, e dire che hai finito. Hai bisogno di un punteggio "omnibus" unico — un metro maestro che ti dica se l'intera stanza di gruppi è equa in un colpo solo. Fino ad ora, i ricercatori hanno cercato di indovinare come combinare queste misurazioni a coppie, oppure hanno usato uno strumento statistico chiamato Cohen's f, che era stato progettato originariamente per un tipo diverso di problema matematico. Questo articolo pone una domanda semplice ma cruciale: quando si confrontano tre o più trattamenti, quale strumento è il miglior "righello della correttezza"?

Lo Scontro dei Grandi Righelli della Correttezza

In questo studio, la Dr.ssa Ariel Linden ha allestito un enorme laboratorio di simulazione digitale per testare i due principali contendenti per il titolo di "Miglior Righello della Correttezza Multi-Gruppo". Da un lato, abbiamo lo Status Quo, che è fondamentalmente il metodo dell' "Media di Tutte le Differenze". Immagina di avere tre squadre: Rossa, Blu e Verde. Il metodo dello Status Quo misura il divario tra Rossa e Blu, poi tra Blu e Verde, poi tra Rossa e Verde, e poi o fa la media di questi divari o sceglie semplicemente il più grande da riportare. È come un insegnante che valuta una classe guardando ogni coppia di studenti e dicendo: "Ok, la differenza media nelle loro altezze è piccola", oppure "Beh, il bambino più alto e quello più basso sono molto diversi, quindi la classe è sbilanciata".

Dall'altro lato c'è il Cohen's f, uno strumento statistico classico che esiste da decenni, ma che di solito viene usato per analizzare la varianza negli esperimenti. La Dr.ssa Linden ha capito che questo strumento poteva essere riadattato come "righello della correttezza" per gruppi multipli. Invece di limitarsi a fare la media dei divari, il Cohen's f calcola una "media dei quadrati" (root-mean-square) delle differenze. Per usare una metafora giocosa: se il metodo dello Status Quo è come calcolare la velocità media di un gruppo di corridori, il Cohen's f è più simile al calcolo dell'energia totale del gruppo. Presta un'attenzione extra ai corridori che sono molto avanti o molto indietro, ma li pesa in base a quante persone ci sono in ogni gruppo.

La Corsa della Simulazione

Per vedere quale righello funzioni davvero, la Dr.ssa Linden non si è limitata a guardare dati reali; ha creato un mondo virtuale. Ha generato migliaia di pazienti finti con diverse caratteristiche (alcune normali, alcune asimmetriche, alcune caratteristiche sì/no) e li ha assegnati a 3, 4 o 6 diversi gruppi di trattamento. Ha poi introdotto il "confounding" — una parola elegante per indicare l'ingiustizia — rendendo intenzionalmente certi gruppi più malati o più sani. Ha testato questi gruppi in due condizioni: una in cui i gruppi erano perfettamente bilanciati (come una lotteria casuale) e una in cui erano sbilanciati (come un gioco truccato).

Ha poi fatto passare i gruppi attraverso un processo di "pesatura del propensity score". Immagina questo come una bilancia digitale che cerca di ri-bilanciare i gruppi dando più peso alle persone sottorappresentate e meno a quelle sovrarappresentate, rendendo di fatto i gruppi di nuovo equi. L'obiettivo era vedere: Quale righello (Cohen's f o la Media/Max SMD) era migliore nel prevedere se i risultati finali del trattamento fossero effettivamente distorti?

I Risultati: Un Pareggio per il Primo Posto, ma con un Colpo di Scena

I risultati della simulazione sono stati affascinanti. Quando la Dr.ssa Linden ha controllato quanto bene ogni righello prevedesse l'effettiva "distorsione" (l'errore nella conclusione medica finale), il Cohen's f e la Media SMD si sono contesi il primo posto a pari merito.

La Correlazione: Entrambi gli strumenti sono stati incredibilmente bravi a tracciare la distorsione. Quando i gruppi erano sbilanciati, entrambi i numeri salivano. Quando i gruppi erano bilanciati, entrambi scendevano. La correlazione tra il punteggio del righello e l'errore effettivo era di circa 0,93 per entrambi guardando tutti i dati insieme. Anche guardando solo i gruppi "correttamente pesati", entrambi si aggiravano intorno a 0,79.
Il Perdente: Il "Maximum SMD" (il metodo che sceglie semplicemente la singola coppia peggiore di gruppi e ignora il resto) era il più debole. Era il meno affidabile nel prevedere la distossione complessiva. È come un insegnante che si preoccupa solo dello studente che è stato bocciato e ignora il fatto che il resto della classe è andato benissimo; è troppo sensibile a una singola coppia negativa e perde di vista il quadro generale.

Quindi, questo significa che il Cohen's f è la bacchetta magica che sostituisce tutto? Non esattamente. L'articolo esclude esplicitamente l'idea che il Cohen's f sia "migliore" in termini di accuratezza. Le sue prestazioni sono uguali a quelle del vecchio metodo. Tuttavia, l'articolo fa una scoperta molto importante sulla scala.

Il Problema "Mele con Arance"

Ecco il risultato più critico: Non si possono confrontare direttamente i numeri del Cohen's f con i numeri della Standardized Mean Difference (SMD).

Immagina di avere due termometri. Uno misura la temperatura in Celsius e l'altro in Fahrenheit. Se vedi "20" sul termometro Celsius, sai che è una giornata calda. Ma se vessi "20" sul termometro Fahrenheit, sarebbe gelido! Non puoi semplicemente dire: "Oh, 20 è uguale su entrambi".

L'articolo dimostra matematicamente che il Cohen's f e la Media SMD sono come quei diversi termometri.

Se hai 3 gruppi, il Cohen's f sarà circa 0,63 volte la dimensione della Media SMD.
Se hai 6 gruppi, il Cohen's f sarà circa 0,77 volte la dimensione della Media SMD.

Questo significa che se un ricercatore è abituato a vedere un SMD di 0,10 e pensa: "Ok, questo è un piccolo squilibrio accettabile", non può guardare un Cohen's f di 0,10 e dire la stessa cosa. In effetti, un Cohen's f di 0,10 potrebbe rappresentare uno squilibrio maggiore di un SMD di 0,10, a seconda di quanti gruppi hai. L'articolo avverte esplicitamente di non applicare direttamente la vecchia "regola dello 0,10" al Cohen's f.

La Trappola della "Dimensione del Gruppo"

C'è un altro colpo di scena. Il Cohen's f ha una caratteristica integrata che il vecchio metodo non ha: pesa i gruppi in base alla loro dimensione.

Il Gruppo Grande: Se il gruppo più grande (diciamo l'80% dei pazienti) è leggermente sbilanciato, il Cohen's f lo urlerà ad alta voce.
Il Gruppo Piccolo: Se un gruppo minuscolo (diciamo il 5% delle persone) è selvaggiamente sbilanciato, il Cohen's f potrebbe sussurrare, perché è "pesato" verso il basso dal piccolo numero di persone.

L'articolo illustra questo con un esempio reale di uno studio sull'insufficienza cardiaca. Prima della pesatura, il maggiore squilibrio era tra il gruppo enorme di "Controllo" e un piccolo gruppo di "Monitoraggio Remoto". Il vecchio metodo (Media SMD) vedeva questo come un grosso problema (0,134). Il Cohen's f lo vedeva anche lui, ma poiché il gruppo di Controllo era così grande, il numero appariva più piccolo (0,065). Entrambi concordavano sul fatto che i gruppi fossero sbilanciati, ma i numeri apparivano diversi.

L'autore sostiene che questo pesaggio è una "scelta sostanziale". Se ti interessa l'intera popolazione, il Cohen's f è ottimo perché si concentra sui gruppi che contano di più (quelli grandi). Ma se ti interessa un trattamento raro che riceve solo poche persone, il Cohen's f potrebbe nascondere il fatto che quelle poche persone vengono trattate in modo iniquo.

Il Verdetto

Quindi, cosa dovrebbe fare un ricercatore?

Non farsi prendere dal panico: Il Cohen's f è uno strumento valido e teoricamente solido per controllare il bilanciamento in studi con più gruppi. Traccia la distorsione altrettanto bene dei vecchi metodi.
Non confondere i righelli: Non usare mai il vecchio limite dello "0,10" per il Cohen's f. I numeri sono su una scala diversa.
Guardare sotto il cofano: L'articolo raccomanda che, se si usa il Cohen's f, bisogna anche riportare il dettaglio dei numeri. È necessario vedere i punteggi "per livello" (come sta ogni specifico gruppo) e i punteggi "a coppie" (come sta ogni coppia di gruppi). Se guardi solo il singolo numero del "Cohen's f", potresti perdere di vista un gruppo specifico che è in difficoltà.

In definitiva, l'articolo suggerisce che il Cohen's f è un potente nuovo elemento per il kit degli attrezzi del detective, offrendo un modo matematicamente elegante per guardare più gruppi contemporaneamente. Ma come ogni buon strumento, viene con delle istruzioni: impara a leggere la scala e controlla sempre i dettagli prima di dichiarare il caso risolto.

Sintesi Tecnica: Valutazione del Bilanciamento delle Covariate con Trattamenti Multivalore

Problema
Nella ricerca sulla comparazione dell'efficacia che coinvolge trattamenti multivalore ( $k \ge 3$ gruppi), non esiste uno standard omnibus stabilito per la valutazione del bilanciamento delle covariate. La pratica prevalente consiste nel calcolare le differenze medie standardizzate (SMD) a coppie per tutte le combinazioni di gruppi e nel riportare il valore medio o il valore massimo di tali valori. Sebbene efficace per la selezione del modello, questa aggregazione manca di un collegamento teorico diretto con il $d$ di Cohen (lo standard per i confronti tra due gruppi) e non offre un modo principato per estendere la soglia stabilita di "bilanciamento trascurabile" (ad esempio, $|SMD| < 0,1$) per $k > 2$ gruppi. Inoltre, questi indici SMD aggregati non sono stati formalmente confrontati con le alternative di generalizzazione della dimensione dell'effetto, come il $f$ di Cohen, riguardo alla loro capacità di predire il bias degli effetti del trattamento a valle.

Metodologia
Il documento propone e valuta il $f$ di Cohen come statistica di bilanciamento omnibus per trattamenti multivalore, estendendolo a modelli arbitrari pesati e aggiustati per le covariate.

Quadro Statistico:
- $f$ di Cohen: Definito come la radice quadrata della media ponderata delle deviazioni standardizzate di ciascun gruppo dalla media combinata: $f = \sqrt{\sum w_j d_j^2}$ , dove $w_j$ sono i pesi dei gruppi e $d_j$ sono le deviazioni standardizzate.
- Implementazione: L'autore estende il calcolo del $f$ oltre l'ANOVA a una via semplice ai modelli stimati (ad esempio, il pesaggio tramite punteggio di propensione generalizzato) utilizzando il comando Stata esizereg. Ciò consente di derivare il $f$ da margini predittivi aggiustati piuttosto che dai semplici valori medi campionari, garantendo la validità sotto aggiustamento per covariate e pesatura.
- Decomposizione: Il metodo fornisce una decomposizione per livello ( $d_j$ ) e confronti a coppie ( $d_{jj'}$ ) per identificare le fonti specifiche di squilibrio.
- Relazione Teorica: L'autore deriva una relazione matematica esatta che mostra come il $f$ sia una funzione quadratica pesata per dimensione delle SMD a coppie, mentre il valore assoluto della media delle SMD ( $|d|$ ) è una media lineare non ponderata. Dimostra inoltre che, in condizioni di pesi di gruppo uguali, il rapporto $f/|d|$ ha un valore minimo specifico determinato da $k$ e dalla spaziatura delle medie dei gruppi.
Studio di Simulazione:
- Design: È stato condotto uno studio di simulazione con $k \in \{3, 4, 6\}$ gruppi di trattamento e dimensioni campionarie $N \in \{200, 500, 2000, 10000\}$ .
- Condizioni: I dati sono stati generati sotto diverse intensità di confondimento ( $\gamma$ ) e scenari di bilanciamento dei gruppi (uguali o disuguali). I punteggi di propensione sono stati stimati sotto modelli correttamente specificati e mal specificati (omettendo un termine di interazione).
- Validazione: Le prestazioni del $f$ di Cohen sono state confrontate con la media del valore assoluto della SMD ( $|d|$ ) e il massimo valore assoluto della SMD ( $|d|_{max}$ ) correlando questi indici con il reale bias delle stime dell'effetto del trattamento a valle.
- Robustezza: Uno scenario secondario ha testato un modello di esito non lineare/interazione per garantire che i risultati non fossero artefatti di una struttura di esito lineare.

Risultati Chiave

Tracciamento del Bias: Il $f$ di Cohen traccia il bias di stima a valle in modo comparabile alla media del valore assoluto della SMD ( $|d|$ ). Nell'analisi combinata, la correlazione tra $f$ e il bias era $r = 0,93$ , quasi identica a quella di $|d|$ ( $r = 0,94$ ). Entrambi hanno superato il valore massimo assoluto della SMD ( $|d|_{max}$ ), che ha mostrato la correlazione più debole ( $r \approx 0,92$ ). Questa classifica è rimasta valida in bracci correttamente specificati, mal specificati e non pesati, così come nello scenario di esito non lineare.
Discrepanza di Scala: $f$ e $|d|$ non sono numericamente confrontabili. Il rapporto $f/|d|$ è sistematicamente inferiore a 1 e dipende dal numero di gruppi ( $k$ ) e dal bilanciamento delle dimensioni dei gruppi. Ad esempio, per $k=3$ , il rapporto è circa 0,63, salendo a 0,77 per $k=6$ . Di conseguenza, le soglie convenzionali della SMD (ad esempio, 0,1) non possono essere applicate direttamente al $f$ .
Sensibilità alla Pesatura: La relazione tra $f$ e $|d|$ è influenzata dalle dimensioni dei gruppi. Poiché il $f$ pesa le deviazioni in base alla dimensione del gruppo ( $w_j$ ), lo squilibrio nei gruppi grandi contribuisce all'indice omnibus più di quanto faccia lo squilibrio nei gruppi piccoli. Al contrario, $|d|$ tratta tutte le coppie allo stesso modo.
Robustezza: La performance comparativa di $f$ e $|d|$ è rimasta stabile anche quando il modello di esito includeva termini non lineari e interazioni non catturate dai diagnostici del primo momento.

Significatività e Raccomandazioni
Il documento conclude che il $f$ di Cohen è un indice omnibus teoricamente fondato e valido per valutare il bilanciamento delle covariate nei trattamenti multivalore, offrendo una generalizzazione diretta del framework del $d$ a due gruppi.

Standard di Reporting: L'autore raccomanda di riportare il $f$ insieme alle sue decomposizioni per livello e per coppia. Affidarsi esclusivamente al $f$ omnibus può mascherare un grave squilibrio in coppie specifiche, specialmente se tale squilibrio si verifica in gruppi più piccoli, dove la pesatura dimensionale del $f$ ne attenua il contributo.
Soglie: I ricercatori non devono applicare direttamente le soglie standard della SMD (ad esempio, 0,1) al $f$ . Poiché la scala differisce sistematicamente, gli investigatori devono derivare le proprie soglie di bilanciamento basandosi sulla specifica relazione tra il $f$ e il bias nel proprio disegno di studio, anziché importare soglie calibrate per le SMD a coppie.
Scelta del Diagnostico: Sebbene $f$ e $|d|$ forniscano prestazioni simili nel tracciare il bias, essi offrono prospettive diverse. Il $f$ è sensibile al pattern complessivo di squilibrio pesato per dimensione del gruppo, mentre $|d|$ fornisce una media non pesata. $|d|_{max}$ è il meno affidabile per tracciare il bias complessivo a causa della maggiore varianza campionaria, pur rimanendo il rilevatore più diretto di una singola coppia peggiore.

Lo studio sottolinea che, sebbene il $f$ fornisca un riepilogo unificato del bilanciamento basato sulla dimensione dell'effetto, la scelta del diagnostico deve essere trasparente e l'importanza sostanziale dei contrasti di trattamento (ad esempio, bracci di trattamento rari) deve guidare la decisione su quali metriche (pesate per dimensione o non pesate) dare priorità.