📊 statistics

Hypothesizing an effect size by considering individual variation

Il paper presenta un approccio per formulare ipotesi realistiche sull'effetto medio di un trattamento, partendo dalla considerazione della distribuzione degli effetti individuali e illustrando tale metodologia con esempi nei campi della medicina, dell'economia e della psicologia.

Autori originali: Andrew Gelman, Amy Krefman, Lauren Kennedy, Jessica Hullman

Pubblicato 2026-04-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Andrew Gelman, Amy Krefman, Lauren Kennedy, Jessica Hullman

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🧪 Il Segreto degli Esperimenti: Non cercare un numero, cerca una storia

Immagina di voler lanciare un nuovo farmaco o un nuovo metodo di insegnamento. Prima di iniziare, devi chiederti: "Quanto funzionerà davvero?".

Il problema è che la scienza tradizionale ci ha insegnato a cercare un solo numero magico: la "dimensione media dell'effetto". È come se chiedessimo a un cuoco: "Quanto sarà buono questo piatto?" e lui rispondesse: "Sarà un 7 su 10". Sembra utile, ma è fuorviante. Perché? Perché per alcuni sarà un 10 (delizioso), per altri un 3 (insalata stantia) e per altri ancora un 0 (non lo mangeranno proprio).

Gelman e i suoi colleghi dicono: "Smettiamola di indovinare un numero. Iniziamo a immaginare la storia di tutte le persone coinvolte."

Ecco come funziona il loro metodo, spiegato con metafore semplici:

1. Il problema della "Scommessa al buio"

Spesso gli scienziati fanno esperimenti basandosi su stime ottimistiche prese da vecchi studi (che potrebbero essere stati "truccati" per sembrare migliori di quanto sono) o su piccoli test preliminari (che sono come guardare attraverso un binocolo rotto: vedi qualcosa, ma non sai se è vero).

L'errore: Pensare che l'effetto sia uguale per tutti.
La conseguenza: Si preparano esperimenti troppo piccoli. Se l'effetto reale è più debole del previsto, l'esperimento fallisce. Se per "fortuna" esce un risultato positivo, è spesso un'illusione (un falso positivo).

2. La soluzione: Immagina la "Folla" invece del "Singolo"

Invece di chiederti "Qual è l'effetto medio?", chiediti: "Come reagiranno le diverse persone?".

Loro propongono un gioco mentale in 4 passi, come se stessi preparando una festa:

Passo 1: L'Idealista (Il caso perfetto).
Immagina le persone per cui il tuo intervento funziona alla grande.
- Metafora: Se vendi un ombrello, chi sono i clienti perfetti? Quelli che hanno appena visto un temporale e hanno bisogno disperato di uno.
- Stima: Quanto funzionerebbe per loro? Forse al 100%.
Passo 2: La Realtà (Il caos del mondo).
Ora guarda la folla reale. Non tutti sono clienti perfetti.
- Chi sono quelli a cui l'ombrello non serve? (Giornate di sole).
- Chi sono quelli che non lo comprano mai? (Odiatori degli ombrelli).
- Chi sono quelli che lo comprano ma lo dimenticano in macchina?
- Idea chiave: Invece di un numero unico, immagina una distribuzione. C'è chi ottiene un risultato enorme, chi uno piccolo, chi zero e chi addirittura un risultato negativo (es. un farmaco che a qualcuno fa stare peggio).
Passo 3: I "Nulla" (Le persone a cui non serve).
Questo è il punto cruciale. In molti campi (medicina, marketing, educazione), una grossa fetta di persone non risponderà affatto al trattamento.
- Metafora: Se lanci un annuncio pubblicitario, la maggior parte delle persone lo ignorerà. Non è che l'annuncio sia "cattivo" per loro, è semplicemente che non fa parte della loro vita.
- Regola del pollice: Gli autori suggeriscono di ipotizzare che, per interventi diretti, il 50% delle persone non abbia alcun effetto (è un "nulla"). Per il marketing, forse il 90%.
Passo 4: La Matematica della Realtà.
Ora fai il calcolo:
- Se l'effetto "perfetto" è grande (X), ma solo il 50% delle persone lo vive, e tra quelli che lo vivono la media è la metà del massimo...
- Il tuo effetto medio reale sarà molto, molto più piccolo di quello che pensavi all'inizio.
- Risultato: Invece di dire "Il farmaco funziona al 25%", potresti dire "Il farmaco salva il 100% delle persone che ne hanno bisogno, ma queste sono solo il 20% della popolazione totale, quindi l'effetto medio è del 20%".

3. Perché questo cambia tutto?

Immagina di dover costruire un ponte.

Il vecchio modo: "Scommetto che il ponte reggerà 10 tonnellate". Se sbagli, il ponte crolla.
Il nuovo modo: "Immagino che ci siano camion da 20 tonnellate, auto da 2 tonnellate e biciclette. Costruirò il ponte sapendo che la maggior parte del traffico sarà leggero, ma che ci saranno picchi pesanti".

I benefici pratici:

Esperimenti più onesti: Se sai che l'effetto medio sarà piccolo perché molti non reagiscono, non ti illuderai di trovare risultati miracolosi con pochi partecipanti. Preparerai uno studio più grande e robusto.
Meno "Crisi della Riproducibilità": Molti studi falliscono perché cercano di replicare un "numero medio" che non esiste davvero. Se capisci che l'effetto cambia da persona a persona, capisci perché un esperimento funziona in un ospedale di New York e non in una clinica rurale. Non è un errore, è variazione.
Decisioni migliori: Se sai che il tuo intervento funziona solo per un gruppo specifico (es. i "salvabili"), puoi indirizzare le risorse lì, invece di sperare che funzioni per tutti.

In sintesi

Il paper ci dice: Smetti di cercare il "Santo Graal" di un numero perfetto.
Inizia a pensare alla diversità umana. Chiediti: "Chi ne beneficerà? Chi no? Chi ne soffrirà?".
Costruendo la tua ipotesi partendo da questa "folla immaginaria", otterrai una stima media molto più realistica, eviterai di sprecare soldi in esperimenti destinati a fallire e, soprattutto, capirai davvero come funziona il mondo, che è raramente bianco o nero, ma pieno di sfumature.

È come smettere di chiedere "Quanto è alto il livello dell'acqua?" e iniziare a chiedere "Dove ci sono le onde, dove c'è la calma e dove c'è la siccità?". Solo così puoi navigare con sicurezza.

Titolo: Ipotizzare una grandezza dell'effetto considerando la variazione individuale

1. Il Problema

La pianificazione e la valutazione di esperimenti o studi osservazionali richiedono un'ipotesi realistica sulla grandezza dell'effetto medio (Average Treatment Effect - ATE). Tuttavia, le pratiche attuali per formulare queste ipotesi sono spesso difettose e portano a errori di progettazione e inferenza:

Meta-analisi e revisioni della letteratura: Soffrono del problema "garbage-in, garbage-out" a causa del bias di selezione basato sulla significatività statistica (p-hacking, pubblicazione selettiva).
Elicitazione degli esperti: Gli esperti tendono a essere ottimisti, basandosi su letteratura distorta e sulle proprie aspettative, portando a sovrastime degli effetti.
Convenzioni di Cohen (piccolo, medio, grande): Spesso sono eccessivamente ottimiste nel contesto moderno di miglioramenti incrementali.
Studi pilota: Gli studi pilota hanno campioni troppo piccoli per fornire stime affidabili della grandezza dell'effetto o della varianza residua; l'uso di queste stime rumorose per calcolare la potenza statistica porta a sottostimare drasticamente la dimensione campionaria necessaria.
Cultura statistica: La riluttanza a fare assunzioni restrittive ("Bayesian cringe") porta a presupposti troppo deboli, permettendo effetti medi implausibilmente grandi e disegni di studio ottimistici.

Il problema centrale è che i ricercatori tendono a ipotizzare un singolo numero (la media) senza considerare la distribuzione sottostante degli effetti a livello individuale, ignorando l'eterogeneità del trattamento.

2. Metodologia Proposta

Gli autori propongono un cambio di paradigma: invece di ipotizzare un singolo valore per l'effetto medio, si deve ipotizzare una distribuzione di effetti individuali. Questo approccio si basa sul principio matematico di "embedding" (inserire un problema difficile in uno più grande ma più trattabile) e sull'euristica di "ancoraggio e aggiustamento" (Tversky e Kahneman).

La metodologia si articola in quattro passaggi logici per costruire una distribuzione realistica:

Ipotizzare un effetto plausibile (X): Stimare la grandezza dell'effetto quando il trattamento funziona come previsto (basandosi su letteratura corretta per bias o ragionamento di dominio).
Considerare la variazione nel mondo reale: Definire un intervallo di effetti possibili (es. da 0 a X). Si riconosce che in condizioni reali, alcuni individui potrebbero non essere influenzati affatto o addirittura subire effetti negativi.
Convertire l'intervallo in una distribuzione: Trasformare l'intervallo in una distribuzione probabilistica (es. una normale centrata su 0.5X con scala 0.5X).
Ipotizzare la proporzione di "nulli puri" ( $p_{null}$ ): Stimare la frazione di individui per i quali l'effetto è esattamente zero (es. pazienti che non assumono il farmaco, studenti non ricettivi).
- Esempio di calcolo: Per interventi diretti, si può assumere un 50% di nulli puri. L'effetto medio stimato ($ATE$) diventa:
  $ATE \approx (1 - p_{null}) \cdot 0.5X$
  Questo riduce drasticamente l'aspettativa iniziale (dividendo per 4 o più), rendendola più conservativa e realistica.

Validazione: Gli autori hanno condotto interviste formative con ricercatori (medicina e ingegneria). Quando guidati a pensare agli effetti individuali (chi ha l'effetto massimo, chi il minimo, chi è nullo), i ricercatori hanno riveduto le loro stime iniziali, spesso riducendole o rendendole più consapevoli delle limitazioni del loro disegno di studio.

3. Risultati ed Esempi Applicativi

Il paper illustra come questo approccio modifichi la comprensione degli effetti in diversi campi:

Medicina (Esito Binario): In un trial per prevenire la morte, se si considera che il 60% dei pazienti sopravviverà comunque (tipo 1) e il 20% morirà comunque (tipo 3), solo il 20% è "salvabile". Anche se il farmaco salva il 100% di questo gruppo, l'effetto medio sulla popolazione totale è solo 0.20, non 0.65 come potrebbe sembrare in un trial di efficacia ristretto. Questo dimostra perché gli effetti osservati in trial controllati non sono direttamente trasferibili a studi di efficacia su popolazioni ampie.
Scienze Politiche: Nell'analisi dell'impatto della conoscenza di persone di un certo gruppo sulle attitudini politiche, si ipotizza che solo una frazione della popolazione (es. 1/3) sia "aperta al cambiamento". Di questa frazione, solo una parte reagisce positivamente. Il calcolo dettagliato porta a un effetto medio molto piccolo (es. 0.1 su una scala 1-5), spiegando perché gli effetti reali sono spesso difficili da rilevare e vicini al rumore.
Critica a Risultati Eccessivamente Grandi:
- Interventi sull'infanzia: Un aumento del 42% nei guadagni adulti è considerato implausibile come media, poiché implicherebbe che per molti l'effetto sia nullo e per altri sia enorme (>100%).
- Abbigliamento e ciclo mestruale: Un effetto di "fattore 3" è irrealistico come media, dato che per molte donne l'effetto è zero (non indossano mai rosso). La media reale dovrebbe essere vicina allo zero.

4. Contributi Chiave

Inversione del flusso di lavoro: Si passa dall'ipotizzare una media e poi chiedersi se c'è varianza, a ipotizzare la distribuzione della varianza individuale da cui emerge la media.
Distinzione tra Efficacia ed Effettività: Il metodo chiarisce come la composizione del campione (es. selezione di soggetti "sensibili" per massimizzare la potenza) distorca l'effetto medio osservato rispetto all'effetto medio nella popolazione reale.
Ridefinizione della Priorità Bayesiana: Suggerisce che anche in assenza di replicazione naturale, si possa definire una prior ipotizzando una distribuzione di effetti su una classe di problemi simili, piuttosto che un singolo valore.
Strumento di Diagnosi: Fornisce un modo per interrogare risultati pubblicati che sembrano "troppo belli per essere veri", smascherando sovrastime dovute a bassa potenza e bias di selezione.

5. Significato e Implicazioni

L'articolo ha profonde implicazioni per la crisi di replicabilità nella scienza:

Superamento del Null Hypothesis Significance Testing (NHST): In un mondo di effetti variabili, testare se un effetto è esattamente zero è meno rilevante. La significatività statistica non garantisce la replicabilità se l'effetto varia tra contesti e popolazioni.
Progettazione degli Studi: I ricercatori devono progettare studi considerando la loro finalità specifica (es. massimizzare la potenza per un effetto massimo vs. stimare la media della popolazione). Se l'obiettivo è la generalizzazione, è necessario campionare in modo rappresentativo o utilizzare post-stratificazione.
Interpretazione Realistica: Sposta il focus dalla ricerca di "verità scientifiche generali" da piccoli esperimenti alla modellazione della variazione (superfici di risposta), delle caratteristiche dipendenti dal contesto e delle relazioni dinamiche.

In sintesi, il paper sostiene che l'eterogeneità non è un ostacolo secondario, ma il punto di partenza per una progettazione, un'interpretazione e una generalizzazione degli studi scientifici più robuste e realistiche.