Statistical Significance Revisited

Sintesi Tecnica: La Significatività Statistica Riconsiderata

Enunciato del Problema
Il documento affronta la controversia in corso riguardante il Test di Significatività dell'Ipotesi Nulla (NHST), in particolare la dipendenza dal valore $p$ e dalla soglia standard di significatività $\alpha = 0.05$. Le recenti richieste di riforma, inclusi i propositi di abbassare la soglia a 0.005, abbandonare completamente il test di significatività a favore degli intervalli di confidenza, o riportare i valori $p$ in modo continuo senza soglie, hanno acceso il dibattito sulla crisi della riproducibilità nella scienza. L'autore individua una mancanza di consenso su come bilanciare gli errori di Tipo I e di Tipo II, sulla validità dell'uso delle formule bayesiane di screening diagnostico per giustificare cambiamenti delle soglie, e sulla fattibilità di sostituire i metodi statistici basati sull'errore con la teoria delle decisioni o l'analisi costi-benefici.

Metodologia
Il documento adotta un approccio teorico e analitico per valutare varie proposte di riforma. La metodologia include:

• Derivazione Teorica: L'autore deriva la relazione tra la soglia di significatività ($\alpha$), il tasso di errore di Tipo II ($\beta$) e il Tasso di Falsi Positivi (FPR) utilizzando la formula di screening diagnostico (probabilità a posteriori bayesiana dell'ipotesi nulla). Ciò comporta l'analisi delle derivate parziali dell'FPR rispetto ad $\alpha$ e $\beta$.
• Analisi del Trade-off: Il documento dimostra matematicamente il trade-off intrinseco tra errori di Tipo I e di Tipo II nei framework frequentisti, contrapponendolo alle assunzioni fatte nei modelli di screening diagnostico, dove si afferma che la riduzione dell'errore di Tipo I riduce simultaneamente l'FPR senza aumentare l'errore di Tipo II.
• Modellazione della Probabilità di Riproducibilità: La distribuzione dei valori $p$ sotto l'ipotesi alternativa viene analizzata utilizzando l'approssimazione log-normale (basata su Hung et al., 1997) per derivare formule per la probabilità di riproducibilità.
• Analisi della Funzione di Costo: Viene costruito un framework frequentista di minimizzazione del costo per determinare i valori critici ottimali basati sui costi degli errori di Tipo I e di Tipo II, confrontandolo con la teoria dell'utilità attesa bayesiana.
• Valutazione della Severità: Il documento applica la funzione di severità di Mayo (2018) per valutare le affermazioni, dimostrando come la severità possa integrare gli intervalli di confidenza senza abbandonare il test delle ipotesi.
• Esempio Illustrativo: I concetti teorici vengono applicati a un set di dati reali riguardante l'autocorrelazione delle proporzioni di aree bruciate nelle savane dell'Africa subsahariana (2001–2020) per dimostrare il calcolo dei valori $p$, dei limiti di confidenza e della severità.

Contributi Chiave

1. Critica alla Riduzione della Soglia: Il documento sfida la proposta di abbassare la soglia di significatività da 0.05 a 0.005. Dimostra che, sebbene l'abbassamento di $\alpha$ riduca il Tasso di Falsi Positivi, aumenta inevitabilmente il tasso di errore di Tipo II ($\beta$). L'autore sostiene che il beneficio netto dipende fortemente dal "tasso di veri positivi" (o valore predittivo positivo) alla soglia attuale, una quantità praticamente impossibile da stimare con precisione nella maggior parte dei campi.
2. Distinzione tra Bayesiano e Frequentista: L'autore chiarisce che la formula di screening diagnostico utilizzata dai sostenitori della riduzione della soglia (ad es. Benjamin et al., 2017) è fondamentalmente bayesiana, basandosi su probabilità a priori ($\phi$) che sono spesso sconosciute o non calcolabili. Il documento sostiene che mescolare questa probabilità a posteriori bayesiana con le probabilità di errore frequentiste crea confusione.
3. Difesa delle Soglie: Il documento sostiene che abbandonare completamente le soglie è impraticabile perché il processo decisionale richiede spesso scelte dicotomiche. Postula che gli intervalli di confidenza e i valori $p$ sono duali l'uno dell'altro e che entrambi si basano su soglie sottostanti; riportare i valori $p$ in modo continuo senza una soglia crea semplicemente una "soglia non dichiarata".
4. Limiti dell'Analisi Costi-Benefici: L'analisi delle funzioni di costo mostra che il valore critico ottimale per minimizzare il costo atteso spesso non si allinea con i livelli di significatività standard (ad es. 0.05) e che in molti scenari reali (ad es. riscaldamento globale, sviluppo di farmaci) quantificare i costi specifici degli errori è impraticabile.
5. La Severità come Integrazione: Il documento promuove l'uso delle funzioni di severità per esplorare ulteriormente lo spazio dei parametri dopo un test di significatività, offrendo un modo per valutare la forza delle prove per affermazioni specifiche senza scartare il framework statistico basato sull'errore.

Risultati

• Analisi della Riduzione della Soglia: L'analisi matematica conferma che la riduzione di $\alpha$ riduce il Tasso di Falsi Positivi anche quando $\beta$ aumenta, ma l'entità di questa riduzione è altamente sensibile al rapporto di probabilità a priori. Il documento deriva che raddoppiare il tasso di replicazione tramite una riduzione di 10 volte della soglia è possibile solo se il tasso di veri positivi prevalente è esattamente 4/9.
• Probabilità di Riproducibilità: Il documento rileva che le probabilità di riproducibilità derivate dalle distribuzioni dei valori $p$ sono costrutti teorici che potrebbero non riflettere la realtà empirica, poiché lo scenario prevalente non è necessariamente l'ipotesi alternativa.
• Analisi dei Costi: Nei grafici illustrativi della funzione di costo, il valore critico minimizzante è risultato essere inferiore a 1.5 (corrispondente a $\alpha > 0.07$), suggerendo che le soglie standard non sono sempre la scelta che minimizza i costi, tuttavia l'applicazione dell'analisi dei costi è spesso limitata dall'incapacità di quantificare i costi degli errori.
• Esempio delle Incendi nella Savana: Nell'applicazione agli incendi nella savana, un valore $p$ di $2.37 \times 10^{-4}$ ha portato al rifiuto dell'ipotesi nulla. La funzione di severità ha confermato che l'affermazione $\beta_1 > 0.30529$ è passata con una severità di 0.95, e la probabilità di riproducibilità calcolata è stata del 93.8%.

Significato e Affermazioni
Il documento afferma che le attuali richieste di riforma spesso non tengono conto dei trade-off fondamentali tra errori di Tipo I e di Tipo II e dell'impossibilità pratica di stimare le probabilità a priori richieste per lo screening diagnostico bayesiano. L'autore sostiene che:

• I test di significatività non dovrebbero essere abbandonati, ma piuttosto compresi come strumenti per il controllo delle probabilità di errore, non come prove definitive di verità.
• La "crisi della replicazione" non è solo una questione di soglia statistica, ma coinvolge pratiche scientifiche più ampie (ad es. data dredging, arresto facoltativo).
• Sebbene gli intervalli di confidenza e le valutazioni di severità siano integrazioni preziose, non eliminano la necessità di soglie nel processo decisionale.
• La comunità scientifica non dovrebbe essere "schiava" di soglie rigide, ma dovrebbe usarle come guide mentre abbraccia l'incertezza. L'autore conclude che l'innovazione prospera nella libertà e che la soglia 0.05, nonostante i suoi difetti, è stata uno strumento fedele per identificare scoperte false, e che la scienza è infine autocorrettiva. Il documento si allinea alla posizione dell'American Statistical Association (ASA) secondo cui i valori $p$ non dovrebbero essere l'unica base per le decisioni, ma non dovrebbero essere ritirati.