📊 statistics

p-Hacking Inflates Type I Error Rates in the Error Statistical Approach but not in the Formal Inference Approach

L'articolo sostiene che il p-hacking, sebbene aumenti il tasso di errore di Tipo I nell'approccio statistico degli errori, non lo fa nell'approccio di inferenza formale poiché quest'ultimo considera irrilevante il tasso di errore familiare "reale" rispetto a quello nominale per le singole ipotesi riportate.

Autori originali: Mark Rubin

Pubblicato 2026-03-04

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mark Rubin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🎯 Il "P-Hacking": Un Inganno Statistico o Solo un Cambio di Prospettiva?

Immagina di essere un investigatore privato che deve risolvere un caso. Nel mondo della scienza, gli investigatori sono i ricercatori e i "casi" sono le ipotesi da verificare. Spesso, però, alcuni ricercatori fanno qualcosa di chiamato P-Hacking.

Cos'è il P-Hacking? È come se un investigatore provasse a indovinare il numero di una serratura provando 20 chiavi diverse. Se la prima non apre, prova la seconda, la terza... fino alla ventesima. Alla fine, trova la chiave giusta (un risultato "significativo") e dice al mondo: "Guardate! Ho trovato la chiave perfetta al primo colpo!", senza dire che ha provato 19 chiavi sbagliate prima.

L'articolo di Mark Rubin ci dice che c'è un grande dibattito su quanto questo trucco sia pericoloso. Tutto dipende da quale "regolamento di gioco" stiamo usando: il Metodo dell'Errore o il Metodo Formale.

1️⃣ Il Metodo dell'Errore (L'Approccio "Realista")

La metafora: Il Campo di Tiro Segreto

Immagina un cecchino che spara 20 colpi contro un muro di un fienile. Non colpisce nulla di preciso. Poi, prende un secchio di vernice e dipinge un bersaglio intorno a un gruppo casuale di buchi che ha fatto. Poi mostra la foto al suo amico dicendo: "Guarda quanto sono bravo! Ho centrato il bersaglio!".

Per chi usa il Metodo dell'Errore (l'approccio tradizionale), questo è un disastro.

Il problema: L'errore non è nel colpo singolo, ma nel fatto che il cecchino ha sparato tanti colpi. Se spari 20 volte, è quasi certo che almeno uno andrà a segno per caso.
La conseguenza: Se diciamo che quel singolo colpo ha una probabilità di errore del 5% (come se fosse stato l'unico colpo), stiamo mentendo. La probabilità reale di aver sbagliato bersaglio (avere un "falso positivo") è molto più alta perché abbiamo provato tante volte.
La soluzione: Bisogna controllare tutto il processo. Se scopriamo che ha sparato 20 volte, dobbiamo dire: "Il tuo risultato non vale nulla perché hai fatto troppo rumore prima di trovare il colpo giusto".

In sintesi: Per questo approccio, il P-Hacking gonfia l'errore. È come se la statistica dicesse: "Non puoi nascondere il fatto che hai provato 20 volte! La tua probabilità di successo è falsa."

2️⃣ Il Metodo Formale (L'Approccio "Logico")

La metafora: Il Menu del Ristorante

Ora immaginiamo un approccio diverso, più logico e formale.
Immagina che il cecchino non mostri le 20 pallottole sul muro, ma ti mostri solo un scontrino (il rapporto finale). Sullo scontrino c'è scritto: "Ho sparato un colpo al bersaglio X e l'ho centrato".

Per chi usa il Metodo Formale, la logica è diversa:

La regola: La statistica non guarda cosa hai fatto prima di scrivere lo scontrino (il "dietro le quinte"). Guarda solo cosa c'è scritto sullo scontrino.
Il ragionamento: Se sullo scontrino c'è scritto "Ho testato l'ipotesi X", allora la statistica calcola la probabilità basandosi solo su quel test. Non importa se hai provato 100 volte prima di decidere di scrivere quello.
L'analogia: È come se tu ordinassi una pizza al ristorante. Se il menu dice "Pizza Margherita: 10€", il prezzo è 10€. Non importa se il cuoco ha buttato via 5 pizze bruciate prima di farti quella. Il prezzo della Margherita che ti serve è quello che c'è scritto.
La conclusione: Se il ricercatore decide di non riportare i 19 fallimenti e mostra solo il successo, dal punto di vista formale, sta facendo un test diverso. Sta dicendo: "Sto testando solo questa specifica ipotesi". Quindi, la probabilità di errore rimane quella originale (5%). Non è "gonfiata", perché non stiamo confrontando il singolo test con il mucchio di tentativi nascosti; stiamo guardando solo il singolo test che ci è stato mostrato.

In sintesi: Per questo approccio, il P-Hacking non cambia la matematica del singolo test che viene pubblicato. Cambia solo la storia di come è stato scelto quel test, ma la logica matematica del test stesso rimane valida.

🤔 Perché questa differenza è importante?

L'autore, Mark Rubin, ci dice che la confusione nasce perché mescoliamo queste due visioni.

Se usi la visione dell'Errore: Il P-Hacking è un crimine statistico. Distrugge la fiducia nei risultati perché nasconde la "caccia" ai dati. La soluzione è la preregistrazione (scrivere il piano prima di iniziare, come un contratto che non puoi cambiare).
Se usi la visione Formale: Il P-Hacking è un problema di onestà intellettuale, ma non cambia la matematica del singolo numero che vedi sul giornale. Il numero è corretto per quel test specifico. Il problema è che potresti aver scelto quel test perché era l'unico che funzionava, ignorando che gli altri 19 falliti potrebbero dire che la teoria è sbagliata.

🍬 L'Esempio delle Caramelle Gommose

Immagina un ricercatore che vuole dimostrare che "mangiare caramelle gommose causa l'acne".

Prova 20 colori diversi di caramelle.
Solo le caramelle verdi danno l'acne. Le altre 19 no.
Il ricercatore pubblica solo il risultato delle caramelle verdi.
Approccio dell'Errore: "Falso! Hai provato 20 colori. È normale che uno su 20 dia l'acne per caso. Il tuo risultato è inaffidabile."
Approccio Formale: "Il tuo studio dice: 'Le caramelle verdi causano l'acne'. Se guardiamo solo le caramelle verdi, la statistica dice che c'è una probabilità del 5% che sia un caso. Il numero è corretto. Tuttavia, il fatto che tu non abbia parlato delle altre 19 caramelle è un problema per la scienza (perché nascondi prove contrarie), ma non cambia la matematica del test sulle verdi."

🚀 La Conclusione: Cosa dobbiamo fare?

L'articolo ci dice che la "crisi della replicazione" (il fatto che molti studi scientifici non funzionano quando li ripetiamo) non è colpa solo del P-Hacking che "gonfia" i numeri.

Spesso, il vero problema è che noi umani siamo bravi a trovare schemi dove non ce ne sono (come il cecchino che dipinge il bersaglio), ma siamo anche bravi a inventare storie per spiegare i risultati.

Il Metodo dell'Errore vuole controllare i numeri per evitare falsi positivi.
Il Metodo Formale ci ricorda che la matematica è logica: se dici "A causa B", la matematica controlla solo se A causa B, non se hai provato C, D ed E prima di decidere di parlare di A.

Il consiglio finale?
Non dobbiamo solo contare i numeri. Dobbiamo essere onesti su tutto il processo. Dobbiamo ammettere che a volte la nostra conoscenza è limitata e che potremmo aver ignorato pezzi importanti del puzzle. La soluzione non è solo un nuovo metodo statistico, ma un cambiamento culturale: essere più umili, ammettere i nostri errori e discutere apertamente di ciò che non abbiamo trovato, non solo di ciò che abbiamo trovato.

In pratica: Non nascondere i fallimenti, perché sono loro che ci dicono se stiamo davvero scoprendo qualcosa di vero o se stiamo solo dipingendo bersagli su un muro pieno di buchi.

Titolo

p-Hacking nell'Approccio all'Inferenza Formale: Inflazione dei Tassi di Errore di Tipo I nell'Approccio Statistico degli Errori ma non nell'Approccio all'Inferenza Formale

1. Il Problema

Il fenomeno del p-hacking (o "fishing") si verifica quando i ricercatori conducono molteplici test di significatività e selezionano selettivamente da riportare solo quelli che producono risultati desiderati (solitamente significativi, $p \le 0.05$ ), senza correggere per i test multipli.
La visione prevalente nella letteratura scientifica, basata sull'approccio statistico degli errori (Error Statistical Approach, ESA), sostiene che il p-hacking inflaziona i tassi di errore di Tipo I (falsi positivi) al di sopra del livello nominale (es. 0.05). Questo influsso è considerato una delle cause principali della crisi di replicabilità, poiché la discrepanza tra il tasso di errore "nominale" (calcolato) e quello "reale" (effettivo) invalida l'evidenza statistica.

Rubin mette in discussione questa visione univoca, proponendo che l'inflazione dell'errore di Tipo I dipenda dalla filosofia di inferenza statistica adottata. L'articolo distingue tra due approcci filosofici:

Approccio Statistico degli Errori (ESA): Associato a Deborah Mayo e Aris Spanos.
Approccio all'Inferenza Formale (FIA): Associato a Rubin stesso e alle radici logiche di Fisher, Neyman e Popper.

2. Metodologia e Quadro Teorico

L'articolo non presenta dati empirici o simulazioni, ma si basa su un'analisi concettuale e logica rigorosa. Rubin confronta i fondamenti filosofici e matematici dei due approcci per determinare come ciascuno definisca il "procedimento di test" e, di conseguenza, il tasso di errore di Tipo I rilevante.

Approccio Statistico degli Errori (ESA):
- Considera il "procedimento di test effettivo" (actual test procedure), che include tutte le scelte, le selezioni e le esplorazioni dei dati condotte dal ricercatore, anche quelle non riportate.
- Il tasso di errore di Tipo I è definito come la frequenza di errore in una lunga serie ipotetica di ripetizioni di questo procedimento completo.
- Se un ricercatore esegue 20 test e ne riporta solo uno significativo, l'ESA considera il procedimento come un test congiunto di 20 ipotesi. Il tasso di errore reale è il Familywise Error Rate (FWER): $1 - (1 - \alpha)^k$ .
- Poiché il FWER (es. ~0.64 per 20 test) è molto superiore al $\alpha$ nominale (0.05), il p-hacking è visto come un'inflazione dell'errore che rende il risultato non affidabile ("Bad Evidence, No Test" - BENT).
Approccio all'Inferenza Formale (FIA):
- Si concentra esclusivamente sull'inferenza formalmente riportata (pubblicamente specificata).
- Il tasso di errore di Tipo I è una probabilità condizionale ipotetica basata sulla distribuzione di campionamento specificata per l'ipotesi nulla esattamente come è stata riportata.
- Le procedure di scoperta (come il p-hacking) appartengono al "contesto della scoperta", non a quello della giustificazione logica.
- Rubin introduce tre categorie di inferenza:
  1. Inferenza Individuale: Decisione su una singola ipotesi nulla ( $H_{0,1}$ ). Il tasso di errore è $\alpha$ .
  2. Inferenza Unione-Intersezione: Decisione su un'ipotesi nulla intersezionale ( $H_{0,1} \cap H_{0,2}$ ). Richiede correzione per i test multipli (FWER).
  3. Inferenza Intersezione-Unione: Decisione su un'ipotesi nulla unione. Non richiede correzione.
- Nel p-hacking, i ricercatori riportano quasi sempre inferenze individuali su ipotesi selezionate, non inferenze unione-intersezione sull'intero set di test condotti.

3. Contributi Chiave e Risultati

A. La Distinzione Fondamentale: Inflazione vs. Incommensurabilità

Il contributo principale di Rubin è la dimostrazione che il p-hacking non inflaziona i tassi di errore di Tipo I nell'Approccio all'Inferenza Formale.

Nell'ESA: L'errore è inflazionato perché il "procedimento reale" (20 test) è diverso dal "procedimento riportato" (1 test). Si commette un errore confrontando il tasso nominale con il FWER reale.
Nell'FIA: Non c'è inflazione. Il tasso di errore rilevante è quello nominale dell'inferenza individuale riportata ( $H_{0,2}$ $H_{0, 2}$ ).
- Rubin argomenta che confrontare il FWER di un'ipotesi congiunta non riportata ( $H_{0,1} \cap H_{0,2}$ ) con il tasso di errore di un'ipotesi individuale riportata ( $H_{0,2}$ ) è una fallacia logica (fallacia della divisione o errore ecologico).
- Le probabilità sono incommensurabili: il FWER rappresenta la probabilità di trovare almeno un risultato significativo in un insieme di test, mentre il tasso di errore individuale rappresenta la probabilità di un falso positivo per un singolo test specifico.
- Il fatto che il ricercatore abbia "cercato" il risultato non altera la validità matematica della distribuzione di campionamento ipotetica associata al test finale riportato.

B. Il Ruolo delle Assunzioni e dell'Errore Sistematico

Rubin critica il requisito di "severità minima" dell'ESA, che richiede di escludere errori sistematici (bias, errori di modello) per validare il tasso di errore.

Nell'FIA, i tassi di errore di Tipo I sono probabilità ipotetiche (condizionali) che assumono che tutte le assunzioni del modello siano vere e che l'unico errore possibile sia il campionamento casuale.
Il p-hacking e le assunzioni non verificate possono invalidare l'inferenza sostanziale (es. "i fagioli verdi causano l'acne"), ma non invalidano l'inferenza statistica formale (es. "se le assunzioni fossero vere, la probabilità di ottenere questo risultato per caso è 0.03").
Rubin utilizza l'analogia del "Fuciliere del Texas": il fatto che il fuciliere abbia dipinto un bersaglio dopo aver sparato (p-hacking) invalida la sua abilità reale (inferenza sostanziale), ma non invalida il calcolo matematico della probabilità che un proiettile colpisca quel bersaglio specifico se sparato casualmente (inferenza formale).

C. La Nondisclosure dei Risultati Nulli

L'articolo analizza la mancata divulgazione dei risultati nulli.

Nell'ESA: La mancata divulgazione è un problema critico perché altera il FWER reale.
Nell'FIA: La mancata divulgazione non altera il tasso di errore di Tipo I dell'inferenza riportata. Tuttavia, può essere problematica per l'inferenza sostanziale se i risultati nulli non riportati sono considerati "evidenza di assenza" e sono teoricamente rilevanti.
Rubin suggerisce che la soluzione non è la preregistrazione (che nell'FIA non è necessaria per correggere l'errore statistico), ma il discorso razionale critico tra pari per identificare quali risultati nulli siano teoricamente rilevanti e quali no.

4. Significato e Implicazioni

Per la Crisi di Replicabilità

Rubin ribalta la narrazione comune sulla crisi di replicabilità:

Visione ESA: La crisi è causata da tassi di errore di Tipo I inflazionati dal p-hacking.
Visione FIA: La crisi non è dovuta all'inflazione dei tassi di errore statistici (che rimangono fissi al livello nominale), ma alla sottovalutazione degli errori interpretativi sostanziali (errori sistematici, modelli sbagliati, "unknown unknowns"). I ricercatori riportano inferenze statistiche valide (al livello nominale) ma traggono conclusioni sostanziali errate a causa di bias di selezione o assunzioni teoriche non verificate.

Per la Pratica Scientifica

Preregistrazione: Nell'FIA, la preregistrazione non è necessaria per garantire la validità del tasso di errore di Tipo I, poiché l'errore è definito dall'inferenza riportata, non dal processo di scoperta. La preregistrazione potrebbe essere utile per altri scopi (trasparenza, riduzione del bias cognitivo), ma non per correggere l'inflazione statistica nell'FIA.
Audit e Revisione: Invece di cercare di ricostruire il "procedimento reale" (spesso impossibile o indeterminato), la comunità scientifica dovrebbe concentrarsi sulla valutazione critica delle inferenze formalmente riportate e sulla discussione delle assunzioni teoriche sottostanti.
Definizione di P-Hacking: Il p-hacking non è necessariamente una frode statistica che invalida i numeri, ma una pratica che può portare a inferenze sostanziali fuorvianti se non contestualizzata correttamente.

Conclusione

Il paper di Rubin offre una distinzione filosofica cruciale: mentre l'approccio statistico degli errori vede il p-hacking come un'inflazione dell'errore che distrugge la validità del test, l'approccio all'inferenza formale vede il p-hacking come un processo di scoperta che non altera la validità logica dell'inferenza statistica finale riportata, purché questa sia definita come un'inferenza individuale. La soluzione alla crisi di replicabilità, secondo Rubin, risiede non in nuove correzioni statistiche, ma in un cambiamento epistemologico che riconosca i limiti della conoscenza umana e l'importanza della critica razionale delle inferenze sostanziali, piuttosto che della sola validazione procedurale dei tassi di errore.