📊 statistics

Statistical Compatibility, Refutational Information, and Acceptability

Questo articolo propone un quadro interpretativo frequentista che definisce i valori P e S come indici di compatibilità descrittiva e informazioni refutazionali, sottolineando come l'accettabilità pratica di un modello dipenda non solo dalla compatibilità con i dati, ma anche da un'ampia valutazione contestuale che include conoscenze, qualità dei dati e valori morali dell'analista.

Autori originali: Alessandro Rovetta

Pubblicato 2026-03-31

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alessandro Rovetta

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🌍 Il Mondo delle "Piccole Finzioni" e il Giudice Umano

Immagina che la statistica non sia una sfera di cristallo che ti dice la verità assoluta, ma piuttosto un laboratorio di realtà virtuali.

Quando uno scienziato fa un esperimento (ad esempio, testare un nuovo farmaco), costruisce un "mondo fittizio" (chiamato modello). In questo mondo, ci sono delle regole fisse:

Le regole del gioco (le assunzioni, come "i pazienti sono tutti uguali" o "il dado è truccato").
Una storia specifica (l'ipotesi, come "il farmaco non funziona").

Il P-value (il numero che tutti conoscono) è semplicemente un rapporto di compatibilità tra ciò che è successo nella realtà e ciò che il "mondo fittizio" prevedeva.

🎲 L'Analogia della Moneta

Immagina di avere una moneta. Nel tuo "mondo fittizio", diciamo: "Questa moneta è onesta (50% testa, 50% croce)".

Scenario A: Lanci la moneta 2 volte e esce 2 Teste.
- Nel mondo fittizio, questo è possibile (anche se raro). Il P-value è basso, ma non è un "impossibile logico". La moneta potrebbe essere onesta, è solo che è capitato un colpo di sfortuna.
Scenario B: Lanci la moneta 10 volte e esce 10 Teste.
- Qui il P-value è piccolissimo. Nel mondo fittizio, questo evento è così "strano" che inizi a sospettare che la storia che ti sei raccontato ("la moneta è onesta") non sia più una buona descrizione della realtà.

Il punto chiave dell'articolo: Un P-value basso non significa che il mondo fittizio sia "falso" in senso assoluto (perché dentro quel mondo, anche 10 teste sono possibili). Significa solo che l'evento osservato è molto inusuale rispetto alle regole di quel mondo.

🚦 Compatibilità vs. Incompatibilità: Perché le parole contano

L'autore ci avverte: smettiamo di usare la parola "incompatibile".
Perché? Perché "incompatibile" suona come un muro di cemento: o ci stai o non ci stai. È una parola troppo forte per la statistica.

È meglio parlare di Compatibilità a Gradi.
Immagina un termometro:

P-value alto (vicino a 1): Il dato è "molto compatibile" con la storia. È come una t-shirt che calza perfettamente.
P-value basso: Il dato è "poco compatibile". È come una t-shirt troppo stretta. Non è che la t-shirt si strappa (il modello non crolla), ma è scomoda da indossare.

Usare parole come "incompatibile" rischia di farci pensare che il modello sia rotto, quando in realtà è solo che il dato è "strano" per quel modello specifico.

🧠 L'Uscita dal Laboratorio: Il Giudizio dell'Analista

Qui arriva la parte più importante. Il P-value ti dice quanto il dato è "strano" dentro il laboratorio. Ma la vita reale non è un laboratorio.

Per decidere se un modello è accettabile (cioè se possiamo usarlo per prendere decisioni, come curare un paziente), dobbiamo uscire dal laboratorio e guardare il mondo reale. Qui entrano in gioco:

La conoscenza del mondo reale: Sappiamo che quel farmaco ha un meccanismo biologico plausibile?
La qualità dei dati: I pazienti erano davvero seguiti bene?
Il costo dell'errore (La "Perdita"): Cosa succede se ci sbagliamo?

💰 L'Analogia della Scommessa

Immagina di dover scommettere se una moneta è truccata.

Scenario 1: Se vinci guadagni 100€, se perdi non perdi nulla.
- Decisione: Scommetti subito! Anche se hai visto solo 3 teste su 3 lanci (poco raro). Il rischio è zero.
Scenario 2: Se vinci guadagni 100€, ma se perdi perdi tutti i tuoi risparmi.
- Decisione: Aspetta! Ti servono 10 teste su 10 lanci (molto raro) prima di scommettere.

Il P-value (o il suo fratello S-value) ti dice solo quanto è raro l'evento. Ma l'accettabilità della decisione dipende da quanto sei disposto a rischiare. Un dato "strano" potrebbe essere sufficiente per un piccolo errore, ma non per un errore catastrofico.

📏 L'S-Value: La "Moneta di Informazione"

L'articolo introduce l'S-value (o "surprisal") per rendere i numeri più facili da capire.
Invece di dire "P = 0,01" (che è un numero astratto), l'S-value ti dice: "Quante volte dovresti lanciare una moneta onesta per ottenere la stessa sequenza di risultati che hai visto?".

Se l'S-value è 3 bit, è come aver visto 3 teste di fila. È un po' strano, ma non allarmante.
Se l'S-value è 10 bit, è come aver visto 10 teste di fila. È molto strano, quasi incredibile.

Questo trasforma la statistica in un'esperienza concreta: quante monete oneste dovresti lanciare per vedere la stessa "sfortuna" che hai avuto?

😲 La Sorpresa: Due Significati Diversi

L'articolo distingue due tipi di "sorpresa":

Sorpresa Statistica (Shannon): "Wow, questo evento è raro secondo le regole del gioco." (Come vedere un giocatore di calcio pessimo segnare un gol miracoloso).
Sorpresa Cognitiva (Bayesiana): "Wow, devo cambiare idea su chi è quel giocatore!" (Cambiare la tua convinzione che sia un pessimo giocatore).

Il consiglio dell'autore: Nella statistica classica (frequentista), ci limitiamo alla prima. Diciamo: "Secondo le regole che abbiamo fissato, questo risultato è raro". Non diciamo: "Quindi il modello è falso". Lasciamo che sia l'analista, con il suo buon senso e le sue responsabilità morali, a decidere se quella "rarezza" è abbastanza forte da cambiare la storia.

🏁 Conclusione: Cosa dobbiamo fare?

Questo articolo ci insegna a essere umili e responsabili:

Non cercare la Verità Assoluta: I numeri statistici descrivono la relazione tra dati e un modello ipotetico, non la verità della natura.
Non usare parole pericolose: Evita di dire "incompatibile" o "prova che è falso". Usa "poco compatibile" o "dà informazioni che mettono in dubbio".
Il contesto è tutto: Un numero basso non significa automaticamente "scoperta". Devi chiederti: È plausibile? I dati sono buoni? Quanto rischio corriamo se ci sbagliamo?
Per i singoli studi: Spesso il compito migliore non è prendere una decisione definitiva ("Sì/No"), ma descrivere chiaramente quanto i dati si discostano dalle aspettative, lasciando che la comunità scientifica, nel tempo, accumuli prove e giunga a conclusioni più solide.

In sintesi: La statistica è una bussola, non un GPS che decide il destino. Spetta a noi, analisti e decisori umani, guardare la mappa, considerare il terreno e decidere dove andare.

Titolo: Compatibilità Statistica, Informazioni Refutatorie e Accettabilità

Autore: Alessandro Rovetta (International Committee Against the Misuse of Statistical Significance - ICAMSS)

1. Il Problema

Il paper affronta le ambiguità concettuali e i rischi interpretativi associati all'uso tradizionale dei valori P e dei valori S nell'ambito della statistica frequentista. In particolare, l'autore identifica i seguenti problemi critici:

Linguaggio dell'Incompatibilità: L'uso del termine "incompatibilità" (spesso associato a valori P bassi) suggerisce erroneamente un'impossibilità logica o una contraddizione strutturale tra il modello e i dati, quando in realtà si tratta solo di una misura di "rarità" o "estremità" all'interno di un mondo ipotetico.
Fallacia dell'Inversione: C'è il rischio costante di interpretare la probabilità dei dati dato un modello (frequentista) come la probabilità del modello dati i dati (bayesiana), portando a conclusioni errate sulla verità epistemica delle ipotesi.
Confusione tra Rarità e Accettabilità: La distinzione tra la rarità di un dato sotto un modello e l'accettabilità pratica di quel modello per scopi decisionali è spesso oscurata. Un valore P basso non implica automaticamente che un modello debba essere rifiutato nella realtà.
Uso Inappropriato del Concetto di "Sorprendente": La confusione tra la "sorprendenza" informazionale (Shannon) e l'aggiornamento delle credenze (Bayesiano) può generare fraintendimenti, specialmente in contesti applicati come la ricerca clinica.

2. Metodologia e Quadro Concettuale

L'autore propone un quadro interpretativo basato su una prospettiva frequentista descrittiva, distinguendo nettamente tra:

Mondi Fittizi (Small Fictional Worlds): Ogni modello statistico è definito da un insieme di assunzioni ( $A$ ) e un'ipotesi target specifica ( $H_i$ ). All'interno di questo mondo, il modello è assunto provvisoriamente come vero. I valori P e S sono calcolati esclusivamente all'interno di questo contesto ipotetico.
Distinzione tra Compatibilità e Verità: I valori P sono reinterpretati non come indicatori di falsità del modello, ma come indici graduali di compatibilità tra il risultato osservato e le previsioni del modello $A + H_i$ .
Informazione Refutatoria (Refutational Information): I valori S ( $S = -\log_2 p$ ) sono definiti come una misura dell'informazione che i dati forniscono contro l'accettabilità (non la verità epistemica) dell'ipotesi, condizionata al modello di lavoro.
Accettabilità Decisionale: Il passaggio dall'analisi interna del modello al mondo reale richiede un giudizio di "accettabilità" che integra la compatibilità dati-modello con fattori esterni: conoscenza della materia, plausibilità delle assunzioni, qualità dei dati, utilità pratica e, crucialmente, una struttura di perdita (loss function) definita dall'analista in base ai valori morali e agli obiettivi specifici.

3. Contributi Chiave

Il paper introduce diverse innovazioni concettuali e linguistiche:

Riformulazione del Linguaggio: Sostituzione del termine "incompatibilità" (che implica un conflitto binario o totale) con "compatibilità graduale". Si evidenzia come l'uso di modificatori graduali per l'"incompatibilità" sia linguisticamente e concettualmente rischioso, a differenza della "significatività".
Ridefinizione del Valore S: Il valore S non è presentato come evidenza contro la verità del modello, ma come una specifica forma di informazione refutatoria che contribuisce al corpo di informazioni usato dall'analista per giudicare se un modello rimane accettabile per uno scopo pratico.
Distinzione tra Rarità e Accettabilità: Viene chiarito che la probabilità è una quantità numerica definita dal modello, mentre la "rarità" è un giudizio interpretativo contestuale. L'accettabilità dipende dalla struttura di perdita (conseguenze degli errori), non solo dal valore P.
Distinzione delle "Sorprendenze":
- Sorprendenza Shannoniana: Misura l'informazione (in bit) di un evento raro all'interno di un modello, senza implicare revisione delle credenze.
- Sorprendenza Bayesiana: Implica un aggiornamento delle credenze a posteriori.
- L'autore avverte contro l'uso routinario della "sorprendenza Shannoniana" in contesti non tecnici per evitare la fallacia dell'inversione.
Approccio "Meno Condizionale": Per studi individuali (specialmente in epidemiologia e clinica), si raccomanda di focalizzarsi sulla descrizione trasparente della relazione dati-modello piuttosto che tentare di risolvere questioni di accettabilità pratica o prendere decisioni definitive, lasciando a meta-analisi e revisioni sistemiche il compito di sintesi delle prove accumulate.

4. Risultati e Argomentazioni Principali

I valori P non indicano impossibilità logica: Un valore P basso indica che l'evento è atipico sotto il modello, ma non che il modello sia logicamente falso o che l'evento sia impossibile.
La scala S è additiva: A differenza dei valori P, i valori S (in bit) operano su una scala logaritmica dove incrementi uguali corrispondono a quantità uguali di informazione refutatoria (es. la differenza tra 9 e 10 bit è la stessa di quella tra 19 e 20 bit).
Il ruolo dell'Analista: La valutazione dell'accettabilità è un atto umano che dipende dalla competenza, dalle intenzioni, dalle percezioni e dai valori morali dell'analista. Non esiste una scala universale di accettabilità indipendente dal contesto.
Esempio del Lancio della Moneta: Il paper utilizza l'analogia del lancio di una moneta per mostrare come la stessa quantità di informazione refutatoria (es. 3 teste su 3 lanci) possa portare a decisioni diverse a seconda della struttura di perdita (es. scommessa con perdita potenziale di 5$ vs 100$).
Gestione del Rischio di Fallacia: L'uso di termini come "compatibilità dei dati con l'ipotesi" è preferito a "compatibilità dell'ipotesi con i dati" per evitare di attribuire probabilità alle ipotesi stesse, mantenendo la coerenza logica frequentista.

5. Significato e Implicazioni

Il lavoro di Rovetta ha un'importanza significativa per la pratica statistica, specialmente nei settori ad alto rischio come la medicina:

Riduzione del Danno: Promuovendo un'interpretazione più cauta e esplicita, il paper mira a prevenire conclusioni affrettate che potrebbero portare a decisioni cliniche errate, spreco di risorse o perdita di fiducia pubblica.
Responsabilità dell'Analista: Sposta il focus dalla meccanica del calcolo statistico alla responsabilità dell'analista nel valutare l'accettabilità pratica dei modelli alla luce di tutte le evidenze disponibili.
Integrazione di Evidenze: Sottolinea che i singoli studi dovrebbero fornire descrizioni chiare delle relazioni dati-modello, mentre la valutazione complessiva dell'accettabilità di un'ipotesi dovrebbe emergere dalla sintesi di prove multiple (meta-analisi), dove i contesti di perdita e le conoscenze di dominio possono essere integrati in modo più robusto.
Chiarezza Epistemologica: Offre un framework per separare la descrizione statistica (cosa dice il modello) dal giudizio decisionale (cosa facciamo con il modello), riducendo le ambiguità che spesso affliggono la comunicazione scientifica.

In sintesi, il paper propone un passaggio da una visione meccanicistica e dichotomica della significatività statistica a una visione descrittiva, contestuale e responsabile, dove le misure statistiche sono strumenti per informare il giudizio umano sull'accettabilità di un modello, non oracoli sulla verità della realtà.