The Difference Between "Replicable" and "Not replicable" is not Itself Scientifically Replicable

1. Enunciato del Problema

L'articolo affronta un difetto fondamentale nelle attuali pratiche metascientifiche riguardanti i tassi di replicabilità. La comunità scientifica aggrega abitualmente verdetto binari (replicato vs. non replicato) provenienti da molteplici studi per stimare un tasso medio di replicabilità ($\mu$) per un campo o per un risultato specifico. Tale tasso viene poi utilizzato per delimitare risultati "affidabili" da quelli "sospetti" o per dichiarare una "crisi della replicazione".

Gli autori sostengono che questa pratica sia statisticamente infondata perché:

1. Non-esattezza: Le replicazioni nel mondo reale sono raramente "esatte" (statisticamente equivalenti al riferimento). Differiscono per popolazioni di soggetti, procedure e contesti, introducendo eterogeneità.
2. Limitazione della Struttura dei Dati: Gli studi di replicazione standard riportano solo un verdetto binario per esperimento. Questa struttura dei dati manca delle informazioni necessarie per distinguere tra rumore di campionamento ed eterogeneità tra esperimenti.
3. L'Affermazione Centrale: La differenza tra un risultato "replicabile" (alto $\mu$) e un risultato "non replicabile" (basso $\mu$) non può essere distinguibile in modo affidabile utilizzando i metodi attuali, anche con un gran numero di replicazioni. La macchina statistica utilizzata per produrre questi verdetto perde il suo potere discriminatorio in condizioni realistiche di non-esattezza.

2. Metodologia

Gli autori formalizzano il problema utilizzando due distinti modelli statistici per catturare le fonti ontologiche della non-esattezza:

A. Il Modello di Riferimento (Tasso Latente Condiviso)

• Assunzione: Tutte le $m$ replicazioni sono scambiabili e dipendono da un unico tasso di replicabilità latente $\phi$, che è estratto da una distribuzione di popolazione con media $\mu$ e correlazione intraclasse $\rho$.
• Meccanismo: Il numero totale di successi segue una distribuzione Beta-Binomiale.
• Insight Chiave: Anche se $\rho$ (il grado di eterogeneità) è noto, la varianza della media stimata $\hat{\mu}$ presenta un pavimento di varianza irriducibile al tendere di $m \to \infty$:
  $$\lim_{m \to \infty} V(\hat{\mu}) = \mu(1-\mu)\rho$$
  Ciò significa che aggiungere più replicazioni non può eliminare l'incertezza se $\rho > 0$. I regimi di alta e bassa replicabilità avranno intervalli di confidenza sovrapposti, rendendoli indistinguibili.

B. Il Modello Operativo (Tassi Condizionatamente Indipendenti)

• Assunzione: Questo modello riflette la pratica effettiva in cui ciascuno dei $m$ esperimenti è unico (non esatto) e ha il proprio tasso di replicabilità $\phi_i$, estratto indipendentemente da una distribuzione di popolazione.
• Struttura dei Dati: Ogni esperimento $i$ contribuisce esattamente con un verdetto binario ($k_i = 1$).
• Insight Chiave: Quando $k_i = 1$, il parametro $\rho$ (eterogeneità) diventa non identificabile dai dati. La distribuzione congiunta degli esiti binari collassa in una semplice distribuzione Binomiale $Bin(m, \mu)$, indipendentemente dal vero valore di $\rho$.
• Conseguenza: I ricercatori non possono stabilire se stanno operando in un regime a bassa eterogeneità (dove più replicazioni aiutano) o in un regime ad alta eterogeneità (dove non aiutano). La struttura dei dati sottostima sistematicamente l'incertezza.

C. Esempi Numerici e Rianalisi

Gli autori validano la loro teoria attraverso:

1. Modelli Generativi: Simulazione dell'eterogeneità derivante da (a) eterogeneità del campione (diverse popolazioni di soggetti) e (b) eterogeneità dello stimolo/dosaggio (errori di somministrazione e bias). Mostrano come queste fonti fisiche mappino su valori elevati di $\rho$.
2. Caso di Studio (Many Labs 4): Una rianalisi del progetto di replicazione della "Teoria della Gestione del Terrore".
   • Hanno utilizzato un modello ausiliario a effetti casuali Normale su dimensioni dell'effetto continue (Hedges' $g$) per stimare il $\rho$ implicato.
   • Hanno mappato queste stime sul Modello di Riferimento per dimostrare che gli intervalli di varianza risultanti sono così ampi che la classificazione binaria è impossibile.

3. Contributi Chiave

• Formalizzazione della Non-Identificabilità: L'articolo dimostra che, sotto il disegno standard "un verdetto binario per esperimento", il grado di non-esattezza ($\rho$) è matematicamente non identificabile. Di conseguenza, la precisione del tasso medio di replicabilità non può essere valutata.
• Il Pavimento di Varianza Irriducibile: Stabilisce che l'eterogeneità crea un limite rigido alla precisione. A differenza dell'errore di campionamento, che diminuisce con $N$, la varianza indotta dall'eterogeneità rimane costante indipendentemente dal numero di replicazioni.
• Il "Paradosso della Replicazione": Gli autori dimostrano che aumentare il numero di replicazioni in un contesto eterogeneo può portare a una falsa sensazione di precisione (se $\rho$ è ignorato) o semplicemente fallire nel distinguere alta/bassa replicabilità (se $\rho$ è riconosciuto).
• Critica all'Aggregazione: Sostengono che aggregare i tassi di replicabilità attraverso letterature diverse (ad esempio, "la Psicologia nel suo insieme") produce una media priva di significato che confonde regimi sperimentali incommensurabili.

4. Risultati Chiave

• Perdita di Distinguibilità: Sotto eterogeneità realistica (ad esempio, $\rho = 0.15$), gli Intervalli di Densità più Alta (HDI) al 95% per un tasso di replicabilità "alto" (ad esempio, $\mu=0.80$) e un tasso "basso" (ad esempio, $\mu=0.20$) si sovrappongono significativamente, anche con $m=50$ replicazioni.
• Dimensione Campionaria Effettiva: Il numero effettivo di replicazioni indipendenti ($m_e$) crolla drasticamente all'aumentare di $\rho$. Ad esempio, nel Progetto di Riproducibilità: Psicologia ($m=100$), se $\rho=0.20$, il peso inferenziale è equivalente a sole 5 replicazioni esatte.
• Analisi di Many Labs 4:
  • Il $\rho$ stimato per la sequenza ML4 era alto (media a posteriori $\approx 0.37$ a $0.59$).
  • A questo livello di eterogeneità, l'HDI al 95% per il tasso di replicabilità stimato copre quasi l'intero intervallo [0, 1].
  • I dati non possono distinguere se l'effetto sottostante sia davvero replicabile o meno; la sequenza è "non diagnostica".
• Bias e Rumore: Il bias sistematico (ad esempio, somministrazione insufficiente degli stimoli) sposta la media $\mu$, mentre il rumore gonfia $\rho$. Entrambi distorcono il tasso di replicabilità apparente e minano la capacità di emettere verdetto binari.

5. Significato e Implicazioni

• Smentita della Narrazione della "Crisi": Gli autori sostengono che la "crisi della replicazione" non può essere stabilita con i metodi attuali. Un tasso di replicabilità basso (ad esempio, il 36%) è statisticamente indistinguibile da una letteratura sana piena di studi piccoli e rumorosi, perché il tasso di base degli effetti veri e il grado di eterogeneità sono sconosciuti.
• Fallimento della Delimitazione: La distinzione binaria tra "replicabile" e "non replicabile" non è una proprietà scientificamente replicabile di un risultato sotto le attuali metodologie.
• Raccomandazioni per la Pratica:
  • Fermare i Verdetto Binari: I ricercatori dovrebbero evitare di ridurre gli esiti della replicazione a semplici conteggi "successo/fallimento" a fini di delimitazione.
  • Strutture di Dati più Ricche: Per recuperare informazioni sull'eterogeneità, gli studi necessitano di esiti continui, misurazioni multiple per esperimento ($k > 1$) o disegni gerarchici.
  • Cambio di Focalizzazione: La replicazione dovrebbe essere utilizzata per stimare le grandezze degli effetti, caratterizzare la variabilità e calibrare le procedure, piuttosto che agire come un "tribunale" per giudicare la verità di singoli risultati.
• Avanzamento Teorico: L'articolo suggerisce che la risoluzione delle questioni di replicabilità richiede previsioni teoriche più forti (per definire l'ancora) o l'identificazione di "esperimenti minimi vitali" per eliminare il rumore ausiliario, piuttosto che semplicemente standardizzare i protocolli attorno a studi di riferimento arbitrari.

In conclusione, l'articolo fornisce una prova statistica rigorosa che il paradigma attuale di aggregazione dei verdetto binari di replicazione è fondamentalmente incapace di distinguere tra alta e bassa replicabilità in presenza dell'eterogeneità inevitabile riscontrata nella pratica scientifica.