Sintesi Tecnica: Precisione e Decisività come Obiettivi nel Test di Ipotesi Sequenziale

1. Definizione del Problema

Il test di ipotesi sequenziale offre flessibilità rispetto ai design a campione fisso, permettendo la valutazione dei dati man mano che si accumulano. Tuttavia, esiste una tensione critica tra le regole di arresto (quando interrompere la raccolta dati) e i criteri decisionali (come interpretare i dati).

• Il Problema dell'Accoppiamento: Metodi ampiamente utilizzati, come l'algoritmo HDI+ROPE (Kruschke, 2011, 2013, 2015), accoppiano direttamente la regola di arresto al criterio decisionale. L'algoritmo si interrompe non appena l'intervallo di densità massima posteriore (HDI) cade interamente all'interno o all'esterno di una Regione di Equivalenza Pratica (ROPE). Sebbene ciò permetta un'accettazione positiva dell'ipotesi nulla (a differenza del Test di Significatività dell'Ipotesi Nulla), rischia di generare bias di conferma attraverso il fenomeno del "peeking precoce" (osservazione anticipata). Un HDI ampio su un campione iniziale non rappresentativo può soddisfare il criterio decisionale prematuramente, incorrendo in un costo sistematico di falsi positivi.
• Il Probleza del Disaccoppiamento: Per eliminare il bias, il metodo "Precision is the Goal" (PitG) (Kruschke, 2015) disaccoppia la regola di arresto dalla decisione. Si interrompe solo quando viene raggiunta una determinata precisione posteriore (ampiezza dell'HDI, $\omega_{goal}$), indipendentemente dall'esito dell'ipotesi. Sebbene ciò elimini il bias da osservazione anticipata, introduce un nuovo modo di fallimento: quando l'ipotesi nulla è vera (o lo è praticamente), il PitG produce frequentemente risultati inconcludenti (l'HDI attraversa la ROPE) anziché accettare correttamente l'ipotesi nulla. Questo alto tasso di inconclusività ne limita l'utilità in campi che richiedono la conferma rigorosa del nullo, come i trial di bioequivalenza o i test di regressione del software.

Il documento identifica una lacuna: è necessario un metodo che mantenga le proprietà prive di bias del PitG (basato sulla precisione) garantendo al contempo un alto tasso di esiti decisivi, specialmente quando il nullo è vero.

2. Metodologia

L'autore propone un nuovo algoritmo, "Decisive Precision is the Goal" (DPitG), che modifica il framework PitG richiedendo che due condizioni siano soddisfatte simultaneamente prima di interrompersi:

1. Condizione di Precisione: L'ampiezza dell'HDI posteriore ($\omega_{HDI}$) deve essere minore o uguale a un valore target predefinito ($\omega_{goal}$).
2. Condizione di Decisività: L'HDI deve essere completamente all'interno (Accetta) o completamente all'esterno (Rifiuta) della ROPE.

Componenti Core

• Regola Decisionale Condivisa: Tutti e tre gli algoritmi (HDI+ROPE, PitG, DPitG) utilizzano un'identica regola decisionale basata sulla relazione tra l'HDI al 95% e i confini della ROPE:
  • Accetta Nullo: HDI $\subset$ ROPE.
  • Rifiuta Nullo: HDI $\cap$ ROPE = $\emptyset$.
  • Inconcludente: L'HDI attraversa la ROPE.
• Differenze nelle Regole di Arresto:
  • HDI+ROPE: Si interrompe immediatamente non appena viene presa una decisione (accoppiato).
  • PitG: Si interrompe immediatamente al raggiungimento di $\omega_{goal}$ (disaccoppiato), poi verifica la decisione.
  • DPitG: Continua il campionamento finché sia $\omega_{HDI} \le \omega_{goal}$ sia una decisione decisiva sia possibile.

Framework Teorico

Il documento deriva una formula di pianificazione in forma chiusa per il campione atteso ($N_{goal}$) necessario per raggiungere un obiettivo di precisione sotto un'approssimazione normale (Teorema del Limite Centrale):
$$N_{goal} \propto \frac{V}{\omega_{goal}^2}$$
dove $V$ è la varianza delle osservazioni. Per un parametro di Bernoulli $\theta$, $V \propto \theta(1-\theta)$. Questa formula consente ai ricercatori di pre-specificare il budget minimo richiesto per raggiungere una determinata precisione, fungendo da limite superiore conservativo quando $\theta_{null} = 0.5$.

Design Sperimentale

I metodi sono stati valutati utilizzando simulazioni di dati sintetici basate su prove di Bernoulli (dati binari a gruppo singolo):

• Scala: $M = 5.000$ sequenze indipendenti di fino a $N_{max} = 1.500$ prove.
• Parametri: $\theta_{null} = 0.5$, ROPE = $[0.45, 0.55]$ ($\Delta_{ROPE} = 0.1$), e $\omega_{goal} = 0.08$.
• Scenari: Testati attraverso una gamma di parametri reali ($\theta_{true}$) da 0.5 a 0.8, incluso il caso della "moneta equa" dove $\theta_{true} = \theta_{null}$.

3. Risultati Chiave

Le simulazioni dimostrano che il DPitG riesce a bilanciare il compromesso tra bias, conclusività e costo del campionamento.

Performance nel Caso della "Moneta Equa" ($\theta_{true} = 0.5$)

• HDI+ROPE: Ha raggiunto un alto tasso di conclusività (98,2%) ma ha incorso in un tasso di falsi positivi del 6,3% (rifiuto errato del nullo).
• PitG: Ha raggiunto zero falsi positivi ma ha sofferto di un tasso di inconclusività del 62,1%, non fornendo un verdetto nella maggioranza dei casi in cui il nullo era vero.
• DPitG: Ha raggiunto un tasso di conclusività del 97,8% con zero falsi positivi nello scenario della moneta equa.
  • Costo: Il costo di campionamento mediano per DPitG è stato solo del 4,7% superiore rispetto al PitG.
  • Efficienza: Mentre il PitG si interrompe esattamente a $N_{goal}$, il DPitG si interrompe a $N_{goal}$ per una frazione sostanziale di esperimenti (quelli in cui precisione e decisività si allineano precocemente), ma estende il campionamento solo quando necessario per risolvere stati indecisivi.

Sensibilità e Tendenze Generali

• Robustezza a $\omega_{goal}$: Man mano che l'obiettivo di precisione $\omega_{goal}$ veniva ristretto o allargato, il tasso di conclusività del PitG variava drasticamente (scendendo allo 0% per $\omega_{goal} = 0.10$), mentre il DPitG manteneva un alto tasso di conclusività (>97%) in tutto l'intervallo.
• Bias: L'algoritmo HDI+ROPE ha mostrato un significativo bias di stima ($\hat{\theta}$) poiché poteva interrompersi su campioni asimmetrici e a bassa precisione. Sia PitG che DPitG hanno mantenuto un bias aggregato vicino allo zero per tutti i valori di $\theta_{true}$. Tuttavia, il documento nota che sebbene la differenza aggregata sia trascurabile, alcun bias emerge quando la simmetria si rompe (ad esempio, quando $\theta_{true} \neq 0.5$), e all'interno della ROPE, il PitG mostra un bias leggermente superiore al DPitG per gli esperimenti conclusivi, mentre il pattern si inverte per gli esperimenti inconcludenti.
• Generalizzabilità: I vantaggi del DPitG rispetto al PitG (maggiore conclusività con un costo trascurabile) sono persistiti mentre $\theta_{true}$ si allontanava dal nullo, e il framework si estende a esiti continui e confronti tra due gruppi.

4. Contributi Principali

1. Algoritmo Proposto (DPitG): Una nuova regola di arresto sequenziale che impone un doppio criterio (precisione + decisività) per eliminare l'alto tasso di inconclusività del PitG mantenendo le sue proprietà di quasi-assenza di bias.
2. Formula di Pianificazione in Forma Chiusa: Una derivazione di $N_{goal} \propto V/\omega_{goal}^2$, che fornisce ai ricercatori un metodo pre-specificato e compatibile con la pre-registrazione per calcolare la dimensione del campione necessaria per un dato obiettivo di precisione.
3. Validazione Empirica: Evidenza completa tramite simulazioni che mostra come, nel caso della moneta equa, il DPitG riduca il tasso di inconclusività del PitG da ~62% a ~2% con un costo mediano di solo ~5% di campioni aggiuntivi, senza incorrere nei costi di falsi positivi dei metodi accoppiati.
4. Strumenti Pratici: La fornitura di un calcolatore interattivo online e di codice open-source per facilitare l'adozione di questi metodi in contesti applicativi.

5. Significato e Rivendicazioni

Il documento posiziona il DPitG come il metodo d'elezione per scenari in cui è richiesto un verdetto affidabile e lo studio può permettersi di raccogliere almeno $N_{goal}$ osservazioni.

• Risoluzione della Tensione: Il DPitG risolve la tensione intrinseca del PitG rendendo la precisione una condizione necessaria ma non sufficiente per l'arresto. Assicura che, quando uno studio si interrompe, il risultato sia sia preciso che decisivo.
• Rigore Scientifico: Il metodo supporta la conferma rigorosa dell'ipotesi nulla, una capacità spesso carente nella NHST e attualmente compromessa dagli alti tassi di inconclusività nel PitG. Ciò è critico in campi come la bioequivalenza, i test "do-no-harm" (non nuocere) e l'arresto per futilità.
• Compatibilità con la Pre-registrazione: Poiché la regola di arresto è completamente pre-specificata (basata su $N_{goal}$ e $\omega_{goal}$ piuttosto che su soglie dipendenti dai dati), essa si allinea agli standard di pre-registrazione e affronta l'imprecisione in fase di design implicata nella crisi della replicabilità.
• Onestà Epistemica: L'autore sostiene che il requisito di precisione sia un punto di forza, non un difetto. Esso impone una pianificazione realistica e impedisce agli analisti di dichiarare un verdetto su dati insufficienti. Se i dati non possono supportare una conclusione entro il budget, il DPitG (come il PitG) non forzerà una conclusione falsa, ma a differenza del PitG, minimizza la frequenza di tali esiti "inconcludenti" estendendo il budget di campionamento solo quando necessario.

Il documento conclude che, sebbene il DPitG possa richiedere un modesto aumento della dimensione del campione rispetto al PitG in alcuni scenari, tale costo è trascurabile rispetto al guadagno in decisività e all'evitamento degli errori sistematici di falsi positivi inerenti ai metodi accoppiati come l'HDI+ROPE.