Exploration, Confirmation, and Replication in the Same Observational Study: A Two Team Cross-Screening Approach to Studying the Effect of Unwanted Pregnancy on Mothers' Later Life Outcomes

Titolo: Esplorazione, Conferma e Replicazione nello stesso studio osservazionale: Un approccio di "Cross-Screening" a due team per studiare l'effetto delle gravidanze indesiderate sugli esiti futuri delle madri.

Autori: Samrat Roy, Marina Bogomolov, Ruth Heller, Amy M. Claridge, Tishra Beeson, Dylan S. Small.

1. Il Problema e il Contesto

Gli effetti a lungo termine delle gravidanze indesiderate portate a termine sulla salute mentale, fisica, sul benessere economico e sulla soddisfazione di vita delle madri sono stati scarsamente esplorati. La maggior parte degli studi si è concentrata su effetti a breve termine o su un solo aspetto (es. depressione).
Esiste una sfida metodologica fondamentale negli studi osservazionali: come conciliare tre fasi cruciali della ricerca scientifica in un unico dataset, specialmente quando si dispone di un solo set di dati con caratteristiche uniche (come il Wisconsin Longitudinal Study - WLS)?

• Analisi Esplorativa (EDA): Necessaria per generare nuove ipotesi non previste e identificare variabili rilevanti.
• Analisi Confermativa: Necessaria per testare rigorosamente le ipotesi con controllo degli errori.
• Replicazione: Necessaria per garantire che i risultati non siano falsi positivi o specifici di un sottogruppo particolare.

Tradizionalmente, queste fasi richiedono dataset multipli o vengono eseguite in sequenza su dataset diversi, il che non è possibile quando si ha a disposizione un solo dataset prezioso e unico.

2. Metodologia: Cross-Screening a Due Team

Gli autori propongono una nuova metodologia chiamata "Two Team Cross-Screening" (Screening incrociato a due team) che permette di eseguire EDA, conferma e replicazione sullo stesso dataset.

Fasi del Procedimento:

1. Discussione Pre-Analisi: Tutti i ricercatori esaminano le variabili (covariate e trattamento) e decidono come dividere il dataset e il team di ricerca. La divisione dei dati deve basarsi su un fattore che porti a ricevere il "trattamento" (gravidanza indesiderata) per motivi relativamente diversi nei due sottogruppi, al fine di mitigare i bias nascosti.
2. Divisione del Team e dei Dati: I ricercatori si dividono in due team indipendenti (Team A e Team B). Il dataset viene diviso in due parti disgiunte (es. Cattoliche vs Non Cattoliche). Ogni team ha accesso solo alla propria parte di dati per l'esplorazione, ma non a quella dell'altro team.
3. Analisi Esplorativa (EDA):
   • Il Team A analizza la sua parte di dati (es. Cattoliche) per esplorare nuove ipotesi e progettare un piano di analisi statistica per la parte di dati del Team B (es. Non Cattoliche).
   • Il Team B fa lo stesso inverso.
   • Ogni team può generare ipotesi inaspettate e scegliere statistiche di test ottimali basandosi sui dati esplorati.
4. Analisi Confermativa:
   • Il piano di analisi (incluso il codice) sviluppato dal Team A viene eseguito sulla parte di dati del Team B.
   • Il piano del Team B viene eseguito sulla parte di dati del Team A.
   • Il livello di errore globale (FWER - Family-Wise Error Rate) è controllato a $\alpha$ (es. 0.05), con ogni team che spende $\alpha/2$.
5. Reporting dei Risultati:
   • Rifiuto Globale: Se un'ipotesi viene rifiutata da almeno uno dei due team (sulla parte di dati dell'altro), si rifiuta l'ipotesi nulla globale.
   • Replicabilità: Se un'ipotesi viene rifiutata da entrambi i team (ovvero, il piano di A funziona sui dati di B E il piano di B funziona sui dati di A), il risultato è considerato replicabile. La probabilità di falsi positivi nella replicabilità è controllata a $\alpha$.

3. Applicazione allo Studio (Dati WLS)

• Dataset: Wisconsin Longitudinal Study (WLS), che segue i laureati del 1957 del Wisconsin.
• Trattamento: Gravidanza indesiderata portata a termine (identificata a 36 anni).
• Divisione dei Dati: Basata sull'appartenenza religiosa (Cattoliche vs Non Cattoliche). La logica è che le cattoliche potrebbero avere gravidanze indesiderate per motivi religiosi (opposizione alla contraccezione), mentre le non cattoliche per motivi diversi (mancata o errata contraccezione). Questo riduce la possibilità che un bias nascosto specifico spieghi i risultati in entrambi i gruppi.
• Matching: Utilizzo del Risk-set matching per controllare le variabili confondenti (storia familiare, caratteristiche adolescenziali, ecc.) al momento della gravidanza, evitando bias dovuti a variabili post-trattamento (es. livello di istruzione raggiunto dopo la gravidanza).

4. Risultati Chiave

L'applicazione del metodo ha prodotto le seguenti scoperte:

• Risultati Confermati (Global Null):
  • Le madri con gravidanze indesiderate mostrano punteggi di depressione significativamente più alti (misurati a 53 anni).
  • Minore auto-accettazione (self-acceptance).
  • Tassi più alti di divorzi o separazioni dopo l'evento.
  • Maggiore probabilità di ulteriori gravidanze indesiderate.
• Replicabilità:
  • Nessun risultato è stato trovato replicabile (cioè, nessun'ipotesi è stata rifiutata da entrambi i team su entrambi i sottogruppi).
  • Il Team A (analizzando i dati Cattolici) ha generato un piano che ha trovato significatività nei dati Non Cattolici (depressione, divorzi, ecc.).
  • Il Team B (analizzando i dati Non Cattolici) ha generato un piano focalizzato su una specifica sottoscala della depressione ("basso affetto positivo") che non è risultata significativa nei dati Cattolici.
  • Questo suggerisce che l'effetto della gravidanza indesiderata sulla salute mentale potrebbe differire tra i gruppi religiosi, o che la potenza statistica non è stata sufficiente per la replicazione incrociata in questo specifico contesto.

5. Contributi e Vantaggi Rispetto ad Approcci Esistenti

Il paper confronta il proprio metodo con approcci come il Single-split sample design e l'Automated cross-screening (senza EDA):

1. Flessibilità Esplorativa: A differenza dei metodi pre-specificati, il cross-screening a due team permette di scoprire nuove ipotesi (es. l'impatto sui divorzi o sulle gravidanze successive) che non erano state previste inizialmente.
2. Ottimizzazione del Budget di Errore: L'EDA permette di scartare ipotesi che sembrano promettenti ma che, approfondite, si rivelano non interpretabili (es. il reddito più alto trovato inizialmente nelle donne con gravidanze indesiderate era dovuto a pensioni/eredità e non a reddito da lavoro; il team ha scelto di non testarlo, risparmiando il livello di significatività $\alpha$).
3. Controllo Rigoroso: Mantiene il controllo del FWER e della replicabilità senza richiedere dataset multipli.
4. Robustezza ai Bias Nascosti: La divisione basata su motivi diversi per il trattamento rende più difficile spiegare i risultati replicabili come semplici bias di selezione.

6. Significato e Implicazioni

• Scientifico: Dimostra che è possibile condurre un ciclo completo di ricerca (esplorazione, conferma, replicazione) su un singolo dataset osservazionale unico, superando il dilemma tra esplorazione libera e rigore statistico.
• Politico/Sociale: I risultati confermano che le gravidanze indesiderate hanno conseguenze negative a lungo termine sulla salute mentale e sulla stabilità familiare delle madri, anche decenni dopo. Questo è particolarmente rilevante in contesti dove l'aborto è illegale o limitato, suggerendo la necessità di politiche di supporto specifiche.
• Metodologico: Offre un nuovo standard per studi osservazionali complessi, suggerendo che la divisione in team indipendenti con "screening incrociato" può migliorare la credibilità delle scoperte senza sacrificare la capacità di generare nuove idee.

In sintesi, il paper presenta un framework metodologico innovativo che bilancia creatività scientifica e rigore statistico, applicato con successo per rivelare nuovi aspetti degli effetti a lungo termine delle gravidanze indesiderate, pur evidenziando la complessità della replicabilità in sottogruppi con caratteristiche sociali diverse.