Meta-Analysis with JASP, Part I: Classical Approaches

Immaginate il mondo scientifico come una biblioteca enorme e frenetica dove ogni ricercatore scrive un libro su un esperimento specifico. A volte, un libro dice che un nuovo medicinale funziona a meraviglia, mentre un altro dice che non fa nulla. È qui che entra in gioco la meta-analisi. Pensatela come a un super-bibliotecario che non si limita a leggere un libro, ma ne raccoglie centinaia, li impila e riesce a capire la vera storia nascosta nel rumore. È come cercare di sentire un singolo sussurro in uno stadio affollato; non puoi limitarti ad ascoltare una sola persona, devi combinare le voci di tutti per trovare il segnale reale.

Per farlo, il super-bibliotecario usa alcuni strumenti chiave. Per prima cosa, calcola l'effetto dimensionale (effect size), ovvero un modo per misurare "quanto è grande" un risultato, trasformando diversi tipi di misurazioni in un linguaggio comune. Successivamente, osserva un forest plot, un grafico che sembra una foresta di alberi, dove ogni albero rappresenta uno studio e la posizione dell'albero mostra il suo risultato. Infine, controlla l'eterogeneità, che è solo un termine elegante per chiedere: "Tutti questi studi stanno raccontando la stessa storia o sono selvaggiamente diversi?". Se gli studi sono troppo diversi, il bibliotecario deve usare una matematica speciale per capire il perché. Gli scienziati si preoccupano di questo perché affidarsi a un singolo studio è come giudicare un intero film guardando solo una scena; si rischia di perdere i colpi di scena o il finale.

Questo articolo presenta uno strumento nuovo e user-friendly chiamato JASP (specificamente il suo "modulo Meta-Analysis") che porta questi potenti e complessi strumenti dall'ambito della programmazione informatica a un'interfaccia semplice "point-and-click". Gli autori, un team di statistici e sviluppatori di software, lo hanno costruito per aiutare gli scienziati che non sono programmatori a eseguire meta-analisi avanzate senza dover scrivere righe di codice. Dimostrano che JASP può gestire tutto, dai riassunti di base a scenari molto complicati in cui gli studi condividono dati o hanno più livelli di informazioni. L'articolo non sostiene di aver scoperto una nuova legge dell'universo; piuttosto, mostra come un software gratuito e open-source possa ora occuparsi del lavoro pesante della statistica avanzata, rendendola accessibile a studenti e ricercatori che in precedenza avrebbero potuto essere bloccati con strumenti più semplici e meno potenti.

La storia del nuovo kit di strumenti del Super-Bibliotecario

Immaginate di essere un detective che cerca di risolvere un mistero, ma invece di un solo testimone, ne avete cinquanta. Alcuni testimoni hanno visto il crimine da lontano, altri erano proprio lì, e altri raccontano storie leggermente diverse. In passato, per combinare tutte queste storie in una verità chiara, era necessario essere un maestro programmatore, parlando la lingua segreta dei computer (come il linguaggio di programmazione R) per costruire una macchina personalizzata che potesse smistare le prove. Se non sapevate programmare, eravate limitati a una semplice lente d'ingrandimento che mancava i dettagli più sottili.

Gli autori di questo articolo dicono: "Costruiamo una macchina che chiunque possa usare". Hanno creato un modulo all'interno di un software gratuito chiamato JASP che funge da dashboard tecnologica per questo lavoro investigativo. Invece di digitare codice, basta cliccare pulsanti, trascinare e rilasciare i propri dati, e il software farà la matematica per voi. L'articolo vi guida attraverso tre diversi "casi" per mostrare come funziona questa dashboard, dimostrando che è ora possibile svolgere il lavoro investigativo più avanzato senza essere un programmatore.

Caso 1: Il mistero del vaccino (Le basi)
Il primo caso riguarda un famoso dataset relativo a un vaccino contro la tubercolosi. Gli autori mostrano come usare JASP per calcolare l' "effetto dimensionale" (quanto bene ha funzionato il vaccino) e disegnare un funnel plot. Immaginate un funnel plot come un grafico a forma di imbuto in cui si inseriscono i risultati degli studi. Se tutto è regolare e simmetrico, i punti dovrebbero formare una piramide ordinata e simmetrica. Se la piramide è sbilanciata, potrebbe significare che mancano degli studi o che ci sono dei bias. Il software costruisce poi un forest plot, che assomiglia a una foresta di alberi, mostrando esattamente dove si colloca ogni studio e quanto siamo sicuri del risultato. Gli autori mostrano che JASP può persino dividere gli alberi in gruppi (sottogruppi) per vedere se il vaccino ha funzionato diversamente a seconda di come è stato condotto lo studio. Il risultato? Il software replica con successo la complessa matematica che un tempo richiedeva la programmazione, rendendo facile l'esecuzione del modello a "effetti casuali" (un modo per gestire le differenze tra gli studi).

Caso 2: Gli interventi di scrittura (Cercare schemi)
Nel secondo caso, i detective esaminano studi sugli interventi di "scrittura per apprendere" (writing-to-learn). Qui, vogliono sapere se la durata dell'intervento o il fatto che gli studenti ricevessero feedback abbia cambiato i risultati. Questa è chiamata meta-regressione. Pensatela come al disegno di una linea attraverso una nuvola di punti per vedere se esiste un trend. JASP disegna questa linea per voi e crea anche un bubble plot, dove bolle più grandi indicano studi più precisi. Il software calcola anche le Medie Marginali Stimate (Estimated Marginal Means), che è un modo elegante per dire: "Quale sarebbe il risultato se tenessimo costante tutto il resto?". È come chiedere: "Se ogni studente avesse esattamente lo stesso tempo e lo stesso tipo di feedback, quale sarebbe il punteggio?". L'articolo mostra che JASP può gestire questi confronti complessi e persino testare se la "dispersione" dei dati (eterogeneità) cambia in base alla durata dello studio, una tecnica chiamata modello location-scale.

Caso 3: L'enigma della recidiva (La rete intricata)
Il terzo caso è il più complicato. Esamina studi sulla delinquenza giovanile e la salute mentale. Il problema qui è che molti studi riportano molteplici risultati per lo stesso gruppo di ragazzi (ad esempio: aggressività, bullismo e furti). Questo crea una "rete intricata" di dati in cui i risultati non sono indipendenti. Se ignorate questo aspetto, potreste pensare di avere più prove di quante ne abbiate realmente. Gli autori mostrano come JASP possa districare questa rete utilizzando modelli multilivello (che gestiscono l'annidamento dei dati), modelli multivariati (che tengono conto della correlazione tra diversi tipi di crimini) e errori standard cluster-robust (che fungono da rete di sicurezza per assicurarsi che la matematica non venga ingannata dalle connessioni). In questo caso specifico, anche dopo aver districato la rete, il software ha trovato una differenza statisticamente significativa: i giovani con disturbi mentali presentavano un tasso di recidiva diverso (effetto dimensionale aggregato $d=0.36$, 95% CI [0.16, 0.56]).

Perché questo è importante

L'articolo non si limita a mostrare un'interfaccia accattivante; sostiene che i metodi statistici avanzati non dovrebbero essere chiusi dietro un muro di codice informatico. Integrando questi strumenti in JASP, gli autori suggeriscono che ricercatori, insegnanti e studenti possono ora concentrarsi sull'interpretazione della scienza piuttosto che sul debugging del codice. Il software genera il codice in background, quindi se volete imparare, potete vedere come viene fatto, ma se volete solo la risposta, basta cliccare su "Run".

Gli autori sottolineano con cura che, sebbene questo modulo copra un vastissimo campo — dai grafici di base ai modelli multilivello complessi — è un lavoro in corso. Menzionano che alcune funzionalità, come la meta-analisi a rete (network meta-analysis), sono previste per il futuro. Ma per ora, hanno dimostrato con successo che un software gratuito e open-source può gestire i metodi rigorosi e all'avanguardia necessari per sintetizzare l'evidenza scientifica. Non pretendono di aver risolto ogni problema della scienza, ma hanno consegnato al super-bibliotecario un kit di strumenti molto migliore, uno che chiunque può prendere in mano e usare per trovare la verità nel rumore.