Automated reproducibility assessments in the social and behavioral sciences using large language models

Sintesi Tecnica: Valutazioni Automatizzate della Riproducibilità nelle Scienze Sociali e Comportamentali Utilizzando Modelli di Linguaggio di Grandi Dimensioni (LLM)

Definizione del Problema
La riproducibilità nelle scienze sociali e comportamentali viene tradizionalmente valutata da ricercatori indipendenti che rianalizzano manualmente i dati originali per verificare se i risultati pubblicati possano essere recuperati. Sebbene essenziale, questo processo è dispendioso in termini di risorse, difficile da scalare e spesso limitato ad sforzi su piccola scala (ad esempio, la collaborazione Multi100 che ha coinvolto 507 analisti nell'arco di diversi anni). La ricostruzione manuale dei workflow empirici — che richiede l'ispezione dei dati, l'identificazione delle variabili, la traduzione del codice ed l'esecuzione — crea un collo di bottiglia per l'audit sistematico della letteratura. Sebbene i modelli di linguaggio di grandi dimensioni (LLM) abbiano dimostrato forti capacità di programmazione, rimane ignoto se essi possano eseguire in modo affidabile valutazioni di riproducibilità computazionale end-to-end, interpretare le decisioni analitiche dai materiali dello studio ed evitare errori o assunzioni non supportate.

Metodologia
Gli autori hanno sviluppato una pipeline di LLM agentica per automatizzare le valutazioni di riproducibilità su un corpus di $N=180$ studi empirici pubblicati dal progetto SCORE (Systematizing Confidence in Open Research and Evidence), che copre psicologia, scienze politiche ed economia.

• Dati e Input: La pipeline ha utilizzato affermazioni empiriche predefinite, dataset originali degli studi (o dati di replicazione qualora i dati originali non fossero disponibili) e il testo dell'articolo. Il testo è stato convertito da PDF a Markdown utilizzando Mistral OCR per preservare il layout, le equazioni e le tabelle.
• Workflow Agentico: L'agente LLM è stato incaricato di scrivere ed eseguire indipendentemente codice statistico in un ambiente sandbox isolato per stimare la dimensione dell'effetto (effect size) legata all'affermazione focale. All'agente è stato esplicitamente ordinato di non copiare le statistiche riportate nel paper, ma di calcolarle dai dati forniti.
• Disegno Sperimentale:
  • Run: Ogni studio è stato sottoposto a cinque run indipendenti per valutare la variabilità.
  • Modelli: L'analisi primaria ha utilizzato Claude Opus 4.7. La robustezza è stata testata utilizzando GPT-5.5 e il modello open-weight GLM-5.1.
  • Contesti Informativi: Per testare la sensibilità al dettaglio metodologico, la pipeline è stata eseguita sotto tre condizioni: (1) testo completo del paper, (2) paper completo con la sezione metodi rimossa, e (3) solo l'abstract.
  • Framing del Prompt: Le analisi di sensibilità hanno confrontato prompt neutrali con framing "confermatori" (di supporto) e "critici" (scettici).
• Metriche di Valutazione:
  • Recupero della Dimensione dell'Effetto: La dimensione media dell'effetto generata dall'LLM ($\bar{d}_{LLM}$) è stata confrontata con la dimensione dell'effetto originale pubblicata ($d_{original}$) utilizzando il $d$ di Cohen. Il recupero è stato definito come l'entro in regioni di tolleranza stretta ($\pm 0.05$) e ampia ($\pm 0.20$).
  • Conclusione Qualitativa: La conclusione dell'LLM (supporto/opposto/inconcludente) è stata confrontata con la conclusione dello studio originale.
  • Benchmark Umano: Per un sottoinsieme di $N=84$ studi, i risultati dell'LLM sono stati confrontati con un grande sforzo di rianalisi umana [2].
• Pre-processing: Gli studi sono stati esclusi se l'LLM non riusciva a produrre un $d$ di Cohen valido in una qualsiasi delle cinque run (11 studi esclusi, lasciando $N=169$). Gli outlier con dimensioni dell'effetto implausibilmente grandi (ad esempio, a causa di errori di conversione) sono stati revisionati e filtrati manualmente.

Risultati Chiave

• Riproducibilità Complessiva (RQ1): Attraverso i 169 studi validi, la pipeline LLM ha raggiunto la stessa conclusione qualitativa dello studio originale nell'80% dei casi. Ha recuperato la dimensione dell'effetto originale entro la tolleranza stretta di $\pm 0.05$ nel 24% degli studi e entro la tolleranza ampia di $\pm 0.20$ nel 50% degli studi. La riproducibilità era più alta quando i dati sorgente originali erano disponibili rispetto a quando venivano utilizzati solo i dati di replicazione.
• Confronto con i Rianalisti Umani (RQ2): Nel sottoinsieme con benchmark umani ($N=82$), l'LLM ha corrisposto alla conclusione qualitativa originale nel 95% dei casi (rispetto all'83% degli umani). L'LLM ha recuperato la dimensione dell'effetto originale entro la tolleranza stretta nel 40% dei casi, in modo abbastanza simile ai rianalisti umani (28%). Tuttavia, le dimensioni dell'effetto dell'LLM correlavano più fortemente con i risultati originali pubblicati ($r=0.46$) che con i risultati della rianalisi umana ($r=0.11$), suggerendo che l'LLM abbia seguito un percorso analitico più stretto e ancorato al paper piuttosto che esplorare l'intero spazio delle specifiche difendibili che gli umani potrebbero perseguire.
• Sensibilità al Contesto Informativo (RQ3): I tassi di riproducibilità non differivano significativamente tra i contesti informativi. Che il modello ricevesse il paper completo, il paper senza la sezione metodi o solo l'abstract, il tasso di recupero nella tolleranza stretta rimaneva stabile (24%, 24% e 22%, rispettivamente).
• Robustezza: I risultati sono stati coerenti tra i tre modelli testati (Claude Opus 4.7, GPT-5.5, GLM-5.1) e non sono stati significativamente influenzati dal framing del prompt (confermatorio vs critico).

Significatività e Rivendicazioni
L'articolo sostiene che gli LLM possano servire come uno strumento di screening scalabile per le valutazioni di riproducibilità, ma dichiara esplicitamente che non sono ancora un sostituto del giudizio esperto.

• Scalabilità: Le scoperte dimostrano che gli LLM possono automatizzare il compito computazionalmente intensivo della rianalisi, permettendo potenzialmente audit sistematici dei risultati empirici che sono attualmente troppo costosi da eseguire manualmente.
• Ruolo nel Workflow Scientifico: Gli autori posizionano gli LLM come un controllo "di primo passaggio" per le riviste e i meta-scienziati per identificare se i risultati riportati possono essere recuperati dai dati disponibili. Ciò potrebbe integrarsi nei processi di controllo qualità in fase di sottomissione o post-pubblicazione.
• Limitazioni e Avvertenze: Gli autori sottolineano che la rianalisi basata su LLM è una capacità emergente. Notano che alcune run non producono risultati validi e che i modelli potrebbero non catturare l'intera gamma di scelte analitiche difendibili (il "multiverso" dell'analisi) che gli analisti umani esplorano. Inoltre, lo studio mette in guardia contro gli incentivi di tipo "Goodhart", dove gli autori potrebbero ottimizzare per superare gli screen automatizzati piuttosto che garantire una scienza robusta, e avverte che i controlli automatizzati non sostituiscono la necessità di replicare con nuovi dati raccolti.
• Generalizzabilità: L'uso di un modello open-weight (GLM-5.1) insieme a modelli proprietari suggerisce che la rianalisi automatizzata non è limitata a sistemi chiusi.

In sintesi, lo studio fornisce prove empiriche che i modelli LLM di frontiera possono riprodurre con successo una parte sostanziale dei risultati pubblicati nelle scienze sociali, offrendo uno strumento promettente e scalabile per migliorare il rigore della ricerca empirica, pur riconoscendo le attuali limitazioni in termini di affidabilità e la necessità di supervisione umana.