Automated reproducibility assessments in the social and behavioral sciences using large language models

Technische Samenvatting: Geautomatiseerde Reproduceerbaarheidsbeoordelingen in de Sociale en Gedragswetenschappen met behulp van Large Language Models

Probleemstelling
Reproduceerbaarheid in de sociale en gedragswetenschappen wordt traditioneel geëvalueerd door onafhankelijke onderzoekers die handmatig de originele data heranalyseren om te verifiëren of gepubliceerde bevindingen kunnen worden gereproduceerd. Hoewel essentieel, is dit proces arbeidsintensief, moeilijk schaalbaar en vaak beperkt tot kleinschalige inspanningen (bijv. de Multi100-collaboratie met 507 analisten over meerdere jaren). De handmatige reconstructie van empirische workflows—waarbij datainspectie, variabele-identificatie, codetranslatie en uitvoering vereist zijn—creëert een knelpunt voor systematische audits van de literatuur. Hoewel Large Language Models (LLM's) sterke programmeervaardigheden hebben getoond, blijft het onbekend of zij betrouwbaar end-to-end computationele reproduceerbaarheidsbeoordelingen kunnen uitvoeren, analytische beslissingen uit studiemateriaal kunnen interpreteren en fouten of ononderbouwde aannames kunnen vermijden.

Methodologie
De auteurs ontwikkelden een agentic LLM-pipeline om reproduceerheidsbeoordelingen te automatiseren over een corpus van $N=180$ gepubliceerde empirische studies uit het Systematizing Confidence in Open Research and Evidence (SCORE) project, die psychologie, politieke wetenschappen en economie beslaan.

• Data en Inputs: De pipeline maakte gebruik van vooraf gedefinieerde empirische claims, originele studiedatasets (of replicatiedata wanneer originele data niet beschikbaar waren) en de artikeltekst. De tekst werd van PDF naar Markdown geconverteerd met behulp van Mistral OCR om lay-out, vergelijkingen en tabellen te behouden.
• Agentic Workflow: De LLM-agent kreeg de taak om onafhankelijk statistische code te schrijven en uit te voeren in een geïsoleerde sandbox om de effectgrootte te schatten die verbonden is aan de centrale claim. De agent kreeg de expliciete instructie om niet de gerapporteerde statistieken uit het artikel te kopiëren, maar deze te berekenen op basis van de verstrekte data.
• Experimenteel Ontwerp:
  • Runs: Elke studie onderging vijf onafhankelijke runs om variabiliteit te beoordelen.
  • Modellen: De primaire analyse gebruikte Claude Opus 4.7. Robuustheid werd getest met GPT-5.5 en het open-weight model GLM-5.1.
  • Informatiecontexten: Om de gevoeligheid voor methodologische details te testen, werd de pipeline uitgevoerd onder drie condities: (1) volledige artikeltekst, (2) volledige tekst met de sectie over methodologie verwijderd, en (3) enkel de abstract.
  • Prompt Framing: Gevoeligheidsanalyses vergeleken neutrale prompts met "confirmatory" (ondersteunende) en "critical" (sceptische) framings.
• Evaluatiemetrieken:
  • Herstel van Effectgrootte: De door de LLM gegenereerde gemiddelde effectgrootte ($\bar{d}_{LLM}$) werd vergeleken met de originele gepubliceerde effectgrootte ($d_{original}$) met behulp van Cohen's $d$. Herstel werd gedefinieerd als het vallen binnen strikte ($\pm 0,05$) en brede ($\pm 0,20$) tolerantiegebieden.
  • Kwalitatieve Conclusie: De conclusie van de LLM (ondersteuning/tegenovergesteld/onconcluderend) werd vergeleken met de oorspronkelijke conclusie van de studie.
  • Menselijke Benchmark: Voor een subset van $N=84$ studies werden de LLM-resultaten vergeleken met een grootschalige menselijke heranalyse-inspanning [2].
• Preprocessing: Studies werden uitgesloten als de LLM in geen van de vijf runs een geldige Cohen's $d$ kon produceren (11 studies uitgesloten, waardoor $N=169$ overbleef). Outliers met onwaarschijnlijk grote effectgroottes (bijv. door conversiefouten) werden handmatig beoordeeld en gefilterd.

Belangrijkste Resultaten

• Algemene Reproduceerbaarheid (RQ1): Over de 169 geldige studies bereikte de LLM-pipeline in 80% van de gevallen dezelfde kwalitatieve conclusie als de oorspronkelijke studie. Het herstelde de originele effectgrootte binnen de strikte $\pm 0,05$ tolerantie in 24% van de studies en binnen de brede $\pm 0,20$ tolerantie in 50% van de studies. De reproduceerbaarheid was hoger wanneer originele brongegevens beschikbaar waren vergeleken met wanneer alleen replicatiedata werden gebruikt.
• Vergelijking met Menselijke Heranalisten (RQ2): In de subset met menselijke benchmarks ($N=82$) kwam de LLM in 95% van de gevallen overeen met de originele kwalitatieve conclusie (tegenover 83% voor mensen). De LLM herstelde de originele effectgrootte binnen de strikte tolerantie in 40% van de gevallen, wat vergelijkbaar is met menselijke heranalisten (28%). Echter, de effectgroottes van de LLM correleerden sterker met de originele gepubliceerde bevindingen ($r=0,46$) dan met de bevindingen van menselijke heranalyse ($r=0,11$), wat suggereert dat de LLM een nauwer, op het artikel gebaseerd analytisch pad volgde in plaats van de volledige ruimte van verdedigbare specificaties te verkennen die mensen mogelijk zouden nastreven.
• Gevoeligheid voor Informatiecontext (RQ3): De reproduceerbaarheidspercentages verschilden niet significant tussen de informatiecontexten. Of het model nu de volledige tekst ontving, de tekst zonder methodologie, of enkel de abstract, de herstelrate binnen de strikte tolerantie bleef stabiel (24%, 24% en 22%, respectievelijk).
• Robuustheid: De resultaten waren consistent over de drie geteste modellen (Claude Opus 4.7, GPT-5.5, GLM-5.1) en werden niet significant beïnvloed door de prompt framing (confirmatory vs. critical).

Betekenis en Claims
Het artikel claimt dat LLM's kunnen dienen als een schaalbaar screeningsinstrument voor reproduceerbaarheidsbeoordelingen, maar stelt expliciet dat ze nog geen vervanging zijn voor deskundige oordeelsvorming.

• Schaalbaarheid: De bevindingen tonen aan dat LLM's de computationeel intensieve taak van heranalyse kunnen automatiseren, wat potentieel systematische audits van empirische resultaten mogelijk maakt die momenteel te kostbaar zijn om handmatig uit te voeren.
• Rol in de Wetenschappelijke Workflow: De auteurs positioneren LLM's als een "eerste controle" voor tijdschriften en meta-wetenschappers om te identificeren of gerapporteerde bevindingen kunnen worden gereproduceerd vanuit beschikbare data. Dit zou geïntegreerd kunnen worden in kwaliteitscontroles bij indiening of na publicatie.
• Beperkingen en Kanttekeningen: De auteurs benadrukken dat LLM-gebaseerde heranalyse een opkomende capaciteit is. Zij merken op dat sommige runs geen levensvatbare resultaten opleveren en dat de modellen mogelijk niet het volledige bereik van verdedigbare analytische keuzes (het "multiversum" van analyse) vatten die menselijke analisten verkennen. Verder waarschuwen zij voor "Goodhart-achtige" prikkels waarbij auteurs optimaliseren voor het passeren van geautomatiseerde controles in plaats van het waarborgen van robuuste wetenschap, en zij wijzen erop dat geautomatiseerde controles geen vervanging zijn voor replicatie met nieuw verzamelde data.
• Generaliseerbaarheid: Het gebruik van een open-weight model (GLM-5.1) naast propriëtaire modellen suggereert dat geautomatiseerde heranalyse niet beperkt is tot gesloten systemen.

Samenvattend leveren de resultaten empirisch bewijs dat frontier LLM's een aanzienlijk deel van de gepubliceerde bevindingen in de sociale wetenschappen succesvol kunnen reproduceren, wat een veelbelovend en schaalbaar instrument biedt om de rigueur van empirisch onderzoek te verbeteren, terwijl zij tegelijkertijd de huidige beperkingen in betrouwbaarheid en de noodzaak van menselijk toezicht erkennen.