Automated reproducibility assessments in the social and behavioral sciences using large language models

Resumen Técnico: Evaluaciones de Reproducibilidad Automatizadas en las Ciencias Sociales y del Comportamiento mediante Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
La reproducibilidad en las ciencias sociales y del comportamiento se evalúa tradicionalmente mediante investigadores independientes que reanalizan manualmente los datos originales para verificar si los hallazgos publicados pueden recuperarse. Si bien esto es esencial, este proceso requiere muchos recursos, es difícil de escalar y suele limitarse a esfuerzos de pequeña escala (por ejemplo, la colaboración Multi100 que involucró a 507 analistas durante varios años). La reconstrucción manual de los flujos de trabajo empíricos —que requiere inspección de datos, identificación de variables, traducción de código y ejecución— crea un cuello de botella para la auditoría sistemática de la literatura. Aunque los Modelos de Lenguaje de Gran Escala (LLM) han demostrado sólidas capacidades de programación, aún se desconoce si pueden realizar de manera fiable evaluaciones de reproducibilidad computacional de extremo a extremo, interpretar decisiones analíticas a partir de materiales de estudio y evitar errores o suposiciones no fundamentadas.

Metodología
Los autores desarrollaron un flujo de trabajo de agentes de LLM para automatizar las evaluaciones de reproducibilidad en un corpus de $N=180$ estudios empíricos publicados del proyecto Systematizing Confidence in Open Research and Evidence (SCORE), que abarca psicología, ciencia política y economía.

• Datos y Entradas: El flujo de trabajo utilizó afirmaciones empíricas predefinidas, conjuntos de datos de los estudios originales (o datos de replicación cuando los originales no estaban disponibles) y el texto del artículo. El texto se convirtió de PDF a Markdown utilizando Mistral OCR para preservar el diseño, las ecuaciones y las tablas.
• Flujo de Trabajo de Agentes: El agente de LLM recibió la tarea de escribir y ejecutar de forma independiente código estadístico en un entorno aislado (sandbox) para estimar el tamaño del efecto vinculado a la afirmación focal. Se le instruyó explícitamente al agente que no copiara las estadísticas reportadas en el artículo, sino que las computara a partir de los datos proporcionados.
• Diseño Experimental:
  • Ejecuciones: Cada estudio se sometió a cinco ejecuciones independientes para evaluar la variabilidad.
  • Modelos: El análisis principal utilizó Claude Opus 4.7. La robustez se probó utilizando GPT-5.5 y el modelo de pesos abiertos GLM-5.1.
  • Contextos de Información: Para probar la sensibilidad a los detalles metodológicos, el flujo de trabajo se ejecutó bajo tres condiciones: (1) texto completo del artículo, (2) artículo completo con la sección de métodos eliminada, y (3) solo el resumen (abstract).
  • Encuadre de Prompts (Prompt Framing): Los análisis de sensibilidad compararon prompts neutrales frente a encuadres "confirmatorios" (de apoyo) y "críticos" (escépticos).
• Métricas de Evaluación:
  • Recuperación del Tamaño del Efecto: El tamaño de efecto medio generado por el LLM ($\bar{d}_{LLM}$) se comparó con el tamaño de efecto original publicado ($d_{original}$) utilizando la $d$ de Cohen. La recuperación se definió mediante regiones de tolerancia estricta ($\pm 0.05$) y amplia ($\pm 0.20$).
  • Conclusión Cualitativa: La conclusión del LLM (apoyo/opuesto/inconcluyente) se comparó con la conclusión del estudio original.
  • Referencia Humana: Para un subconjunto de $N=84$ estudios, los resultados del LLM se compararon contra un esfuerzo de reanálisis humano a gran escala [2].
• Preprocesamiento: Se excluyeron estudios si el LLM no lograba producir una $d$ de Cohen válida en cualquiera de las cinco ejecuciones (11 estudios excluidos, dejando $N=169$). Los valores atípicos con tamaños de efecto implausiblemente grandes (por ejemplo, debido a errores de conversión) fueron revisados y filtrados manualmente.

Resultados Clave

• Reproducibilidad General (RQ1): A través de los 169 estudios válidos, el flujo de trabajo de LLM alcanzó la misma conclusión cualitativa que el estudio original en el 80% de los casos. Recuperó el tamaño de efecto original dentro de la tolerancia estricta de $\pm 0.05$ en el 24% de los estudios y dentro de la tolerancia amplia de $\pm 0.20$ en el 50% de los casos. La reproducibilidad fue mayor cuando se disponía de los datos fuente originales en comparación con cuando solo se utilizaron datos de replicación.
• Comparación con Reanalistas Humanos (RQ2): En el subconjunto con referencias humanas ($N=82$), el LLM coincidió con la conclusión cualitativa original en el 95% de los casos (frente al 83% de los humanos). El LLM recuperó el tamaño de efecto original dentro de la tolerancia estricta en el 40% de los casos, de forma similar a los reanalistas humanos (28%). Sin embargo, los tamaños de efecto del LLM se correlacionaron más fuertemente con los hallazgos originales publicados ($r=0.46$) que con los hallazgos del reanálisis humano ($r=0.11$), lo que sugiere que el LLM siguió un camino analítico más estrecho y anclado en el artículo, en lugar de explorar el espacio completo de especificaciones defendibles que los humanos podrían explorar.
• Sensibilidad al Contexto de Información (RQ3): Las tasas de reproducibilidad no difirieron significativamente entre los contextos de información. Independientemente de si el modelo recibió el artículo completo, el artículo sin los métodos o solo el resumen, la tasa de recuperación de la tolerancia estricta se mantuvo estable (24%, 24% y 22%, respectivamente).
• Robustez: Los resultados fueron consistentes en los tres modelos probados (Claude Opus 4.7, GPT-5.5, GLM-5.1) y no se vieron afectados significativamente por el encuadre del prompt (confirmatorio vs. crítico).

Significancia y Reivindicaciones
El artículo sostiene que los LLM pueden servir como una herramienta de cribado escalable para las evaluaciones de reproducibilidad, pero declara explícitamente que aún no son un sustituto del juicio experto.

• Escalabilidad: Los hallazgos demuestran que los LLM pueden automatizar la tarea computacionalmente intensiva del reanálisis, permitiendo potencialmente auditorías sistemáticas de resultados empíricos que actualmente son demasiado costosas de realizar manualmente.
• Rol en el Flujo de Trabajo Científico: Los autores posicionan a los LLM como un chequeo de "primer paso" para revistas y metacientíficos para identificar si los hallazgos reportados pueden recuperarse a partir de los datos disponibles. Esto podría integrarse en los procesos de control de calidad de envío o post-publicación.
• Limitaciones y Advertencias: Los autores enfatizan que el reanálisis basado en LLM es una capacidad emergente. Señalan que algunas ejecuciones no producen resultados viables y que los modelos pueden no capturar la gama completa de elecciones analíticas defendibles (el "multiverso" del análisis) que exploran los analistas humanos. Además, el estudio advierte contra los incentivos de tipo "Goodhart", donde los autores podrían optimizar para pasar los controles automatizados en lugar de asegurar una ciencia robusta, y advierte que los controles automatizados no reemplazan la necesidad de replicación con nuevos datos recolectados.
• Generalizabilidad: El uso de un modelo de pesos abiertos (GLM-5.1) junto con modelos propietarios sugiere que el reanálisis automatizado no está limitado a sistemas cerrados.

En resumen, el estudio proporciona evidencia empírica de que los LLM de frontera pueden reproducir con éxito una parte sustancial de los hallazgos publicados en las ciencias sociales, ofreciendo un instrumento prometedor y escalable para mejorar el rigor de la investigación empírica, reconociendo al mismo tiempo sus limitaciones actuales en fiabilidad y la necesidad de supervisión humana.