Building an Atlas of Social Experiments to Link Studies, Reconcile Conflicts, and Bridge Gaps

Resumen Técnico: EXATLAS – Construyendo un Atlas de Experimentos Sociales

Planteamiento del Problema
Las ciencias sociales y conductuales generan miles de experimentos anuales, pero sus hallazgos a menudo no logran acumularse en un mapa coherente del conocimiento. Como señaló Watts (2017), el campo padece un "problema de incoherencia": los académicos examinan fenómenos relacionados sin integración, hallazgos competidores coexisten sin adjudicación y estudios aislados se acumulan sin teorías que expliquen sus relaciones. La organización actual de la literatura se basa en similitudes superficiales o recuperación superficial, lo que falla en capturar la naturaleza composicional de los paisajes experimentales. Solicitar directamente a los Modelos de Lenguaje Grandes (LLM) que resuman o predigan resultados a menudo carece del fundamento evidencial riguroso necesario para detectar conflictos, vincular hallazgos consistentes o identificar brechas genuinas en la literatura.

Metodología: El Marco EXATLAS
Los autores presentan EXATLAS, un marco diseñado para transformar un archivo de experimentos sociales en un "atlas" estructurado donde los estudios se vinculan, entran en conflicto o dejan brechas superables. El marco opera bajo la premisa de que los paisajes experimentales son inherentemente composicionales: un hallazgo objetivo puede reconstruirse a partir de una combinación ponderada de estudios previos, incluso si ningún estudio previo coincide exactamente con él.

El marco procede en dos etapas principales:

1. Representación y Evaluación de Composibilidad:

   • Riqueza: Los experimentos se codifican como tuplas $(T_i, O_i, Z_i, \tau_i)$, representando tratamiento, resultado, contexto y efecto observado. Un LLM (OpenAI o3) enriquece las breves descripciones de tratamiento/resultado con contexto del artículo completo para mejorar la precisión semántica.
   • Incrustación: Los experimentos se mapean a un espacio compartido de tratamiento-resultado utilizando incrustaciones de texto. La representación $x_i$ concatena incrustaciones del tratamiento, el resultado y su producto elemento a elemento para capturar relaciones conjuntas.
   • Búsqueda Local: Para un experimento objetivo $e_t$, EXATLAS busca un conjunto local de candidatos $C(t)$ de experimentos previos. Resuelve un problema de optimización restringida para encontrar pesos $\alpha_{tj}$ que minimicen la distancia euclidiana entre la representación objetivo y la suma ponderada de las representaciones fuente.
   • Mecanismo de Rechazo: Se calcula un residuo normalizado $\rho_t$. Si $\rho_t$ supera un umbral $\lambda$, el objetivo se considera no composible (una brecha). Si $\rho_t \le \lambda$, el objetivo es componible. Este diseño hace que el marco sea "rechazable", evitando la composición forzada donde el apoyo local es insuficiente.

2. Organización del Atlas (Tres Resultados):

   • Vincular (Consistencia): Si el objetivo es componible y la dirección del efecto compuesto coincide con la dirección observada, el objetivo se vincula a la evidencia previa consistente.
   • Reconciliar (Conflicto): Si el objetivo es componible pero la dirección compuesta discrepa del resultado observado, el sistema identifica una tensión teórica. Se solicita a un LLM que, con la evidencia conflictiva, proponga una meta-teoría o estructura de moderador (por ejemplo, una interacción oculta $2 \times 2$) que explique la divergencia.
   • Puente (Brecha): Si el objetivo no es componible, el sistema identifica una brecha. Un LLM propone iterativamente "experimentos puente" para añadirlos al archivo hasta que el objetivo se vuelva componible, sugiriendo efectivamente nuevas direcciones de investigación para cerrar la brecha de evidencia.

Contribuciones Clave

1. Un Marco Rechazable: EXATLAS introduce un método para componer evidencia experimental que rechaza explícitamente objetivos que carecen de apoyo local, distinguiendo entre anomalías kuhnianas (conflictos dentro de una región componible) y extensiones lakatosianas (brechas que requieren nuevas fronteras).
2. Límites de Error Teóricos: Los autores proporcionan un límite de error teórico para la composición bajo la suposición de suavidad local de la superficie de efecto-tratamiento. El error se descompone en error de extrapolación, sesgo del modelo local (curvatura) y variación residual no observada.
3. Modos de Fallo Generativos: El marco trata sus "fallos" (conflictos y brechas) como salidas generativas. Los conflictos desencadenan propuestas de reconciliación teórica y las brechas desencadenan diseños de experimentos puente accionables.

Resultados Empíricos

• Precisión de Composición: En un conjunto retenido de 72 experimentos de un archivo de 360 (provenientes de las principales revistas de gestión y psicología), EXATLAS certificó 72 objetivos como localmente respaldados. Para estos, la dirección del efecto predicho coincidió con la dirección observada en el 98.61% (71/72) de los casos. Esto superó significativamente a las líneas base, incluida la predicción directa de LLM, RAG de experimento más cercano y simulaciones de participantes sintéticos.
• Reconciliación de Conflictos: En una evaluación humana de 13 casos de conflicto, los expertos encontraron que las reconciliaciones generadas por el LLM de EXATLAS a menudo identificaban las mismas direcciones generales que los expertos humanos, pero proporcionaban mecanismos más explícitos o estructuras de moderador. En algunos casos, el LLM puso de manifiesto anomalías estructurales ocultas (por ejemplo, un conflicto entre celdas en la literatura de contratación que involucraba edad, creatividad y competencia) que los expertos humanos pasaron por alto sin asistencia algorítmica.
• Calidad del Experimento Puente: Evaluadores humanos evaluaron los experimentos puente propuestos frente a una línea base de "Composición Forzada" (que ignora el mecanismo de rechazo). Mientras que las puntuaciones de viabilidad fueron comparables, las propuestas de Puente de EXATLAS recibieron puntuaciones significativamente más altas en Plausibilidad ($p=0.040$) y Conectividad ($p=0.031$), indicando que están más fundamentadas teóricamente y mejor vinculadas a la literatura fuente.

Significado y Afirmaciones
El artículo afirma que el archivo de experimentos sociales contiene más estructura latente de la que extraen las prácticas actuales. Al hacer explícita esta estructura, EXATLAS sirve no meramente como una herramienta de resumen, sino como un "atlas" para guiar la teoría y la experimentación futuras.

Los autores son modestos en su alcance, afirmando explícitamente que no sostienen que los LLM reemplacen a los participantes humanos o que la composición de incrustaciones de texto sea universalmente precisa. En cambio, argumentan que un archivo experimental, cuando se lee de manera composicional, soporta una estimación calibrada de dónde llega la evidencia, dónde es insuficiente y hacia dónde apuntan esos límites en direcciones de investigación significativas. El marco proporciona infraestructura para abordar el "problema de incoherencia" tratando la literatura como un mapa en lugar de un montón de estudios aislados.

Limitaciones
Los autores reconocen que la alta precisión (98.6%) aplica solo a objetivos localmente respaldados y no debe generalizarse a extrapolaciones más allá del archivo. Señalan que el marco no puede probar, solo con el texto, que el espacio de incrustación preserve los mecanismos causales; trata la geometría de las características como un dispositivo de recuperación y reconstrucción. Además, el módulo de reconciliación es un generador, no un verificador, y el archivo subyacente hereda sesgos sobre qué se publica y codifica.