Building an Atlas of Social Experiments to Link Studies, Reconcile Conflicts, and Bridge Gaps

Technische Samenvatting: EXATLAS – Het Opbouwen van een Atlas van Sociale Experimenten

Probleemstelling
De sociale en gedragswetenschappen genereren jaarlijks duizenden experimenten, maar hun bevindingen slagen er vaak niet in zich op te hopen tot een coherent kennislandschap. Zoals Watts (2017) opmerkt, lijdt het veld aan een "incoherentieprobleem": onderzoekers bestuderen verwante fenomenen zonder integratie, concurrerende bevindingen bestaan naast elkaar zonder berechting, en geïsoleerde studies hopen zich op zonder theorieën die hun onderlinge relaties verklaren. De huidige organisatie van literatuur vertrouwt op oppervlakkige gelijkenis of ondiepe retrievel, wat faalt in het vastleggen van de samenstellende aard van experimentele landschappen. Het direct prikkelen van Groot Taalmodellen (LLM's) om uitkomsten samen te vatten of te voorspellen, mist vaak de strenge empirische onderbouwing die nodig is om conflicten te detecteren, consistente bevindingen te koppelen of echte lacunes in de literatuur te identificeren.

Methodologie: Het EXATLAS-kader
De auteurs introduceren EXATLAS, een kader dat is ontworpen om een archief van sociale experimenten om te vormen tot een gestructureerde "atlas" waarin studies elkaar koppelen, conflicteren of overbrugbare gaten laten. Het kader werkt vanuit de premisse dat experimentele landschappen inherent samenstellend zijn: een doelbevinding kan worden gereconstrueerd uit een gewogen combinatie van eerdere studies, zelfs als geen enkele eerdere studie er exact mee overeenkomt.

Het kader verloopt in twee hoofdfasen:

1. Representatie en Beoordeling van Samenstelbaarheid:

   • Verrijking: Experimenten worden gecodeerd als tuples $(T_i, O_i, Z_i, \tau_i)$, die behandeling, uitkomst, context en waargenomen effect vertegenwoordigen. Een LLM (OpenAI o3) verrijkt korte beschrijvingen van behandeling/uitkomst met context uit het volledige artikel om de semantische nauwkeurigheid te verbeteren.
   • Embedding: Experimenten worden gemapt naar een gedeelde ruimte van behandeling-uitkomst met behulp van tekst-embeddings. De representatie $x_i$ concateneert embeddings van de behandeling, de uitkomst en hun elementsgewijze product om gezamenlijke relaties vast te leggen.
   • Lokaal Zoeken: Voor een doel-experiment $e_t$ zoekt EXATLAS naar een lokaal kandidaatset $C(t)$ van eerdere experimenten. Het lost een beperkt optimalisatieprobleem op om gewichten $\alpha_{tj}$ te vinden die de Euclidische afstand tussen de doelrepresentatie en de gewogen som van bronrepresentaties minimaliseren.
   • Afwijzingsmechanisme: Een genormaliseerd residu $\rho_t$ wordt berekend. Als $\rho_t$ een drempelwaarde $\lambda$ overschrijdt, wordt het doel als niet-samenstelbaar (een gat) beschouwd. Als $\rho_t \le \lambda$, is het doel samenstelbaar. Dit ontwerp maakt het kader "afwijsbaar", waardoor geforceerde samenstelling wordt voorkomen waar lokale ondersteuning ontoereikend is.

2. Atlasorganisatie (Drie Uitkomsten):

   • Koppelen (Consistentie): Als het doel samenstelbaar is en de samengestelde effectrichting overeenkomt met de waargenomen richting, wordt het doel gekoppeld aan de consistente eerdere bewijslast.
   • Verzoenen (Conflict): Als het doel samenstelbaar is maar de samengestelde richting niet overeenkomt met het waargenomen resultaat, identificeert het systeem een theoretische spanning. Een LLM wordt geprikkeld met het conflicterende bewijs om een meta-theorie of moderatorstructuur (bijvoorbeeld een verborgen $2 \times 2$ interactie) voor te stellen die de divergentie verklaart.
   • Overbruggen (Gat): Als het doel niet-samenstelbaar is, identificeert het systeem een gat. Een LLM stelt iteratief "overbruggende experimenten" voor om aan het archief toe te voegen totdat het doel samenstelbaar wordt, wat effectief nieuwe onderzoeksrichtingen suggereert om de bewijslacune te dichten.

Belangrijkste Bijdragen

1. Een Afwijsbaar Kader: EXATLAS introduceert een methode voor het samenstellen van experimenteel bewijs dat doelstellingen die lokale ondersteuning missen expliciet afwijst, en onderscheid maakt tussen Kuhniaanse anomalieën (conflicten binnen een samenstelbaar gebied) en Lakatosiaanse uitbreidingen (gaten die nieuwe frontieren vereisen).
2. Theoretische Foutgrenzen: De auteurs bieden een theoretische foutgrens voor samenstelling onder de aanname van lokale gladheid van het behandelings-effectoppervlak. De fout decomposeert in extrapolatiefout, lokaal modelbias (kromming) en niet-gewaardeerde residuale variatie.
3. Generatieve Falingsmodi: Het kader behandelt zijn "falen" (conflicten en gaten) als generatieve outputs. Conflicten triggeren voorstellen voor theoretische verzoening, en gaten triggeren uitvoerbare ontwerpen voor overbruggende experimenten.

Empirische Resultaten

• Samenstellingsnauwkeurigheid: Op een vastgehouden set van 72 experimenten uit een archief van 360 (gehaald uit toonaangevende management- en psychologiejournalen) certificeerde EXATLAS 72 doelen als lokaal ondersteund. Voor deze doelen kwam de voorspelde effectrichting overeen met de waargenomen richting in 98,61% (71/72) van de gevallen. Dit presteerde aanzienlijk beter dan baselines, waaronder directe LLM-voorspelling, RAG met het dichtstbijzijnde experiment en simulaties met synthetische deelnemers.
• Conflictverzoening: Bij een menselijke evaluatie van 13 conflictgevallen vonden experts dat de door de LLM gegenereerde verzoeningen van EXATLAS vaak dezelfde brede richtingen identificeerden als menselijke experts, maar explicietere mechanismen of moderatorstructuren boden. In sommige gevallen bracht de LLM verborgen structurele anomalieën aan het licht (bijvoorbeeld een cross-cell conflict in de literatuur over aanwerving met betrekking tot leeftijd, creativiteit en competitie) die menselijke experts zonder algoritmische hulp misten.
• Kwaliteit van Overbruggende Experimenten: Menselijke beoordelaars evalueerden voorgestelde overbruggende experimenten tegen een "Geforceerde Samenstelling"-baseline (die het afwijzingsmechanisme negeert). Hoewel de haalbaarheidsscores vergelijkbaar waren, werden de EXATLAS-overbruggingsvoorstellen significant hoger beoordeeld op Plausibiliteit ($p=0,040$) en Verbondenheid ($p=0,031$), wat aangeeft dat ze theoretischer onderbouwd zijn en beter verbonden zijn met de bronliteratuur.

Betekenis en Claims
Het artikel claimt dat het archief van sociale experimenten meer latente structuur bevat dan huidige praktijken extraheren. Door deze structuur expliciet te maken, dient EXATLAS niet louter als een samenvattingstool, maar als een "atlas" om toekomstige theorie en experimentatie te sturen.

De auteurs zijn bescheiden in hun reikwijdte en stellen expliciet dat ze niet claimen dat LLM's menselijke deelnemers vervangen of dat samenstelling op basis van tekst-embeddings universeel accuraat is. In plaats daarvan betogen ze dat een experimenteel archief, wanneer compositorisch gelezen, een gekalibreerde schatting ondersteunt van waar het bewijs reikt, waar het tekortschiet en waar die grenzen leiden naar zinvolle onderzoeksrichtingen. Het kader biedt infrastructuur om het "incoherentieprobleem" aan te pakken door de literatuur te behandelen als een kaart in plaats van een stapel geïsoleerde studies.

Beperkingen
De auteurs erkennen dat de hoge nauwkeurigheid (98,6%) alleen geldt voor lokaal ondersteunde doelen en niet mag worden gegeneraliseerd naar extrapolaties buiten het archief. Zij merken op dat het kader niet uit tekst alleen kan bewijzen dat de embedding-ruimte causale mechanismen behoudt; het behandelt feature-geometrie als een apparaat voor retrievel en reconstructie. Bovendien is het verzoeningsmodule een generator, geen verificateur, en het onderliggende archief erft biases met betrekking tot wat wordt gepubliceerd en gecodeerd.