Building an Atlas of Social Experiments to Link Studies, Reconcile Conflicts, and Bridge Gaps

Technisches Fazit: EXATLAS – Aufbau eines Atlas sozialer Experimente

Problemstellung
Die Sozial- und Verhaltenswissenschaften generieren jährlich Tausende von Experimenten, doch ihre Erkenntnisse vermögen oft nicht, zu einem kohärenten Wissensnetzwerk zu verschmelzen. Wie Watts (2017) feststellt, leidet das Feld unter einem „Inkohärenzproblem": Wissenschaftler untersuchen verwandte Phänomene ohne Integration, konkurrierende Befunde koexistieren ohne Klärung, und isolierte Studien häufen sich an, ohne dass Theorien ihre Zusammenhänge erklären. Die aktuelle Organisation der Literatur stützt sich auf oberflächliche Ähnlichkeiten oder flache Retrieval-Verfahren, die die zusammengesetzte Natur experimenteller Landschaften nicht erfassen. Das direkte Auffordern von Large Language Models (LLMs) zur Zusammenfassung oder Vorhersage von Ergebnissen fehlt oft die notwendige strenge evidenzbasierte Fundierung, um Konflikte zu erkennen, konsistente Befunde zu verknüpfen oder echte Lücken in der Literatur zu identifizieren.

Methodik: Das EXATLAS-Rahmenwerk
Die Autoren stellen EXATLAS vor, ein Rahmenwerk, das darauf abzielt, ein Archiv sozialer Experimente in einen strukturierten „Atlas" zu verwandeln, in dem Studien miteinander verknüpft sind, im Konflikt stehen oder überbrückbare Lücken aufweisen. Das Rahmenwerk basiert auf der Prämisse, dass experimentelle Landschaften inhärent zusammengesetzt sind: Ein Zielbefund kann aus einer gewichteten Kombination vorheriger Studien rekonstruiert werden, selbst wenn keine einzelne vorherige Studie exakt mit ihm übereinstimmt.

Das Rahmenwerk durchläuft zwei Hauptphasen:

1. Repräsentation und Bewertung der Zusammensetzbarkeit:

   • Anreicherung: Experimente werden als Tupel $(T_i, O_i, Z_i, \tau_i)$ kodiert, die Behandlung, Ergebnis, Kontext und beobachteten Effekt darstellen. Ein LLM (OpenAI o3) erweitert kurze Beschreibungen von Behandlung und Ergebnis um Kontext aus dem vollständigen Papier, um die semantische Genauigkeit zu verbessern.
   • Einbettung: Experimente werden mithilfe von Texteinbettungen in einen gemeinsamen Behandlungs-Ergebnis-Raum abgebildet. Die Repräsentation $x_i$ verknüpft die Einbettungen der Behandlung, des Ergebnisses und deren elementweise Produkt, um gemeinsame Beziehungen zu erfassen.
   • Lokale Suche: Für ein Ziel-Experiment $e_t$ sucht EXATLAS nach einer lokalen Kandidatenmenge $C(t)$ vorheriger Experimente. Es löst ein eingeschränktes Optimierungsproblem, um Gewichte $\alpha_{tj}$ zu finden, die den euklidischen Abstand zwischen der Zielrepräsentation und der gewichteten Summe der Quellrepräsentationen minimieren.
   • Ablehnungsmechanismus: Ein normalisierter Residuumwert $\rho_t$ wird berechnet. Wenn $\rho_t$ einen Schwellenwert $\lambda$ überschreitet, wird das Ziel als nicht zusammensetzbar (eine Lücke) eingestuft. Wenn $\rho_t \le \lambda$ gilt, ist das Ziel zusammensetzbar. Dieses Design macht das Rahmenwerk „ablehnbar" und verhindert eine erzwungene Zusammensetzung, wenn die lokale Unterstützung unzureichend ist.

2. Atlas-Organisation (Drei Ergebnisse):

   • Verknüpfung (Konsistenz): Wenn das Ziel zusammensetzbar ist und die Richtung des zusammengesetzten Effekts mit der beobachteten Richtung übereinstimmt, wird das Ziel mit den konsistenten vorherigen Evidenzen verknüpft.
   • Versöhnung (Konflikt): Wenn das Ziel zusammensetzbar ist, die zusammengesetzte Richtung jedoch mit dem beobachteten Ergebnis nicht übereinstimmt, identifiziert das System eine theoretische Spannung. Ein LLM wird mit den konfligierenden Evidenzen aufgefordert, eine Metatheorie oder Moderatorstruktur vorzuschlagen (z. B. eine versteckte $2 \times 2$-Interaktion), die die Abweichung erklärt.
   • Überbrückung (Lücke): Wenn das Ziel nicht zusammensetzbar ist, identifiziert das System eine Lücke. Ein LLM schlägt iterativ „Überbrückungsexperimente" vor, die dem Archiv hinzugefügt werden sollen, bis das Ziel zusammensetzbar wird, und schlägt damit effektiv neue Forschungsrichtungen vor, um die Evidenzlücke zu schließen.

Hauptbeiträge

1. Ein ablehnbares Rahmenwerk: EXATLAS führt eine Methode zur Zusammensetzung experimenteller Evidenz ein, die Ziele ohne lokale Unterstützung explizit ablehnt und dabei zwischen Kuhn'schen Anomalien (Konflikte innerhalb eines zusammensetzbaren Bereichs) und Lakatos'schen Erweiterungen (Lücken, die neue Grenzen erfordern) unterscheidet.
2. Theoretische Fehlergrenzen: Die Autoren liefern eine theoretische Fehlergrenze für die Zusammensetzung unter der Annahme lokaler Glattheit der Behandlungs-Effekt-Oberfläche. Der Fehler zerfällt in Extrapolationsfehler, lokalen Modellbias (Krümmung) und unbeobachtete residuale Variation.
3. Generative Fehlermodi: Das Rahmenwerk behandelt seine „Fehler" (Konflikte und Lücken) als generative Ausgaben. Konflikte lösen Vorschläge zur theoretischen Versöhnung aus, und Lücken lösen handlungsorientierte Entwürfe für Überbrückungsexperimente aus.

Empirische Ergebnisse

• Genauigkeit der Zusammensetzung: Auf einem zurückgehaltenen Satz von 72 Experimenten aus einem Archiv von 360 (aus Top-Fachzeitschriften für Management und Psychologie stammend) zertifizierte EXATLAS 72 Ziele als lokal unterstützt. Für diese stimmte die vorhergesagte Effektrichtung in 98,61 % (71/72) der Fälle mit der beobachteten Richtung überein. Dies schnitt deutlich besser ab als Baselines, einschließlich direkter LLM-Vorhersagen, nearest-experiment RAG und Simulationen synthetischer Teilnehmer.
• Konfliktversöhnung: In einer menschlichen Evaluation von 13 Konfliktfällen stellten Experten fest, dass die von EXATLAS generierten Versöhnungsvorschläge oft dieselben groben Richtungen identifizierten wie menschliche Experten, jedoch explizitere Mechanismen oder Moderatorstrukturen lieferten. In einigen Fällen brachte das LLM versteckte strukturelle Anomalien ans Licht (z. B. ein Konflikt zwischen Zellen in der Einstellungsliteratur, der Alter, Kreativität und Wettbewerb betraf), die menschliche Experten ohne algorithmische Unterstützung übersehen hatten.
• Qualität der Überbrückungsexperimente: Menschliche Bewerter bewogen vorgeschlagene Überbrückungsexperimente im Vergleich zu einer „erzwungenen Zusammensetzung"-Baseline (die den Ablehnungsmechanismus ignoriert). Während die Durchführbarkeitswerte vergleichbar waren, wurden EXATLAS-Überbrückungsvorschläge in Plausibilität ($p=0,040$) und Verbundenheit ($p=0,031$) signifikant höher bewertet, was darauf hindeutet, dass sie theoretisch fundierter und besser mit der Quellliteratur verknüpft sind.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass das Archiv sozialer Experimente mehr latente Struktur enthält, als aktuelle Praktiken extrahieren. Indem diese Struktur explizit gemacht wird, dient EXATLAS nicht nur als Zusammenfassungsinstrument, sondern als ein „Atlas", der zukünftige Theorie und Experimentierung leitet.

Die Autoren sind in ihrem Umfang bescheiden und stellen ausdrücklich klar, dass sie nicht behaupten, LLMs würden menschliche Teilnehmer ersetzen oder dass die Zusammensetzung mittels Texteinbettungen universell genau ist. Stattdessen argumentieren sie, dass ein experimentelles Archiv, wenn es zusammengesetzt gelesen wird, eine kalibrierte Schätzung dessen unterstützt, wo die Evidenz reicht, wo sie versagt und wohin diese Grenzen bedeutsame Forschungsrichtungen weisen. Das Rahmenwerk bietet die Infrastruktur, um das „Inkohärenzproblem" anzugehen, indem es die Literatur als Karte und nicht als Haufen isolierter Studien behandelt.

Einschränkungen
Die Autoren räumen ein, dass die hohe Genauigkeit (98,6 %) nur für lokal unterstützte Ziele gilt und nicht auf Extrapolationen über das Archiv hinaus verallgemeinert werden sollte. Sie weisen darauf hin, dass das Rahmenwerk allein aus dem Text nicht beweisen kann, dass der Einbettungsraum kausale Mechanismen bewahrt; es behandelt die Merkmalsgeometrie als Retrieval- und Rekonstruktionsgerät. Darüber hinaus ist der Versöhnungsmodul ein Generator und kein Verifizierer, und das zugrundeliegende Archiv erbt Verzerrungen hinsichtlich dessen, was veröffentlicht und kodiert wird.