Building an Atlas of Social Experiments to Link Studies, Reconcile Conflicts, and Bridge Gaps

तकनीकी सारांश: EXATLAS – सामाजिक प्रयोगों का एक एटलस बनाना

समस्या विवरण
सामाजिक और व्यवहार संबंधी विज्ञान प्रतिवर्ष हजारों प्रयोग उत्पन्न करते हैं, फिर भी उनके निष्कर्ष अक्सर ज्ञान के एक सुसंगत मानचित्र में संचित होने में विफल रहते हैं। जैसा कि वॉट्स (2017) द्वारा उल्लेख किया गया है, यह क्षेत्र एक "असंगति की समस्या" (incoherency problem) से ग्रस्त है: विद्वान संबंधित घटनाओं का परीक्षण तो करते हैं, लेकिन एकीकरण के बिना; प्रतिस्पर्धी निष्कर्ष बिना किसी निर्णय के सह-अस्तित्व में रहते हैं; और अलग-थलग अध्ययन बिना किसी सिद्धांत के, जो उनके संबंधों की व्याख्या कर सके, संचित होते रहते हैं। वर्तमान साहित्य संगठन सतही समानता या उथले रिट्रीवल (retrieval) पर निर्भर करता है, जो प्रयोगात्मक परिदृश्यों की संरचनात्मक प्रकृति को पकड़ने में विफल रहता है। बड़े भाषा मॉडल (LLMs) को सीधे सारांश देने या परिणामों की भविष्यवाणी करने के लिए प्रॉम्प्ट करना अक्सर उस कठोर साक्ष्य-आधारित आधार की कमी रखता है जो संघर्षों का पता लगाने, सुसंगत निष्कर्षों को जोड़ने या साहित्य में वास्तविक अंतराल की पहचान करने के लिए आवश्यक है।

कार्यप्रणाली: EXATLAS ढांचा (Framework)
लेखक EXATLAS प्रस्तुत करते हैं, जो एक ऐसा ढांचा है जिसे सामाजिक प्रयोगों के संग्रह को एक संरचित "एटलस" में बदलने के लिए डिज़ाइन किया गया है जहाँ अध्ययन आपस में जुड़ते हैं, संघर्ष करते हैं या सेतु योग्य अंतराल छोड़ते हैं। यह ढांचा इस धारणा पर कार्य करता है कि प्रयोगात्मक परिदृश्य स्वाभाविक रूप से संरचनात्मक (compositional) होते हैं: एक लक्षित निष्कर्ष को पूर्व अध्ययनों के एक भारित संयोजन (weighted combination) से पुनर्गठित किया जा सकता है, भले ही कोई एकल पूर्व अध्ययन उससे सटीक रूप से मेल न खाता हो।

यह ढांचा दो मुख्य चरणों में कार्य करता है:

1. प्रतिनिधित्व और संरचनात्मकता मूल्यांकन (Representation and Composability Assessment):

   • संवर्धन (Enrichment): प्रयोगों को टुपल्स $(T_i, O_i, Z_i, \tau_i)$ के रूप में एनकोड किया जाता है, जो उपचार (treatment), परिणाम (outcome), संदर्भ (context), और प्रेक्षित प्रभाव (observed effect) का प्रतिनिधित्व करते हैं। एक LLM (OpenAI o3) से व्यापक अर्थ संबंधी सटीकता में सुधार के लिए पूरे पेपर के संदर्भ के साथ संक्षिप्त उपचार/परिणाम विवरणों को समृद्ध किया जाता है।
   • एम्बेडिंग (Embedding): प्रयोगों को टेक्स्ट एम्बेडिंग्स का उपयोग करके एक साझा उपचार-परिणाम स्थान (treatment-outcome space) में मैप किया जाता है। प्रतिनिधित्व $x_i$, उपचार, परिणाम और उनके तत्व-वार गुणन (element-wise product) के एम्बेडिंग्स को जोड़ता है ताकि संयुक्त संबंधों को पकड़ा जा सके।
   • स्थानीय खोज (Local Search): एक लक्षित प्रयोग $e_t$ के लिए, EXATLAS पूर्व प्रयोगों के एक स्थानीय उम्मीदवार सेट $C(t)$ की खोज करता है। यह एक बाधा-युक्त अनुकूलन समस्या (constrained optimization problem) को हल करता है ताकि ऐसे भार $\alpha_{tj}$ खोजे जा सकें जो लक्ष्य प्रतिनिधित्व और स्रोत प्रतिनिधित्व के भारित योग के बीच यूक्लिडियन दूरी (Euclidean distance) को न्यूनतम करें।
   • अस्वीकरण तंत्र (Rejection Mechanism): एक सामान्यीकृत अवशेष (normalized residual) $\rho_t$ की गणना की जाती है। यदि $\rho_t$ एक सीमा $\lambda$ से अधिक हो जाता है, तो लक्ष्य को गैर-संरचनात्मक (non-composable) यानी एक 'अंतराल' माना जाता है। यदि $\rho_t \le \lambda$ है, तो लक्ष्य संरचनात्मक (composable) है। यह डिज़ाइन ढांचे को "अस्वीकार करने योग्य" (rejectable) बनाता है, जिससे जबरन संरचना बनाने की प्रक्रिया को रोका जा सके जहाँ स्थानीय समर्थन अपर्याप्त हो।

2. एटलस संगठन (तीन परिणाम):

   • लिंक (निरंतरता/Consistency): यदि लक्ष्य संरचनात्मक है और संयोजित प्रभाव की दिशा प्रेक्षित दिशा से मेल खाती है, तो लक्ष्य को सुसंगत पूर्व साक्ष्य से जोड़ा जाता है।
   • समाधान (संघर्ष/Reconcile): यदि लक्ष्य संरचनात्मक है लेकिन संयोजित दिशा प्रेक्षित परिणाम से असहमत है, तो सिस्टम एक सैद्धांतिक तनाव की पहचान करता है। एक LLM को इस विरोधाभासी साक्ष्य के साथ प्रॉम्प्ट किया जाता है ताकि एक मेटा-थ्योरी या मॉडरेटर संरचना (जैसे, एक छिपा हुआ $2 \times 2$ इंटरेक्शन) प्रस्तावित की जा सके जो विचलन की व्याख्या कर सके।
   • सेतु (अंतराल/Bridge): यदि लक्ष्य गैर-संरचनात्मक है, तो सिस्टम एक अंतराल की पहचान करता है। एक LLM पुनरावृत्ति के साथ "ब्रिज प्रयोगों" (bridge experiments) का प्रस्ताव देता है जिन्हें संग्रह में जोड़ा जाना चाहिए जब तक कि लक्ष्य संरचनात्मक न हो जाए, जिससे प्रभावी रूप से साक्ष्य अंतराल को भरने के लिए नए अनुसंधान दिशाओं का सुझाव मिलता है।

प्रमुख योगदान

1. एक अस्वीकार योग्य ढांचा (A Rejectable Framework): EXATLAS प्रयोगात्मक साक्ष्य को संयोजित करने की एक विधि पेश करता है जो स्पष्ट रूप से उन लक्ष्यों को अस्वीकार करती है जिनमें स्थानीय समर्थन की कमी होती है, जिससे कुहनीय विसंगतियों (Kuhnian anomalies - जो संरचनात्मक क्षेत्र के भीतर संघर्ष हैं) और लाकाटोसियन विस्तारों (Lakatosian extensions - जो नए मोर्चों की आवश्यकता वाले अंतराल हैं) के बीच अंतर किया जाता है।
2. सैद्धांतिक त्रुटि सीमाएं (Theoretical Error Bounds): लेखक उपचार-प्रभाव सतह की स्थानीय सुगमता (local smoothness) की धारणा के तहत संरचना के लिए एक सैद्धांतिक त्रुटि सीमा प्रदान करते हैं। यह त्रुटि एक्सट्रपलेशन त्रुटि (extrapolation error), स्थानीय मॉडल पूर्वाग्रह (local model bias/curvature), और अनदेखे अवशेष भिन्नता (unobserved residual variation) में विभाजित होती है।
3. जनरेटिव विफलता मोड (Generative Failure Modes): यह ढांचा अपनी "विफलताओं" को जनरेटिव आउटपुट के रूप में मानता है। संघर्ष (Conflicts) सैद्धांतिक समाधान प्रस्तावों को ट्रिगर करते हैं, और अंतराल (Gaps) क्रियाशील ब्रिज प्रयोग डिजाइनों को ट्रिगर करते हैं।

अनुभवजन्य परिणाम (Empirical Results)

• संरचनात्मक सटीकता (Composition Accuracy): 360 के संग्रह से 72 प्रयोगों के एक होल्ड-आउट सेट पर, EXATLAS ने 72 लक्ष्यों को स्थानीय रूप से समर्थित प्रमाणित किया। इन मामलों में, अनुमानित प्रभाव की दिशा प्रेक्षित दिशा से 98.61% (71/72) मामलों में मेल खाती थी। इसने बेसलाइन, जिसमें प्रत्यक्ष LLM भविष्यवाणी, निकटतम-प्रयोग RAG, और सिंथेटिक प्रतिभागी सिमुलेशन शामिल थे, को काफी पीछे छोड़ दिया।
• संघर्ष समाधान (Conflict Reconciliation): 13 संघर्ष मामलों के मानव मूल्यांकन में, विशेषज्ञों ने पाया कि EXATLAS के LLM-जनरेटेड समाधान अक्सर मानव विशेषज्ञों द्वारा पहचाने गए व्यापक दिशाओं की पहचान करते हैं, लेकिन अधिक स्पष्ट तंत्र या मॉडरेटर संरचनाएं प्रदान करते हैं। कुछ मामलों में, LLM ने छिपे हुए संरचनात्मक विसंगतियों (जैसे, आयु, रचनात्मकता और प्रतिस्पर्धा से जुड़े भर्ती साहित्य में क्रॉस-सेल संघर्ष) को उजागर किया जिन्हें मानव विशेषज्ञों ने एल्गोरिथम सहायता के बिना मिस कर दिया था।
• ब्रिज प्रयोग की गुणवत्ता (Bridge Experiment Quality): मानव परीक्षकों ने "जबरदस्ती संरचना" (Forced Composition) बेसलाइन (जो अस्वीकरण तंत्र की अनदेखी करता है) के विरुद्ध प्रस्तावित ब्रिज प्रयोगों का मूल्यांकन किया। जबकि व्यवहार्यता स्कोर तुलनीय थे, EXATLAS ब्रिज प्रस्तावों को व्यावहारिकता (Plausibility) ($p=0.040$) और जुड़ाव (Connectedness) ($p=0.031$) में काफी उच्च रेटिंग मिली, जो यह दर्शाता है कि वे अधिक सैद्धांतिक रूप से आधारित और स्रोत साहित्य से बेहतर जुड़े हुए हैं।

महत्व और दावे
पेपर का दावा है कि सामाजिक प्रयोगों के संग्रह में वर्तमान प्रथाओं की तुलना में अधिक अंतर्निहित संरचना मौजूद है। इस संरचना को स्पष्ट करके, EXATLAS केवल एक सारांश उपकरण के रूप में नहीं बल्कि भविष्य के सिद्धांत और प्रयोगों को निर्देशित करने वाले एक "एटलस" के रूप में कार्य करता है।

लेखक अपने दायरे को लेकर विनम्र हैं, वे स्पष्ट रूप से कहते हैं कि वे यह दावा नहीं करते कि LLMs मानव प्रतिभागियों की जगह लेते हैं या टेक्स्ट-एम्बेडिंग संरचना सार्वभौमिक रूप से सटीक है। इसके बजाय, वे तर्क देते हैं कि एक प्रयोगात्मक संग्रह, जब संरचनात्मक रूप से पढ़ा जाता है, तो यह एक कैलिब्रेटेड अनुमान (calibrated estimate) प्रदान करता है कि साक्ष्य कहाँ तक पहुँचते हैं, वे कहाँ विफल होते हैं, और वे सीमाएँ सार्थक अनुसंधान दिशाओं की ओर कहाँ संकेत करती हैं। यह ढांचा साहित्य को अलग-थलग अध्ययनों के ढेर के बजाय एक मानचित्र के रूप में पढ़कर "असंगति की समस्या" को संबोधित करने के लिए बुनियादी ढांचा प्रदान करता है।

सीमाएं
लेखक स्वीकार करते हैं कि उच्च सटीकता (98.6%) केवल स्थानीय रूप से समर्थित लक्ष्यों पर लागू होती है और इसे संग्रह के परे एक्सट्रपलेशन के लिए सामान्यीकृत नहीं किया जाना चाहिए। वे नोट करते हैं कि ढांचा केवल टेक्स्ट से यह सिद्ध नहीं कर सकता कि एम्बेडिंग स्पेस कारण तंत्र (causal mechanisms) को सुरक्षित करता है; यह फीचर ज्योमेट्री को रिट्रीवल और रिकंस्ट्रक्शन डिवाइस के रूप में मानता है। इसके अलावा, समाधान मॉड्यूल एक जनरेटर है, सत्यापनकर्ता (verifier) नहीं, और अंतर्निदित संग्रह प्रकाशित होने और कोडित होने वाली चीज़ों के प्रति पूर्वाग्रहों को विरासत में प्राप्त करता है।