(Human) Attention Is (Still) All You Need: Human oversight makes AI-assisted social science reliable

तकनीकी सारांश: मानव निरीक्षण AI-सहायता प्राप्त सामाजिक विज्ञान को विश्वसनीय बनाता है

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) को उन कार्यों के लिए भी अधिक से अधिक सौंपा जा रहा है जो पारंपरिक रूप से प्रशिक्षित शोधकर्ताओं के लिए आरक्षित थे, जिसमें परिकल्पना सृजन (hypothesis generation), विनिर्देश चयन (specification selection), और निष्कर्षों का प्रारूप तैयार करना शामिल है। हालांकि यह वर्कफ़्लो-स्तर के स्वचालन की ओर एक बदलाव का प्रतिनिधित्व करता है, यह शोध प्रबंध तर्क देता है कि AI-सहायता प्राप्त विज्ञान की विश्वसनीयता केवल मॉडल की क्षमता का कार्य नहीं है। इसके बजाय, यह एक संरचनात्मक मुद्दा है जो LLMs की संभावabilistic (संभाव्यता-आधारित) प्रकृति और अनुभवजन्य सामाजिक विज्ञान (empirical social science) में आवश्यक नियतत्ववादी अनुशासन (deterministic discipline) के बीच बेमेल होने से उत्पन्न होता है। अनियंत्रित प्रतिनिधि (unconstrained delegation) ज्ञात व्यवहार संबंधी विफलता मोड को बढ़ाता है—जैसे कि विनिर्देश खोज (specification searching), प्रेरित व्याख्या (motivated interpretation), और नाजुक कारण संबंधी दावे (fragile causal claims)—क्योंकि LLMs मानव क्षमता से कहीं अधिक बड़े पैमाने पर विशाल खोज स्थानों (search spaces) का अन्वेषण कर सकते हैं और संदर्भों की कल्पना (hallucinate) कर सकते हैं। मूल समस्या यह है कि केवल मॉडल संरेखण (alignment) पर निर्भर रहने के बजाय, विश्वसनीय आउटपुट सुनिश्चित करने के लिए मनुष्यों और मशीनों के बीच संज्ञानात्मक श्रम (cognitive labor) को कैसे संरचित किया जाए।

कार्यप्रणाली
लेखक HLER (Human-in-the-Loop Economic Research) का प्रस्ताव करते हैं और मूल्यांकन करते हैं, जो व्यवहारिक-विज्ञान सिद्धांतों पर आधारित एक मॉड्यूलर मल्टी-एजेंट सिस्टम है। कार्यप्रणाली में एक पूर्व-निर्धारित $2 \times 4$ फैक्टोरियल प्रयोग ($N=280$ पूर्ण अनुसंधान रन) शामिल है, जो चार अलग-अलग डेटासेट के माध्यम से दो पाइपलाइन कॉन्फ़िगरेशन की तुलना करता है:

1. UK बायोबैंक (UKB)
2. चाइना हेल्थ एंड न्यूट्रिशन सर्वे (CHNS)
3. चाइना हेल्थ एंड रिटायरमेंट लॉन्जिट्यूडिनल स्टडी (CHARLS)
4. CMGPD-लियाओनिंग (एक ऐतिहासिक किंग राजवंश का जनसंख्या रजिस्टर, जो LLMs के लिए कम परिचितता का प्रतिनिधित्व करता है)।

वास्तुकला हस्तक्षेप (The Architectural Intervention - HLER):
प्रतिबंधित HLER पाइपलाइन तीन विशिष्ट वास्तुकला प्रतिबद्धताओं को लागू करती है:

1. ऑपरेटर विभाजन (Operator Partitioning): LLMs को गहन-तर्क (reasoning-intensive) और खोजपूर्ण कार्यों (परिकल्पना सृजन, आलोचना, व्याख्या) तक सीमित रखा गया है। डेटा निर्माण और सांख्यिकीय अनुमान, प्रतिलिपि योग्य आर्टिफैक्ट्स (reproducible artifacts) उत्सर्जित करने वाले नियतत्ववादी कोड (R स्क्रिप्ट) के माध्यम से निष्पादित किए जाते हैं।
2. निर्णय अनुक्रमण (Decision Sequencing): डाउनस्ट्रीम परिणामों के दृश्यमान होने से पहले तीन स्पष्ट मानव निर्णय द्वार (human decision gates) हस्तक्षेप करते हैं: (i) अनुसंधान प्रश्न चयन, (ii) पहचान रणनीति समीक्षा, और (iii) प्रकाशन निर्णय।
3. जवाबदेही (Accountability): एक केंद्रीय ऑर्केस्ट्रेटर (Orchestrator) एक निरंतर RunState बनाए रखता है, जो क्रॉस-स्टेज निरंतरता और एक ऑडिट ट्रेल सुनिश्चित करता है।

बेसलाइन (The Baseline):
अनियंत्रित बेसलाइन उसी अंतर्निहित भाषा मॉडल (Claude Sonnet 4.6), समान एजेंट अपघटन (agent decomposition), और रीजनिंग एजेंटों के लिए समान प्रॉम्प्ट्स का उपयोग करती है। हालांकि, इसमें मानव द्वार (human gates) का अभाव है और यह डेटा निर्माण एवं अनुमान को LLM-जनित कोड को सौंप देता है, जिससे सिस्टम स्वायत्त रूप से सभी चरणों में आगे बढ़ पाता है।

सैद्धांतिक मॉडल
यह शोध उत्पादन को फ्रेचेट-वितरित (Fréchet-distributed) आउटपुट गुणवत्ता के साथ एक कार्य-आधारित ढांचे का उपयोग करके मॉडल करता है। यह प्रस्तावित करता है कि LLM आउटपुट की गुणवत्ता एक फ्रैचेट वितरण का पालन करती है जहाँ स्केल पैरामीटर $\theta_t$, मॉडल के प्रशिक्षण वितरण से कार्य की निकटता पर निर्भर करता है। मॉडल भविष्यवाणी करता है कि मानव निरीक्षण (द्वार) विशेष रूप से तब सबसे अधिक विश्वसनीयता लाभांश (reliability dividends) प्रदान करता है जब कार्य प्रशिक्षण वितरण से सबसे दूर (कम $\theta_t$) होता है, क्योंकि संभाव्यता-आधारित आउटपुट का "खराब टेल" (bad tail) प्रकाशन के लिए आवश्यक सीमा से नीचे गिरने की अधिक संभावना होती है।

प्रमुख परिणाम

• विफलता में कमी: अनियंत्रित पाइपलाइन ने 72% रन में महत्वपूर्ण विफलताओं का उत्पादन किया। जब समान मॉडल और एजेंट अपघटन को HLER वास्तुकला प्रतिबद्धताओं के तहत व्यवस्थित किया गया, तो विफलता दर घटकर 16% हो गई ($p < 0.001$, फिशर का सटीक परीक्षण)।
• आयाम-विशिष्ट लाभ: HLER ने व्यवहार्यता (0.37 $\to$ 0.83), पहचान विश्वसनीयता (0.31 $\to$ 0.65), और आउटपुट निरंतरता (0.29 $\to$ 0.78) में महत्वपूर्ण सुधार किया।
• विषमता (Heterogeneity): विश्वसनीयता लाभ सबसे अधिक CMGPD-Liaoning डेटासेट पर देखा गया (विफलता दर 88% से घटकर 16% हो गई), जिसमें साहित्य की व्यापकता सबसे कम और डेटा परंपराएं सबसे भिन्न हैं। यह इस सैद्धांतिक भविष्यवाणी के अनुरूप है कि मानव द्वार आउट-ऑफ-डिस्ट्रीब्यूशन कार्यों के लिए सबसे अधिक मूल्यवान हैं।
• विफलता मोड: अनियंत्रित रन में काल्पनिक संदर्भों (21 बनाम 3), व्याख्या संबंधी विसंगतियों (18 बनाम 3), और अव्यवहारिकतापूर्ण प्रश्नों (infeasible questions) की दर काफी अधिक थी। दोनों भुजाओं में नियतत्ववादी डेटा प्रसंस्करण विफलताएं दुर्लभ थीं (प्रत्येक में 1), जो कोड-आधारित निष्पादन की विश्वसनीयता की पुष्टि करती हैं।
• एब्लेशन अध्ययन (Ablation Study): CHNS और CHARLS पर एक 80-रन एब्लेशन ने सुझाव दिया कि नियतत्ववादी गणना और मानव द्वार स्वतंत्र रूप से विश्वसनीयता में योगदान करते हैं, और पूरकता के प्रारंभिक प्रमाण भी मिलते हैं। दोनों विशेषताओं को हटाने से विफलता दर बढ़कर 70% हो गई, जो अनियंत्रित बेसलाइन के करीब पहुँच गई।

प्रमुख योगदान और दावे
यह शोध प्रबंध दावा करता है कि AI-सहायता प्राप्त अनुसंधान में विश्वसनीयता केवल मॉडल क्षमता का नहीं, बल्कि निर्णय वास्तुकला (decision architecture) का गुण है। इसके प्राथमिक योगदान हैं:

1. "रिसर्च हार्नेस" की अवधारणा: HLER को एक स्वायत्त AI वैज्ञानिक के रूप में नहीं, बल्कि एक "रिसर्च हार्नेस" के रूप में परिकल्पना किया गया है जो LLM-जनित तर्क को नियतत्ववादी गणना और स्पष्ट मानव द्वारों के माध्यम से निर्देशित करता है। यह पूर्ण आउटपुट की गारंटी नहीं देता है, लेकिन महत्वपूर्ण विफलताओं को काफी कम करता है और अविश्वसनीय दावों को प्रकाशन-योग्य कार्य के रूप में आगे बढ़ने से रोकता है।
2. संरचनात्मक बनाम तकनीकी समाधान: निष्कर्ष बताते हैं कि "मॉडल गुणवत्ता" का ढांचा अधूरा है। समान मॉडल केवल इस आधार पर 72% विफलता दर या 16% विफलता दर उत्पन्न कर सकता है कि संज्ञानात्मक श्रम को कैसे आवंटित किया गया है। समाधान शुद्ध ML इंजीनियरिंग के बजाय व्यवहारिक प्रणाली डिजाइन (अनुक्रमण, प्रतिबद्धता उपकरण और गेट प्लेसमेंट) में निहित है।
3. वास्तुकला पूर्व-पंजीकरण (Architectural Pre-registration): तीन मानव द्वार अनिवार्य पूर्व-पंजीकरण के रूप में कार्य करते हैं, जो निर्णयों को परिणामों के ज्ञात होने से पहले उपलब्ध जानकारी से बांधते हैं। यह पद्धतिगत प्रतिबद्धताओं को कोड में समाहित करता है, जिससे वे स्वैच्छिक के बजाय डिफ़ॉल्ट बन जाते हैं।
4. विफलता नियंत्रण (Failure Containment): यह प्रणाली विश्वसनीयता को गलत आउटपुट के "नियंत्रण" सहित पुनर्व्याख्यायित करती है। कमजोरियों (जैसे अव्यवहारिकतापूर्ण प्रश्न या कमजोर पहचान) का जल्दी पता लगाकर और उन्हें मानव द्वारों पर रोककर, सिस्टम यह सुनिश्चित करता है कि शेष आउटपुट अधिक मजबूत हों।

महत्व
यह शोध प्रबंध निष्कर्ष निकालता है कि अनुभवजन्य विज्ञान में उत्पादक मानव-AI सहयोग मौलिक रूप से निर्णय डिजाइन (decision design) की समस्या है। लक्ष्य लूप से मनुष्यों को हटाना नहीं है, बल्कि मानव ध्यान को उन एपिस्टेमिक रूप से निर्णायक बिंदुओं पर रखना है जहाँ यह त्रुटियों को कम करने, उजागर करने और नियंत्रित करने में सबसे प्रभावी हो सके। यह दृष्टिकोण विश्वसनीय सामाजिक विज्ञान के लिए आवश्यक अनुशासन मानकों को बनाए रखते हुए AI-सहायता प्राप्त अनुसंधान को स्केल करने का एक मार्ग प्रदान करता है, विशेष रूप से उन डोमेन में जहाँ डेटा मानक LLM प्रशिक्षण वितरण से भिन्न होता है।