Validating LLMs in social science: Epistemic threats and emerging norms

कल्पना कीजिए कि सामाजिक वैज्ञानिक किसी रहस्य को सुलझाने वाले जासूसों की तरह हैं जो मानव व्यवहार के रहस्यों को हल करने की कोशिश कर रहे हैं। वर्षों से, उन्हें हजारों दस्तावेजों को पढ़ने, उन्हें श्रेणियों में छांटने, या यह अनुमान लगाने के लिए मानव सहायकों की टीमों को काम पर रखना पड़ता था कि लोग सर्वेक्षण प्रश्नों का उत्तर कैसे देंगे। यह धीमा, महंगा और थका देने वाला काम है।

यहाँ प्रवेश होता है लार्ज लैंग्वेज मॉडल (LLM) का: एक सुपर-स्मार्ट, डिजिटल रोबोट सहायक जो किसी भी अन्य व्यक्ति की तुलना में बहुत तेज़ी से पढ़ और लिख सकता है। शोधकर्ता अब इन रोबots को भारी काम करने के लिए कह रहे हैं, जिससे बिखरे हुए टेक्स्ट को व्यवस्थित नंबरों और चार्टों में बदला जा सके। यह एक जादू की छड़ी जैसा लगता है, है ना? लेकिन मीरा देसाई, डलास कार्ड और अबिगैल जेड. जैकोब्स का एक नया अध्ययन बताता है कि हालांकि वह छड़ी चमकदार है, लेकिन जादू उम्मीद से कहीं अधिक जटिल हो सकता है।

बड़ी खोज: "ब्लैक बॉक्स" की समस्या

लेखकों ने 2023 और 2025 के बीच शीर्ष सामाजिक विज्ञान पत्रिकाओं में प्रकाशित 27 शोध पत्रों का अध्ययन किया। उन्होंने पाया कि 50 विशिष्ट कार्य जहाँ शोधकर्ताओं ने इन AI रोबोट्स का उपयोग "अपमानजनकता," "राजनीतिक विचारधारा," या "भावना" जैसी चीजों को मापने के लिए किया।

यहाँ एक मोड़ है: लगभग सभी मामलों में, रोबोट के माप ही मुख्य घटना थे। वे समाज के बारे में बड़े दावे करने के लिए उपयोग किए जाने वाले मुख्य साक्ष्य थे। फिर भी, जब लेखकों ने यह देखने के लिए पर्दे के पीछे झाँका कि शोधकर्ताओं ने यह कैसे जांचा कि रोबोट वास्तव में सच बोल रहा है या नहीं, तो उन्हें एक गड़बड़ी मिली।

इसे केक बनाने की तरह समझें। आप केक पकाने के लिए एक फैंसी, हाई-टेक ओवन (LLM) का उपयोग कर सकते हैं। लेकिन यदि आप तापमान की जाँच नहीं करते हैं, बैटर (मिश्रण) को चखते नहीं हैं, और यह नहीं जानते कि आपने वास्तव में कौन सी रेसिपी इस्तेमाल की थी, तो आप सुनिश्चित नहीं हो सकते कि केक वास्तव में एक केक है या एक ईंट। अध्ययन में पाया गया कि शोधकर्ता अक्सर इन हाई-टेक ओवन का उपयोग तो कर रहे हैं, लेकिन 'टेस्ट टेस्ट' (स्वाद की जाँच) करना भूल जा रहे हैं।

तीन बड़ी गलतियाँ

यह शोध पत्र बताता है कि शोधकर्ता किन तीन तरीकों से भटक रहे हैं:

1. "अस्पष्ट रेसिपी" (अवधारणा/Conceptualization):
   कल्पना कीजिए कि आप एक रोबोट को कहते हैं, "मेरे लिए एक 'बुरा' पोस्ट ढूँढो।" लेकिन आप रोबोट को यह कभी नहीं बताते कि "बुरा" का क्या अर्थ है। क्या यह अभद्र है? क्या यह दुखद है? क्या यह गलत है?
   अध्ययन में पाया गया कि 13 शोध पत्रों (जो 29 कार्यों को कवर करते हैं) में शोधकर्ताओं ने अपनी अवधारणाओं को बिल्कुल भी परिभाषित नहीं किया। उन्होंने बस एक शब्द या एक छोटा वाक्यांश उपयोग किया। यह एक शेफ को यह कहने जैसा है कि, "मेरे लिए एक 'स्वादिष्ट' भोजन बनाओ," बिना यह बताए कि आपको तीखा, मीठा या नमकीन चाहिए। स्पष्ट परिभाषा के बिना, रोबोट कुछ ऐसा माप सकता है जो शोधकर्ता के इरादे से पूरी तरह अलग हो।

2. "यादृच्छिक सेटिंग्स" (परिचालन/Operationalization):
   LLM का उपयोग करना लाखों नॉब और डायल वाली कार चलाने जैसा है। आपको मॉडल, "तापमान" (कितना रचनात्मक या यादृच्छिक उत्तर है), और रोबोट के लंबे, बातूनी जवाब से उत्तर कैसे प्राप्त करना है, यह चुनना होता है।
   लेखकों ने पाया कि शोधकर्ता इन नॉब को बहुत ही अलग-अलग तरीकों से घुमा रहे थे, जो अक्सर केवल एक धारणा या अनुमान पर आधारित था। कुछ ने जीरो-शॉट प्रॉम्प्ट (केवल निर्देश, कोई उदाहरण नहीं) का उपयोग किया, जबकि अन्य ने फ्यू-शॉट प्रॉम्प्ट (निर्देश और उदाहरण दोनों) का उपयोग किया। कुछ ने रोबोट से एक संख्या के साथ उत्तर देने को कहा; दूसरों ने एक वाक्य के लिए कहा।
   डरावनी बात क्या है? शोध पत्र सुझाव देता है कि इन सेटिंग्स में मामूली बदलाव भी परिणाम को पूरी तरह से बदल सकते हैं। यह रेडियो डायल को थोड़ा घुमाने और अचानक एक अलग स्टेशन सुनने जैसा है। फिर भी, कई शोधकर्ताओं ने यह नहीं समझाया कि उन्होंने अपने विशिष्ट सेटिंग्स क्यों चुनीं, जिससे दूसरों के लिए प्रयोग को दोहराना कठिन हो जाता है।

3. "एक ही सुर" की जाँच (वैधता/Validation):
   यह सबसे बड़ा मुद्दा है। जब आप किसी चीज़ को मापने के लिए रोबोट का उपयोग करते हैं, तो आपको इसकी सटीकता साबित करने की आवश्यकता होती है। स्वर्ण मानक (Gold Standard) यह है कि आप रोबोट के काम की तुलना मानव के काम से करें।
   अध्ययन में पाया गया कि 50 में से 38 कार्यों ने लगभग पूरी तरह से एक ही प्रकार की जाँच पर भरोसा किया: अभिसारी वैधता (Convergent Validity)। इसका मतलब है कि उन्होंने बस यह पूछा, "क्या रोबोट इंसान से सहमत है?"
   लेकिन शोध पत्र का तर्क है कि यह पर्याप्त नहीं है। यह एक नए थर्मामीटर की जाँच करने जैसा है कि क्या वह पुराने थर्मामीटर से सहमत है जो कि स्वयं भी खराब हो सकता है। लेखकों का सुझाव है कि शोधकर्ताओं को जाँच के पूरे टूलबॉक्स का उपयोग करना चाहिए:

• फेस वैलिडिटी (Face validity): क्या उत्तर पहली नज़र में तर्कसंगत दिखता है?
• हाइपोथीसिस वैलिडिटी (Hypothesis validity): क्या डेटा एक वास्तविक, दिलचस्प प्रश्न का उत्तर देने में मदद करता है?
• प्रेडिक्टिव वैलिडिटी (Predictive validity): क्या डेटा भविष्य की घटनाओं की सही भविष्यवाणी करता है?
• डिस्क्रिमिनेंट वैलिडिटी (Discriminant validity): क्या रोबोट केवल वही माप रहा है जो हमने उससे पूछा है, या वह अन्य चीजों को भी पकड़ रहा है?

चौंकाने वाली बात यह है कि अध्ययन के 8 कार्यों में कोई वैलिडेशन (सत्यापन) ही नहीं था। उन्होंने बस रोबोट की बात मान ली।

यह शोध पत्र किन बातों को खारिज करता है

लेखक बहुत स्पष्ट हैं कि यह अध्ययन क्या नहीं कह रहा है। वे यह नहीं कह रहे हैं कि LLMs बेकार हैं। वे यह नहीं कह रहे हैं कि हमें उनका उपयोग बंद कर देना चाहिए।

हालाँकि, वे स्पष्ट रूप से इस विचार को खारिज करते हैं कि हम इन्हें बस "प्लग एंड प्ले" (लगाओ और चलाओ) की तरह उपयोग कर सकते हैं। आप LLM को एक मानक रूलर या थर्मामीटर की तरह नहीं मान सकते जो हर बार उपयोग करने पर समान परिणाम देता है। शोध पत्र इस विचार के विरुद्ध तर्क देता है कि ये मॉडल "सार्वभौमिक उपकरण" हैं जो स्वचालित रूप से सार्थक माप प्रदान करते हैं। इसके बजाय, वे कस्टम-निर्मित उपकरण हैं जिन्हें सावधानीपूर्वक डिज़ाइन, सटीक परिभाषा और कठोर परीक्षण की आवश्यकता होती है।

वे इस विचार को भी खारिज करते हैं कि वर्तमान तरीका "पर्याप्त अच्छा" है। तथ्य यह है कि शोधकर्ता अवधारणाओं को परिभाषित करने या पूर्वाग्रह की जाँच करने जैसे चरणों को छोड़ रहे हैं, यह केवल एक छोटी सी चूक नहीं है; यह पूरे क्षेत्र के लिए एक खतरा है। यदि माप अस्थिर हैं, तो समाज के बारे में निष्कर्ष भी अस्थिर होंगे।

हम कितने आश्वस्त हैं?

लेखक अपने निष्कर्षों के प्रति बहुत आश्वस्त हैं क्योंकि उन्होंने केवल अनुमान नहीं लगाया; उन्होंने काम किया। उन्होंने 2,143 शोध पत्रों की एक व्यापक सूची एकत्र की और 27 शोध पत्रों के साथ 50 विशिष्ट कार्यों को मैन्युअल रूप से कोड किया। उन्होंने यह सिमुलेशन नहीं किया; उन्होंने वास्तविक, प्रकाशित शोध को देखा।

उन्होंने पाया कि जबकि LLM सामाजिक विज्ञान में केंद्रीय भूमिका निभा रहे हैं, सुरक्षित रूप से उपयोग करने के लिए "मानदंड" (सड़क के नियम) अभी तक विकसित नहीं हुए हैं। शोध पत्र सुझाव देता है कि बेहतर नियमों के बिना—जैसे हमेशा अपने शब्दों को परिभाषित करना, अपने द्वारा उपयोग की गई हर सेटिंग की रिपोर्ट करना और कई विधियों के साथ अपने काम की जाँच करना—हम एक कमजोर नींव पर ताश के घर बनाने का जोखिम उठाते हैं।

निष्कर्ष

शोध पत्र एक आह्वान के साथ समाप्त होता है। यह "रुकने" का संकेत नहीं है; यह "सावधानी के साथ आगे बढ़ने" का संकेत है। सामाजिक वैज्ञानिकों को इन AI उपकरणों के साथ उसी सम्मान और कठोरता के साथ व्यवहार करना शुरू करना चाहिए जो वे मानव सर्वेक्षकों को देते हैं। उन्हें यह विस्तार से लिखना होगा कि उन्होंने रोबोट से क्या पूछा, उन्होंने कैसे पूछा, और उन्होंने उत्तर की जाँच कैसे की।

तब तक, रोबोट एक शक्तिशाली सहायक हो सकता है, लेकिन वह अभी भी एक रहस्य है। और विज्ञान में, रहस्य मजेदार होते हैं, लेकिन वे ठोस तथ्य नहीं बनाते।