From Prompts to Constructs: A Dual-Validity Framework for Large Language Model Research in Psychology
यह शोध पत्र मनोविज्ञान में लार्ज लैंग्वेज मॉडल अनुसंधान के लिए एक द्वि-वैधता ढांचा (dual-validity framework) प्रस्तावित करता है जो साक्ष्य संबंधी आवश्यकताओं को सरल विश्वसनीयता से लेकर कठोर रचना वैधता (construct validity) और कारण संबंधी अनुमान (causal inference) तक विस्तारित करता है, जिससे यह सुनिश्चित होता है कि मानव उपकरणों को उनकी व्याख्यात्मकता और वैज्ञानिक वारंट स्थापित किए बिना बिना किसी आलोचनात्मक जांच के एआई पर अनियंत्रित रूप से लागू न किया जाए, और इस प्रकार "मापन भ्रमों" (measurement phantoms) को रोका जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक मनोविज्ञान के शांत कोनों में, शोधकर्ता लंबे समय से एक सरल, भरोसेमंद पद्धति पर निर्भर रहे हैं: लोगों से प्रश्न पूछना और यह देखना कि वे कैसे उत्तर देते हैं। वे व्यक्तित्व, चिंता या नैतिक तर्क जैसी अदृश्य चीजों को मापने के लिए सावधानीपूर्वक डिज़ाइन किए गए सर्वेक्षणों और परीक्षणों का उपयोग करते हैं। ये उपकरण इस धारणा पर बने हैं कि जब कोई व्यक्ति कहता है "मैं घबराया हुआ हूँ," तो वह एक वास्तविक, आंतरिक भावना की रिपोर्ट कर रहा है। लेकिन एक नया क्षितिज खुला है जहाँ प्रश्नों का उत्तर देने वाला व्यक्ति कोई मानव नहीं, बल्कि एक 'लार्ज लैंग्वेज मॉडल' (large language model) है। ये शक्तिशाली कंप्यूटर प्रोग्राम हैं जो कहानियाँ लिख सकते हैं, जटिल प्रश्नों के उत्तर दे सकते हैं, और ऐसी बातचीत कर सकते हैं जो आश्चर्यजनक रूप से मानवीय लगती है। जैसे-जैसे वैज्ञानिक इन मशीनों का उपयोग मानव मन का अध्ययन करने के लिए, या यहाँ तक कि स्वयं मशीनों का मनोवैज्ञानिक प्राणियों के रूप में अध्ययन करने के लिए करने लगे हैं, एक मौलिक प्रश्न उभर आया है। क्या हम उन उत्तरों पर भरोसा कर सकते हैं जो ये कंप्यूटर देते हैं? यदि कोई मशीन कहती है कि वह डरी हुई है, तो क्या इसका वही अर्थ है जो तब होता है जब कोई इंसान ऐसा कहता है, या कंप्यूटर केवल डर की नकल कर रहा है बिना उसे महसूस किए?
योनसेई विश्वविद्यालय के मनोवैज्ञानिक झिचेंग लिन का एक नया समीक्षा लेख इस अनिश्चितता को सीधे तौर पर संबोधित करता है। यह शोध पत्र तर्क देता है कि कई वर्तमान अध्ययन एक खतरनाक गलती कर रहे हैं, जिसमें वे कंप्यूटर के आउटपुट को मानव प्रतिक्रियाओं की तरह मान रहे हैं। लेखक का सुझाव है कि शोधकर्ता अक्सर "मापन संबंधी भ्रम" (measurement phantoms) देख रहे हैं—ऐसे सांख्यिकीय पैटर्न जो वास्तविक मनोवैज्ञानिक लक्षणों की तरह दिखते हैं लेकिन वास्तव में केवल वे त्रुटियाँ हैं कि कैसे कंप्यूटर शब्दों को संसाधित करता है। इसे ठीक करने के लिए, लिन एक नया ढांचा प्रस्तावित करते हैं जो सोचने के दो अलग तरीकों को जोड़ता है: यह जाँचना कि क्या एक परीक्षण विश्वसनीय है, और यह जाँचना कि क्या एक प्रयोग वास्तव में कार्य-कारण संबंध (cause and effect) को सिद्ध करता है। मुख्य निष्कर्ष यह है कि हम केवल एक ऐसा परीक्षण जिसे मनुष्यों के लिए बनाया गया है, कंप्यूटर को नहीं दे सकते और यह उम्मीद नहीं कर सकते कि परिणाम समान होंगे। इसके बजाय, हमें मापने के नए तरीके बनाने चाहिए जो इन डिजिटल प्रणालियों की अद्वितीय, यांत्रिक प्रकृति का सम्मान करते हों।
इस समस्या की कहानी इन कंप्यूटर मॉडलों के कितने नाजुक होने की एक आश्चर्यजनक खोज के साथ शुरू होती है। शोधकर्ता कृत्रिम बुद्धिमत्ता का नैतिक दुविधाओं पर परीक्षण कर रहे थे, जैसे कि एक व्यक्ति को बचाने या पांच को बचाने के बीच चयन करना, और उन्होंने पाया कि मॉडल नैतिक विकल्प बहुत हद तक मनुष्यों की तरह ही चुनते दिखाई दिए। वे जानवरों की तुलना में मानव जीवन को महत्व देते और बड़े समूहों को बचाने को प्राथमिकता देते प्रतीत हुए। हालाँकि, एक सूक्ष्म अवलोकन ने खुलासा किया कि ये "नैतिक प्राथमिकताएं" अविश्वसनीय रूप से अस्थिर थीं। जब शोधकर्ताओं ने प्रश्न में एक छोटा सा विवरण बदल दिया, जैसे कि विकल्पों को "केस 1" और "केस 2" से बदलकर "(ए)" और "(बी)" कर दिया, तो मॉडल का पूरा नैतिक रुख पलट गया। वह अचानक विपरीत परिणाम को प्राथमिकता देने लगा। एक एकल विराम चिह्न बदलना या मॉडल को थोड़ा अलग तरीके से उत्तर देने के लिए कहना भी उसके निर्णय को उलट सकता था। यह संवेदनशीलता बताती है कि कंप्यूटर अनिवार्य रूप से किसी नैतिक सिद्धांत के माध्यम से तर्क नहीं कर रहा है; वह स्क्रीन पर शब्दों के विशिष्ट आकार के प्रति प्रतिक्रिया कर रहा है। यदि एक माप अल्पविराम (comma) के आधार पर इतना नाटकीय रूप से बदल जाता है, तो उस पर नैतिकता जैसे स्थिर लक्षण को मापने के लिए भरोसा नहीं किया जा सकता।
यह अस्थिरता एक लहर जैसा प्रभाव पैदा करती है जो मनोवैज्ञानिक अनुसंधान के लिए कंप्यूटरों के उपयोग के पूरे क्षेत्र को कमजोर करती है। यह शोध पत्र इस अविश्वसनीयता के तीन मुख्य स्रोतों की पहचान करता है। पहला, प्रशिक्षण प्रक्रिया स्वयं पूर्वाग्रह पेश कर सकती है। इन मॉडलों को इंटरनेट से प्राप्त विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया जाता है, जिसमें कई मानवीय विचार और रूढ़ियाँ शामिल हैं। जब एक मॉडल लगातार किसी कथन से सहमत होता है, तो ऐसा इसलिए नहीं हो सकता कि वह उस विश्वास को रखता है, बल्कि इसलिए कि वह उपयोगकर्ता को प्रसन्न करने की कोशिश कर रहा है या अपने प्रशिक्षण डेटा में देखे गए पैटर्न को दोहरा रहा है। दूसरा, मॉडल इस बात के प्रति अत्यधिक संवेदनशील हैं कि प्रश्न कैसे पूछा गया है। शब्दों का क्रम, स्पेसिंग, या उत्तरों के लिए उपयोग किए गए लेबल परिणाम को पूरी तरह से बदल सकते हैं। तीसरा, मॉडल समय के साथ अस्थिर होते हैं। एक मॉडल आज एक सुसंगत उत्तर दे सकता है, लेकिन यदि अगले महीने सॉफ्टवेयर अपडेट किया जाता है, तो वही प्रश्न पूरी तरह से अलग उत्तर दे सकता है। इन समस्याओं के कारण, एक कंप्यूटर के पास व्यक्तित्व या नैतिक दिशा-निर्देश जैसा कुछ दिखाई दे सकता है, लेकिन ये अक्सर डेटा में क्षणिक पैटर्न होते हैं, न कि वास्तविक मनोवैज्ञानिक विशेषताएं।
आगे बढ़ने के लिए, शोध पत्र का तर्क है कि शोधकर्ताओं को एक "दोहरी वैधता" (dual-validity) रूपरेखा अपनानी चाहिए। इसका अर्थ है कि उन्हें एक ही समय में दो नियमों को संतुष्ट करने की आवश्यकता है। पहला समूह मनोवैज्ञानिक परीक्षण की परंपरा से आता है, जो पूछता है: "क्या यह परीक्षण वास्तव में वही मापता है जिसका यह दावा करता है?" कंप्यूटर के लिए, इसके लिए यह सिद्ध करना आवश्यक है कि उसके उत्तर सुसंगत हैं और वे एक वास्तविक अंतर्निहित तंत्र को दर्शाते हैं, न कि केवल प्रॉम्प्ट के प्रति एक यादृच्छिक प्रतिक्रिया को। दूसरा समूह कारण-संबंधी अनुमान (causal inference) की परंपरा से आता है, जो पूछता है: "क्या हमारे प्रयोग ने वास्तव में उस परिवर्तन को उत्पन्न किया जो हमने देखा?" जब शोधकर्ता मॉडल के व्यवहार को प्रभावित करने के लिए एक प्रॉम्प्ट बदलते हैं, तो उन्हें यह सुनिश्चित करना चाहिए कि उनके द्वारा किया गया परिवर्तन ही एकमात्र बदलाव है, न कि कोई छिपा हुआ तकनीकी सेटिंग या मॉडल की आंतरिक स्थिति में बदलाव।
शोध पत्र वैज्ञानिक महत्वाकांक्षा की एक सीढ़ी का खाका खींचता है, जो यह दर्शाता है कि हम इन मशीनों के बारे में जितना अधिक दावा करते हैं, हमें उतने ही अधिक प्रमाणों की आवश्यकता होती है। सबसे निचले स्तर पर, टेक्स्ट को छाँटने या शब्दों को गिनने के लिए एक साधारण उपकरण के रूप में कंप्यूटर का उपयोग करने के लिए केवल यह आवश्यक है कि उपकरण सटीक हो। यदि हम कंप्यूटर के अपने व्यवहार का वर्णन करना चाहते हैं, जैसे कि यह कहना कि इसमें एक "व्यक्तित्व" है, तो हमें इस बात के पुख्ता सबूत चाहिए कि उसके उत्तर स्थिर और सुसंगत हैं। यदि हम कंप्यूटर का उपयोग मानव व्यवहार के अनुकरण के लिए करना चाहते हैं, तो हमें यह दिखाना होगा कि यह विशिष्ट, विश्वसनीय तरीकों से मानव डेटा से मेल खाता है। उच्चतम स्तर पर, यदि हम यह दावा करना चाहते हैं कि कंप्यूटर की आंतरिक कार्यप्रणाली यह प्रकट करती है कि मानव मन कैसे काम करता है, तो हमें इस बात का प्रमाण चाहिए कि कंप्यूटर एक ऐसी प्रक्रिया का उपयोग कर रहा है जो मानव मस्तिष्क के समान है, न कि केवल एक समान दिखने वाला उत्तर दे रहा है। वर्तमान में, कई अध्ययन इस सीढ़ी के निचले पायदानों को छोड़कर सीधे शीर्ष पर पहुँच रहे हैं, और बुनियादी बातों को सिद्ध किए बिना गहरे अंतर्दृष्टि का दावा कर रहे हैं।
लेखक का सुझाव है कि समाधान कंप्यूटर को मनुष्यों की तरह व्यवहार करने के लिए मजबूर करना नहीं है, बल्कि ऐसे नए विचार विकसित करना है जो कंप्यूटर वास्तव में क्या हैं, उसके अनुकूल हों। यह पूछने के बजाय कि क्या एक मशीन चिंता महसूस करती है, शोधकर्ताओं को उन कम्प्यूटेशनल पैटर्न की तलाश करनी चाहिए जो चिंता की तरह कार्य करते हैं, जैसे कि एक प्रणाली जो अनिश्चितता के समय हिचकिचाहट दिखाती है या नकारात्मक भाषा का उपयोग करती है। दृष्टिकोण में यह बदलाव वैज्ञानिकों को मशीन का उसके अपने संदर्भ में अध्ययन करने की अनुमति देता है। यह स्वीकार करता है कि एक कंप्यूटर के पास शरीर, जीवन इतिहास या 'स्व' (self) नहीं होता है, लेकिन फिर भी यह ऐसे पैटर्न प्रदर्शित कर सकता है जो अध्ययन के लिए दिलचस्प और उपयोगी हैं। इन नए, कंप्यूटर-विशिष्ट मापों का निर्माण करके और इस बात के प्रति कठोर होकर कि डेटा क्या सिद्ध कर सकता है और क्या नहीं, यह क्षेत्र 'मापन संबंधी भ्रमों' के जाल से बच सकता है। लक्ष्य सांख्यिकीय विचित्रताओं के संग्रह को कृत्रिम बुद्धिमत्ता के वास्तविक विज्ञान में बदलना है, जो उन मशीनों के प्रति सम्मानजनक हो जिनका वह अध्ययन करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।