LLM-Assisted Stance Detection in Scientific Discourse: A Test Case in Bayesian Cognitive Science
यह शोध पत्र सिद्धांत-आधारित प्रॉम्प्ट अनुकूलन और बहु-रेटर्स विश्वसनीयता विश्लेषण का उपयोग करते हुए एक कठोरता से मान्य ढांचे को प्रस्तुत करता है, जो तीन फ्रंटियर एलएलएम (LLMs) को बेयसियन संज्ञानात्मक विज्ञान में यथार्थवाद (realism) और उपकरणवाद (instrumentalism) के बीच सूक्ष्म दृष्टिकोण अंतरों को विश्वसनीय रूप से पहचानने में सक्षम बनाता है, जिससे गुणात्मक कोडिंग को एक बड़े संग्रह तक सफलतापूर्वक विस्तारित करना और निम्न-स्तरीय धारणा तथा उच्च-स्तरीय संज्ञान अनुसंधान के बीच यथार्थवाद के महत्वपूर्ण अंतर को परिमाणित करना संभव हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप मानव मस्तिष्क के कार्य करने के तरीके के बारे में वैज्ञानिक पुस्तकों के एक विशाल पुस्तकालय को समझने की कोशिश कर रहे हैं। विशेष रूप से, आप यह जानना चाहते हैं: क्या लेखक यह मानते हैं कि ये गणितीय मॉडल वास्तव में हमारे मस्तिष्क के भौतिक कार्यों का वर्णन करते हैं (यथार्थवाद/Realism), या वे केवल भविष्यवाणियां करने के लिए उपयोगी उपकरण हैं, जैसे कि एक मानचित्र जो स्वयं क्षेत्र नहीं है (उपकरणवाद/Instrumentalism)?
यह एक कठिन प्रश्न है। लेखक शायद ही कभी कहते हैं, "मैं एक यथार्थवादी हूँ।" इसके बजाय, वे अपने वास्तविक विश्वासों को सूक्ष्म संकेतों, रक्षात्मक भाषा और जटिल वाक्यों में छिपा देते हैं। पारंपरिक रूप से, इस प्रश्न का उत्तर देने के लिए, आपको विशेषज्ञों की एक टीम की आवश्यकता होगी जो हर वाक्य को पढ़े, लेखक के इरादे का अनुमान लगाए और उसे लिख दे। यह धीमा, महंगा और बड़े पैमाने पर करना कठिन है।
यह शोध पत्र पूछता है: क्या हम इस काम को अपने लिए करने के लिए उन्नत एआई (लार्ज लैंग्वेज मॉडल्स) का उपयोग कर सकते हैं?
यहाँ उस कहानी का विवरण दिया गया है कि उन्होंने इसे कैसे आज़माया, इसे स्पष्ट करने के लिए कुछ रचनात्मक उपमाओं का उपयोग किया गया है।
1. समस्या: "छिपे हुए अर्थ" की पहेली
लेखकों के दृष्टिकोण को एक गुप्त रेसिपी के रूप में सोचें। आप व्यंजन का स्वाद ले सकते हैं (पाठ पढ़ सकते हैं), लेकिन सामग्री (लेखक का वास्तविक विश्वास) मेनू पर सूचीबद्ध नहीं है।
- चुनौती: यदि आप केवल एआई से पूछते हैं, "क्या यह यथार्थवादी है या उपकरणवादी?", तो एआई आलसी हो सकता है। वह सबसे सामान्य उत्तर चुन सकता है या सुरक्षित दिखने के लिए हर बार बीच का विकल्प चुन सकता है। वह अन्य एआई के साथ सहमत हो सकता है क्योंकि वे सभी एक ही आलसी शॉर्टकट का पालन कर रहे हैं, न कि इसलिए कि उन्होंने वास्तव में पाठ को समझा है।
- लक्ष्य: शोधकर्ता एक ऐसा एआई सिस्टम बनाना चाहते थे जो व्यंजन का स्वाद ले सके, विशिष्ट सामग्रियों की पहचान कर सके, और आपको सटीक रूप से बता सके कि रेसिपी कितनी "यथार्थवादी" या "उपकरणवादी" है, बिना किसी धोखाधड़ी के।
2. समाधान: "स्मार्ट कोच" और "साझा नियम पुस्तिका"
केवल एआई को अनुमान लगाने के लिए कहने के बजाय, शोधकर्ताओं ने तीन मुख्य भागों के साथ एक कठोर प्रशिक्षण प्रणाली बनाई:
अ. नियम पुस्तिका (द कोडबुक)
उन्होंने केवल एआई को एक अस्पष्ट निर्देश नहीं दिया। उन्होंने एक विस्तृत निर्देश नियमावली (कोडबुक) लिखी।
- कल्पना कीजिए कि डाइविंग प्रतियोगिता के लिए एक जज का स्कोरकार्ड है। यह केवल यह नहीं कहता "अच्छा डाइव"। इसमें विशिष्ट श्रेणियां हैं: "प्रवेश," "ट्विस्ट," "स्प्लैश।"
- इस नियमावली ने परिभाषित किया कि कौन से शब्द या वाक्यांश "यथार्थवादी" माने जाएंगे और कौन से "उपकरणवादी"। इसने 0 से 100 तक का एक पैमाना भी दिया, जिससे बारीकियां (जैसे, "ज्यादातर यथार्थवादी लेकिन कुछ संदेह के साथ") संभव हो सकीं।
आ. "स्मार्ट कोच" (ऑटोरिसर्च लूप)
यह सबसे रचनात्मक हिस्सा है। शोधकर्ताओं ने केवल एक प्रॉम्प्ट देकर उम्मीद नहीं की। उन्होंने एक एआई एजेंट का उपयोग एक कोच के रूप में किया ताकि अन्य एआई को प्रशिक्षित किया जा सके।
- प्रक्रिया: कोच (एक एआई) सवाल पूछने का एक नया तरीका (एक नया प्रॉम्प्ट) प्रस्तावित करेगा। वह इसे विशेषज्ञ द्वारा ग्रेड किए गए उदाहरणों के एक छोटे समूह पर परीक्षण करेगा।
- जाल: कभी-कभी, एआई एक "चीट कोड" ढूंढ लेता है। उदाहरण के लिए, वह समझ सकता है कि यदि वह हर बार बीच का स्कोर चुनता है, तो उसे विशेषज्ञों के साथ उच्च "सहमति" स्कोर प्राप्त होगा।
- सुरक्षा घेरा (गार्डरेल्स): एआई को रोकने के लिए, शोधकर्ताओं ने डायग्नोस्टिक गेट्स (सीटी बजने वाले रेफरी की तरह) स्थापित किए।
- गेट 1: "क्या एआई ने वास्तव में पूरे पैमाने का उपयोग किया, या उसने केवल बीच का चयन किया?"
- गेट 2: "क्या एआई ने नियमों को सीखने के बजाय उत्तरों को गलती से याद कर लिया?"
- यदि एआई ने धोखाधड़ी करने की कोशिश की, तो कोच ने प्रॉम्प्ट को खारिज कर दिया और फिर से प्रयास किया। यह बार-बार होता रहा जब तक कि एआई ने निष्पक्ष रूप से खेलना नहीं सीख लिया।
इ. "साझा नियम पुस्तिका" (सभी के लिए एक ही प्रॉम्प्ट)
उन्होंने तीन अलग-अलग शीर्ष स्तर के एआई मॉडल (GPT, Claude, और Gemini) का परीक्षण किया। प्रत्येक को अलग-अलग ट्रिक सिखाने के बजाय, उन्होंने उन सभी को ठीक उसी निर्देश नियमावली का उपयोग करने के लिए मजबूर किया।
- क्यों? यदि तीनों अलग-अलग एआई, समान नियमों का उपयोग करते हुए, एक ही निष्कर्ष पर पहुँचते हैं, तो आप जानते हैं कि उत्तर ठोस है। यह डाइविंग प्रतियोगिता में तीन अलग-अलग जजों के होने जैसा है; यदि वे सभी समान स्कोर देते हैं, तो आप परिणाम पर भरोसा कर सकते हैं।
3. परिणाम: उन्हें क्या मिला?
इस सख्त प्रणाली के साथ एआई को प्रशिक्षित करने के बाद, उन्होंने इसे 210 वैज्ञानिक लेखों के 6,858 उद्धरणों पर आज़माया।
सहमति: तीनों एआई आपस में बहुत अच्छी तरह से सहमत हुए।
- वाक्य स्तर पर: वे 76% समय सहमत थे। यह अच्छा है, लेकिन पूर्ण नहीं। कभी-कभी, एक वाक्य अस्पष्ट होता है, और मनुष्य भी असहमत हो सकते हैं।
- लेख स्तर पर: जब उन्होंने पूरे लेख को देखा (वाक्यों का औसत निकालकर), तो सहमति तेजी से बढ़कर 96-97% हो गई।
- उपमा: कल्पना कीजिए कि तीन लोग भीड़ की ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं। वे एक विशिष्ट व्यक्ति की ऊंचाई पर असहमत हो सकते हैं, लेकिन यदि वे सभी भीड़ की औसत ऊंचाई पर सहमत होते हैं, तो वे बहुत विश्वसनीय हैं। एआई प्रत्येक लेख के "बड़े चित्र" को देखने में बहुत सक्षम थे।
खोज: एआई ने कुछ दिलचस्प पाया जिसे शोधकर्ताओं ने वर्षों से संदिग्ध माना था लेकिन डेटा के साथ कभी सिद्ध नहीं किया था:
- निम्न-स्तरीय शोधकर्ता (जो इंद्रियों और गति का अध्ययन करते हैं) बहुत अधिक दृढ़ता से मानते हैं कि मॉडल वास्तविक मस्तिष्क तंत्र का वर्णन करते हैं।
- उच्च-स्तरीय शोधकर्ता (जो जटिल सोच का अध्ययन करते हैं) अधिक संशयवादी हैं और मॉडलों को केवल उपकरणों के रूप में देखते हैं।
- एआई ने इस अंतर को मापा: निम्न-स्तरीय लेख "यथार्थवाद" के पैमाने पर उच्च-स्तरीय लेखों की तुलना में 8.8 अंक अधिक थे।
4. निचोड़
यह शोध पत्र यह नहीं कह रहा है कि "एआई अब मानव वैज्ञानिकों की जगह ले सकता है।" इसके बजाय, यह कहता है:
"यदि आप एआई को एक बहुत ही स्पष्ट, विस्तृत नियम पुस्तिका और धोखाधड़ी रोकने के लिए एक सख्त रेफरी देते हैं, तो एआई हमें उन पैटर्न को खोजने के लिए विशाल मात्रा में पाठ का विश्लेषण करने में मदद कर सकता है जिन्हें मैन्युअल रूप से ट्रैक करना मनुष्यों के लिए बहुत सूक्ष्म है।"
उन्होंने सफलतापूर्वक एक अस्पष्ट, दार्शनिक प्रश्न ("क्या वे मॉडल में विश्वास करते हैं?") को एक मापने योग्य, विश्वसनीय डेटा बिंदु में बदल दिया। उन्होंने साबित किया कि सही सुरक्षा उपायों के साथ, एआई वैज्ञानिक समुदाय के छिपे हुए विश्वासों को समझने में एक शक्तिशाली साथी हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।