Do LLMs Know a Good Hypothesis When They See One? Logit-Based Energy Scoring Outperforms Prompted LLM-as-Judge for Scientific Hypothesis Ranking
यह शोध पत्र प्रदर्शित करता है कि एक लॉजिट-आधारित ऊर्जा स्कोरिंग विधि, जो भाषा मॉडल के अंतर्निहित आत्मविश्वास का लाभ उठाती है, कई विषयों में वैज्ञानिक परिकल्पनाओं को रैंक करने में प्रॉम्प्टेड LLM-as-judge दृष्टिकोणों की तुलना में काफी बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विज्ञान हमेशा से वह संवाद रहा है जो हम जो जानते हैं और जो हम खोज सकते हैं, उनके बीच होता है। जब एक शोधकर्ता किसी जटिल समस्या के सामने खड़ा होता है, तो उसे सबसे पहले एक संभावित स्पष्टीकरण की कल्पना करनी होती है, एक परिकल्पना (हाइपोथीसिस), जो उसके द्वारा एकत्र किए गए तथ्यों के अनुकूल हो। दशकों तक, यह चरण पूरी तरह से मानवीय अंतर्ज्ञान पर निर्भर रहा है, लेकिन अब प्रयोगशाला में एक नया उपकरण आया है: लार्ज लैंग्वेज मॉडल। ये शक्तिशाली कंप्यूटर प्रोग्राम हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है और जो अब वाक्य लिख सकते हैं, शोध का सारांश निकाल सकते हैं, और यहाँ तक कि नए वैज्ञानिक विचार भी प्रस्तावित कर सकते हैं। फिर भी, एक महत्वपूर्ण प्रश्न अनसुलझा रह गया है। यदि एक कंप्यूटर किसी घटना के लिए संभावित स्पष्टीकरणों की एक सूची तैयार कर सकता है, तो हमें कैसे पता चलेगा कि उनमें से कौन सा वास्तव में सही है? इस उत्तर को खोजने के लिए वर्तमान मानक यह है कि एक अन्य, और भी बड़े कंप्यूटर प्रोग्राम से उस सूची को पढ़ने और सबसे अच्छे को चुनने के लिए कहा जाए, ठीक वैसे ही जैसे एक शिक्षक परीक्षा की जाँच करता है। हालाँकि, इस पद्धति में एक दोष है: यह अक्सर उन विचारों को प्राथमिकता देता है जो परिचित या अच्छी तरह से लिखे हुए लगते हैं, बजाय उनके जो वास्तव में नए या वैज्ञानिक रूप से सुदृढ़ हों।
ओक रिज नेशनल लेबोरेटरी के शोधकर्ताओं की एक टीम ने एक अलग दृष्टिकोण का परीक्षण करने का निर्णय लिया। मॉडल से विचारों की तुलना करने और मौखिक राय देने के लिए कहने के बजाय, उन्होंने मॉडल से प्रत्येक विचार के "भार" को केवल "महसूस" करने के लिए कहा। उन्होंने कंप्यूटर के आंतरिक आत्मविश्वास को एक संकेत के रूप में माना। जब एक मॉडल एक ऐसा वाक्य पढ़ता है जिसकी वह अपेक्षा करता है, तो उसे निश्चितता का अहसास होता है; जब वह कुछ अजीब या असंभावित पढ़ता है, तो उसे आश्चर्य होता है। शोधकर्ताओं ने सोचा कि क्या यह कच्चा, आंतरिक अहसास एक औपचारिक, बोले गए रैंकिंग की तुलना में वैज्ञानिक सत्य का बेहतर निर्णायक हो सकता है। उन्होंने यह देखने के लिए प्रयास किया कि क्या एक कंप्यूटर एक वैज्ञानिक शोध पत्र की कहानी में स्वाभाविक रूप से फिट होने के आधार पर एक अच्छी परिकल्पना को पहचान सकता है, बिना कभी चुनाव करने के लिए कहे।
इस परीक्षण के लिए, शोधकर्ताओं ने खगोल विज्ञान और भौतिकी से लेकर कानून और व्यवसाय तक, बारह विभिन्न क्षेत्रों के 1,323 वास्तविक वैज्ञानिक शोध पत्रों का एक विशाल संग्रह एकत्र किया। प्रत्येक शोध पत्र के लिए, उन्होंने पृष्ठभूमि की जानकारी और वह विशिष्ट प्रश्न लिया जिसे वैज्ञानिक हल करने की कोशिश कर रहे थे। फिर, उन्होंने कंप्यूटर मॉडल के लिए एक चुनौती बनाई: सोलह संभावित परिकल्पनाओं की एक सूची। इनमें से केवल एक ही वास्तविक परिकल्पना थी जिसका मूल वैज्ञानिकों ने उपयोग किया था; अन्य पंद्रह चतुराई से लिखे गए लेकिन गलत विकल्प थे। लक्ष्य यह देखना था कि क्या कंप्यूटर भीड़ में से उस एकल सही परिकल्पना की पहचान कर सकता है।
टीम ने सात अलग-अलग कंप्यूटर मॉडल का उपयोग करके यह परीक्षण किया, जिनमें बहुत छोटे, ओपन-सोर्स प्रोग्राम से लेकर विशाल, प्रोप्राइटरी सिस्टम शामिल थे। उन्होंने परिकल्पनाओं को परखने के दो तरीकों की तुलना की। पहला तरीका पारंपरिक दृष्टिकोण था: उन्होंने एक बड़े, वाणिज्यिक मॉडल को सभी सोलह विकल्पों को पढ़ने और उन्हें सर्वश्रेष्ठ से निम्नतम के क्रम में रैंक करने के लिए प्रेरित किया। दूसरा तरीका नया दृष्टिकोण था: उन्होंने प्रत्येक परिकल्पना को पृष्ठभूमि संदर्भ के साथ एक-एक करके मॉडल में डाला, और मॉडल के आंतरिक आत्मविश्वास स्कोर को मापा। यह स्कोर इस बात पर आधारित था कि संदर्भ को देखते हुए मॉडल उस विशिष्ट शब्द क्रम के आने की कितनी संभावना समझता था। उन्होंने यह दो बार किया, एक बार मानक संभाव्यता गणना का उपयोग करके और एक बार मॉडल के कच्चे 'एनर्जी' (ऊर्जा) माप का उपयोग करके, जो स्मूथ होने से पहले भविष्यवाणी की शक्ति को पकड़ता है।
परिणाम आश्चर्यजनक थे और उन्होंने इन उपकरणों के काम करने के तरीके की समझ को बदल दिया। पारंपरिक तरीका, जहाँ एक बड़े मॉडल को एक न्यायाधीश के रूप में कार्य करने और सूची को रैंक करने के लिए कहा गया था, खराब प्रदर्शन कर गया। इसने केवल लगभग 16.6% मामलों में शीर्ष परिकल्पना की सही पहचान की। इसके विपरीत, विधि जो मॉडल के आंतरिक आत्मविश्वास पर निर्भर थी, बिना किसी स्पष्ट रैंकिंग निर्देश के, काफी बेहतर प्रदर्शन करती रही। जब शोधकर्ताओं ने सबसे अच्छे मॉडल और स्कोरिंग पद्धति के संयोजन को देखा, तो उन्होंने पाया कि एक अपेक्षाकृत छोटे, ओपन-सोर्स मॉडल ने कच्चे ऊर्जा स्कोर का उपयोग करके 53.1% मामलों में सही परिकल्पना की पहचान की। इसका अर्थ है कि एक मामूली कंप्यूटर प्रोग्राम, जो केवल टेक्स्ट को "महसूस" कर रहा था, एक बहुत बड़े, परिष्कृत सिस्टम की तुलना में सही वैज्ञानिक विचार खोजने में तीन गुना से अधिक प्रभावी था, जिसे स्पष्ट रूप से तुलना करने और रैंक करने के लिए कहा गया था।
अध्ययन ने यह भी प्रकट किया कि मॉडल का आकार बेहतर प्रदर्शन की गारंटी नहीं देता है। सबसे सफल कॉन्फ़िगरेशन एक ऐसा मॉडल था जिसमें केवल एक बिलियन पैरामीटर थे, जो जटिल तर्क के लिए उपयोग किए जाने वाले विशाल सिस्टम की तुलना में बहुत छोटा है। वास्तव में, परीक्षण किए गए सबसे बड़े मॉडलों ने परिकल्पनाओं को रैंक करने के लिए कहा जाने पर हमेशा सबसे अच्छा प्रदर्शन नहीं किया। शोधकर्ताओं ने नोट किया कि आंतरिक आत्मविश्वास का संकेत सभी मॉडलों में एक समान नहीं था; कुछ के लिए, कच्चा ऊर्जा स्कोर एक शक्तिशाली उपकरण था, जबकि दूसरों के लिए, यह कम प्रभावी था। यह सुझाव देता है कि इस विशिष्ट कार्य के लिए मॉडल का निर्माण और प्रशिक्षण उसके आकार से अधिक मायने रखता है। अध्ययन में यह भी पाया गया कि यह विधि अधिकांश वैज्ञानिक विषयों में लगातार अच्छी तरह से काम करती है, हालांकि क्षेत्रों के बीच अंतर इतने कम थे कि उन्हें निर्णायक नियम नहीं माना जा सकता था।
इस कार्य का सबसे महत्वपूर्ण निष्कर्ष यह है कि वर्तमान में हम कंप्यूटरों से वैज्ञानिक विचारों का मूल्यांकन करने के लिए जिस तरह से कहते हैं, वह त्रुटिपूर्ण हो सकता है। एक मॉडल को अपनी पसंद व्यक्त करने और विकल्पों को रैंक करने के लिए मजबूर करके, हम ऐसी त्रुटियां पेश कर सकते हैं जो उसकी वास्तविक समझ को छिपा देती हैं। शोधकर्ता सुझाव देते हैं कि मॉडल की अपनी आंतरिक संभावनाएँ, शब्दों के एक विशिष्ट क्रम में उसकी शांत निश्चितता, एक बोले गए निर्णय की तुलना में वैज्ञानिक संभाव्यता का अधिक ईमानदार और विश्वसनीय संकेतक हो सकती है। इसका मतलब यह नहीं है कि समस्या हल हो गई है। शोधकर्ता स्वीकार करते हैं कि उनके परीक्षण में उन शोध पत्रों की परिकल्पनाओं का उपयोग किया गया था जो पहले से ही प्रकाशित हो चुके थे, इसलिए मॉडल शायद परिचित शब्दावली को पहचान रहे थे, न कि वास्तव में विज्ञान को समझ रहे थे। वे प्रस्तावित करते हैं कि अगला कदम इन विधियों को बिल्कुल नए, अप्रकाशित विचारों पर परखना है जहाँ उत्तर ज्ञात नहीं है, जिसके लिए परिणामों को परखने के लिए मानव विशेषज्ञों की आवश्यकता होगी।
अंततः, यह शोध विज्ञान में भरोसेमंद कृत्रिम बुद्धिमत्ता के लिए एक नया मार्ग प्रदान करता है। यह सुझाव देता है कि हमें सही उत्तर खोजने के लिए कंप्यूटर प्रोग्रामों के बीच जटिल, मौखिक बहसों पर निर्भर करने की आवश्यकता नहीं है। इसके बजाय, हम मॉडल के शांत, आंतरिक संकेतों पर भरोसा कर सकते हैं, जिससे छोटे, अधिक सुलभ उपकरण भी वैज्ञानिक खोज प्रक्रिया में एक महत्वपूर्ण भूमिका निभाने में सक्षम हो सकें। अध्ययन निष्कर्ष निकालता है कि हालांकि वर्तमान विधियों की सीमाएं हैं, लेकिन वैज्ञानिक परिकल्पनाओं का मूल्यांकन करने के लिए एक मॉडल के आंतरिक विश्वास का उपयोग करने की क्षमता वास्तविक है और आगे की खोज के योग्य है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।