Experiments or Outcomes? Probing Scientific Feasibility in Large Language Models
यह शोध पत्र वैज्ञानिक व्यवहार्यता मूल्यांकन पर बड़े भाषा मॉडलों का मूल्यांकन करता है, जिसमें यह पाया गया है कि प्रयोगात्मक विवरण प्रदान करने की तुलना में प्रयोगात्मक परिणाम साक्ष्य प्रदान करना सामान्य रूप से सटीकता और मजबूती को अधिक प्रभावी ढंग से सुधारता है, जो अधूरा संदर्भ होने पर प्रदर्शन को कम कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने वाले जासूस हैं: "क्या यह वैज्ञानिक दावा वास्तव में सच है, या यह सिर्फ एक मनगढ़ंत अनुमान है?"
यह शोधपत्र इस बारे में है कि आधुनिक एआई जासूसों (लार्ज लैंग्वेज मॉडल्स, या LLMs) द्वारा इन रहस्यों को सुलझाने की क्षमता का परीक्षण कैसे किया जाता है। शोधकर्ता यह जानना चाहते थे: क्या एआई को अधिक "सबूत" देने से वास्तव में उसे केस सुलझाने में मदद मिलती है, या यह कभी-कभी उसे भ्रमित कर देता है?
यहाँ सरल उपमाओं (analogies) का उपयोग करके उनके अन्वेषण का विवरण दिया गया है।
1. सेटअप: "वैज्ञानिक व्यवहार्यता" (Scientific Feasibility) परीक्षण
शोधकर्ताओं ने एआई को परीक्षण के लिए एक विशिष्ट दावा दिया, जैसे:
"हर दिन एक अतिरिक्त गिलास पानी पीने से आपका रक्तचाप (ब्लड प्रेशर) कम हो जाएगा।"
यह निर्धारित करने के लिए कि यह व्यवहार्य (संभवतः सच और परीक्षण योग्य) है या अव्यवहार्य (असंभव या असंभव), एआई को एक वास्तविक वैज्ञानिक पेपर से विभिन्न प्रकार के "सबूत" देखने की अनुमति दी गई। शोधकर्ताओं ने चार परिदृश्यों का परीक्षण किया:
- परिदृश्य A (अनुमान): एआई को केवल दावा मिलता है। उसे अपने प्रशिक्षण से जो कुछ भी वह पहले से जानता है, उसके आधार पर अनुमान लगाना होता है (जैसे एक जासूस बिना किसी सुराग के कमरे में प्रवेश करता है)।
- परिदृश्य B (ब्लूप्रिंट/खाका): एआई को दावा + प्रयोगों (कैसे किया गया, इसकी योजना) का विवरण मिलता है। उदाहरण: "हमने 100 लोगों का परीक्षण किया, उन्हें पानी दिया, और उनका रक्तचाप मापा।" लेकिन एआई को अभी तक परिणाम नहीं पता है।
- परिदृश्य C (परिणाम): एआई को दावा + परिणाम (outcomes) मिलते हैं। उदाहरण: "अध्ययन में पाया गया कि रक्तचाप थोड़ा कम हो गया।" लेकिन एआई को यह नहीं पता कि उन्होंने परीक्षण कैसे किया।
- परिदृश्य D (पूरी फाइल): एआई को दावा + प्रयोग + परिणाम मिलते हैं। पूरी कहानी।
2. बड़ा आश्चर्य: परिणाम बनाम ब्लूप्रिंट
शोधकर्ताओं को उम्मीद थी कि पूरी फाइल (परिदृश्य D) देने से हमेशा सबसे अच्छा परिणाम मिलेगा। उन्हें यह भी लगा कि "ब्लूप्रिंट" (परिदृश्य B) बहुत मददगार होगा क्योंकि यह वैज्ञानिक पद्धति को दर्शाता है।
वे गलत थे। उन्हें यह मिला:
- "परिणाम" ही राजा है: एआई को परिणाम (Outcomes) देना सबसे अधिक सहायक था। यह एआई को अंतिम निर्णय देने जैसा था। इसने एआई को बहुत अधिक स्मार्ट और सटीक बना दिया।
- "ब्लूप्रिंट" एक जाल है: आश्चर्यजनक रूप से, एआई को केवल प्रयोग के विवरण (परिणामों के बिना) देने से अक्सर एआई अपने आप अनुमान लगाने की तुलना में बदतर प्रदर्शन करने लगा!
- उपमा: कल्पना कीजिए कि एक जासूस को बताया जाता है, "हमने एक भालू के लिए जाल बनाया है," लेकिन उसे यह नहीं बताया जाता कि भालू पकड़ा गया या नहीं। जासूस भ्रमित हो सकता है, जाल की बनावट पर बहुत अधिक विचार करने लगता है, और एक गलत अनुमान लगा लेता है। एआई प्रयोग के डिजाइन के विवरणों से "भ्रमित" हो गया और वास्तविक सत्य से भटक गया।
3. "आधा-सच" की समस्या
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या होता है यदि वे एआई को केवल आधा सबूत दिखाते हैं (जैसे, केवल 50% प्रयोग या परिणाम)।
- अपेक्षा: आप सोचेंगे कि यदि आपके पास 50% सुराग हैं, तो एआई 50% उतना ही अच्छा होगा।
- वास्तविकता: एआई का प्रदर्शन अनिश्चित और अस्थिर था। कभी-कभी, आधे सबूत होने से एआई का प्रदर्शन बिना किसी सबूत के होने की तुलना में भी बदतर हो गया।
- उपमा: कल्पना कीजिए कि आप आधे टुकड़ों के साथ एक पहेली (puzzle) सुलझाने की कोशिश कर रहे हैं। समाधान तक पहुँचने के लिए "आधे रास्ते" तक पहुँचने के बजाय, आप गलत टुकड़ों को जबरदस्ती जोड़ने की कोशिश कर सकते हैं और एक ऐसी तस्वीर बना सकते हैं जो असली तस्वीर जैसी बिल्कुल नहीं दिखती। एआई उन कुछ सुरागों पर "स्थिर" (anchored) हो गया और एक आत्मविश्वासी लेकिन गलत निष्कर्ष निकाल लिया।
4. ऐसा क्यों होता है?
शोधपत्र सुझाव देता है कि एआई के संघर्ष करने के तीन मुख्य कारण हैं:
- सतही स्तर का मिलान (Surface Level Matching): एआई शब्दों को देखता है। यदि प्रयोग का विवरण दावे के समान शब्दों का उपयोग करता है (जैसे, दोनों में "पानी" और "रक्तचाप" शब्द हैं), तो एआई सोचता है, "आहा! वे मेल खाते हैं!" भले ही प्रयोग वास्तव में दावे को सिद्ध न करता हो।
- "गेटिंग" तंत्र का अभाव: एआई यह नहीं जानता कि कैसे कहना है, "रुको, यह साक्ष्य वास्तव में उस चीज़ का परीक्षण नहीं कर रहा है जो मैं पूछ रहा हूँ।" वह एक संबंध बनाने की कोशिश करता है भले ही साक्ष्य अप्रासंगिक या अधूरा हो।
- अति-आत्मविश्वास: जब एआई कुछ सबूत देखता है, तो वह बहुत आत्मविश्वासी हो जाता है और सावधान रहना छोड़ देता है। जब वह कोई सबूत नहीं देखता, तो वह अधिक विनम्र होता है और अपने सामान्य ज्ञान पर भरोसा करता है, जो कभी-कभी खराब साक्ष्य से बेहतर काम करता है।
5. भविष्य के लिए सीख
मुख्य सबक यह है: अधिक जानकारी का मतलब हमेशा एआई के लिए बेहतर उत्तर नहीं होता है।
यदि आप चाहते हैं कि एक एआई वैज्ञानिक तथ्यों की जाँच करे, तो अध्ययनों के परिणाम देना महत्वपूर्ण है। लेकिन बिना परिणामों के उस पर प्रयोगों के विवरणों का ढेर लगा देने से वास्तव में वह भ्रमित हो सकता है और बिना कुछ किए रहने की तुलना में कम विश्वसनीय हो सकता है।
संक्षेप में:
- परिणाम = सत्य (एआई की मदद करता है)।
- विधियाँ/ब्लूप्रिंट = प्रक्रिया (यदि परिणाम मौजूद नहीं हैं, तो एआई को भ्रमित कर सकते हैं)।
- आधा-साक्ष्य = एक खतरनाक जाल (एआई को आत्मविश्वासी रूप से गलत बना सकता है)।
शोधकर्ता निष्कर्ष निकालते हैं कि हमें ऐसे एआई बनाने की आवश्यकता है जो यह बेहतर जान सके कि कब खराब या अधूरे साक्ष्य को अनदेखा करना है, न कि केवल उसे दिए गए हर चीज़ को प्रोसेस करने की कोशिश करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।