HypoSpace: Evaluating LLM Creativity as Set-Valued Hypothesis Generators under Underdetermination
यह शोध पत्र HypoSpace को प्रस्तुत करता है, जो एक नैदानिक सुइट (diagnostic suite) है जो कम-निर्धारित वैज्ञानिक डोमेन में सेट-वैल्यूड परिकल्पना जनरेटर के रूप में लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए वैधता (validity), विशिष्टता (uniqueness) और रिकवरी (recovery) को मापता है ताकि उस मोड कोलैप्स (mode collapse) को प्रकट किया जा सके जिसे पारंपरिक केवल-सत्यता वाले मेट्रिक्स पहचानने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ HypoSpace पेपर का सरल अवधारणाओं और रचनात्मक उपमाओं (analogies) में विभाजित विवरण दिया गया है।
बड़ी समस्या: "कई उत्तरों वाला रहस्य"
कल्पना कीजिए कि आप एक कमरे में कदम रखते हैं और फर्श पर एक टूटा हुआ फूलदान पाते हैं। आप उसके टुकड़े देखते हैं, लेकिन आपने यह नहीं देखा कि उसे किसने तोड़ा।
- परिकल्पना A (Hypothesis A): बिल्ली ने उसे गिरा दिया।
- परिकल्पना B (Hypothesis B): हवा ने पर्दे को टकराया और उससे वह टकरा गया।
- परिकल्पना C (Hypothesis C): एक चोर अंदर आया और उसने उसे गिरा दिया।
ये तीनों कहानियाँ साक्ष्यों के साथ पूरी तरह फिट बैठती हैं। विज्ञान में, इसे अनिर्धारितता (underdetermination) कहा जाता है। डेटा (टूटा हुआ फूलदान) केवल एक सत्य की ओर संकेत नहीं करता; यह कई अलग-अलग सत्यों की अनुमति देता है।
वर्तमान AI (लार्ज लैंग्वेज मॉडल्स या LLMs) के साथ समस्या यह है कि वे एक अच्छा उत्तर खोजने में तो माहिर हैं, लेकिन सभी संभावित उत्तर खोजने में बहुत खराब हैं। वे अक्सर उसी पहले विचार पर अटक जाते हैं जो उनके मन में आता है और उसे ही दोहराते रहते हैं, भले ही अन्य वैध विचार मौजूद हों।
समाधान: HypoSpace (एक "विचार अन्वेषक" बेंचमार्क)
लेखकों ने HypoSpace नामक एक नया परीक्षण बनाया है। AI से यह पूछने के बजाय कि "उत्तर क्या है?", वे पूछते हैं, "मुझे वे हर एक संभावित उत्तर दिखाओ जो सुरागों के अनुकूल हो।"
HypoSpace को एक विशाल, ताले में बंद खजाने के संदूक के रूप में सोचें जहाँ चाबी संकेतों का एक विशिष्ट सेट है। AI एक खजाना खोजने वाला (treasure hunter) है। लक्ष्य केवल एक चाबी खोजना नहीं है; लक्ष्य हर एक चाबी खोजना है जो उस संदूक को खोल सकती है।
AI की दक्षता को मापने के लिए, वे तीन सरल स्कोर का उपयोग करते हैं:
- वैधता (Validity - क्या यह एक असली चाबी है?): क्या AI का विचार वास्तव में सुरागों के अनुकूल है? यदि AI कहता है "चाँद ने फूलदान तोड़ा," तो वह अमान्य है। यदि वह कहता है "बिल्ली," तो वह वैध है।
- विशिष्टता (Uniqueness - क्या यह एक नई चाबी है?): क्या AI ने बस एक ही विचार को 10 बार दोहराया? या क्या उसने 10 अलग-अलग विचार दिए?
- पुनर्प्राप्ति (Recovery - क्या इसने पूरा संदूक खोज लिया?): यदि ठीक 100 चाबियाँ फिट बैठती हैं, तो क्या AI ने सभी ร้อย खोज लीं? या उसने केवल 5 खोजे और फिर रुक गया?
तीन "प्रशिक्षण जिम" (Training Gyms)
AI का परीक्षण करने के लिए, उन्होंने तीन विशिष्ट पहेली कक्ष बनाए जहाँ वे पहले से जानते हैं कि सही उत्तरों की सटीक संख्या कितनी है:
- डिटेक्टिव गेम (कारण अनुमान/Causal Inference): आप घटनाओं का एक ग्राफ देखते हैं (जैसे "बटन A दबाने से लाइट B जल जाती है")। AI को उन सभी संभावित वायरिंग आरेखों (diagrams) को बनाना होता है जो इस घटना की व्याख्या कर सकें।
- ग्रेविटी पहेली (3D पुनर्निर्माण/3D Reconstruction): आप एक 3D ब्लॉक संरचना की छाया देखते हैं। AI को यह अनुमान लगाना होता है कि गुरुत्वाकर्षण के नियमों का पालन करते हुए, ब्लॉकों को किस-किस तरह से स्टैक किया जा सकता है ताकि ठीक वैसी ही छाया बने।
- जेनेटिक रेसिपी (बूलियन लॉजिक/Boolean Logic): आप देखते हैं कि दो सामग्रियों को मिलाने से एक परिणाम कैसे बनता है (जैसे "लाल + नीला = बैंगनी")। AI को वे सभी संभावित "रेसिपी" (गणितीय सूत्र) लिखने होते हैं जो बताते हैं कि ऐसा क्यों होता है।
उन्होंने क्या पाया: "इको चैंबर" (Echo Chamber) प्रभाव
जब उन्होंने सबसे स्मार्ट AI मॉडल्स (जैसे GPT-5, Claude, आदि) का परीक्षण किया, तो उन्हें एक निरंतर दोष मिला:
- AI एक "वन-हिट वंडर" (One-Hit Wonder) है: यह लगभग हमेशा वैधता (Validity) स्कोर में उच्च अंक प्राप्त करता है (यह एक सही उत्तर ढूंढ लेता है)।
- लेकिन यह एक लूप में फंस जाता है: जैसे-जैसे पहेली कठिन होती जाती है (संभावित उत्तरों की संख्या बढ़ती है), विशिष्टता (Uniqueness) और पुनर्प्राप्ति (Recovery) स्कोर गिर जाते हैं।
उपमा: एक DJ की कल्पना करें जो संगीत बजा रहा है। एक अच्छा DJ अलग-अलग गानों के साथ पूरा एल्बम बजाता है। ये AI उन DJ की तरह हैं जो एक बेहतरीन गाना ढूंढता है, उसे बजाता है, और फिर उसी गाने को बार-बार बजाता रहता है, भले ही रिकॉर्ड स्टोर में अन्य शानदार ट्रैक मौजूद हों। वे कुछ लोकप्रिय विचारों पर "अटक" जाते हैं और बाकी को अनदेखा कर देते हैं।
ऐसा क्यों होता है?
पेपर बताता है कि AI मॉडल को सबसे संभावित अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। यह उन्हें "पीक्ड" (peaked) बनाता है। वे उस व्यक्ति की तरह हैं जो केवल अपना पसंदीदा भोजन खाता है। भले ही दुनिया में 1,000 स्वादिष्ट व्यंजन हों, वे केवल वही ऑर्डर करेंगे जिसे वे पसंद करते हैं।
जब "हाइपोथीसिस स्पेस" (संभावित उत्तरों की संख्या) बहुत बड़ा हो जाता है, तो AI के पसंदीदा उत्तर समुद्र में एक छोटी सी बूंद बन जाते हैं। वह उन्हीं कुछ बूंदों को बार-बार चुनता रहता है और बाकी समुद्र की खोज नहीं करता।
समाधान: "कॉम्प्लेक्सिटी स्ट्रैटिफाइड डिकोडिंग" (Complexity Stratified Decoding)
लेखकों ने इसे ठीक करने के लिए एक सरल ट्रिक आजमाई। AI को अपनी मर्जी से चुनने देने के बजाय, उन्होंने इसे कठिनाई के आधार पर अपनी खोज को व्यवस्थित करने के लिए मजबूर किया।
- पुराना तरीका: "मुझे 100 विचार दो।" (AI एक ही सरल विचार के 100 रूपांतर देता है)।
- नया तरीका: "मुझे 10 सरल विचार, 10 मध्यम विचार और 10 जटिल विचार दो।"
इसने AI को उस "जटिल" हिस्से में देखने के लिए मजबूर किया जिसे वह आमतौर पर अनदेखा कर देता है। इसने AI को अधिक अद्वितीय उत्तर खोजने में मदद की, जिससे यह साबित हुआ कि समस्या यह नहीं थी कि AI उन्हें सोच नहीं सकता था, बल्कि यह थी कि वह उन्हें खोजने में बहुत आलसी था।
वास्तविक दुनिया का परीक्षण
उन्होंने यीस्ट (yeast - सूक्ष्म जीव) के वास्तविक जेनेटिक डेटा पर भी इसका परीक्षण किया। उन्होंने पाया कि वास्तविक विज्ञान में भी, अक्सर इस बात के कई वैध स्पष्टीकरण होते हैं कि जीन कैसे परस्पर क्रिया करते हैं। AI मॉडल्स ने यहाँ भी वही "अटक जाने वाला" व्यवहार दिखाया: उन्होंने एक वैध स्पष्टीकरण खोजा लेकिन बाकी 99 को छोड़ दिया।
निष्कर्ष (The Takeaway)
HypoSpace इस बारे में नहीं है कि AI पहेलियों को सुलझाने में कितना स्मार्ट है; यह इस बारे में है कि वे कैसे सोचते हैं इसका निदान करना है। यह खुलासा करता है कि वर्तमान AI एक एक सत्य खोजने में उत्कृष्ट हैं, लेकिन सभी संभावित सत्यों के परिदृश्य को खोजने (explore) में बहुत खराब हैं।
विज्ञान की प्रगति के लिए, हमें ऐसे AI की आवश्यकता है जो केवल वह पहला उत्तर न दे जो उसके मन में आता है, बल्कि एक जिज्ञासु वैज्ञानिक की तरह कार्य करे जो कमरे के हर कोने की जांच करे ताकि यह सुनिश्चित हो सके कि हमने किसी बेहतर स्पष्टीकरण को छोड़ा तो नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।