Can LLMs Solve Science or Just Write Code? Evaluating Quantum Solver Generation
यह शोध पत्र Q-SAGE को प्रस्तुत करता है, जो एक पुनरावृत्ति मूल्यांकन पद्धति है जो यह प्रदर्शित करती है कि जबकि लार्ज लैंग्वेज मॉडल्स (Large Language Models) परिशोधन के माध्यम से बेहतर सफलता दर वाले क्वांटम सॉल्वर उत्पन्न कर सकते हैं, वे अभी भी संख्यात्मक सटीकता में संघर्ष करते हैं और महत्वपूर्ण कम्प्यूटेशनल ओवरहेड उत्पन्न करते हैं, जो वैज्ञानिक क्वांटम सॉफ्टवेयर विकास को पूरी तरह से स्वचालित करने में वर्तमान सीमाओं को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, अति-तेज़ रोबोट सहायक है जो कंप्यूटर कोड लिखने में माहिर है। आप उससे एक कठिन भौतिकी पहेली (physics puzzle) को हल करने के लिए एक जटिल मशीन बनाने को कहते हैं। रोबोट कोड टाइप करता है, और मशीन चलना शुरू कर देती है। यह क्रैश नहीं होती! यह कोई एरर मैसेज भी नहीं देती! ऐसा लगता है कि यह पूरी तरह से काम कर रही है।
लेकिन यहाँ एक पेंच है: मशीन चल तो रही है, लेकिन यह आपको गलत उत्तर दे रही है।
यही वह मुख्य समस्या है जिसे पॉलिटेक्निको डि मिलानो और यूनिवर्सिटी ऑफ लक्समबर्ग के शोधकर्ताओं ने अपने शोध पत्र, "Can LLMs Solve Science or Just Write Code?" में संबोधित किया। वे यह जानना चाहते थे कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो ChatGPT जैसे टूल्स के पीछे का AI दिमाग है—वास्तव में सही ढंग से वैज्ञानिक समस्याओं को हल करने के लिए कोड लिख सकते हैं, या वे केवल ऐसा कोड लिखते हैं जो दिखने में सही लगता है लेकिन गणित के टेस्ट में फेल हो जाता है।
"Q-SAGE" वर्कशॉप
यह पता लगाने के लिए, शोधकर्ताओं ने Q-SAGE नामक एक टेस्टिंग फ्रेमवर्क बनाया। Q-SAGE को AI कोड के लिए एक सख्त, पुनरावृत्ति (iterative) वाली वर्कशॉप की तरह समझें:
- असाइनमेंट: AI को एक वैज्ञानिक समस्या दी जाती है (जैसे कि यह पता लगाना कि इलेक्ट्रॉन एक छोटे चुंबक में कैसे व्यवहार करते हैं या अणु कैसे जुड़ते हैं)।
- ड्राफ्ट: AI इसे हल करने के लिए एक पायथन (Python) स्क्रिप्ट लिखता है।
- टेस्ट रन: स्क्रिप्ट को एक कंप्यूटर पर चलाया जाता है।
- रियलिटी चेक: परिणाम की तुलना एक "गोल्डन स्टैंडर्ड" से की जाती है—एक भरोसेमंद, पुराने ढंग के क्लासिकल कंप्यूटर प्रोग्राम से, जिसके बारे में हम जानते हैं कि वह सही उत्तर देता है।
- फीडबैक लूप: यदि AI का उत्तर गलत है (या कोड क्रैश हो जाता है), तो वर्कशॉप केवल "फेल" नहीं कहती। यह AI को बताती है कि वह क्यों विफल हुआ (जैसे, "आपने गणित में गलती की" या "कोड क्रैश हो गया")। इसके बाद AI कोड को फिर से लिखता है और फिर से प्रयास करता है।
उन्होंने इस वर्कशॉप को पांच अलग-अलग प्रकार की वैज्ञानिक समस्याओं (क्वांटम भौतिकी से लेकर रसायन विज्ञान तक) और पांच अलग-अलग AI मॉडल्स (कुछ ओपन-सोर्स, कुछ बड़ी टेक कंपनियों के) के साथ चलाया।
उन्होंने क्या खोजा
1. "फर्स्ट ड्राफ्ट" की समस्या
जब AI को केवल एक बार कोड लिखने के लिए कहा गया (बिना फीडबैक के), तो वह अक्सर विफल रहा। यह एक छात्र को बिना किसी पढ़ाई या अभ्यास के फाइनल परीक्षा देने के लिए कहने जैसा था। कई स्क्रिप्ट तुरंत क्रैश हो गईं, या उन्होंने गलत टूल्स का उपयोग किया (जैसे कि पेचकश की जगह हथौड़ा इस्तेमाल करना)।
2. "कोशिश करो, फेल हो, ठीक करो" का जादू
जब शोधकर्ताओं ने AI को इटरेशन (पुनरावृत्ति) करने दिया—उसे अपनी गलतियों को देखने और फिर से प्रयास करने दिया—तो सफलता की दर नाटकीय रूप से बढ़ गई।
- उपमा: कल्पना कीजिए कि एक शेफ केक बनाने की कोशिश कर रहा है। पहली बार में, वह अंडे डालना भूल जाता है। जज कहता है, "अंडे नहीं हैं।" शेफ फिर से कोशिश करता है, अंडे डालता है, लेकिन केक जला देता है। जज कहता है, "गर्मी कम करें।" तीसरी या चौथी कोशिश तक, शेफ अंततः एक परफेक्ट केक बना लेता है।
- परिणाम: सरल समस्याओं के लिए, AI लगभग 5 प्रयासों के भीतर अपनी गलतियों को सुधारने में बहुत अच्छा हो गया।
3. "साइलेंट किलर": गलत गणित
यहाँ सबसे महत्वपूर्ण खोज है: जैसे-जैसे AI मॉडल्स अधिक स्मार्ट होते गए, गलतियों का प्रकार बदल गया।
- डम्ब (कम बुद्धि वाला) AI: "सिंटैक्स" त्रुटियां करता था। कोड चलता ही नहीं था। यह एक ऐसी कार की तरह था जो इसलिए शुरू नहीं होती क्योंकि चाबियाँ गलत इग्निशन में लगी थीं।
- स्मार्ट AI: कोड पूरी तरह से चलता था! लेकिन नंबर गलत थे। यह एक ऐसी कार की तरह था जो सुचारू रूप से चलती तो है लेकिन गलत मोड़ ले लेती है क्योंकि GPS थोड़ा गलत है।
- सबक: बेहतरीन AI मॉडल्स भी संख्यात्मक सटीकता (numerical accuracy) के साथ संघर्ष करते हैं। वे ऐसा कोड लिख सकते हैं जो क्वांटम फिजिक्स का समाधान दिखता है, लेकिन उसके अंदर का गणित थोड़ा गलत होता है, जिससे परिणाम वैज्ञानिक रूप से बेकार हो जाते हैं।
4. पूर्णता की कीमत
AI को अपनी गलतियों को सुधारने में समय लगता है।
- उपमा: यदि आप किसी इंसान को रिपोर्ट लिखने के लिए कहते हैं, तो इसमें एक घंटा लगता है। यदि आप उनसे इसे लिखने, फीडबैक प्राप्त करने, फिर से लिखने, फिर फीडबैक प्राप्त करने और फिर से पांच बार लिखने के लिए कहते हैं, तो इसमें पांच घंटे लग सकते हैं।
- परिणाम: शोधकर्ताओं ने पाया कि जबकि इटरेटिव फीडबैक काम करता था, लेकिन इसके साथ एक बड़ा "टाइम टैक्स" (समय का बोझ) भी आता था। सही उत्तर प्राप्त करने में अक्सर कोड को एक बार चलाने की तुलना में बहुत अधिक समय लगा। बहुत जटिल समस्याओं के लिए, AI कभी-कभी कोशिश और विफलता के एक लूप में फंस जाता था, जिससे बहुत सारा कंप्यूटर समय बर्बाद होता था।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हालांकि AI कोड लिखने में बेहतर हो रहा है, लेकिन यह अभी तक एक विश्वसनीय वैज्ञानिक नहीं है।
- क्या यह कोड लिख सकता है? हाँ, खासकर यदि आप इसे अपनी गलतियों को सुधारने दें।
- क्या यह विज्ञान हल कर सकता है? अपने आप में भरोसेमंद तरीके से नहीं। यह अक्सर ऐसा कोड बनाता है जो चलता तो है लेकिन गलत नंबर देता है।
शोधकर्ता सुझाव देते हैं कि फिलहाल के लिए, AI एक बेहतरीन "ड्राफ्ट्समैन" है जो आपको 80% तक पहुँचा सकता है, लेकिन अंतिम गणित की जांच करने के लिए एक मानव विशेषज्ञ (या एक बहुत सख्त सत्यापन प्रणाली) की अभी भी आवश्यकता है। आप केवल AI पर विज्ञान करने के लिए भरोसा नहीं कर सकते; आपको परिणामों को सत्यापित करना होगा, क्योंकि एक चलता हुआ प्रोग्राम हमेशा सही उत्तर नहीं होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।