Can LLMs Perform Synthesis?
यह शोध पत्र चार प्रोग्राम सिंथेसिस डोमेन में सिम्बोलिक टूल्स (symbolic tools) के विरुद्ध LLMs (Qwen और GPT-5) के प्रदर्शन का मूल्यांकन करता है, जिसमें यह पाया गया कि सिम्बोलिक सॉल्वर लगातार ओपन-सोर्स और फ्रंटियर LLMs दोनों की तुलना में अधिक बेंचमार्क हल करते हैं और तेज़ निष्पादित होते हैं, भले ही बाद वाले अधिक शक्तिशाली हार्डवेयर पर चलाए गए हों।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक आदर्श रोबोट बनाने की कोशिश कर रहे हैं जो कभी गलती नहीं करता। आपके पास एक बहुत ही सख्त निर्देश पुस्तिका (एक "स्पेसिफिकेशन") है जो बताती है कि रोबोट को बिल्कुल क्या करना चाहिए। आपका लक्ष्य एक ऐसी मशीन प्राप्त करना है जो उस निर्देश पुस्तिका को पढ़े और आपके लिए रोबोट को स्वचालित रूप से बना दे। इसे प्रोग्राम सिंथेसिस (Program Synthesis) कहा जाता है।
द दशकों से, हमने "सिम्बोलिक टूल्स" (Symbolic Tools) का उपयोग किया है—इन्हें अति-सटीक, कठोर गणितीय रोबोट के रूप में सोचें। वे एक कुशल ताला बनाने वाले (locksmith) की तरह हैं जो एक विशाल चाबियों के गुच्छे में से एक-एक करके हर एक चाबी को आज़माता है जब तक कि उसे वह चाबी न मिल जाए जो दरवाज़ा खोल सके। वे धीमे, व्यवस्थित हैं, और यदि सही चाबी मौजूद है, तो उसे खोजने की गारंटी देते हैं।
हाल ही में, एक नया प्रतिद्वंद्वी रिंग में आया है: लार्ज लैंग्वेज मॉडल्स (LLMs)। इन्हें रचनात्मक, सहज बुद्धि वाले दिग्गजों के रूप में समझें। उन्होंने लाइब्रेरी की लगभग हर किताब पढ़ रखी है। जब आप उनसे एक रोबोट बनाने के लिए कहते हैं, तो वे हर चाबी को आज़माते नहीं हैं; वे अपनी अंतर्दृष्टि और अनुभव के आधार पर सही चाबी का अनुमान लगाते हैं। वे तेज़ और अक्सर शानदार होते हैं, लेकिन कभी-कभी वे ऐसी चीज़ें बना देते हैं जो सुनने में तो अच्छी लगती हैं लेकिन वास्तव में काम नहीं करतीं।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या ये रचनात्मक दिग्गज (LLMs), आदर्श रोबोट बनाने के काम में विधियों वाले ताला बनाने वालों (Symbolic Tools) की जगह ले सकते हैं?
प्रयोग: चार अरीना में एक दौड़
शोधकर्ताओं ने पुराने जमाने के गणितीय रोबोटों और नए AI दिग्गजों के बीच चार "अरीना" (समस्याओं के प्रकार) में एक दौड़ आयोजित की:
- ट्रैफिक लाइट अरीना (LTL Reactive Synthesis): एक ऐसा सिस्टम बनाना जो ट्रैफिक लाइट और पैदल यात्रियों के प्रति पूरी तरह से प्रतिक्रिया दे सके।
- लेगो अरीना (Syntax-Guided Synthesis): उपयोगकर्ता द्वारा प्रदान किए गए विशिष्ट लेगो ब्रिक्स (एक व्याकरण) का उपयोग करके एक फंक्शन बनाना।
- टीमवर्क अरीना (Distributed Protocol Synthesis): कंप्यूटरों की एक टीम के लिए निर्देश लिखना ताकि वे बिना बहस किए मिलकर काम कर सकें।
- रिकर्सिव मेज़ अरीना (Recursive Program Synthesis): जटिल पहेलियों को हल करने के लिए खुद को कॉल करने वाला कोड लिखना।
उन्होंने सिम्बोलिक टूल्स (ताला बनाने वालों) को Qwen (एक बहुत ही स्मार्ट, ओपन-सोर्स AI) और GPT-5 (सबसे शक्तिशाली, प्रोप्राइटरी AI) के खिलाफ मुकाबला कराया।
दौड़ के नियम
इसे निष्पक्ष बनाने के लिए, शोधकर्ताओं ने कुछ नियम तय किए:
- "काम की जाँच" का नियम (The "Check-Work" Rule): चूंकि AI भ्रमित हो सकता है (hallucinate), उन्होंने केवल AI के उत्तर पर भरोसा नहीं किया। उन्होंने हर उत्तर की जाँच करने के लिए एक सख्त "वेरिफायर" (ग्रेडर) का उपयोग किया। यदि AI गलत होता, तो उसे फिर से प्रयास करना पड़ता।
- "कोई संकेत नहीं" का नियम (The "No-Hints" Rule): AI को यह देखने की अनुमति नहीं थी कि वह क्यों विफल हुआ। वह यह नहीं कह सकता था, "ओह, मैं एक कदम भूल गया," और उसे ठीक कर सकता था। उसे बस तब तक अनुमान लगाना था जब तक कि वह सही न हो जाए या उसका समय समाप्त न हो जाए। इसने यह परीक्षण किया कि क्या AI यह काम स्वयं कर सकता है, न कि केवल एक मानव के सहायक के रूप में।
- समय सीमा: प्रत्येक पहेली को हल करने के लिए सभी के पास 10 मिनट थे।
परिणाम: कौन जीता?
यहाँ निर्णय दिया गया है, जो इस आधार पर है कि दौड़ में क्या हुआ:
1. गति और सटीकता का चैंपियन: सिम्बोलिक टूल्स
लगभग हर अरीना में, पुराने जमाने के सिम्बोलिक टूल्स जीते। उन्होंने AI की तुलना में अधिक पहेलियाँ हल कीं।
- उपमा: कल्पना कीजिए कि AI एक धावक है जो तेज़ दौड़ता है लेकिन अक्सर अपने जूतों के फीतों में उलझकर गिर जाता है। सिम्बोलिक टूल एक कछुआ है जो धीरे चलता है लेकिन कभी नहीं लड़खड़ाता। अंत में, कछुआ अधिक दौड़ें पूरी करता है।
- अंतर: "ट्रैफिक लाइट" अरीना में, सिम्बोलिक टूल ने 354 पहेलियाँ हल कीं, जबकि सबसे अच्छे AI (GPT-5) ने केवल 229 हल कीं। AI काफी धीमा और कम सटीक था।
2. AI की ताकत: "असंभव" को हल करना
वहाँ एक आश्चर्यजनक मोड़ आया। कुछ मामलों में, सिम्बोलिक टूल्स अटक गए। वे इतने कठोर हैं कि यदि किसी पहेली के लिए किसी अजीब, रचनात्मक छलांग की आवश्यकता होती है, तो वे हार मान लेते हैं।
- AI की जीत: AI ने कुछ ऐसी पहेलियाँ हल कीं जिन्हें सिम्बोलिक टूल्स बिल्कुल भी हल नहीं कर सके।
- उपमा: यदि दरवाज़ा एक अजीब, गैर-मानक ताले से बंद है, तो ताला बनाने वाला हार मान सकता है क्योंकि उसकी चाबियाँ फिट नहीं बैठतीं। हालाँकि, AI उस ताले को देख सकता है, समझ सकता है कि यह एक चाल है, और बस एक पेपरक्लिप से उसे खोल सकता है।
3. "दोहराव" की समस्या
AI में एक अजीब दोष था। जब वह अटक जाता, तो वह अक्सर बार-बार वही गलत उत्तर देता रहता था।
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। वह एक प्रश्न का गलत उत्तर देता है। पढ़ाई करने के बजाय, वह बस वही गलत उत्तर 50 बार लिखता रहता है, इस उम्मीद में कि शिक्षक अपना मन बदल लेगा। सिम्बोलिक टूल्स, तार्किक होने के नाते, कभी भी एक ही गलती नहीं दोहराते; वे हर बार एक पूरी तरह से नई चाबी आज़माते हैं।
4. समय और पैसे की लागत
- समय: सिम्बोलिक टूल्स बहुत तेज़ थे। भले ही AI शक्तिशाली कंप्यूटर चिप्स (GPUs) पर चल रहा था, फिर भी मानक चिप्स पर चलने वाले गणितीय रोबोट इन विशिष्ट तर्क पहेलियों को हल करने में तेज़ थे।
- पैसा: AI का उपयोग करने में वास्तविक पैसा खर्च हुआ (ट्रैफिक लाइट दौड़ के लिए लगभग $40)। सिम्बोलिक टूल्स मुफ्त थे (एक बार सॉफ्टवेयर मिलने के बाद)।
मुख्य निष्कर्ष
क्या LLMs सिंथेसिस कर सकते हैं?
हाँ, लेकिन अभी तक प्रतिस्थापन (replacement) के रूप में नहीं।
इसे ऐसे सोचें:
- सिम्बोलिक टूल्स GPS नेविगेशन की तरह हैं। वे उबाऊ हैं, लेकिन वे आपको 100% समय आपके गंतव्य तक पहुँचा देंगे, और वे आपको खाई में नहीं गिराएंगे।
- LLMs एक स्थानीय टैक्सी ड्राइवर की तरह हैं। वे वह रास्ता जान सकते हैं जो GPS को नहीं पता, और वे कभी-कभी आपको वहाँ तेज़ी से पहुँचा सकते हैं। लेकिन वे रास्ता भटक भी सकते हैं, चक्कर काट सकते हैं, या आपको झील में भी ले जा सकते हैं।
निर्णय:
सबसे अच्छी रणनीति यह नहीं है कि एक या दूसरे को चुना जाए। यह दोनों का उपयोग करना है।
- सिम्बोलिक टूल को मानक, उबाऊ और महत्वपूर्ण कार्यों के लिए भारी काम करने दें।
- AI को उन अजीब, रचनात्मक समस्याओं को हल करने की कोशिश करने दें जो गणितीय रोबोटों को उलझा देती हैं।
शोध पत्र यह निष्कर्ष निकालता है कि हालांकि AI अविश्वसनीय रूप से अच्छा हो रहा है, फिर भी इसमें पूर्णता की गारंटी की कमी है जिसकी हमें महत्वपूर्ण प्रणालियों (जैसे परमाणु ऊर्जा संयंत्र या स्व-चालित कारें) के लिए आवश्यकता होती है। फिलहाल, "उबाऊ" गणितीय रोबोट ही असली राजा हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।