Empirical Computation: Prompting versus Programming
यह विजन पेपर "एम्पिरिकल कंप्यूटेशन" (अनुभवजन्य गणना) को एक नए प्रतिमान के रूप में प्रस्तावित करता है जहाँ लार्ज लैंग्वेज मॉडल्स पारंपरिक प्रोग्रामिंग के बजाय प्रॉम्प्टिंग के माध्यम से कम्प्यूटेशनल समस्याओं को हल करते हैं, और यह तर्क देता है कि इसकी अनूठी क्षमताओं और सीमाओं के लिए सॉफ्टवेयर इंजीनियरिंग समुदाय को शुद्धता और मौलिक सीमाओं का विश्लेषण करने के लिए नए मौलिक सिद्धांतों और तकनीकों को विकसित करने की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक काम पूरा करने के दो तरीके हैं: प्रोग्रामिंग (Programming) और प्रॉम्प्टिंग (Prompting)।
पुराना तरीका: प्रोग्रामिंग (एक सख्त वास्तुकार)
पारंपरिक प्रोग्रामिंग को एक सख्त, नियम-बद्ध वास्तुकार (Architect) को काम पर रखने की तरह समझें। आप उन्हें एक ब्लूप्रिंट देते हैं जिसमें सटीक माप, विशिष्ट सामग्रियां और एक चरण-दर-चरण योजना होती है।
- यह कैसे काम करता है: आप कंप्यूटर को बताते हैं कि समस्या को ठीक से कैसे हल करना है, जैसे कि संख्याओं की एक सूची को क्रमबद्ध (sort) करना। आप कहते हैं, "इस विशिष्ट एल्गोरिदम (Merge Sort) का उपयोग करें, इन इनपुटों को लें, और इन नियमों का पालन करें।"
- परिणाम: यदि वास्तुकार कोई गलती करता है, तो आप ब्लूप्रिंट में उस सटीक टूटी हुई ईंट को ढूंढ सकते हैं, उसे ठीक कर सकते हैं, और यह जान सकते हैं कि अगली बार इमारत सही ढंग से खड़ी होगी।
- सीमा: इसे बनाने में लगने वाला समय गणित की जटिलता पर निर्भर करता है। संख्याओं की एक बड़ी सूची को क्रमबद्ध करने में लगने वाला समय सूची के आकार के आधार पर एक अनुमानित समय लेता है (विशेष रूप से, )।
नया तरीका: प्रॉम्प्टिंग (एक सहज कलाकार)
अब, कल्पना कीजिए कि आपने एक प्रतिभाशाली, सहज कलाकार को काम पर रखा है। आप उन्हें ब्लूप्रिंट नहीं देते। आप बस कहते हैं, "हे, यहाँ संख्याओं का एक बिखरा हुआ ढेर है, क्या आप इन्हें मेरे लिए क्रमबद्ध कर सकते हैं?"
- यह कैसे काम करता है: आप प्राकृतिक भाषा (एक "प्रॉम्ट") का उपयोग करते हैं जिससे समस्या का वर्णन किया जाता है। "कंप्यूटर" (एक लार्ज लैंग्वेज मॉडल या LLM) सख्त नियमों का पालन नहीं करता है। इसके बजाय, यह इंटरनेट पर जो कुछ भी उसने पढ़ा है, उसके आधार पर सबसे संभावित उत्तर का अनुमान लगाता है। यह एक शेफ की तरह है जो रेसिपी का पालन करने के बजाय सूप चखकर उसके अवयवों (ingredients) का अनुमान लगाता है।
- परिणाम: उत्तर तेजी से आता है, लेकिन यह एक अनुमान है, गारंटी नहीं। यह "सबसे संभावित" उत्तर है, "सिद्ध रूप से सही" उत्तर नहीं।
शोध पत्र ने क्या पाया: "अनुभवजन्य" (Empirical) आश्चर्य
इस शोध पत्र के लेखकों ने यह देखने के लिए प्रयोग किए कि यह "सहज कलाकार" संख्याओं को क्रमबद्ध करने या सूची में वस्तुओं को खोजने जैसी क्लासिक गणितीय समस्याओं पर कैसा प्रदर्शन करता है। यहाँ उन्होंने क्या खोजा:
1. समय एक जैसा काम नहीं करता
- प्रोग्रामिंग: यदि आप क्रमबद्ध करने वाली वस्तुओं की संख्या दोगुनी करते हैं, तो लगने वाला समय एक विशिष्ट, गणितीय तरीके से बढ़ जाता है।
- प्रॉम्प्टिंग: LLM को संख्याएं क्रमबद्ध करने में लगने वाला समय सूची के बड़े होने पर रैखिक (linearly) रूप से (बस एक सीधी रेखा की तरह) बढ़ता है। ऐसा इसलिए नहीं है क्योंकि गणित कठिन हो गया है, बल्कि इसलिए क्योंकि LLM को लंबी सूची को संभालने के लिए अधिक शब्द (टोकन) पढ़ने और लिखने पड़ते हैं। यह एक लंबी किताब पढ़ने जैसा है; शब्दों को पढ़ने में अधिक समय लगता है, न कि इसलिए कि कहानी अधिक जटिल है।
2. चीजें बड़ी होने पर सटीकता गिर जाती है
- प्रोग्रामिंग: एक सही प्रोग्राम हर बार 100% सही होता है।
- प्रॉम्प्टिंग: LLM छोटे कार्यों के लिए बहुत अच्छा है लेकिन जैसे-जैसे सूची बढ़ती है, यह भ्रमित हो जाता है।
- 50 संख्याओं की सूची के लिए, इसने लगभग 90% बार सही उत्तर दिया।
- 150 संख्याओं की सूची के लिए, इसने केवल 58% बार सही उत्तर दिया।
- यदि आप इसे एक छोटी स्ट्रिंग में एक विशिष्ट पैटर्न खोजने के लिए कहते हैं, तो यदि स्ट्रिंग थोड़ी भी लंबी हो जाती है, तो यह लगभग तुरंत विफल हो सकता है।
- "सोचने" का मोड: जब LLM को उत्तर देने से पहले "सोचने" (चरण-दर-चरण तर्क करने) की अनुमति दी जाती है, तो यह बहुत सटीक रहता है, लेकिन इसमें बहुत अधिक समय लगता है।
3. भाषा का खेल
- प्रोग्रामिंग: इससे कोई फर्क नहीं पड़ता कि आप कोड अंग्रेजी में लिखें या जर्मन में; कंप्यूटर प्रतीकों को एक ही तरह से पढ़ता है।
- प्रॉम्प्टिंग: LLM इंटरनेट पर जो कुछ भी पढ़ा है उससे प्रभावित होता है।
- यदि आप इसे अंग्रेजी शब्दों ("one, two, three") में लिखी गई संख्याओं को क्रमबद्ध करने के लिए कहते हैं, तो यह बहुत अच्छा काम करता है।
- यदि आप इसे जर्मन ("eins, zwei, drei") में लिखी गई संख्याओं को क्रमबद्ध करने के लिए कहते हैं, तो यह लगभग पूरी तरह से विफल हो जाता है।
- क्यों? LLM ने इंटरनेट पर लाखों अंग्रेजी उदाहरण देखे हैं लेकिन जर्मन के बहुत कम उदाहरण देखे हैं। यह एक शेफ से ऐसी डिश बनाने के लिए कहने जैसा है जिसे उसने पहले कभी नहीं देखा है; वह गलत अनुमान लगा सकता है।
4. "टूटी हुई ईंट" की समस्या
- प्रोग्रामिंग: यदि कोई प्रोग्राम विफल होता है, तो आप बग को ढूंढ सकते हैं, कोड को ठीक कर सकते हैं, और समस्या हमेशा के लिए हल हो जाती है।
- प्रॉम्प्टिंग: यदि LLM गलत उत्तर देता है, तो आप आसानी से "बग" नहीं ढूंढ सकते। आप किसी विशिष्ट लाइन की ओर इशारा करके उसे ठीक नहीं कर सकते। आप अपना प्रॉम्ट बदलने या इसे "कठोरता से सोचने" के लिए कहने की कोशिश कर सकते हैं, लेकिन इसकी कोई गारंटी नहीं है कि अगली बार यह काम करेगा। यह एक सपने को ठीक करने के लिए सपने देखने वाले के मूड को बदलने की कोशिश करने जैसा है।
मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि हम "एम्पिरिकल कंप्यूटेशन" (Empirical Computation) नामक एक नए युग में प्रवेश कर रहे हैं।
पुरानी दुनिया में, हम कंप्यूटरों पर भरोसा करते थे क्योंकि वे सख्त नियमों का पालन करते थे (तर्कवादी ढांचा/Rationalist framework)। इस नई दुनिया में, हम कंप्यूटरों पर इसलिए भरोसा कर रहे हैं क्योंकि वे डेटा के आधार पर "शिक्षित अनुमान" लगाते हैं (अनुभवजन्य ढांचा/Empirical framework)।
लेखक सॉफ्टवेयर इंजीनियरों से आह्वान कर रहे हैं कि वे इन AI सिस्टमों का विश्लेषण पुराने जमाने के प्रोग्रामों की तरह करना बंद करें। हमें नए उपकरणों की आवश्यकता है जिससे हम यह माप सकें, परीक्षण कर सकें और समझ सकें कि ये "अनुमान लगाने वाली मशीनें" कैसे काम करती हैं, क्योंकि पुराने गणित और तर्क के नियम अब उन पर पूरी तरह लागू नहीं होते हैं। हमें यह समझने की आवश्यकता है कि एक ऐसे परिणाम पर कैसे भरोसा किया जाए जो "शायद सही" है न कि "निश्चित रूप से सही"।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।