Probabilistic Programs of Thought
यह शोध पत्र "प्रोबेबिलिस्टिक प्रोग्राम्स ऑफ थॉट" (Probabilistic Programs of Thought) प्रस्तुत करता है, जो एक टेस्ट-टाइम फ्रेमवर्क है जो एकल एलएलएम जनरेशन से अगले-टोकन की संभावनाओं (next-token probabilities) का लाभ उठाकर घातांकीय रूप से कई नियतात्मक परिणामों (deterministic outcomes) का प्रतिनिधित्व करने वाले संक्षिप्त संभाव्य कार्यक्रमों का निर्माण करता है, जिससे अतिरिक्त जीपीयू कंप्यूट के बिना कोड और रीजनिंग कार्यों के लिए विविध समाधानों का कुशल सैंपलिंग सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कठिन गणित की समस्या को हल करने या कोड लिखने की कोशिश कर रहे हैं, और आप मदद के लिए एक सुपर-स्मार्ट AI असिस्टेंट (एक लार्ज लैंग्वेज मॉडल, या LLM) से पूछते हैं।
पुराना तरीका: "अनुमान लगाओ और जाँचो" का लॉटरी खेल
आमतौर पर, जब AI अटक जाता है या उससे कोई छोटी सी गलती हो जाती है, तो मानक दृष्टिकोण यह होता है कि उससे बार-बार वही सवाल पूछा जाए, इस उम्मीद में कि किस्मत से वह कोई अलग और सही उत्तर दे देगा।
- उपमा: कल्पना कीजिए कि आप एक तिजोरी के कॉम्बिनेशन लॉक को खोलने की कोशिश कर रहे हैं। AI एक रोबोट है जो डायल घुमाता है। अगर वह गलत नंबर चुनता है, तो आप उसे कहते हैं, "फिर से कोशिश करो!" वह फिर से डायल घुमाता है। अगर वह फिर भी गलत है, तो आप दोबारा पूछते हैं।
- समस्या: हर बार जब आप रोबोट को डायल घुमाने के लिए कहते हैं, तो उसे जागना पड़ता है, बहुत गहराई से सोचना पड़ता है और बिजली (GPU पावर) की एक विशाल मात्रा खर्च करनी पड़ती है। यदि आपको सही कोड पाने के लिए 20 बार पूछने की आवश्यकता है, तो आपने बहुत अधिक ऊर्जा और समय बर्बाद कर दिया है। यह महंगा और धीमा है।
नया तरीका: प्रोबेबिलिस्टिक प्रोग्राम्स ऑफ थॉट (PPoT)
यह पेपर प्रोबेबिलिस्टिक प्रोग्राम्स ऑफ थॉट (PPoT) नामक एक चतुर तकनीक पेश करता है। रोबोट को 20 बार डायल घुमाने के लिए कहने के बजाय, PPoT आपको केवल एक ही बार डायल घुमाने पर 20 अलग-अलग "क्या होगा अगर" (what-if) वाले परिदृश्य प्राप्त करने देता है।
यह कैसे काम करता है, यहाँ एक सरल रूपक के माध्यम से बताया गया है:
1. "क्रिस्टल बॉल" का स्नैपशॉट
जब AI कोड का एक टुकड़ा बनाता है, तो वह केवल एक संख्या या शब्द नहीं चुनता। पर्दे के पीछे, वह वास्तव में संभावनाओं के एक पूरे मेनू को देख रहा होता है।
- उपमा: कल्पना कीजिए कि AI एक शेफ है जो रेसिपी लिख रहा है। जब वह लिखता है "2 कप मैदा डालें," तो वह पूरी तरह से निश्चित नहीं है कि उसे 2 ही लिखना चाहिए। शायद वह सोचता है कि 2 होने की संभावना 60% है, 3 होने की 30% और 1 होने की 10% है।
- पुरानी गलती: पुराना तरीका इन अन्य विकल्पों को अनदेखा कर देता है। वह बस "2" लेता है, व्यंजन बनाता है, उसे चखता है, और यदि वह खराब है, तो उसे फेंक देता है और शून्य से एक नया कुकिंग सेशन शुरू कर देता है।
- PPoT का जादू: PPoT कहता है, "रुको! इस रेसिपी को फेंको मत!" इसके बजाय, यह उस एकल रेसिपी को लेता है और उन अनिश्चित हिस्सों (जैसे कि "2") को जादुई पासे (magic dice) में बदल देता है।
2. कोड को "चुनें अपनी पसंद का रोमांच" (Choose Your Own Adventure) में बदलना
शोधकर्ता AI द्वारा लिखे गए कोड को लेते हैं और विशिष्ट संख्याओं या प्रतीकों को "रैंडम वेरिएबल्स" (जैसे कि ऊपर बताए गए पासे) से बदल देते हैं।
- उपमा: आप रेसिपी लेते हैं और लिखते हैं: "X कप मैदा डालें," जहाँ X एक पासा है जो शेफ के मूल विश्वास के आधार पर 1, 2, या 3 हो सकता है।
- अब, एक एकल रेसिपी के बजाय, आपके पास एक प्रोबेबिलिस्टिक प्रोग्राम है। यह एकल प्रोग्राम एक साथ हजारों संभावित रेसिपीओं का प्रतिनिधित्व करता है।
3. "इंस्टेंट रिप्ले" (Instant Replay)
अब सबसे अच्छा हिस्सा आता है। आपको AI शेफ को फिर से बुलाने की आवश्यकता नहीं है। आप बस अपने कंप्यूटर पर पासे फेंकते हैं (जो बहुत तेज़ और सस्ता है)।
- रोल 1: पासा 2 पर आता है। आपको मूल रेसिपी मिल जाती है।
- रोल 2: पासा 3 पर आता है। आपको 3 कप मैदा वाली एक नई रेसिपी मिल जाती है।
- रोल 3: पासा 1 पर आता है। आपको 1 कप मैदा वाली एक रेसिपी मिल जाती है।
आप AI को एक बार सोचने के लिए बुलाने में लगने वाले समय में सैकड़ों बार पासे फेंक सकते हैं। आप AI के पहले अनुमान के "पड़ोस" (neighborhood) की खोज कर रहे हैं, बिना भारी बिजली का बिल चुकाए।
यह एक बड़ी बात क्यों है?
- सस्ता: आप बहुत सारी कंप्यूटर पावर (और पैसा) बचाते हैं क्योंकि आप केवल एक बार AI को सोचने के लिए कहते हैं।
- स्मार्ट: यह छोटी, मूर्खतापूर्ण गलतियों को ठीक करता है। यदि AI ने
200लिखा लेकिन उसका मतलब20था, तो प्रोबेबिलिस्टिक प्रोग्राम जानता है कि20एक संभावना थी। यह "पासे फेंक" सकता है और बिना AI से दोबारा पूछे तुरंत सही संस्करण बना सकता है। - तेज़: आप कम समय में अधिक सही उत्तर प्राप्त करते हैं।
पेपर से वास्तविक दुनिया का उदाहरण
इस पेपर का परीक्षण गणित की समस्याओं और कोड जनरेशन पर किया गया।
- परिदृश्य: AI ने एक छात्र का ग्रेड कैलकुलेट करने के लिए एक प्रोग्राम लिखा लेकिन गलती से गलत नंबर का उपयोग किया।
- पुराना तरीका: AI से 10 बार पूछें कि क्या वह इसे सही कर पाता है। (महंगा!)
- PPoT तरीका: गलत प्रोग्राम को लें, गलत नंबर को "पासे के रोल" में बदलें, और तुरंत 10 भिन्नताएं (variations) उत्पन्न करें। उनमें से एक संभवतः सही नंबर होगा, और आपने बिना AI की मदद लिए ही उसे ढूंढ लिया।
संक्षेप में: PPoT AI की विचार प्रक्रिया के एक सिंगल स्नैपशॉट लेने और उसका उपयोग करके तुरंत "क्या होगा अगर" के पूरे गैलरी जैसे विविधताओं को बनाने जैसा है, जो आपको बेहतर परिणाम देते हुए आपका समय, पैसा और ऊर्जा बचाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।