Using Probabilistic Programs to Train Inductive Reasoning in Large Language Models
यह शोध पत्र प्रोग्राम-आधारित पोस्टीरियर ट्रेनिंग (PPT) को प्रस्तुत करता है, जो एक नवीन फाइन-ट्यूनिंग विधि है जो विविध ओपन-वर्ल्ड परिदृश्यों और वितरण संबंधी सॉफ्ट लेबल (distributional soft labels) को उत्पन्न करने के लिए संभाव्य कार्यक्रमों (probabilistic programs) का लाभ उठाती है, जिससे बड़े भाषा मॉडलों की अनिश्चित आगमनात्मक तर्क (uncertain inductive reasoning) करने की क्षमता और मानवीय निर्णयों के साथ संरेखित होने की क्षमता में महत्वपूर्ण रूप से वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, सुशिक्षित छात्र (एक लार्ज लैंग्वेज मॉडल, या LLM) को यह सिखाने की कोशिश कर रहे हैं कि वास्तविक दुनिया के बारे में अनुमान कैसे लगाया जाए।
वर्तमान में, ये छात्र निगमनात्मक तर्क (deductive reasoning) में उत्कृष्ट हैं। यह गणित की समस्या हल करने या कोड लिखने जैसा है: यहाँ नियमों का एक स्पष्ट सेट होता है, और यदि आप उनका सही ढंग से पालन करते हैं, तो एक ही एकल, 100% सही उत्तर मिलता है। यदि वे गलत होते हैं, तो यह एक स्पष्ट त्रुटि होती है।
हालाँकि, वास्तविक दुनिया शायद ही कभी इतनी व्यवस्थित होती है। हमारी अधिकांश दैनिक सोच आगमनात्मक तर्क (inductive reasoning) है। यह एक जासूस होने जैसा है जो क्या हुआ है यह जानने के लिए कुछ बिखरे हुए सुरागों को देखता है।
- उदाहरण: आप अपने एक मित्र को देर से आते देखते हैं, जो थका हुआ दिख रहा है और अपनी घड़ी देख रहा है। आप अनुमान लगाते हैं कि वह सोकर देर से उठा होगा। लेकिन हो सकता है कि वह ट्रैफिक में फंस गया हो? शायद उसकी बस छूट गई हो? यहाँ कोई एक "सही" उत्तर नहीं है; इसके बजाय संभावनाओं की एक सीमा (range of possibilities) होती है, जिनमें से प्रत्येक की संभावना का स्तर अलग होता है।
समस्या यह है कि मानक प्रशिक्षण विधियाँ इसके साथ संघर्ष करती हैं। एक विशाल "जासूसी मामलों" का पुस्तकालय खोजना कठिन है जहाँ उत्तर पहले से ही एक शिक्षक द्वारा ग्रेड किए गए हों, जो हर परिणाम की सटीक संभावना जानता हो। अन्य AI मॉडलों से इन मामलों को ग्रेड करने के लिए कहना जोखिम भरा है क्योंकि वे केवल अपने स्वयं के पूर्वाग्रहों की नकल कर सकते हैं।
समाधान: "सिमुलेशन गेम" (प्रोग्राम-आधारित पोस्टीरियर ट्रेनिंग)
शोधकर्ताओं ने एक चतुर तरीका निकाला है जिससे वे AI को अनिश्चितता को संभालने के लिए प्रशिक्षित कर सकें। वे इसे प्रोग्राम-आधारित पोस्टीरियर ट्रेनिंग (PPT) कहते हैं।
इसे एक तीन-चरणीय वीडियो गेम प्रोडक्शन पाइपलाइन की तरह समझें:
- कहानीकार (The Storyteller - LLM): सबसे पहले, वे एक शक्तिशाली AI को कई काल्पनिक, खुली दुनिया वाली स्थितियाँ (scenarios) बनाने के लिए कहते हैं।
- उदाहरण: "एक पावरलिफ्टिंग चैंपियनशिप की कल्पना करें जहाँ एथलीटों का प्रदर्शन उनकी प्राकृतिक ताकत, उस दिन उनकी एकाग्रता और उन्होंने कितनी नींद ली, इस पर निर्भर करता है।"
- गणितज्ञ (The Mathematician - द प्रोबेबिलिस्टिक प्रोग्राम): इसके बाद, वे AI से उस कहानी को एक सख्त गणितीय कोड (एक "प्रोबेबिलिस्टिक प्रोग्राम") में अनुवाद करने के लिए कहते हैं। यह कोड एक पूर्ण सिमुलेशन इंजन के रूप में कार्य करता है। यह केवल अनुमान नहीं लगाता; यह कहानी के नियमों के आधार पर हर परिणाम की सटीक गणितीय संभावनाओं की गणना करता है।
- उपमा: यदि कहानी एक रेसिपी है, तो यह चरण एक कंप्यूटर प्रोग्राम लिखने जैसा है जो बिल्कुल यह सिम्युलेट करता है कि सामग्री के आधार पर केक कैसे फूलेगा, वह कितना घना होगा और उसके जलने की कितनी संभावना है।
- शिक्षक (The Teacher - द ट्रेनिंग डेटा): अंत में, वे उस सिमुलेशन को हजारों बार चलाते हैं। मॉडल को केवल एक उत्तर देने के बजाय (जैसे, "जमाल जीतेगा"), सिमुलेशन उत्तरों का एक वितरण (distribution of answers) देता है (जैसे, "जमाल के जीतने की संभावना 60% है, टाई होने की 30% है, और हारने की 10% है")।
फिर AI छात्र को इन लाखों सिम्युलेटेड परिदृश्यों पर प्रशिक्षित किया जाता है। एक एकल "सही" उत्तर को याद करने के बजाय, यह संभावनाओं के बादल (probability cloud) के आकार से मेल खाना सीखता है, जिसे सिमुलेशन द्वारा उत्पन्न किया गया है।
जब उन्होंने इसे आज़माया तो क्या हुआ?
शोधकर्ताओं ने इस नए "छात्र" का परीक्षण कई चुनौतियों पर किया:
- बेहतर अनुमान लगाना: जब इसे उन खेल या स्वास्थ्य देखभाल परिदृश्यों में परिणामों की भविष्यवाणी करने के लिए कहा गया जिन्हें इसने पहले कभी नहीं देखा था, तो AI ने बहुत अधिक सटीक अनुमान लगाए। इसने केवल एक संख्या का अनुमान नहीं लगाया; इसने उस संख्या के आसपास की अनिश्चितता को समझा।
- मानव की तरह सोचना: जब उन्होंने AI के अनुमानों की तुलना वास्तविक मानवीय निर्णयों से की, तो इस विधि से प्रशिक्षित AI मानवीय सोच के साथ बहुत बेहतर ढंग से संरेखित (align) हुआ। इसने अत्यधिक आत्मविश्वासी होना बंद कर दिया और एक सतर्क मानव पर्यवेक्षक की तरह कार्य करना शुरू कर दिया।
- सामान्यीकरण (Generalizing): यहाँ तक कि जब उन्होंने इसे पूरी तरह से अलग विषयों (जैसे खेलों से स्वास्थ्य देखभाल की ओर स्विच करना) पर परीक्षण किया, तब भी इसने अच्छा प्रदर्शन किया। यह सुझाव देता है कि इसने एक सामान्य कौशल सीखा है—"अनिश्चितता के साथ सोचने का कौशल", न कि केवल खेलों के तथ्यों को याद करना।
- कैलिब्रेशन (Calibration): AI "कैलिब्रेटेड" हो गया। इसका मतलब है कि यदि यह कहता है कि किसी चीज़ के होने की 70% संभावना है, तो वह वास्तव में लगभग 70% बार होता है। पेपर नोट करता है कि यह सुधार गहरा है; यह केवल सतही स्तर की ट्रिक नहीं है (जैसे बाद में डायल को एडजस्ट करना), बल्कि यह अनिश्चितता को दर्शाने के तरीके में एक मौलिक परिवर्तन है।
मुख्य निष्कर्ष (The Bottom Line)
पेपर का तर्क है कि वास्तविक दुनिया के तर्क को बेहतर बनाने के लिए, हमें केवल उसे अधिक तथ्य नहीं खिलाने चाहिए। इसके बजाय, हमें उसे दुनिया का सिमुलेशन करना सिखाना चाहिए। AI का उपयोग कहानियाँ बनाने के लिए, उन कहानियों को सख्त गणितीय सिमुलेशन में बदलने के लिए, और फिर उन सिमुलेशन के परिणामों पर अन्य AI को प्रशिक्षित करने के माध्यम से, हम ऐसे मॉडल बना सकते हैं जो वास्तविक जीवन की अव्यवस्थित, अनिश्चित और संभाव्य प्रकृति को संभालने में बहुत बेहतर हों।
उन्होंने इस विशिष्ट अध्ययन में चिकित्सा निदान या कानूनी सलाह पर परीक्षण नहीं किया; उन्होंने पद्धति (method) को सिद्ध करने के लिए खेलों, सामान्य परिदृश्यों और विशिष्ट बेंचमार्क पर ध्यान केंद्रित किया। मुख्य निष्कर्ष यह है कि प्रोबेबिलिस्टिक प्रोग्राम एक आदर्श शिक्षक के रूप में कार्य करते हैं, जिससे AI को अनिश्चितता की कला सीखने में मदद मिलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।