What does a Bayes-filtered transformer believe? A predictive Monte Carlo approach

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि एक रहस्यमय, अत्यंत बुद्धिमान रोबोट क्या सोच रहा है। आप उसके मस्तिष्क के अंदर नहीं देख सकते या उसकी डायरी नहीं पढ़ सकते; आप केवल उसे "अगला शब्द अनुमान लगाने" का खेल खेलते हुए देख सकते हैं। हर बार जब आप रोबोट को एक वाक्य देते हैं, तो वह अविश्वसनीय सटीकता के साथ अगले शब्द की भविष्यवाणी करता है। लेकिन यह पहेली यह है: क्या रोबोट केवल उत्तरों की एक विशाल सूची को याद कर रहा है जो उसने प्रशिक्षण के दौरान देखी थी, या वह वास्तव में नई स्थितियों के बारे में स्मार्ट अनुमान लगाने के लिए ब्रह्मांड के छिपे हुए नियमों को सीख रहा है? यह प्रश्न मशीन लर्निंग के एक क्षेत्र के केंद्र में स्थित है, विशेष रूप से संदर्भ से सीखने के तरीके का अध्ययन करने में। इस प्रश्न को समझने के लिए, हमें "प्रायर्स" (priors - सुराग देखने से पहले रोबोट का प्रारंभिक अनुमान) और "पोस्टीरियर्स" (posteriors - सुराग देखने के बाद उस अनुमान में होने वाला बदलाव) के बारे में जानना होगा। वैज्ञानिक लंबे समय से यह सोचते आए हैं कि क्या ये रोबोट वास्तव में बेयसियन रीजनिंग (Bayesian reasoning) का गणित कर रहे हैं—जो नए डेटा के आधार पर विश्वासों को अपडेट करने का एक शानदार तरीका है—या वे केवल उस गणित की नकल कर रहे हैं बिना उसे वास्तव में समझे।

यह शोध पत्र पर्दे के पीछे झांकने के लिए एक चतुर नया तरीका पेश करता है। शोधकर्ता, जो "बेज़-फिल्टर्ड ट्रांसफॉर्मर" (एक प्रकार का AI जिसे छिपे हुए नियमों द्वारा उत्पन्न अनुक्रमों पर प्रशिक्षित किया गया है) के साथ काम कर रहे थे, उन्होंने "प्रेडिक्टिव मोंटे कार्लो" (Predictive Monte Carlo - PMC) नामक एक विधि विकसित की। इस AI को एक ऐसे शेफ के रूप में सोचें जिसने लाखों सूप चखे हैं। यदि आप शेफ से रेसिपी बताने के लिए कहते हैं, तो वे केवल यह कह सकते हैं कि "इसका स्वाद चिकन जैसा है।" लेकिन यदि आप उन्हें एक विशिष्ट सामग्री देने के आधार पर सूप का एक नया बैच पकाने के लिए कहते हैं, और फिर उस नए बैच को चखकर यह पता लगाते हैं कि वे वास्तव में रेसिपी के बारे में क्या सोचते हैं, तो आपको उनकी वास्तविक सोच की एक स्पष्ट तस्वीर मिलती है। लेखक इस "पकाने" की विधि का उपयोग करके AI से हजारों नकली भविष्य के अनुक्रम (sequences) उत्पन्न करते हैं। इन नकली भविष्यों का विश्लेषण करके, वे दुनिया के बारे में AI के छिपे हुए "विश्वासों" को पुनर्गठित कर सकते हैं।

अध्ययन ने तीन अलग-अलग प्रकार की पहेलियों पर परीक्षण किया: एक कलश (urn) से रंगीन गेंदों को निकालने का खेल, एक लीनियर रिग्रेशन कार्य (बिखरे हुए बिंदुओं के माध्यम से एक रेखा खोजना), और एक बोर्ड गेम की तरह अवस्थाओं (states) के बीच घूमना। प्रत्येक मामले में, उन्होंने AI को विभिन्न "कार्यों" (अलग-अलग रेसिपी) के मिश्रण पर प्रशिक्षित किया और फिर यह देखने के लिए PMC का उपयोग किया कि AI वास्तव में क्या मानता है। उन्होंने पाया कि AI के आंतरिक विश्वास दिलचस्प तरीकों से बदलते हैं। जब AI को केवल कुछ प्रकार के कार्यों पर प्रशिक्षित किया जाता है, तो यह एक 'मेमोराइज़र' (याद करने वाला) की तरह कार्य करता है, जो देखे गए विशिष्ट उदाहरणों पर मजबूती से टिका रहता है। लेकिन जैसे-जैसे प्रशिक्षण कार्यों की विविधता बढ़ती है, AI एक "जनरलाइज़र" (सामान्यीकरण करने वाला) की ओर बढ़ जाता है, जो उन व्यापक नियमों को सीखता है जो सब पर लागू होते हैं। दिलचस्प बात यह है कि शोध पत्र दिखाता है कि यह बदलाव सुचारू रूप से नहीं होता है; कुछ बिंदुओं पर, AI क्षण भर के लिए एक प्रतिभाशाली जनरलाइज़र की तरह कार्य करता है और फिर वापस एक मेमोराइज़र मोड में स्थिर हो जाता है। महत्वपूर्ण रूप से, लेखक प्रदर्शित करते हैं कि केवल AI की अंतिम भविष्यवाणियों ( "अगला शब्द अनुमान लगाने" वाला हिस्सा) को देखना पर्याप्त नहीं है। दो अलग-अलग आंतरिक विश्वास प्रणालियाँ बिल्कुल समान भविष्यवाणियां उत्पन्न कर सकती हैं, जिससे AI का वास्तविक स्वरूप अदृश्य हो जाता है जब तक कि आप वास्तविक सोच कहाँ होती है, यह देखने के लिए PMC का उपयोग नहीं करते।

जासूस का नया उपकरण

तो, यह नया उपकरण, PMC, वास्तव में कैसे काम करता है? कल्पना कीजिए कि AI एक भविष्यवक्ता है जिसे नियमों के एक विशिष्ट सेट पर प्रशिक्षित किया गया है। आप भविष्यवक्ता को एक संकेत देते हैं, जैसे "आकाश नीला है क्योंकि..." और वे अगले शब्दों की भविष्यवाणी करना शुरू कर देते हैं। आमतौर पर, आप केवल उनका पहला अनुमान लेते हैं और आगे बढ़ जाते हैं। लेकिन PMC के साथ, आप वहीं नहीं रुकते। आप भविष्यवक्ता को उस शुरुआत के आधार पर एक पूरी लंबी कहानी बनाने के लिए कहते हैं। आप इसे सैकड़ों बार करते हैं, जिससे कई अलग-अलग संभावित कहानियाँ बनती हैं।

एक बार जब आपके पास ये लंबी, नकली कहानियाँ होती हैं, तो आप उनके भीतर के पैटर्न को देखते हैं। यदि AI को ऐसे संसार पर प्रशिक्षित किया गया था जहाँ "आकाश" के बाद हमेशा "नीला" आता है, तो कहानियाँ उसे दर्शाएंगी। लेकिन अधिक महत्वपूर्ण बात यह है कि इन पूरी तरह से उत्पन्न कहानियों के संपूर्ण विश्लेषण के माध्यम से, आप रिवर्स-इंजीनियर कर सकते हैं कि AI क्या सोचता है कि "खेल के नियम" क्या हैं। यह वैसा ही है जैसे यदि आपने एक जादूगर को टोपी से खरगोश निकालते हुए देखा, और केवल खरगोश देखने के बजाय, आपने यह जानने के लिए कि टोपी कैसे सेट की गई है, एक हजार अलग-अलग टोपियों से एक हजार अलग-अलग खरगोशों को निकलते हुए देखा। यह शोधकर्ताओं को AI के "प्रायर" (वह क्या विश्वास करता था जो आपको संकेत देने से पहले) और उसके "पोस्टीरियर" (संकेत देने के बाद वह क्या विश्वास करता है) को मैप करने की अनुमति देता है।

महान बदलाव: मेमोराइज़र बनाम जनरलाइज़र

शोधकर्ताओं ने इस पद्धति का उपयोग AI के एक बड़े प्रश्न का परीक्षण करने के लिए किया: क्या मॉडल विशिष्ट उदाहरणों को याद करना सीखता है, या यह नियमों को सामान्यीकृत करना सीखता है? उन्होंने तीन अलग-अलग "कार्यों के परिवारों" के साथ प्रयोग आयोजित किए।

सबसे पहले, उन्होंने बॉल्स-एंड-अर्न्स (Balls-and-Urns) को देखा। कल्पना कीजिए कि एक कलश लाल और नीली गेंदों से भरा है। AI का काम अगली गेंद का अनुमान लगाना है। "कार्य" कलश में लाल और नीली गेंदों का विशिष्ट मिश्रण है। यदि AI को केवल कुछ विशिष्ट कलशों पर प्रशिक्षित किया जाता है, तो वह एक मेमोराइज़र बन जाता है। वह सीखता है, "ओह, इस विशिष्ट कलश में 80% लाल गेंदें हैं, इसलिए मैं लाल का अनुमान लगाऊंगा।" लेकिन यदि AI को विभिन्न मिश्रणों वाले बहुत सारे विविध कलशों पर प्रशिक्षित किया जाता है, तो वह एक जनरलाइज़र बन जाता है। वह नियम सीखता है: "गेंदों का मिश्रण यादृच्छिक (random) है, इसलिए मुझे अगला अनुमान लगाने के लिए इतिहास को देखना चाहिए।"

शोध पत्र ने इस बदलाव के लिए एक "थ्रेशोल्ड" (सीमा) पाया। जब AI को प्रशिक्षित करने के लिए अलग-अलग कार्यों (विभिन्न कलश मिश्रणों) की संख्या कम होती है, तो यह एक मेमोराइज़र की तरह कार्य करता है। लेकिन जैसे-जैसे कार्यों की संख्या बढ़ती है, AI अचानक एक जनरलाइज़र की तरह कार्य करने के लिए स्विच कर जाता है। यह इस घटना की पुष्टि करता है जिसे टास्क-डाइवर्सिटी थ्रेशोल्ड कहा जाता है।

लेकिन यहाँ और भी दिलचस्प बात है। शोधकर्ताओं ने ट्रांजिएंट जनरलाइजेशन (Transient Generalization) को भी देखा। यह एक ऐसे छात्र को देखने जैसा है जो एक नया विषय सीख रहा है। शुरुआत में, वे बड़ी तस्वीर को समझने की कोशिश कर सकते हैं (जनरलाइजेशन), लेकिन फिर वे भ्रमित हो जाते हैं और परीक्षा पास करने के लिए विशिष्ट तथ्यों को याद करना शुरू कर देते हैं। शोध पत्र ने दिखाया कि प्रशिक्षण प्रक्रिया के दौरान, कार्यों की मध्यम स्तर की विविधता पर, AI वास्तव में एक जनरलाइज़र के रूप में कार्य करना शुरू करता है, लेकिन फिर, जैसे-जैसे प्रशिक्षण जारी रहता है, यह वापस एक मेमोराइज़र की ओर चला जाता है। यह एक अधिक कठोर आदत में बसने से पहले प्रतिभा का एक अस्थायी चरण है।

उत्तर देखना पर्याप्त क्यों नहीं है

इस शोध पत्र की सबसे महत्वपूर्ण खोजों में से एक यह है कि आप केवल AI के उत्तरों को देखकर यह नहीं बता सकते कि वह क्या कर रहा है। लेखक एक बेहतरीन उपमा का उपयोग करते हैं: कल्पना कीजिए कि शहर के दो अलग-अलग मानचित्र हैं। एक मानचित्र सड़कों का एक विस्तृत, सटीक चित्र है। दूसरा एक स्केच है जो केवल मुख्य सड़कों को दिखाता है। यदि आप दोनों मानचित्रों से किसी विशिष्ट कॉफी शॉप के लिए निर्देश मांगते हैं, तो वे आपको बिल्कुल समान निर्देश दे सकते हैं। यदि आप केवल निर्देशों (भविpredictions) को देखते हैं, तो आप यह नहीं बता सकते कि कौन सा मानचित्र असली है।

AI की दुनिया में, अलग-अलग आंतरिक "विश्वास" (posteriors) बिल्कुल समान भविष्यवाणियां उत्पन्न कर सकते हैं। शोध पत्र तर्क देता है कि पिछले अध्ययन, जिन्होंने केवल AI की भविष्यवाणियों की तुलना एक "गोल्ड स्टैंडर्ड" से की थी, वे नाजुक थे क्योंकि वे एक ऐसे मॉडल के बीच अंतर नहीं कर सके जो वास्तव में नियमों को समझता है और एक ऐसे मॉडल के बीच जो बस वही अनुमान लगा लेता है जो संयोगवश सही है। PMC का उपयोग करके "लेटेंट स्पेस" (छिपे हुए विश्वास प्रणाली) के अंदर झांककर, शोधकर्ता देख सके कि AI का आंतरिक मानचित्र वास्तव में एक मेमोराइज़र के स्केच से एक जनरलाइज़र के विस्तृत मानचित्र में और फिर वापस बदल रहा था।

क्रिस्टल बॉल की सीमाएं

लेखक सावधानीपूर्वक नोट करते हैं कि यह विधि कोई जादुई छड़ी नहीं है जो सब कुछ हल कर देती है। PMC की वैधता कुछ गणितीय शर्तों के पूरा होने पर निर्भर करती है, जिन्हें वास्तविक दुनिया के विशाल AI मॉडल के लिए सिद्ध करना कठिन है। अपने प्रयोगों में, उन्होंने सिंथेटिक कार्यों (जैसे बॉल्स-एंड-अर्न्स और सरल गणित की समस्याएं) का उपयोग किया जहाँ वे 'ग्राउंड ट्रुथ' (वास्तविक सत्य) जानते थे। उन्होंने पाया कि PMC वहां खूबसूरती से काम करता है, सफलतापूर्वक AI के छिपे हुए विश्वासों को पुनः प्राप्त करता है।

हालाँकि, वे स्वीकार करते हैं कि वास्तविक दुनिया में उपयोग किए जाने वाले विशाल AI मॉडल (जैसे जो निबंध लिखते हैं या आपसे चैट करते हैं) के लिए, हमें अभी तक नहीं पता कि गणित पूरी तरह से काम करता है या नहीं। यह संभव है कि AI का आंतरिक तर्क इतना जटिल हो कि हमारा "भविष्यवाणी करने का" तरीका कुछ बारीकियों को छोड़ दे। लेकिन इन सीमाओं के बावजूद, शोध पत्र जांच करने का एक शक्तिशाली नया तरीका प्रदान करता है। यह सुझाव देता है कि AI के अपने "क्या होगा अगर" परिदृश्यों को उत्पन्न करके और उनका विश्लेषण करके, हम अंततः यह समझ सकते हैं कि ये मॉडल वास्तव में क्या सोच रहे हैं, न कि केवल वे क्या कह रहे हैं।

अंत में, यह शोध पत्र केवल यह नहीं बताता कि AI कैसे सीखता है; यह हमें सीखने की प्रक्रिया को देखने के लिए एक नया लेंस प्रदान करता है। यह दिखाता है कि AI केवल तथ्यों का एक स्थिर डेटाबेस नहीं है, बल्कि एक गतिशील प्रणाली है जो याद करने और समझने के बीच झूलती रहती है, और हम इन बदलावों को ट्रैक कर सकते हैं यदि हम सही प्रश्न पूछना जानते हों।