कल्पना कीजिए कि आप किसी कहानी में अगले शब्द या किसी गीत में अगली धुन का अनुमान लगाने की कोशिश कर रहे हैं। कंप्यूटर विज्ञान की दुनिया में, इसे "अनुक्रम भविष्यवाणी" (sequence prediction) कहा जाता है। दशकों से, इसे पूरी तरह से करने के लिए एक सैद्धांतिक विचार जिसे सोलोमोनॉफ इंडक्शन (Solomonoff Induction) कहा जाता है, स्वर्ण मानक रहा है। इसे एक अति-बुद्धिमान जासूस के रूप में समझें जो इस बात की जांच करता है कि एक कंप्यूटर प्रोग्राम द्वारा कहानी लिखने के कितने संभावित तरीके हो सकते हैं। यह हर प्रोग्राम को तौलता है, जिससे छोटे, सरल प्रोग्रामों को भारी लाभ मिलता है और लंबे, जटिल प्रोग्रामों को बहुत ही कम महत्व दिया जाता है। यदि वह जासूस एक साथ ब्रह्मांड के हर प्रोग्राम की जांच कर सके, तो वह ऐसी भविष्यवाणियां करेगा जिनका त्रुटि स्तर (error) कहानी उत्पन्न करने वाले प्रोग्राम की जटिलता द्वारा सख्ती से सीमित होगा।

हालांकि, इसमें एक पेंच है। यह पूर्ण जासूस एक एकल कहानी में अगले कदम का अनुमान लगाने में तो महान है, लेकिन यह विभिन्न कहानियों के एक पूरे पुस्तकालय से "सीखना" नहीं जानता। यदि आप उसे एक हजार अलग-अलग पुस्तकों का डेटासेट दिखाते हैं, तो वह वास्तव में यह नहीं कह सकता, "आह, मैं देख सकता हूँ कि यहाँ क्या पैटर्न है; अगली पुस्तक संभवतः इन जैसी होगी।" वह हर नई कहानी को एक नए रहस्य के रूप में देखता है, प्रशिक्षण डेटा के आधार पर अपनी समझ को अपडेट करने में असमर्थ है। यह एक समस्या है क्योंकि आधुनिक आर्टिफिशियल इंटेलिजेंस (AI), जैसे कि आज के चैटबॉट्स जिनका हम उपयोग करते हैं, सामान्य नियम सीखने के लिए विशाल डेटासेट पर प्रशिक्षण (training) के माध्यम से काम करते हैं। हमें एक ऐसे तरीके की आवश्यकता है जो उस मूल जासूस के पूर्ण तर्क को बनाए रखे लेकिन उसे एक पूरे पुस्तकालय के उदाहरणों से सीखने की क्षमता भी दे।

यहीं पर नाथन यंग का पेपर "Hierarchical Solomonoff Induction: An Unbounded Machine Learning Model" काम आता है। लेखक एक उन्नत जासूस प्रस्तावित करता है जिसे हाइरार्किकल सोलोमोनॉफ इंडक्शन (HSI) कहा जाता है। केवल प्रोग्रामों को देखने के बजाय, HSI उन नियमों को देखता है जो उन प्रोग्रामों को उत्पन्न करते हैं। एक "मेटा-डिटेक्टिव" की कल्पना करें जो न केवल अगले शब्द का अनुमान लगाता है, बल्कि यह भी अनुमान लगाता है कि किस प्रकार के कहानी जनरेटर (story generator) का उपयोग किया जा रहा है। यह एक "हाइपरप्रायर" (hyperprior) रखता है—कहानियां लिखने के सभी संभावित तरीकों की एक विशाल, भारित (weighted) सूची। जब HSI एक प्रशिक्षण उदाहरणों का डेटासेट देखता है, तो वह इस सूची को अपडेट करता है, उन जनरेटरों के भार को बढ़ाता है जो डेटा के अनुकूल हैं और उन लोगों के भार को कम करता है जो नहीं हैं।

पेपर दो प्रमुख बातें सिद्ध करता है। पहला, यह दिखाता है कि यह नया HSI एक एकल अनुक्रम को देखते समय मूल पूर्ण जासूस (Solomonoff Induction) के गणितीय रूप से समान है, जिसका अर्थ है कि यह मूल के सभी सीमित भविष्यवाणी गुणों को बनाए रखता है। दूसरा, और अधिक महत्वपूर्ण रूप से, यह सिद्ध करता है कि HSI एक डेटासेट से ठीक वैसे ही सीख सकता है जैसे कि एक मशीन लर्निंग मॉडल। पेपर प्रदर्शित करता है कि जैसे-जैसे आप HSI को अधिक डेटा खिलाते जाते हैं, इसकी औसत अतिरिक्त त्रुटि (average excess error) सिकुड़ती जाती है और अंततः शून्य पर अभिसरित (converge) हो जाती है, जिससे यह डेटा के अंतर्निहित पैटर्न की पूर्ण भविष्यवाणी करने में सक्षम होता है। लेखक का तर्क है कि HSI मशीन लर्निंग का "आदर्श" संस्करण है: एक सैद्धांतिक मॉडल जो हमें दिखाता है कि एक सिस्टम वास्तव में कितना प्रदर्शन कर सकता है यदि उसके पास असीमित कंप्यूटिंग शक्ति हो और वह किसी भी डेटासेट से सीखने में सक्षम हो।

जासूस की नई महाशक्ति

यह समझने के लिए कि यह कितनी बड़ी बात है, आइए मूल जासूस, सोलोमोनॉफ इंडक्शन (SolInd) के काम करने के तरीके को देखें। कल्पना कीजिए कि आपके पास एक जादुई बॉक्स है जो कोई भी कंप्यूटर प्रोग्राम चला सकता है। आप टेक्स्ट की एक स्ट्रिंग में अगले अक्षर का अनुमान लगाना चाहते हैं। SolInd कहता है, "आइए हर उस प्रोग्राम को आजमाएं जिसने अब तक देखे गए टेक्स्ट को लिखा हो सकता है।" यह प्रत्येक प्रोग्राम को उसकी लंबाई के आधार पर एक स्कोर देता है: एक छोटा, सरल प्रोग्राम उच्च स्कोर प्राप्त करता है, जबकि एक लंबा, जटिल प्रोग्राम बहुत कम स्कोर प्राप्त करता है। फिर यह अगले अक्षर का अनुमान लगाने के लिए इन सभी स्कोरों को जोड़ता है। यह शानदार है क्योंकि यदि टेक्स्ट किसी भी कंप्यूटर प्रोग्राम द्वारा बनाया गया था, तो SolInd अंततः उसे समझ लेगा, जिसकी त्रुटि उस प्रोग्राम की जटिलता द्वारा सीमित होगी।

लेकिन इसमें एक दोष है: SolInd थोड़ा एकतरफा (one-trick pony) है। इसे एक एकल अनुक्रम में अगले कदम की भविष्यवाणी करने के लिए डिज़ाइन किया गया है। यदि आप इसे 100 अलग-अलग कहानियों का एक डेटासेट देते हैं, तो यह क्या करेगा, इसे नहीं पता। आप सभी 100 कहानियों को एक विशाल स्ट्रिंग में मिलाकर SolInd को देने का प्रयास कर सकते हैं, लेकिन यह वैसा ही है जैसे कि फ्रेंच, स्पेनिश और मंदारिन सीखने के लिए एक ऐसी किताब पढ़ने की कोशिश करना जहाँ ये भाषाएँ बस बेतरतीब ढंग से आपस में जुड़ी हुई हैं। जासूस "गोंद" (glue) और कहानियों के क्रम से भ्रमित हो जाएगा, और वास्तविक भाषाओं को सीखने के बजाय केवल उस क्रम की व्याख्या करने के लिए जटिल नियम गढ़ने लगेगा। यह उस तरह से "सीख" नहीं सकता जैसे आधुनिक AI करता है; यह केवल एक समय में एक अनुक्रम पर "परीक्षण" (test) कर सकता है।

नाथन यंग का पेपर हाइरार्किकल सोलोमोनॉफ इंडक्शन (HSI) पेश करके इसे ठीक करता है। HSI को एक ऐसे जासूस के रूप में सोचें जिसका एक बॉस है। बॉस (हाइपरप्रायर) केवल प्रोग्रामों को नहीं देखता; बॉस उन वितरणों (distributions) को देखता है—उन नियमों को जो तय करते हैं कि कौन से प्रोग्राम लिखे जाएंगे।

एक पुस्तकालय की कल्पना करें जहाँ हर पुस्तक एक अलग लेखक द्वारा लिखी गई है।

• SolInd एक पाठक है जो एक पुस्तक को देखता है, अगले वाक्य का अनुमान लगाने की कोशिश करता है, और फिर पुस्तक बंद कर देता है। जब एक नई पुस्तक आती है, तो वे शून्य से शुरुआत करते हैं, पिछली पुस्तक के बारे में सब कुछ भूल जाते हैं।
• HSI एक ऐसा पाठक है जिसके पास सभी संभावित लेखकों की एक सूची है। जब वे एक नई पुस्तक के कुछ पन्ने पढ़ते हैं, तो वे अपनी सूची की जांच करते हैं। "ओह, यह शैली लेखक A से काफी मिलती-जुलती है," वे सोचते हैं। "मैं लेखक A को अधिक संभावना दूँगा।" जैसे-जैसे वे अधिक पुस्तकें पढ़ते हैं, वे यह पहचानने में बेहतर होते जाते हैं कि कौन सा लेखक कौन सी पुस्तक लिख रहा है। वे केवल अगले शब्द का अनुमान नहीं लगा रहे हैं; वे पुस्तकों के पूरे संग्रह के आधार पर लेखक की शैली का अनुमान लगा रहे हैं।

गणितीय जादू

पेपर बहुत चतुराई से गणित का उपयोग करता है यह सिद्ध करने के लिए कि HSI केवल एक फैंसी विचार नहीं है, बल्कि एक कठोर अपग्रेड है। लेखक सांख्यिकी की एक अवधारणा का उपयोग करता है जिसे डे फिनेट्टी का प्रमेय (De Finetti's Theorem) कहा जाता है। सरल शब्दों में, यह प्रमेय कहता है कि यदि आपके पास बहुत सारी चीजें हैं जो एक पैटर्न का पालन करती प्रतीत होती हैं (जैसे ताश की गड्डी जहाँ क्रम मायने नहीं रखता), तो वहां एक छिपा हुआ नियम (एक "लेटेंट वेरिएबल") होना चाहिए जो उन्हें उत्पन्न कर रहा है।

पेपर इसे कंप्यूटर प्रोग्रामों पर लागू करता है। यह तर्क देता है कि यदि हमारे पास अनुक्रमों का एक डेटासेट है, तो एक "सच्चा जनरेटर" (एक विशिष्ट कंप्यूटर प्रोग्राम या नियम) है जिसने उन्हें बनाया है। HSI इस जनरेटर को एक छिपे हुए चर (hidden variable) के रूप में मानता है। यह सभी संभावित जनरेटरों पर एक संभाव्यता वितरण (probability distribution) बनाए रखता है। जब HSI एक डेटासेट देखता है, तो वह इस बारे में अपने विश्वास को अपडेट करता है कि वास्तविक जनरेटर कौन सा है।

पेपर एक आश्चर्यजनक परिणाम सिद्ध करता है: HSI, SolInd के गणितीय रूप से समान है। इसका अर्थ है कि यदि आप HSI को लेते हैं और उससे एक एकल अनुक्रम की भविष्यवाणी करने के लिए कहते हैं, तो यह मूल पूर्ण जासूस की तरह ही प्रदर्शन करता है, जिसकी त्रुटि जनरेटर की जटिलता द्वारा सीमित है। लेकिन HSI के पास एक अतिरिक्त महाशक्ति है: यह पूरे डेटासेट पर अपने "बॉस" (हाइपरप्रायर) को कंडीशन (condition) कर सकता है।

लेखक यह दर्शाता है कि जब HSI एक डेटासेट की भविष्यवाणी करता है, तो उसकी त्रुटि हाइपरप्रायर में मौजूद "वास्तविक जनरेटर" की जटिलता द्वारा सीमित होती है। सरल भाषा में: यदि आपके डेटा को बनाने वाला नियम सरल है, तो HSI इसे जल्दी सीख लेगा और लगभग कोई गलती नहीं करेगा। यदि नियम जटिल है, तो इसमें अधिक समय लगेगा, लेकिन पेपर सिद्ध करता है कि जैसे-जैसे डेटासेट बढ़ता जाता है, HSI की औसत अतिरिक्त त्रुटि शून्य की ओर गिरती जाती है। यह सीमा (limit) में पूर्ण भविष्यवाणी की ओर अभिसरित होती है।

यह AI के लिए क्या मायने रखता है

पेपर सुझाव देता है कि HSI मशीन लर्निंग के लिए "आदर्श अनबाउंड मॉडल" है। वर्तमान AI मॉडल, जैसे कि लार्ज लैंग्वेज मॉडल्स (LLMs), अनिवार्य रूप से वही करने की कोशिश कर रहे हैं जो HSI करता है, लेकिन सीमित कंप्यूटिंग शक्ति और विशिष्ट आर्किटेक्चर (जैसे न्यूरल नेटवर्क) के साथ।

लेखक बताते हैं कि LLMs की अक्सर SolInd से तुलना की जाती है, लेकिन वह तुलना अधूरी है क्योंकि LLMs वास्तव में डेटासेट से सीखते हैं, जबकि SolInd नहीं सीखता। HSI उस अंतर को भरता है। यह एक सैद्धांतिक सीमा (ceiling) प्रदान करता है कि मशीन लर्निंग क्या हासिल कर सकती है। यह हमें बताता है कि यदि हमारे पास अनंत कंप्यूटिंग शक्ति और हमारे सीखने का सही तरीका हो, तो हम एक ऐसा सिस्टम बना सकते हैं जो किसी भी डेटासेट से सीख सके और भविष्य की इष्टतम सटीकता के साथ भविष्यवाणी कर सके।

पेपर एक व्यावहारिक अनुप्रयोग पर भी चर्चा करता है: हम AI को कैसे प्रशिक्षित करते हैं। वर्तमान में, हम कभी-कभी AI को एक लंबे टेक्स्ट स्ट्रिंग (दस्तावेजों को जोड़कर) खिलाकर प्रशिक्षित करते हैं। पेपर सुझाव देता है कि एक बेहतर तरीका, जो HSI के अनुरूप है, प्रत्येक दस्तावेज़ को एक अलग डेटा के रूप में मानना है जो मॉडल के "हाइपरप्रायर" को अपडेट करता है। यह हालिया निष्कर्षों से मेल खाता है कि अलग-अलग दस्तावेजों पर प्रशिक्षण देना, उन्हें बस एक साथ जोड़ने की तुलना में बेहतर काम करता है।

पेंच (The Catch)

बेशक, इसमें एक पेंच है। मूल SolInd की तरह, HSI भी अगणनीय (uncomputable) है। इसके लिए अनंत संख्या में प्रोग्रामों और अनंत मेमोरी की जांच करने की आवश्यकता होती है। हम आज एक वास्तविक HSI नहीं बना सकते। यह एक "विचार प्रयोग" (thought experiment) है जो हमें बुद्धि की सैद्धांतिक सीमा दिखाता है।

हालांकि, लेखक का तर्क है कि यह इसे बेकार नहीं बनाता। सिर्फ इसलिए कि हम एक पूर्ण इंजन नहीं बना सकते, इसका मतलब यह नहीं है कि हम एक पूर्ण इंजन कैसे काम करता है यह समझकर बेहतर कारें नहीं बना सकते। HSI हमें एक मानचित्र देता है। यह हमें दिखाता है कि आधुनिक AI जिस तरह से सीखता है (डेटा के आधार पर विश्वासों को अपडेट करना) वह सही दिशा है, और यह हमें एक गणितीय तरीका देता है जिससे हम माप सकें कि हम आदर्श के कितने करीब हैं।

संक्षेप में, यह पेपर अतीत के "पूर्ण जासूस" को एक "सीखने वाले बॉस" के साथ जोड़ता है। यह सिद्ध करता है कि यह नया सिस्टम, HSI, पुराने जासूस की सभी इष्टतम भविष्यवाणी शक्तियों को बनाए रखते हुए पूरे पुस्तकालय के उदाहरणों से सीखने की क्षमता भी प्राप्त करता है। यह एक सैद्धांतिक प्रमाण है कि सबसे अच्छा संभव मशीन लर्निंग एल्गोरिदम मौजूद है, और यह काफी हद तक समय के साथ खुद को अपडेट करने वाले संभाव्यता पदानुक्रम (hierarchy of probabilities) जैसा दिखता है। हालांकि हम इसे अभी तक नहीं बना सकते, लेकिन यह हमें बताता है कि हमें वास्तव में किस ओर लक्ष्य रखना चाहिए।