Toward a Unified Statistical Theory of Unsupervised Pretraining and Supervised Neural Knowledge Graph Learning

कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक पुस्तकालय है जहाँ हर किताब, व्यक्ति और विचार एक विशाल फाइलिंग सिस्टम में एक कार्ड की तरह है। कंप्यूटरों के लिए दुनिया को समझने के लिए, उन्हें इन कार्डों को एक "नॉलेज ग्राफ" (ज्ञान ग्राफ) में व्यवस्थित करने की आवश्यकता होती है, जो यह दिखाने वाला एक संरचित मानचित्र है कि चीजें कैसे जुड़ती हैं—जैसे यह जानना कि "पेरिस" "फ्रांस" की राजधानी है या "एस्पिरिन" "सिरदर्द" का इलाज करती है। लेकिन यहाँ एक पेंच है: जबकि हमारे पास टेक्स्ट के रूप में अरबों तथ्य तैर रहे हैं, वे विशिष्ट कनेक्शन जिन्हें हमें कंप्यूटर को सिखाने की आवश्यकता है, अक्सर गायब या बहुत विरल (sparse) होते हैं। यह ऐसा है जैसे आप केवल कुछ बिखरे हुए वाक्यों को पढ़कर एक नई भाषा सीखने की कोशिश कर रहे हों, जबकि आप उन लाखों शब्दों को अनदेखा कर रहे हैं जिन्हें आप किताबों, फिल्मों और बातचीत से सीख सकते थे। यहीं पर समस्या जटिल हो जाती है: कंप्यूटर डेटा की विशाल मात्रा में पैटर्न खोजने में माहिर हैं, लेकिन जब विशिष्ट "उत्तर" (लेबल किए गए उदाहरण) दुर्लभ होते हैं, तो वे संघर्ष करते हैं।

इस समस्या को हल करने के लिए, वैज्ञानिक कंप्यूटर को पहले उस सभी अव्यवized (unlabeled) टेक्स्ट पर "प्री-ट्रेन" (पूर्व-प्रशिक्षण) करने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं, इस उम्मीद में कि यह उन्हें बाद में विशिष्ट कनेक्शन सीखने में मदद करेगा। हालाँकि, इनमें से अधिकांश तरीके अनुमान लगाने वाले खेल की तरह हैं; वे व्यवहार में तो अच्छा काम करते हैं, लेकिन वास्तव में कोई नहीं जानता कि वे क्यों काम करते हैं या यह कैसे सुनिश्चित किया जाए कि वे विफल नहीं होंगे। यह शोध पत्र इस प्रक्रिया के लिए एक ठोस गणितीय मानचित्र प्रदान करके इस भूमिका में आता है। यह पूछता है: क्या हम यह साबित कर सकते हैं कि बहुत सारा अनलेबल टेक्स्ट पढ़ना वास्तव में कंप्यूटर को विशिष्ट तथ्यों को सीखने में बेहतर बनाता है? और यदि ऐसा है, तो हम सर्वोत्तम परिणाम प्राप्त करने के लिए विभिन्न प्रकार के टेक्स्ट (जैसे मेडिकल रिकॉर्ड, समाचार लेख, या विश्वकोश प्रविष्टियाँ) को कैसे मिलाएँ? लेखक इस प्रक्रिया के लिए एक नया ढांचा तैयार करते हैं जो इस सीखने की प्रक्रिया को एक दो-चरणीय रेसिपी (विधि) की तरह मानता है, जो कठोर गणित द्वारा समर्थित है और यह सिद्ध करता है कि "पूर्व-पठन" (pre-reading) वास्तव में अंतिम "परीक्षण" में कितनी मदद करता है।

स्मार्ट मशीनों के लिए दो-चरणीय रेसिपी

लेखक एक ढांचा प्रस्तावित करते हैं जिसे वे PNKG (प्रशिक्षित न्यूरल नॉलेज ग्राफ) कहते हैं, जो अनिवार्य रूप से आर्टिफिशियल इंटेलिजेंस के लिए एक दो-चरणीय प्रशिक्षण शिविर है। इसे एक जासूस को प्रशिक्षित करने जैसा समझें।

चरण 1: "पूर्व-पठन" (अनसुपरवाइज्ड प्रीट्रेनिंग)
पहले चरण में, कंप्यूटर अभी उन विशिष्ट प्रश्नों को नहीं देखता है जिनका उसे उत्तर देना है। इसके बजाय, वह हर इकाई (जैसे कोई व्यक्ति, दवा, या शहर) के बारेende विवरण, डेटाबेस नोट्स और अन्य विवरणों जैसे "साइड इंफॉर्मेशन" की एक विशाल लाइब्रेरी को पढ़ता है। कल्पना कीजिए कि आप एक नए शहर के बारे में जानने की कोशिश कर रहे हैं। आप केवल सड़कों के नक्शे को नहीं देखते; आप यात्रा ब्लॉग पढ़ते हैं, मौसम की रिपोर्ट देखते हैं, स्थानीय इतिहास का अध्ययन करते हैं, और रेस्टोरेंट की समीक्षाएं पढ़ते हैं।

यह पेपर इस सारी जानकारी को पचाने के लिए Kernel PCA नामक एक चतुर गणितीय ट्रिक का उपयोग करने का सुझाव देता है। "कर्नेल" को अलग-अलग लेंस या फिल्टर के रूप में सोचें। एक लेंस विकिपीडिया लेख के टेक्स्ट पर ध्यान केंद्रित कर सकता है, दूसरा मेडिकल जर्नल पर, और तीसरा सोशल मीडिया पोस्ट पर। प्रत्येक लेंस उस शहर (या इकाई) को अलग तरह से देखता है। यह ढांचा इन सभी अलग-अलग दृश्यों को लेता है और उन्हें एक एकल, निम्न-आयामी (low-dimensional) "कोऑर्डिनेट मैप" में मिला देता है। यह एक 3D मूर्ति को 2D कागज पर इस तरह से समतल करने जैसा है जो सबसे महत्वपूर्ण आकारों को सुरक्षित रखता है। गणित यह सिद्ध करता है कि यदि आपके पास इन "दृश्यों" की पर्याप्त संख्या है, तो भले ही वे शोरपूर्ण (noisy) या अपूर्ण हों, आप संस्थाओं (entities) का एक बहुत सटीक मानचित्र पुनर्गठित कर सकते हैं।

चरण 2: "विशिष्ट प्रशिक्षण" (सुपरवाइज्ड लर्निंग)
एक बार जब कंप्यूटर के पास दुनिया का यह समृद्ध, पूर्व-प्रशिक्षित मानचित्र आ जाता है, तो वह दूसरे चरण में जाता है। अब, उसे विशिष्ट "लेबल किए गए" ट्रिपल्स दिए जाते—जैसे "दवा A बीमारी B का इलाज करती है।" चरण 1 में बनाए गए मानचित्र को आधार के रूप में उपयोग करते हुए, वह एक न्यूरल नेटवर्क (एक प्रकार का AI मस्तिष्क) को इन विशिष्ट कनेक्शनों की भविष्यवाणी करने के लिए प्रशिक्षित करता है। क्योंकि कंप्यूटर पूर्व-पठन से पहले ही संस्थाओं के "आकार" को समझ चुका है, इसलिए उसे नियमों को सीखने के लिए बहुत कम विशिष्ट उदाहरणों की आवश्यकता होती है।

बड़ी खोज: लाभ को सिद्ध करना

इस पेपर की मुख्य उपलब्धि केवल इस प्रणाली का निर्माण करना नहीं है; बल्कि यह सिद्ध करना है कि यह काम करती है। लेखकों ने एक "रिस्क बाउंड" (जोखिम सीमा) स्थापित की है, जो एक फैंसी गणितीय तरीका है यह कहने का कि, "यहाँ वह अधिकतम त्रुटि है जिसकी हम अपेक्षा कर सकते हैं, और यहाँ वह सटीक स्थान है जहाँ से यह त्रुटि आती है।"

उन्होंने कुल त्रुटि को चार अलग-अलग भागों में विभाजित किया:

1. न्यूरल एप्रोक्सिमेशन एरर (Neural Approximation Error): AI मस्तिष्क वास्तविक पैटर्न की कितनी अच्छी तरह नकल कर सकता है।
2. सुपरवाइज्ड एस्टिमेशन एरर (Supervised Estimation Error): सीमित लेबल वाले उदाहरणों के कारण कितनी त्रुटि आती है।
3. ऑप्टिमाइजेशन एरर (Optimization Error): प्रशिक्षण के दौरान कंप्यूटर ने गणितीय समस्या को कितनी अच्छी तरह हल किया।
4. प्रीट्रेनिंग एरर (Pretraining Error): पहले चरण (पूर्व-पठन) से उत्पन्न त्रुटि।

सबसे रोमांचक खोज यह है कि उन्होंने गणितीय रूप से दिखाया कि प्रीट्रेनिंग एरर को बहुत कम किया जा सकता है यदि आपके पास बड़ी मात्रा में अनलेबल डेटा हो। इसका मतलब है कि "पूर्व-पठन" चरण प्रभावी रूप से दूसरे चरण के लिए आवश्यक लेबल वाले डेटा की मात्रा को कम कर देता है। यह यह कहने जैसा है कि, "यदि आप एक हजार यात्रा गाइड पढ़ते हैं, तो आपको यह जानने के लिए कि कौन सा रेस्टोरेंट सबसे अच्छा है, केवल पांच रेस्टोरेंटों के दौरे की आवश्यकता है, जबकि गाइड्स के बिना, आपको सौ रेस्टोरेंटों के दौरे की आवश्यकता होगी।"

दृश्यों को मिलाना: वेटिंग (भार देने) का खेल

एक महत्वपूर्ण हिस्सा यह तय करना है कि चरण 1 में विभिन्न "दृश्यों" (लेंसों) को कैसे मिलाया जाए। सभी टेक्स्ट समान नहीं होते। एक मेडिकल जर्नल बहुत सटीक हो सकता है, जबकि एक सोशल मीडिया पोस्ट स्लैंग और त्रुटियों से भरी हो सकती है। लेखकों ने इन दृश्यों को वेटिंग (भार देने) के लिए एक नियम विकसित किया।

उन्होंने पाया कि आपको उन दृश्यों को अधिक भार देना चाहिए जो "स्पष्ट और सुस्पष्ट" (मजबूत सिग्नल) हैं और उन दृश्यों को कम भार देना चाहिए जो "शोरपूर्ण" (उच्च विचलन/variance) हैं। वे इसे "सिग्नल-एडजस्टेड इनवर्स-वैरिएंस" नियम कहते हैं। कल्पना कीजिए कि आप एक भीड़ भरे कमरे में अपने दोस्त को सुनने की कोशिश कर रहे हैं। यदि एक दोस्त स्पष्ट रूप से चिल्ला रहा है, तो आप उसे सुनते हैं। यदि दूसरा दोस्त जैकर के बगल में खड़ा होकर फुसफुसा रहा है, तो आप उसे अनदेखा कर देते हैं। पेपर का गणित दिखाता है कि यदि आप दृश्यों को सही ढंग से वेट करते हैं, तो कंप्यूटर बहुत तेज़ी से और अधिक सटीकता से सीखता है।

सिद्धांत का परीक्षण: सिमुलेशन और वास्तविक डेटा

यह सुनिश्चित करने के लिए कि उनका गणित केवल सुंदर सिद्धांत नहीं था, लेखकों ने दो प्रकार के परीक्षण चलाए:

1. सिमुलेशन: उन्होंने नकली डेटा बनाया जहाँ वे "ग्राउंड ट्रुथ" (सही उत्तर) जानते थे। उन्होंने परीक्षण किया कि डेटा की मात्रा और शोर के स्तर को बदलते हुए सिस्टम ने छिपे हुए पैटर्न को कितनी अच्छी तरह रिकवर किया। परिणाम उनके गणितीय भविष्यवाणियों से पूरी तरह मेल खाते थे: जैसे ही उन्होंने अधिक डेटा जोड़ा या भार को समायोजित किया, त्रुटि ठीक वैसे ही कम हुई जैसा कि गणित ने कहा था।
2. वास्तविक दुनिया के प्रयोग: उन्होंने अपने ढांचे का परीक्षण दो वास्तविक नॉलेज ग्राफ पर किया:
   • WordNet: शब्दों के संबंधों का एक विशाल शब्दकोश। यहाँ, उन्होंने पाया कि विभिन्न टेक्स्ट स्रोतों (जैसे परिभाषाओं और पर्यायवाची शब्दों) को मिलाने से कंप्यूटर शब्दों के संबंधों की बेहतर भविष्यवाणी कर सका, बजाय केवल ग्राफ संरचना या एकल टेक्स्ट स्रोत के।
   • PrimeKG: एक विशाल बायोमेडिकल ग्राफ जो दवाओं, बीमारियों और जीन को जोड़ता है। यह एक कठिन परीक्षण है क्योंकि मेडिकल डेटा जटिल और अस्त-व्यस्त होता है। "कठिन" सवालों (कठिन चिकित्सा संबंधों) पर, उनके मल्टी-व्यू दृष्टिकोण ने मानक तरीकों से बेहतर प्रदर्शन किया। इसने दिखाया कि चिकित्सा के क्षेत्र में, जहाँ डेटा दुर्लभ और शोरपूर्ण है, विविध चिकित्सा ग्रंथों को पढ़ने से AI बेहतर भविष्यवाणियां करने में सक्षम हुआ।

इसका क्या अर्थ है

यह पेपर यह दावा नहीं करता है कि इसने AI की हर समस्या को हल कर दिया है। यह विशेष रूप से उल्लेख करता है कि उनकी विधि तब सबसे अच्छा काम करती है जब बहुत सारा अनलेबल डेटा हो लेकिन लेबल वाला डेटा कम हो। यह यह भी बताता है कि यदि "दृश्य" (विभिन्न टेक्स्ट स्रोत) बहुत अधिक भिन्न या विरोधाभासी हैं, तो गणित कठिन हो जाता है।

हालाँकि, मुख्य संदेश स्पष्ट और शक्तिशाली है: अनसुपरवाइज्ड प्रीट्रेनिंग केवल एक भाग्यशाली अनुमान नहीं है; यह एक सांख्यिकीय रूप से सुदृढ़ रणनीति है। "लाइब्रेरी पढ़ने" की त्रुटि को "परीक्षा देने" की त्रुटि से गणितीय रूप से अलग करके, लेखों ने दिखाया है कि हम व्यवस्थित रूप से अनलेबल टेक्स्ट के विशाल महासागरों का उपयोग अपने नॉलेज ग्राफ को स्मार्ट, अधिक सटीक और अधिक कुशल बनाने के लिए कर सकते हैं। उन्होंने "यह काम करता है क्योंकि हमने कोशिश की" वाले ब्लैक बॉक्स को एक पारदर्शी, समझने योग्य प्रक्रिया में बदल दिया है जहाँ हम जानते हैं कि यह क्यों काम करता है और इसे और भी बेहतर कैसे बनाया जाए।