Information-Theoretic Foundations for Machine Learning
यह शोध पत्र एक गणितीय रूप से कठोर, सूचना-सैद्धांतिक ढांचे का प्रस्ताव करता है जो बेयस सांख्यिकी (Bayesian statistics) में निहित है और जो विविध मशीन लर्निंग प्रतिमानों—i.i.d. डेटा से लेकर अनुक्रमिक (sequential), पदानुक्रमित (hierarchical) और गलत निर्दिष्ट (misspecified) परिवेश तक—के विश्लेषण को एकीकृत करता है ताकि शोधकर्ताओं के लिए सैद्धांतिक गहराई और अभ्यासकर्ताओं के लिए व्यावहारिक अंतर्दृष्टि प्रदान की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन सुरागों के बजाय, आपके पास डेटा की एक धारा है। पिछले एक दशक में, मशीन लर्निंग एक ऐसे जासूस की तरह रही है जो केवल अंतर्ज्ञान और भारी मात्रा में परीक्षण-और-त्रुटि (trial-and-error) के माध्यम से मामले सुलझाती है। वे सबूतों के एक पहाड़ को देखते हैं, अपराधी का अनुमान लगाते हैं, और यदि वे सही होते हैं, तो वे आगे बढ़ जाते हैं। यह अविश्वसनीय रूप से अच्छा काम करता है—AI अब शतरंज के ग्रैंडमास्टर्स को हरा सकता है और सुसंगत कहानियाँ लिख सकता है—लेकिन किसी के पास वास्तव में कोई ठोस नियम पुस्तिका नहीं है जो यह समझा सके कि यह क्यों काम करता है या यह सटीक रूप से कैसे अनुमान लगाया जाए कि अगले, कठिन मामले को हल करने के लिए कितने और डेटा की आवश्यकता होगी। यह प्रसिद्ध "गुफा के रूपक" (Allegory of the Cave) की तरह है, जहाँ लोग केवल दीवार पर परछाइयाँ देखते हैं और सोचते हैं कि यही पूरी दुनिया है, यह कभी नहीं समझ पाते कि वास्तविक वस्तुएँ जो उन परछाइयों को बना रही हैं, वे बाहर मौजूद हैं।
इस शोध पत्र को समझने के लिए, आपको दो सरल चीजें जानने की आवश्यकता है। पहला, बेयसियन सांख्यिकी (Bayesian statistics) केवल "अपने विश्वासों को अपडेट करने" का एक फैंसी तरीका है। कल्पना कीजिए कि आप सोचते हैं कि एक सिक्का निष्पक्ष है, लेकिन दस बार उछालने के बाद और दस बार 'हेड्स' देखने के बाद, आप अपने विश्वास को अपडेट करते हैं कि यह शायद वजन वाला हो सकता है। दूसरा, सूचना सिद्धांत (Information Theory), जिसका आविष्कार क्लाउड शैनन ने किया था, यह मापने का विज्ञान है कि एक संदेश में कितना "आश्चर्य" या "नई जानकारी" है। यदि आप किसी को बताते हैं कि "आज सूरज उगा," तो इसमें शून्य सूचना है क्योंकि यह आश्चर्यजनक नहीं है। यदि आप उन्हें बताते हैं कि "सूरज नहीं उगा," तो इसमें बहुत अधिक सूचना है। यह शोध पत्र पूछता है: क्या हम "आश्चर्य" के गणित का उपयोग यह समझने के लिए एक नियम पुस्तिका बनाने के लिए कर सकते हैं कि AI कैसे सीखता है, भले ही दुनिया अव्यवधर और जटिल हो?
लेखक, होंग जुन जोंन और बेंजामिन वैन रॉय, एक नया सैद्धांतिक ढांचा प्रस्तावित करते हैं जो गुफा के बाहर देखने के लिए एक टॉर्च की तरह कार्य करता है। वे तर्क देते हैं कि एक AI द्वारा की जाने वाली "त्रुटि"—उसकी भविष्यवाणियाँ कितनी गलत हैं—सीधे तौर पर इस बात से जुड़ी है कि उसे दुनिया के छिपे हुए नियमों के बारे में कितनी जानकारी की आवश्यकता है। वे केवल अनुमान नहीं लगाते; वे यह सिद्ध करने के लिए कठोर गणित का उपयोग करते हैं कि AI को सीखने के लिए कितने डेटा की आवश्यकता होती है, जो डेटा की छिपी हुई संरचना की "जटिलता" द्वारा निर्धारित होती है, जिसे सूचना की इकाइयों में मापा जाता है।
यहाँ उनकी खोज का मूल तत्व है: उन्होंने पाया कि एक आदर्श शिक्षार्थी (जो पूर्ण बेयसियन तर्क का उपयोग करता है) के लिए, वह औसतन जो गलती करता है, वह वास्तव में उसके द्वारा एकत्र की गई छिपे हुए सत्य की कुल जानकारी के बराबर होता है, जिसे देखे गए डेटा बिंदुओं की संख्या से विभाजित किया जाता है। यह कहने जैसा है कि हर बार जब आप एक नया तथ्य सीखते हैं, तो आप अपनी उलझन को एक विशिष्ट, मापने योग्य मात्रा में कम कर देते हैं।
यह शोध पत्र इस विचार को चुनौती देता है कि हमें सीखने को समझने के लिए कठोर, सबसे खराब स्थिति वाले परिदृश्यों (worst-case scenarios) की आवश्यकता है। इसके बजाय, यह सुझाव देता है कि सूचना के चश्मे से औसत मामले को देखकर, हम कहीं अधिक स्पष्ट उत्तर प्राप्त कर सकते हैं। उन्होंने इस विचार का परीक्षण कई अलग-अलग "दुनियाओं" या डेटा प्रकारों पर किया। उन्होंने सरल, यादृच्छिक डेटा (जैसे पासा फेंकना), अनुक्रमिक डेटा (जैसे एक वाक्य पढ़ना जहाँ अगला शब्द पिछले शब्द पर निर्भर करता है), और यहाँ तक कि जटिल, पदानुक्रमित डेटा (जैसे निबंध लिखने की विभिन्न शैलियों को सीखना) को देखा।
प्रत्येक मामले में, उनके ढांचे ने सीखने की सीमाओं की गणना करने का एक सटीक तरीका प्रदान किया। उदाहरण के लिए, जब उन्होंने गहरे न्यूरल नेटवर्क (वे प्रकार जिनका उपयोग बड़े भाषा मॉडल में किया जाता है) को देखा, तो उन्होंने दिखाया कि भले ही नेटवर्क अनंत रूप से विस्तृत और जटिल हो, AI को सीखने के लिए आवश्यक डेटा इस बात पर निर्भर करता है कि सीखना कितना "केंद्रित" है। उन्होंने "मिसस्पेसिफिकेशन" (misspecification) की समस्या को भी संबोधित किया, जो तब होती है जब AI का मॉडल दुनिया के बारे में थोड़ा गलत होता है (जैसे गोल छेद में चौकोर कील फिट करने की कोशिश करना)। उन्होंने सिद्ध किया कि एक गलत मॉडल के साथ भी, AI अभी भी सीख सकता है, लेकिन एक स्थायी "फ्लोर" (floor) होता है जहाँ तक वह पहुँच सकता है, जो यह निर्धारित करता है कि मॉडल कितना गलत है।
सबसे रोमांचक निष्कर्षों में से एक "न्यूरल स्केलिंग लॉज़" (neural scaling laws) से संबंधित है जिनका उपयोग आज तकनीकी कंपनियाँ करती हैं। ये कानून बताते हैं कि कंप्यूटिंग शक्ति बढ़ाने के साथ प्रदर्शन में कैसे सुधार होता है। लेखकों का गणित एक विशिष्ट इष्टतम संतुलन प्रकट करता है: एक निश्चित मात्रा में कंप्यूटिंग शक्ति (FLOPs) के साथ सर्वोत्तम परिणाम प्राप्त करने के लिए, आपको अपने मॉडल के आकार और अपने डेटा के आकार को इस तरह संतुलित करना चाहिए कि मापदंडों (parameters) की संख्या आपके कुल कंप्यूटिंग बजट के वर्गमूल (square root) के साथ बढ़े। चूंकि कुल कंप्यूटिंग शक्ति मॉडल के आकार और डेटासेट के आकार का गुणनफल है, इसलिए इसका अर्थ है कि आपको केवल अपने मॉडल को अनंत रूप से विशाल या अपने डेटासेट को अनंत रूप से बड़ा नहीं बनाना चाहिए। इसके बजाय, इष्टतम रणनीति यह है कि दोनों को एक साथ बढ़ाया जाए, लेकिन मॉडल का आकार आपके संसाधनों के वर्गमूल के रूप में स्केल करे। उदाहरण के लिए, यदि आप अपने कंप्यूटिंग बजट को चार गुना कर देते हैं, तो इष्टतम मॉडल आकार केवल दोगुना होगा, जबकि डेटासेट का आकार भी दोगुना हो जाएगा, जिससे उनका गुणनफल नए बजट के बराबर रहेगा।
यह शोध पत्र यह दावा नहीं करता है कि उसने AI की हर समस्या को हल कर दिया है, न ही यह कहता है कि वर्तमान AI पूर्ण है। इसके बजाय, यह एक नया, गणितीय रूप से सुदृढ़ मानचित्र प्रदान करता है। यह दिखाता है कि डेटा, मॉडल की जटिलता और सीखने की त्रुटि के बीच का संबंध एक रहस्य नहीं है, बल्कि एक गणनीय समझौता (calculable trade-off) है। सीखने को एक सूचना के खेल के रूप में मानकर, लेखक हमें यह अनुमान लगाने का एक तरीका देते हैं कि हमें कितने डेटा की आवश्यकता है और हमारे मॉडल कितने बड़े होने चाहिए, जिससे "दीवार पर परछाइयों" को एक स्पष्ट चित्र में बदल दिया गया है कि क्या संभव है। चाहे आप एक रोबोट को चलने के लिए प्रशिक्षित कर रहे हों या कंप्यूटर को कविता लिखने के लिए, यह ढांचा सुझाव देता है कि सफलता की कुंजी केवल समस्या पर अधिक डेटा फेंकना नहीं है, बल्कि समस्या की विशिष्ट सूचना संरचना को समझना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।