Benign interpolation and Occam's razor
यह शोध पत्र यह तर्क देता है कि इंटरपोलेटिंग डीप लर्निंग मॉडल्स की सामान्यीकरण सफलता (generalization success) को समझाने के लिए 'ओकॅम्स रेज़र' (Occam's razor) का सहारा लेने वाले हालिया प्रयास, व्यक्तिगत मॉडल्स के अप्रमाणित गुणों और शास्त्रीय शिक्षण सिद्धांत (classical learning theory) में पाए जाने वाले मॉडल क्लास की सरलता और सामान्यीकरण के बीच के कठोर, प्रमेय-आधारित संबंध को आपस में मिला कर एक व्याख्यात्मक अंतराल (explanatory gap) उत्पन्न करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बिल्ली और कुत्ते की तस्वीरें पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे हजारों तस्वीरें दिखाते हैं, और वह अंतर पहचानना सीख जाता है। पुराने दिनों में कंप्यूटर विज्ञान में, "ओकैम्स रेज़र" (Occam's Razor) नामक एक स्वर्णि स्वर्णिम नियम था। यह मूल रूप से कहता था: "इसे सरल रखें।" यदि दो सिद्धांत डेटा की व्याख्या करते हैं, तो सरल वाले को चुनें। क्यों? क्योंकि यदि कोई मॉडल बहुत जटिल हो जाता है, तो वह वास्तव में यह सीखने के बजाय कि बिल्ली कैसी दिखती है, प्रशिक्षण तस्वीरों को एक तोते की तरह रटने लगता है। इसे "ओवरफिटिंग" (overfitting) कहा जाता है, और यह एक आपदा है। यदि रोबोट एक नई तस्वीर देखता है, तो वह विफल हो जाता है क्योंकि वह पुरानी तस्वीरों को रटने में बहुत व्यस्त था।
दशकों तक, वैज्ञानिकों ने सुरक्षित, विश्वसनीय एआई बनाने के लिए इस नियम का उपयोग किया। उनका मानना था कि एक स्मार्ट रोबोट बनाने के लिए, आपको इसकी दिमागी शक्ति को सीमित करना होगा ताकि यह भ्रमित न हो जाए। लेकिन फिर, कुछ अजीब हुआ। आधुनिक एआई, विशेष रूप से "डीप लर्निंग" (deep learning), ने सभी नियमों को तोड़ना शुरू कर दिया। इन नए रोबोटों के पास इतने विशाल दिमाग हैं कि वे हर एक प्रशिक्षण फोटो को पूरी तरह से याद कर सकते हैं, भले ही आप लेबल को उलट-पुलट दें और उन्हें कहें कि एक बिल्ली वास्तव में एक टोस्टर है। पुराने नियमों के अनुसार, उन्हें नई तस्वीरों का अनुमान लगाने में बहुत बुरा प्रदर्शन करना चाहिए। फिर भी, वे इसमें अद्भुत हैं। वे अव्यवस्थित डेटा को पूरी तरह से फिट करते हैं लेकिन फिर भी भविष्य का सही अनुमान लगाते हैं। इस अजीब घटना को "बेनाइन इंटरपोलेशन" (benign interpolation) कहा जाता है, और इसने वैज्ञानिकों को सिर खुजलाने पर मजबूर कर दिया है, यह सोचते हुए कि एक रोबोट एक साथ एक आदर्श याद करने वाला और एक शानदार भविष्यवक्ता कैसे हो सकता है।
यह शोध पत्र, जिसे टॉम एफ. स्टरकेनबर्ग, डैनियल ए. हेर्मन और जान-विलेम रोमijn ने लिखा है, इस रहस्य की जांच करने के लिए गहराई से उतरता है कि क्या नए स्पष्टीकरण इस चमत्कार के लिए सही साबित होते हैं। लेखक अनिवार्य रूप से जासूसों की भूमिका निभा रहे हैं, जो एक लोकप्रिय नए सिद्धांत की जांच कर रहे हैं जो यह समझाने के लिए उभरा है कि ये विशाल एआई मॉडल इतने अच्छे से क्यों काम करते हैं।
नया सिद्धांत सुझाव देता है कि भले ही ये एआई मॉडल विशाल और जटिल हैं, लेकिन जिस तरह से वे सीखते हैं (जिसे "स्टोकेस्टिक ग्रेडिएंट डिसेंट" नामक विधि का उपयोग करके), वह गुप्त रूप से उन्हें सभी पूर्ण फिट्स में से सबसे "सरल" समाधान की ओर धकेलता है। यह एक ऐसे हाइकर की तरह है जिसके पास शिखर तक पहुँचने के लिए दस लाख रास्ते हैं; सिद्धांत का दावा है कि हाइकर के जूते स्वाभाविक रूप से उसे सबसे चिकने, सबसे सीधे रास्ते की ओर निर्देशित करते हैं, ऊबड़-खाबड़, पथरीले रास्तों को छोड़ देते हैं। इस विचार के समर्थकों इसे "सिम्प्लिसिटी बायस" (simplicity bias) कहते हैं और कहते हैं कि यह ओकैम्स रेज़र का एक आधुनिक संस्करण है जो स्थिति को संभाल रहा है। वे तर्क देते हैं कि एआई उस सरल मॉडल को चुनता है जो डेटा को फिट करता है, यही कारण है कि यह इतना अच्छा सामान्यीकरण (generalize) करता है।
हालाँकि, इस शोध पत्र के लेखक तर्क देते हैं कि इस स्पष्टीकरण में एक बहुत बड़ा छेद है। वे बताते हैं कि पुराना "ओकैम्स रेज़र" मॉडलों के समूहों (model classes) के बारे में एक गणितीय रूप से सिद्ध नियम था। इसने सिद्ध किया था कि यदि आप मॉडलों का एक छोटा, सरल समूह चुनते हैं, तो आप अच्छा प्रदर्शन करने की गारंटी रखते हैं। लेकिन नया सिद्धांत व्यक्तिगत मॉडलों के बारे में बात कर रहा है। यह कहता है, "यह विशिष्ट मॉडल सरल है क्योंकि इसमें कम 'नॉर्म' (आकार का एक गणितीय माप) है या यह 'स्मूथ' (चिकना) है।"
लेखक समझाते हैं कि समस्या यह है कि किसी एकल मॉडल की सरलता और भविष्य की भविष्यवाणी करने की उसकी क्षमता के बीच कोई गणितीय संबंध नहीं है। पुराने दिनों में, गणित ने गारंटी दी थी कि सरल समूह काम करेंगे। नए विवरण में, लेखक दावा करते हैं कि वैज्ञानिक बस इन विशिष्ट मॉडलों को "सरल" कह रहे हैं और उम्मीद कर रहे हैं कि "ओकैम्स रेज़र" का नाम उनके लिए सारा भारी काम कर देगा। यह कहने जैसा है कि, "यह पत्थर एक जादुई पत्थर है क्योंकि मैंने इसे जादुई पत्थर कहा है," बिना किसी प्रमाण के कि जादुई पत्थर वास्तव में मौजूद भी हैं या नहीं।
शोध पत्र सुझाव देता है कि हालांकि ये नए विचार दिलचस्प हैं, वे एक अंतराल छोड़ देते हैं। उन्होंने वास्तव में यह सिद्ध नहीं किया है कि एक "सरल" व्यक्तिगत मॉडल चुनना अच्छे भविष्यवाणियों की ओर क्यों ले जाता है। लेखक तर्क देते हैं कि नया सिद्धांत अनिवार्य रूप से एक बड़ा, बिना प्रमाणित धारणा बना रहा है: कि दुनिया सरल पैटर्न से भरी है जिन्हें ये एआई मॉडल ढूंढ लेते हैं। वे यह नहीं कहते कि यह धारणा गलत है, लेकिन वे इस बात पर जोर देते हैं कि वर्तमान स्पष्टीकरण केवल अनुमान लगा रहे हैं। वे एक प्रसिद्ध सिद्धांत (ओकैम्स रेज़र) के नाम का उपयोग एक साहसिक धारणा को ठोस वैज्ञानिक तथ्य दिखाने के लिए कर रहे हैं।
तो, निष्कर्ष क्या है? यह पत्र यह नहीं कहता कि नया एआई टूटा हुआ है; यह कहता है कि हम अभी तक पूरी तरह से नहीं समझते कि यह क्यों काम करता है। लेखक सुझाव देते हैं कि शायद उत्तर सरलता के बारे में कोई सार्वभौमिक नियम नहीं है, बल्कि कुछ ऐसा है जो हमारे द्वारा एकत्र किए गए डेटा या उन विशिष्ट कार्यों के लिए विशिष्ट है जो हम एआई को करने के लिए कहते हैं। जब तक कोई "सरल व्यक्तिगत मॉडल" और "अच्छी भविष्यवाणियों" के बीच के संबंध को सिद्ध नहीं कर देता, तब तक बेनाइन इंटरपोलेशन का रहस्य केवल एक रहस्य ही बना रहेगा। नया सिद्धांत एक आशाजनक सुराग है, लेकिन यह अंतिम उत्तर नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।