Machine Learning as Iterated Belief Change a la Darwiche and Pearl

तकनीकी सारांश: डार्विश और पर्ल के अनुसार पुनरावृत्त विश्वास परिवर्तन के रूप में मशीन लर्निंग

समस्या विवरण
यह शोध पत्र मशीन लर्निंग की गतिशीलता (dynamics) और औपचारिक विश्वास परिवर्तन सिद्धांत (formal belief change theory) के बीच के सैद्धांतिक अंतर को संबोधित करता है। लेखकों के पिछले कार्य [2] ने यह स्थापित किया था कि बाइनरी आर्टिफिशियल न्यूरल नेटवर्क (ANNs)—बाइनरी इनपुट और आउटपुट वाले फीड-फॉरवर्ड नेटवर्क—के प्रशिक्षण को अल्चुरोन, गार्डेन्सफोर्स और मैकमार्क (AGM) ढांचे का उपयोग करके विश्वास-समुच्चय संक्रमणों (belief-set transitions) के एक अनुक्रम के रूप में मॉडल किया जा सकता है, लेकिन वह अध्ययन "फुल-मीट" (full-meet) विश्वास परिवर्तन संचालन पर आधारित था। वर्तमान कार्य इस दृष्टिकोण की महत्वपूर्ण सीमाओं की पहचान करता है: फुल-मीट रिवीज़न (revision) "विस्मृतिपूर्ण" (amnesic) है, जो संघर्ष होने पर सभी पूर्व विश्वासों को त्याग देता है, और फुल-मीट कॉन्ट्रैक्शन (contraction) बहुत अधिक जानकारी हटा देता है, जिससे अक्सर न्यूनतम संभव सिद्धांत प्राप्त होता है। इसके अलावा, फुल-मीट संचालन पुनरावृत्त विश्वास परिवर्तन के सिद्धांतों, विशेष रूप से डार्विश-पर्ल (DP) ढांचे के साथ असंगत हैं, जो यह नियंत्रित करता है कि अपडेट के अनुक्रमों के माध्यम से विश्वास अवस्थाओं (belief states) को कैसे विकसित होना चाहिए। यह शोध पत्र बाइनरी ANN प्रशिक्षण गतिशीलता को अधिक सुदृढ़, DP-अनुपालक ऑपरेटरों (operators) का उपयोग करके परिष्कृत करने का प्रयास करता है, जो क्रमिक और संरचित शिक्षण को बेहतर ढंग से दर्शाते हैं।

कार्यप्रणाली
लेखक एक न्यूरो-सिंबोलिक दृष्टिकोण अपनाते हैं, जिसमें बाइनरी ANNs के इनपुट-आउटपुट व्यवहार को प्रपोजिशनल लॉजिक (propositional logic) और विश्वास समुच्चयों (belief sets) के साथ मैप किया जाता है। कार्यप्रणाली निम्नलिखित चरणों के माध्यम से आगे बढ़ती है:

1. औपचारिक पूर्व शर्तें (Formal Prerequisites): अध्ययन एक प्रपोजिशनल भाषा $\mathcal{L}$ का उपयोग करता है और ANN ज्ञान को विश्वास सेटों (तर्क के परिणाम के तहत बंद सिद्धांत) के रूप में मॉडल करता है। प्रशिक्षण प्रक्रिया को विश्वास सेटों $K_1, \dots, K_n$ के एक प्रक्षेपवक्र (trajectory) के रूप में देखा जाता है, जहाँ प्रत्येक सेट प्रशिक्षण के एक विशिष्ट चरण पर नेटवर्क द्वारा एनकोडेड बूलियन फंक्शन का प्रतिनिधित्व करता है।
2. दूरी मेट्रिक्स और क्रमिक संक्रमण: शोध पत्र विश्वास सेटों के बीच दूरी मेट्रिक्स (Type-A और Type-B) की पुनरावृत्ति करता है। यह एक नया संरचनात्मक नियम, (SD), पेश करता है, जो यह प्रतिपादित करता है कि एक पूर्ववर्ती विश्वास सेट और अंतिम लक्ष्य के बीच विसंगतियों (Type-B दूरी) का सेट, किसी भी मध्यवर्ती विश्वास सेट और लक्ष्य के बीच की विसंगतियों का एक सुपरसेट (superset) होना चाहिए। यह स्थिति अंतिम सीखे गए राज्य की ओर एक पदानुक्रमित, समावेशन-आधारित अभिसरण (convergence) को कैप्चर करती है।
3. क्रमिकता के लिए दलाल (Dalal) की विधि: लेखक यह प्रदर्शित करते हैं कि हैमिंग दूरी (Hamming distance) के आधार पर संभावित दुनियाओं को क्रमबद्ध करने वाली दलाल की विश्वास परिवर्तन विधि, मध्यवर्ती विश्वास सेटों के क्रमिक, सुव्यवस्थित अनुक्रमों के निर्माण का स्वाभाविक रूप से समर्थन करती है।
4. DP-अनुपालक ऑपरेटर: मुख्य पद्धतिगत बदलाव फुल-मीट संचालन को लेक्सिकोग्राफिक रिवीज़न (lexicographic revision) और मॉडरेट कॉन्ट्रैक्शन (moderate contraction) से बदलना है। ये ऑपरेटर डार्विश-पर्ल पोस्टुलेट्स (रिवीज़न के लिए DP1–DP4; कॉन्ट्रैक्शन के लिए DPC1–DPC4) को संतुष्ट करते हैं, यह सुनिश्चित करते हुए कि संभावित दुनियाओं का क्रम कई पुनरावृत्तियों में तर्कसंगतता बनाए रखने के लिए अपडेट किया जाता है।
5. सैद्धांतिक मॉडलिंग: लेखक सिद्ध करते हैं कि यदि एक बाइनरी ANN का प्रशिक्षण प्रक्षेपव "स्थिति (SD)" को संतुष्ट करता है, तो किसी विश्वास सेट $K_i$ से $K_{i+1}$ तक के संक्रमण को लेक्सिकोग्राफिक रिवीज़न के अनुक्रम और उसके बाद एक मॉडरेट कॉन्ट्रैक्शन के रूप में औपचारिक रूप से दर्शाया जा सकता है: $K_{i+1} = (K_i * \phi_1^i) \cdot \phi_2^i$। यहाँ, $\phi_1^i$ और $\phi_2^i$ प्रशिक्षण डेटा से प्राप्त प्रपोजिशनल वाक्य हैं जो पैरामीटर अपडेट के एपिस्टेमिक सरोगेट (epistemic surrogates) के रूप में कार्य करते हैं।

प्रमुख योगदान

• क्रमिकता के आधार के रूप में दलाल की विधि: शोध पत्र यह स्थापित करता है कि दलाल का दूरी-आधारित दृष्टिकोण मध्यवर्ती विश्वास अवस्थाओं के संरचित अनुक्रमों के निर्माण के लिए एक प्राकृतिक आधार प्रदान करता है, जो अचानक होने वाले परिवर्तनों के बजाय सीखने का अधिक संज्ञानात्मक रूप से प्रशंसनीय मॉडल प्रदान करता है।
• ANN गतिशीलता मॉडलिंग का परिशोधन: लेखक प्रदर्शित करते हैं कि बाइनरी ANNs के प्रशिक्षण की गतिशीलता को फुल-मीट ऑपरेशनों के बजाय लेक्सिकोग्राफिक रिवीज़न और मॉडरेट कॉन्ट्रैक्शन का उपयोग करके अधिक प्रभावी ढंग से मॉडल किया जा सकता है। यह फुल-मीट परिवर्तन की "विस्मृतिपूर्ण" और अत्यधिक विनाशकारी प्रकृति को संबोधित करता है।
• पुनरावृत्त विश्वास परिवर्तन के साथ अनुकूलता: अध्ययन सिद्ध करता है कि बाइनरी ANN प्रशिक्षण डार्विश-पर्ल ढांचे के साथ संगत है। यह दिखाता है कि स्थिति (SD) के संरचनात्मक अनुमान के तहत, प्रशिक्षण प्रक्षेपवक्र को DP-अनुपालक ऑपरेटरों द्वारा पूरी तरह से कैप्चर किया जा सकता है।
• प्रशिक्षण संकेतों की प्रतीकात्मक व्याख्या: शोध पत्र प्रशिक्षण अपडेट को तार्किक संचालन के रूप में व्याख्या करने के लिए एक औपचारिक तंत्र प्रदान करता है। यह विशिष्ट प्रपोजिशनल वाक्यों ($\phi_1, \phi_2$) का निर्माण करता है जो रिवीज़न और कॉन्ट्रैक्शन चरणों के अनुरूप हैं, जो अगले नेटवर्क अवस्था से आगे बढ़ने के लिए आवश्यक हैं, जिससे ग्रेडिएंट-आधारित अपडेट को प्रतीकात्मक विश्वास परिवर्तनों में प्रभावी ढंग से अनुवादित किया जाता है।

परिणाम

• सैद्धांतिक प्रमाण (प्रमेय 25): केंद्रीय परिणाम एक प्रमेय है जो बताता है कि किसी भी एकल-आउटपुट बाइनरी ANN प्रशिक्षण प्रक्रिया के लिए उत्पन्न होने वाले विश्वास सेटों के अनुक्रम के लिए, जो स्थिति (SD) को संतुष्ट करता है, एक DP रिवीज़न फंक्शन और एक DP कॉन्ट्रैक्शन फंक्शन, और विशिष्ट इनपुट वाक्यों के साथ, विश्वास संक्रमणों के अनुक्रम को सटीक रूप से पुनरुत्पादित किया जा सकता है।
• अनुभवजन्य चित्रण: शोध पत्र दो उदाहरण प्रदान करता है:
  1. एक बाइनरी ANN जो 3 इनपुट्स पर "कम से कम दो" (at least two) लॉजिकल ऑपरेशन सीख रहा है। प्रशिक्षण प्रक्षेपवक्र ने सटीकता में एक मोनोटोनिक वृद्धि और अंतिम लक्ष्य तथा क्रमिक विश्वास सेटों के बीच टाइप-बी दूरियों के बीच एक सख्त उपसमुच्चय (subset) संबंध दिखाया, जो स्थिति (SD) को संतुष्ट करता है।
  2. MNIST डेटासेट के एक उपसमुच्चय (0 और 1 अंकों के बीच अंतर करना) पर प्रशिक्षित एक बाइनरी ANN। प्रायोगिक विश्लेषण ने पुष्टि की कि क्रमिक आउटपुट से जुड़े विश्वास सेट (belief sets) स्थिति (SD) के अनुसार विकसित हुए, जिसमें विसंगतियाँ नेस्टेड (nested) तरीके से कम हुईं।
• फुल-मीट की असंगतता: शोध पत्र औपचारिक रूप से प्रदर्शित करता है कि फुल-मीट विश्वास परिवर्तन DP पोस्टुलेट्स, विशेष रूप से (DP2) का उल्लंघन करता है, जो प्रस्तावित लेक्सिकोग्राफिक और मॉडरेट ऑपरेटरों की ओर बदलाव की आवश्यकता की पुष्टि करता है।

महत्व
शोध पत्र का दावा है कि यह मशीन लर्निंग के भीतर प्रतीकात्मक तर्क (symbolic reasoning) के सैद्धांतिक आधारों को मजबूत करता है। फुल-मीट से DP-अनुपालक ऑपरेटरों की ओर बढ़ते हुए, अध्ययन बाइनरी ANNs की गतिशीलता को समझने के लिए एक अधिक सुदृढ़ और सिद्धांतवादी ढांचा प्रदान करता है। यह सुझाव देता है कि विश्वास परिवर्तन नीति का चयन केवल तार्किक तर्कसंगतता का मामला नहीं है, बल्कि यह सिस्टम के सीखने और अभिसरण (convergence) गुणों को भी प्रभावित करता है। यह कार्य न्यूरो-सिंबोलिक AI और डायनेमिक एपिस्टेमिक लॉजिक के बीच के अंतर को पाटता है, यह प्रस्तावित करता है कि बाइनरी ANNs के प्रशिक्षण को स्थापित तर्कसंगतता पोस्टुलेट्स का पालन करने वाले पुनरावृत्त विश्वास परिवर्तनों के एक अनुक्रम के रूप में कठोरता से विश्लेषित किया जा सकता है। यह दृष्टिकोण सीखने की गतिशीलता के सूक्ष्म प्रतीकात्मक विश्लेषण के लिए मार्ग खोलता है, प्रशिक्षण डेटा को तार्किक इनपुट के रूप में देखते हुए जो नेटवर्क की आंतरिक ज्ञान अवस्था के विशिष्ट, संरचित संशोधनों को संचालित करते हैं।