Learning in Infinitesimal Non-Compositional Sketches

सीखने वाली मशीनों की छिपी हुई व्याकरण (The Hidden Grammar of Learning Machines)

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं। मशीन लर्निंग की दुनिया में, ऐसा करने का मानक तरीका रोबोट को एक स्कोरकार्ड देना है। यदि वह गलती करता है, तो स्कोर कम हो जाता है; यदि वह अच्छा प्रदर्शन करता है, तो स्कोर बढ़ जाता है। रोबोट फिर अगली बार बेहतर स्कोर पाने के लिए अपनी आंतरिक सेटिंग्स में बदलाव करता है। इसे "ऑप्टिमाइज़ेशन" (optimization) कहा जाता है, और यह फोटो में बिल्लियों को पहचानने से लेकर भाषाओं के अनुवाद तक, हर चीज़ के लिए अविश्वसनीय रूप से काम करता है। लेकिन इसमें एक पेंच है: यह तरीका रोबोट के मस्तिष्क के साथ एक 'ब्लैक बॉक्स' की तरह व्यवहार करता है। इसे केवल अंतिम संख्या की परवाह होती है, इस बात की नहीं कि रोबोट वहां कैसे पहुँचा या जो तर्क (logic) उसने इस्तेमाल किया वह वास्तव में समझ में आता है या नहीं।

अब, कल्पना कीजिए कि केवल अंतिम स्कोर देखने के बजाय, आप रोबोट के मस्तिष्क के अंदर झाँक सकते हैं यह देखने के लिए कि क्या उसके विचार सही ढंग से "एक साथ जुड़" (sticking together) रहे हैं। गणित और कंप्यूटर विज्ञान में, चीजों के पूरी तरह से फिट होने के इस विचार को "कंपोजिशनैलिटी" (compositionality) कहा जाता है। यह एक घड़ी के गियरों के सुचारू रूप से आपस में जुड़ने या किसी कहानी के वाक्यों के तार्किक रूप से प्रवाहित होने की जाँच करने जैसा है। कभी-कभी, एक रोबोट नकल करना सीख जाता है: वह गलत कारण से सही उत्तर प्राप्त कर सकता है, या यदि आप उसके आंतरिक तर्क को करीब से देखें तो वह बिखर सकता है। यह शोध पत्र, जिसका शीर्षक "लर्निंग इन इन्फिनिटिसिमल नॉन-कंपोजिशनल स्केचेस" (Learning in Infinitesimal Non-Compositional Sketches) है (या संक्षेप में LINCS), कैटेगोरिकल मशीन लर्निंग (categorical machine learning) के क्षेत्र से आता है। यह एक फैंसी तरीका है यह बताने का कि मशीनें कैसे सीखती हैं, जिसमें अमूर्त गणित (विशेष रूप से कैटेगरी थ्योरी) के नियमों का उपयोग किया जाता है। यह पत्र एक गहरा प्रश्न पूछता है: क्या होता है जब हम केवल रोबोट की गलतियों को ही नहीं देखते, बल्कि यह भी देखते हैं कि जब हम रोबोट के मस्तिष्क को बहुत, बहुत थोड़ा सा हिलाते (nudge करते) हैं, तो वे गलतियाँ कैसे बदलती हैं?

इस पेपर का बड़ा विचार: "नन्हा सा धक्का" परीक्षण (The "Tiny Nudge" Test)

यह पेपर मशीन लर्निंग के बारेंे में सोचने का एक नया तरीका प्रस्तावित करता है जिसे LINCS कहा जाता है। केवल यह पूछने के बजाय कि, "क्या रोबोट ने उत्तर सही प्राप्त किया?" (जो आमतौर पर एक साधारण हाँ या ना, या एक संख्या होती है), LINCS पूछता है, "क्या रोबोट का तर्क टूटा हुआ है, और यदि हम उसके मस्तिष्क को थोड़ा सा हिलाते हैं, तो क्या वह टूट जाएगा, वैसा ही रहेगा, या खुद को ठीक कर लेगा?"

लेखक सुझाव देते हैं कि हर बार जब कोई मशीन लर्निंग मॉडल विफल होता है, तो यह केवल एक गणितीय त्रुटि नहीं होती; यह कंपोज़िशन (composition) की विफलता होती है। कल्पना कीजिए कि आप ब्लॉकों से एक मीनार बना रहे हैं। यदि मीनार गिर जाती है, तो एक सामान्य शिक्षक केवल यह कह सकता है, "आपने अंक खो दिए।" हालाँकि, एक LINCS शिक्षक मीनार को देखेगा और कहेगा, "ब्लॉक एक साथ फिट नहीं हुए क्योंकि नीचे वाला ब्लॉक झुका हुआ था।" लेकिन LINCS इससे भी आगे जाता है। यह पूछता है: "यदि हम उस नीचे वाले ब्लॉक को सूक्ष्म मात्रा में हिलाते हैं, तो क्या पूरी मीनार इस तरह डगमगाएगी जो एक छिपे हुए दोष को प्रकट करे?"

पेपर की भाषा में, इस "सूक्ष्म धक्के" को इन्फिनिटिसिमल (infinitesimal) कहा जाता है। लेखक सीखने की प्रक्रिया को एक मानचित्र (map) की तरह मानते हैं। यदि मानचित्र पूर्ण है, तो प्रत्येक पथ सही गंतव्य की ओर ले जाता है। यदि मानचित्र टूटा हुआ है, तो पथ एक सीध में नहीं होते। LINCS इस टूटे हुए मानचित्र को लेता है और इसका एक "टैंजेंट" (tangent) संस्करण बनाता है—मानचित्र का भी एक मानचित्र। यह जाँचता है कि क्या मूल मानचित्र में छोटी त्रुटियाँ नए, ज़ूम किए गए संस्करण में भी तालमेल बिठाने में विफल रहती हैं। यदि वे ऐसा करते हैं, तो मॉडल में एक गहरी संरचनात्मक समस्या है जिसे एक साधारण स्कोरकार्ड नहीं पकड़ पाएगा।

"टैंजेंट लिफ्ट": अदृश्य को देखना (The "Tangent Lift": Seeing the Invisible)

इस पेपर का मुख्य आधार टैंजेंट लिफ्ट (Tangent Lift) नामक एक अवधारणा है। एक लर्निंग मॉडल को कई चलते हुए हिस्सों वाली एक जटिल मशीन के रूप में सोचें। आमतौर पर, हम मशीन को केवल तब देखते हैं जब वह सामान्य रूप से चल रही होती है। टैंजेंट लिफ्ट एक ऐसे सूक्ष्मदर्शी की तरह है जो न केवल आपको पुर्जों को दिखाता है, बल्कि यह भी दिखाता है कि जब आप मशीन को थोड़ा सा हिलाते हैं तो वे पुर्जे कैसे चलते हैं।

पेपर का तर्क है कि वर्तमान मशीन लर्निंग के कई तरीके स्पीडोमीटर को देखते हुए कार चलाने जैसे हैं। आप जानते हैं कि आप कितनी तेज़ जा रहे हैं, लेकिन आप यह नहीं जानते कि इंजन मिसफायर कर रहा है या पहिए गिरने वाले हैं। LINCS इंजन के कंपन को दिखाने वाले डैशबोर्ड को जोड़ने जैसा है। यदि कंपन ("इन्फिनिटिसिमल नॉन-कंपोजिशनैलिटी") बहुत अधिक है, तो इसका मतलब है कि कार का डिज़ाइन दोषपूर्ण है, भले ही वह वर्तमान में तेज़ चल रही हो।

लेखक इस "कंपन" को एक ऑब्स्ट्रक्शन (obstruction) के रूप में परिभाषित करते हैं। गणित में, ऑब्स्ट्रक्शन वह चीज़ है जो एक पूर्ण समाधान के अस्तित्व को रोकती है। LINCS में, एक ऑब्स्ट्रक्शन इस बात का संकेत है कि मॉडल का आंतरिक तर्क असंगत है। पेपर दिखाता है कि यदि कोई मॉडल वास्तव में सही नियमों को सीख रहा है, तो ये बाधाएं (obstructions) न केवल मुख्य कार्य के लिए, बल्कि कार्य के हर छोटे "धक्के" (nudge) के लिए भी समाप्त हो जानी चाहिए। यदि मॉडल को हिलाने पर बाधाएं बनी रहती हैं, तो इसका मतलब है कि मॉडल केवल पैटर्न को रट रहा है, न कि अंतर्निहित संरचना को समझ रहा है।

वैश्विक अव्यवस्था से स्थानीय सुधार तक (From Global Mess to Local Fixes)

पेपर का एक चतुर हिस्सा यह है कि यह बड़ी, उलझी हुई समस्याओं को कैसे संभालता है। कल्पना कीजिए कि आप ऊन के एक विशाल, उलझे हुए गाँठ को सुलझाने की कोशिश कर रहे हैं। यह देखना कठिन है कि समस्या कहाँ है। LINCS इस गाँठ को छोटे लूपों में तोड़ने का सुझाव देता है। यदि एक छोटा लूप उलझा हुआ है, तो आप उस लूप को ठीक करते हैं। पेपर सिद्ध करता है कि यदि आप सभी छोटे ल melakukan (loops) को सही ढंग से ठीक करते हैं, तो बड़ी गाँठ अंततः सुलझ जाएगी। इसे ऑब्स्ट्रक्शन लोकलाइजेशन (obstruction localization) कहा जाता है।

न्यूरल नेटवर्क (वे प्रकार के AI जिनका उपयोग चैटबॉट्स जैसी चीज़ों में किया जाता है) की दुनिया में, इसका अर्थ है कि आपको पूरे मस्तिष्क को एक साथ देखने की आवश्यकता नहीं है। आप नेटवर्क की केवल एक परत को देख सकते हैं, देख सकते हैं कि क्या उसका छोटा "धक्का" तर्क में टूट पैदा करता है, और उस विशिष्ट स्थान को ठीक कर सकते हैं। पेपर दिखाता है कि छोटे टुकड़ों को ठीक करने की यह विधि मूल समस्या के लिए उतनी ही अच्छी तरह काम करती है जितनी कि "धक्के" वाले संस्करण के लिए। यह एक बड़ी बात है क्योंकि इसका मतलब है कि हम इन सूक्ष्म, छिपे हुए तर्क संबंधी दोषों को बड़े एरर पैदा करने से पहले ठीक करके बेहतर, अधिक स्थिर AI बना सकते हैं।

सीखने की "मीनार" (The "Tower" of Learning)

पेपर एक दिलचस्प अवधारणा कोएलज्रैइक फिक्स्ड पॉइंट (coalgebraic fixed point) भी पेश करता है। यह सुनने में जटिल लगता है, लेकिन वास्तव में काफी सरल है। कल्पना कीजिए कि आप एक प्याज छील रहे हैं। आप एक परत उतारते हैं, फिर दूसरी, फिर तीसरी। आमतौर पर, आप केंद्र तक पहुँचने पर रुक जाते हैं। लेकिन LINCS के साथ, आप छीलते रहते हैं। आप केंद्र को देखते हैं, फिर "केंद्र के केंद्र" को देखते हैं, और इसी तरह।

लेखक सुझाव देते हैं कि एक वास्तव में पूर्ण लर्निंग मॉडल वह है जहाँ, पर्याप्त परतों को छीलने के बाद (या पर्याप्त "टैजेंट लिफ्ट" लागू करने के बाद), आप नई समस्याएँ ढूँढना बंद कर देते हैं। "कंपन" या "बाधा" (obstruction) बदलना बंद हो जाता है। मॉडल एक स्थिर अवस्था (stable state) तक पहुँच जाता है। पेपर उन्नत गणित का उपयोग यह सिद्ध करने के लिए करता है कि यदि आप इस छीलने की प्रक्रिया को जारी रखते हैं, तो आप अंततः एक ऐसे बिंदु पर पहुँच जाएँगे जहाँ मॉडल का तर्क इतना सुसंगत होगा कि कोई भी सूक्ष्म धक्का इसे तोड़ नहीं पाएगा। यह वह "फिक्स्ड पॉइंट" है। यह वह क्षण है जब AI ने वास्तव में खेल के नियमों को "सीख" लिया है, न कि केवल उत्तरों को।

यह पेपर क्या खारिज करता है और क्या सुझाव देता है

यह ध्यान रखना महत्वपूर्ण है कि यह पेपर क्या नहीं कह रहा है। लेखक यह दावा नहीं कर रहे हैं कि हमें AI को प्रशिक्षित करने के पुराने तरीके (सरल स्कोर और लॉस का उपयोग करना) को छोड़ देना चाहिए। वे स्पष्ट रूप से कहते हैं कि पुराना तरीका शक्तिशाली और उपयोगी है। इसके बजाय, वे सुझाव दे रहे हैं कि पुराना तरीका अधूरा है। उनका तर्क है कि एक छोटा एरर स्कोर यह नहीं दर्शाता कि मॉडल पूर्ण है। एक मॉडल का एरर स्कोर बहुत कम हो सकता है लेकिन फिर भी उसका आंतरिक तर्क टूटा हुआ हो सकता है जो वास्तविक दुनिया के अजीब होने पर विफल हो जाएगा।

पेपर इस विचार को भी खारिज करता है कि हमें इसे ठीक करने के लिए पूरी तरह से नए गणित के आविष्कार की आवश्यकता है। इसके बजाय, वे दिखाते हैं कि हम मौजूदा गणितीय उपकरणों (जैसे "टैजेंट कैटेगरीज़" और "स्केचेस") का उपयोग करके समस्या को फिर से परिभाषित कर सकते हैं। वे यह दावा नहीं करते कि उन्होंने अभी तक हर मशीन लर्निंग समस्या को हल कर लिया है। वास्तव में, वे स्वीकार करते हैं कि जबकि गणित यह सिद्ध करता है कि ये "स्थिर अवस्थाएँ" मौजूद हैं, वास्तव में वास्तविक दुनिया के AI (जैसे कहानियाँ लिखने या कार चलाने वाले विशाल मॉडल) में उन्हें खोजना अभी भी एक प्रगति पर काम है। वे उल्लेख करते हैं कि वर्तमान में प्रयोग किए जा रहे हैं ताकि यह देखा जा सके कि क्या यह सिद्धांत बड़े भाषा मॉडल (LLMs) और सुदृढीकरण शिक्षण (reinforcement learning) के लिए व्यावहारिक रूप से काम करता है, लेकिन उन विशिष्ट प्रयोगों के परिणाम "प्रगति पर" (underway) बताए गए हैं, न कि समाप्त।

"ली ब्रैकेट" और AI की गुप्त भाषा (The "Lie Bracket" and the Secret Language of AI)

पेपर की सबसे चंचल और गहरी अवधारणाओं में से एक ली ब्रैकेट (Lie bracket) है। सरल शब्दों में, यह मापने का एक तरीका है कि मशीन में दो अलग-अलग क्रियाएं एक दूसरे के साथ कैसे हस्तक्षेप करती हैं। कल्पना कीजिए कि आप नृत्य कर रहे हैं। यदि आप बाईं ओर घूमते हैं और फिर आगे कदम बढ़ाते हैं, तो आप उस स्थान से अलग जगह पहुँचेंगे जहाँ आप आगे कदम बढ़ाने के बाद घूमने के बाद पहुँचते। उन दो परिणामों के बीच का अंतर "ली ब्रैकेट" है।

पेपर सुझाव देता है कि एक अच्छी तरह से सीखे गए AI में, ये "नृत्य की चालें" (या आंतरिक संचालन) एक दूसरे के साथ पूरी तरह से फिट होनी चाहिए। यदि वे नहीं होती हैं, तो इसका मतलब है कि AI चीजों के क्रम को लेकर भ्रमित है। लेखक दिखाते हैं कि इन ली ब्रैकेट्स की जाँच करके, हम यह पता लगा सकते हैं कि AI मॉडल भाषा या निर्णय लेने जैसी चीज़ों को कैसे संभालते समय कहाँ छिपे हुए दोषों का सामना करते हैं। उदाहरण के लिए, यदि एक AI को यह समझना चाहिए कि "वाक्य के शब्दों को बदलने" से अर्थ नहीं बदलना चाहिए, लेकिन वह बदल जाता है, तो ली ब्रैकेट ठीक से पहचान सकता है कि यह भ्रम कहाँ होता है।

भविष्य के लिए यह क्यों मायने रखता है

तो, एक जिज्ञासु किशोर को इसकी परवाह क्यों करनी चाहिए? क्योंकि भविष्य का AI केवल एक स्मार्ट अनुमान लगाने वाला होने से कहीं अधिक होना चाहिए। उसे एक तार्किक विचारक होना चाहिए। यदि हम केवल स्कोर को कम करने के लिए AI को प्रशिक्षित करते हैं, तो हमारे पास ऐसे मॉडल हो सकते हैं जो परीक्षण पास करने में तो महान हैं लेकिन दुनिया को समझने में बहुत खराब हैं। वे नाजुक हो सकते हैं, जो थोड़ी सी अप्रत्याशित स्थिति आने पर टूट जाते हैं।

LINCS भरोसेमंद और विश्वसनीय AI बनाने का एक मार्ग प्रदान करता है। "सूक्ष्म धक्कों" की जाँच करके और यह सुनिश्चित करके कि तर्क दबाव में भी बना रहता है, हम ऐसी मशीनें बना सकते हैं जो केवल मानवीय व्यवहार की नकल नहीं करतीं, बल्कि वास्तव में उन समस्याओं की संरचना को समझती हैं जिन्हें वे हल कर रही हैं। पेपर सुझाव देता है कि अगली पीढ़ी का AI केवल डेटा पर प्रशिक्षित नहीं होगा, बल्कि सुसंगतता (coherence) पर प्रशिक्षित होगा। यह मशीन को तर्क का एक ऐसा टावर बनाने के बारे में है जो डगमगाए नहीं, भले ही जमीन हिल रही हो।

लेखक निष्कर्ष निकालते हैं कि यह ढांचा मशीन लर्निंग को देखने का एक नया लेंस है। यह AI को प्रशिक्षित करने की अव्यवस्थित, अराजक प्रक्रिया को टूटे हुए तर्क को ठीक करने की एक संरचित यात्रा में बदल देता है, जो परत-दर-परत चलती है, जब तक कि मशीन पूर्ण, स्थिर समझ की स्थिति तक नहीं पहुँच जाती। हालांकि गणित भारी है, विचार सरल है: केवल उत्तर की जाँच न करें; सोच की जाँच करें। और यदि वह सोच सूक्ष्म धक्के से डगमगाती है, तो आगे बढ़ने से पहले उस डगमगाहट को ठीक करें।