Learning Coherent Representations: A Topological Approach to Interpretability
यह शोध पत्र "कोहेरेंस" (coherence) को प्रस्तुत करता है, जो न्यूरल कोडिंग से प्रेरित एक ज्यामितीय गुण है जो डेटा और फीचर्स के बीच संगत टोपोलॉजिकल संरचनाओं की गारंटी देने के लिए निरंतर फीचर-सैंपल संबंधों को लागू करता है, जिससे 'Coh' नामक एक नए अवकलनीय उद्देश्य फलन (differentiable objective function) के माध्यम से व्याख्या योग्य निरूपण (interpretable representations) प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य समस्या: "बिखरा हुआ" मस्तिष्क
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट (एक डीप न्यूरल नेटवर्क) है जो चीजों को पहचानना सीख रहा है। आमतौर पर, जब यह रोबोट सीखता है, तो वह दुनिया का एक आंतरिक नक्शा (internal map) बनाता है। समस्या यह है कि यह नक्शा अक्सर अव्यवस्थित होता है।
एक मानक रोबोट में, एक एकल "न्यूरॉन" (रोबोट के अंदर एक छोटा सा स्विच) एक बिल्ली, एक कार और एक केले के लिए एक साथ सक्रिय हो सकता है, लेकिन केवल उन चीजों के बहुत विशिष्ट, यादृच्छिक (random) उदाहरणों के लिए। यह ऐसा है जैसे आपके मस्तिष्क में एक न्यूरॉन केवल तब सक्रिय हो जब आप मंगलवार को एक लाल सेब देखें, लेकिन न तो हरे सेब के लिए और न ही बुधवार को लाल सेब के लिए। यह इंसान के लिए समझना असंभव बना देता है कि रोबट वास्तव में क्या सोच रहा है। इसकी विशेषताएं "असंगत" (incoherent) हैं—वे बिखरी हुई हैं और उनका कोई ज्यामितीय (geometric) अर्थ नहीं है।
प्रेरणा: मस्तिष्क का GPS
लेखकों ने देखा कि वास्तविक जानवरों के मस्तिष्क कैसे काम करते हैं। उन्होंने दो प्रकार की कोशिकाओं का अध्ययन किया:
- ग्रिड कोशिकाएं (Grid Cells): ये एक GPS ग्रिड की तरह काम करती हैं। ये तब सक्रिय होती हैं जब एक जानवर स्थान के एक विशिष्ट, निरंतर क्षेत्र में होता है (जैसे फर्श पर एक टाइल)।
- हेड डायरेक्शन सेल्स (Head Direction Cells): ये तब सक्रिय होती हैं जब एक जानवर एक विशिष्ट दिशा (जैसे उत्तर) की ओर देख रहा होता है। यदि आप थोड़ा मुड़ते हैं, तो वही कोशिका अभी भी सक्रिय रहती है। यह एक सुचारू, निरंतर चाप (arc) को कवर करती है।
ये जैविक कोशिकाएं सुसंगत (coherent) होती हैं। वे यादृच्छिक रूप से सक्रिय नहीं होती हैं; वे दुनिया के साफ, जुड़े हुए हिस्सों को कवर करती हैं। यदि आप जानते हैं कि कौन सी कोशिकाएं सक्रिय हैं, तो आप तुरंत बता सकते हैं कि जानवर कहाँ है या वह किस ओर देख रहा है।
समाधान: "सुसंगतता" (Coherence)
यह पेपर पूछता है: क्या हम कृत्रिम रोबोटों को जैविक मस्तिष्क की तरह अपने आंतरिक नक्शों को व्यवस्थित करने के लिए सिखा सकते हैं?
वे सुसंगतता (Coherence) नामक एक अवधारणा पेश करते हैं।
- उपमा (Analogy): कल्पना कीजिए कि एक पुस्तकालय है।
- असंगत (वर्तमान AI): "कुकिंग" के बारे में एक किताब कुकिंग सेक्शन में है, लेकिन वह "1990 के इतिहास" और "बागवानी" सेक्शन में भी है, जो बेतरतीब ढंग से बिखरी हुई है। यदि आप "कुकिंग" की शेल्फ को देखते हैं, तो आपको कुकिंग की किताबें मिलती हैं, लेकिन साथ ही कुछ यादृच्छिक इतिहास की किताबें भी मिलती हैं। यह अव्यवस्थित है।
- सुसंगत (नई विधि): पुस्तकालय इस तरह व्यवस्थित है कि "कुकिंग" की प्रत्येक पुस्तक एक साफ, निरंतर पंक्ति में रखी गई है। इसके अलावा, पुस्तकालय की प्रत्येक पुस्तक एक ऐसी पंक्ति में पाई जाती है जो उसके लिए सही है। "कुकिंग" की पंक्ति एक ठोस ब्लॉक है, और "इतिहास" की पंक्ति एक ठोस ब्लॉक है।
तकनीकी शब्दों में, पेपर एक मैट्रिक्स (रोबोट का आंतरिक नक्शा) को तब सुसंगत के रूप में परिभाषित करता है जब:
- स्थानीयता (Locality): प्रत्येक नमूना (जैसे बिल्ली की तस्वीर) उन विशेषताओं (features) के एक समूह को सक्रिय करता है जो एक-दूसरे के "पड़ोसी" हैं, न कि बिखरे हुए।
- कवरिंग (Covering): प्रत्येक विशेषता कुछ नमूनों द्वारा आवश्यक है, और प्रत्येक नमूना कुछ विशेषताओं द्वारा अच्छी तरह से वर्णित है। कुछ भी छूटा नहीं है, और कुछ भी बर्बाद नहीं हुआ है।
जादुई उपकरण: टोपोलॉजी (Topology)
वे कैसे मापते हैं कि नक्शा कितना "साफ" है? वे गणित की एक शाखा का उपयोग करते हैं जिसे टोपोलॉजी (आकृतियों का अध्ययन) कहा जाता है।
- उपमा: कल्पना कीजिए कि रोबोट का डेटा आटे का एक टुकड़ा है।
- यदि डेटा एक वृत्त (जैसे एक रिंग) बनाता है, तो रोबंतु की आंतरिक विशेषताओं को भी एक वृत्त बनाना चाहिए।
- यदि डेटा दो अलग-अलग द्वीपों के रूप में है, तो विशेषताओं को भी दो अलग-अलग द्वीपों के रूप में होना चाहिए।
लेखक सिद्ध करते हैं कि यदि रोबोट का नक्शा "सुसंगत" है, तो डेटा का आकार और विशेषताओं का आकार पूरी तरह से मेल खाएगा। यदि डेटा एक वृत्त है, तो विशेषताओं को उस वृत्त को साफ, निरंतर चापों में विभाजित करना ही होगा। वे बिखरे हुए नहीं हो सकते। यह गारंटी देता है कि उनकी विशेषताएं व्याख्या योग्य (interpretable) हैं क्योंकि वे वास्तविक दुनिया के समान "आकार" का पालन करती हैं।
नया नियम: COH
रोबोट को इस तरह सीखने के लिए मजबूर करने हेतु, लेखकों ने COH नामक एक नया नियम (लॉस फंक्शन) बनाया।
- पुराना नियम (Sparsity): "केवल कुछ स्विच चालू करें।" यह यह कहने जैसा है कि, "पुस्तकालय में केवल कुछ किताबों का उपयोग करें।" लेकिन आप उन कुछ किताबों को अभी भी यादृच्छिक, बिखरी हुई जगहों पर रख सकते हैं।
- नया नियम (Coherence): "जो स्विच आप चालू करते हैं, उन्हें पड़ोसी होना चाहिए।" यह रोबोट को संबंधित चीजों को एक साथ समूहबद्ध करने के लिए मजबूर करता है। यह केवल इस बारे में नहीं है कि कितनी चीजें सक्रिय हैं, बल्कि इस बारे में है कि कौन सी चीजें सक्रिय हैं। उन्हें ज्यामितीय रूप से जुड़ा हुआ होना चाहिए।
उन्होंने क्या परीक्षण किया
उन्होंने तीन चीजों पर इसका परीक्षण किया:
- सिंथेटिक सर्कल्स (Synthetic Circles): उन्होंने रोबोट को वृत्तों के आकार का डेटा दिया। नए नियम वाले रोबोट ने ऐसी विशेषताएं सीखीं जो स्वयं भी पूर्ण वृत्त थीं। पुराने नियम वाले रोबोट ने बिखरी हुई अव्यवस्था सीखी।
- रोटेटेड डिजिट्स (MNIST): उन्होंने रोबोट को अलग-अलग कोणों पर घुमाए गए अंक (जैसे "6") दिखाए। नए नियम ने रोबोट को ऐसे फीचर्स सीखने में मदद की जो विशिष्ट कोणों (जैसे "सीधा," "बाएं झुका हुआ") के अनुरूप थे। पुराना रोबोट इसे स्पष्ट रूप से नहीं कर सका।
- भाषा (BERT): उन्होंने इसे एक भाषा मॉडल पर लागू किया। केवल यादृच्छिक शब्दों को खोजने के बजाय, नए नियम ने ऐसी विशेषताओं को पाया जो शब्दों को स्पष्ट श्रेणियों में समूहबद्ध करती हैं: एक फीचर "वर्षों" (1990, 2005) के लिए, एक "परिवार के सदस्यों" (माता, भाई) के लिए, और एक "दिशाओं" (उत्तर, दक्षिण) के लिए।
निष्कर्ष
यह पेपर केवल रोबोट को स्मार्ट नहीं बनाता; यह रोबोट की "विचार प्रक्रिया" को पठनीय बनाता है। रोबोट को अपना आंतरिक नक्शा इस तरह व्यवस्थित करने के लिए मजबूर करके कि संबंधित चीजें पड़ोसी हों (सुसंगतता), हमें एक ऐसा सिस्टम मिलता है जहाँ हम एक फीचर को देख सकते हैं और कह सकते हैं, "आह, यह फीचर 'वर्षों' या 'घूमने वाले कोणों' का प्रतिनिधित्व करता है।"
यह रोबोट के ब्लैक बॉक्स को एक ऐसे पुस्तकालय में बदल देता है जहाँ हर किताब अपनी सही एली (aisle) में है, और वह एली स्वयं भी ज्यामितीय रूप से समझ में आने वाली है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।