Transformer Geometry Observatory TGO-III: Semantic Geometry Observatory
यह शोध पत्र TGO-III प्रस्तुत करता है, जो ViT-Small/16 के प्रशिक्षण परतों के दौरान उनके प्रतिनिधित्व (representations) के विकास का विश्लेषण करने वाला एक ढांचा है, ताकि यह प्रदर्शित किया जा सके कि क्लास सेपरेबिलिटी (class separability) और डिस्क्रिमिनेटिव सिमेंटिक संरचनाएं मैनिफोल्ड विस्तार (manifold expansion) के साथ क्रमिक रूप से उभरती हैं, जिससे 'सिमेंटिक एक्सपेंशन हाइपोथीसिस' (Semantic Expansion Hypothesis) को समर्थन मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को जानवरों को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे बिल्लियों, कुत्तों और पक्षियों की हजारों तस्वीरें दिखाते हैं। शुरुआत में, रोबोट का मस्तिष्क संख्याओं का एक अराजक ढेर है; वह एक बिल्ली और एक कुत्ते को केवल पिक्सेल के एक समूह के रूप में देखता है जिसमें कोई वास्तविक अंतर नहीं होता। लेकिन जैसे-जैसे वह सीखते रहता है, उसके डिजिटल मस्तिष्क के भीतर कुछ जादुई होता है। संख्याएँ खुद को व्यवस्थित करने लगती हैं। "बिल्ली" वाली संख्याएँ "कुत्ते" वाली संख्याओं से दूर चली जाती हैं, और डेटा के एक विशाल महासागर में साफ, अलग द्वीपों का निर्माण करती हैं। अध्ययन का यह क्षेत्र मशीन लर्निंग कहलाता है, और विशेष रूप से, यह देखता है कि "विज़न ट्रांसफॉर्मर" (एक प्रकार का सुपर-स्मार्ट AI जो चित्रों को देखता है) कैसे सीखते समय अपने आंतरिक सोचने के पैटर्न को बदलते हैं। वैज्ञानिक इस बात पर ध्यान देते हैं क्योंकि यदि हम समझते हैं कि ये रोबट अपने विचारों को कैसे व्यवस्थित करते हैं, तो हम बेहतर, अधिक विश्वसनीय AI बना सकते हैं जो केवल अनुमान नहीं लगाता, बल्कि वास्तव में दुनिया को समझता है।
जिस शोध पत्र को आप अब पढ़ने जा रहे हैं, जिसका शीर्षक "TGO-III: सिमेंटिक जियोमेट्री ऑब्जर्वेटरी" है, वह इस डिजिटल मस्तिष्क के लिए एक हाई-टेक सूक्ष्मदर्शी (माइक्रोस्कोप) की तरह है। लेखक, कौस्तुभ कपिल और किशोर उपला, एक बड़े सवाल का जवाब देना चाहते थे: जैसे-जैसे AI सीखता है, क्या यह केवल अधिक यादृच्छिक (रैंडम) और जटिल होता जाता है, या क्या यह वास्तव में अर्थ के आधार पर चीजों को छाँटना शुरू कर देता है? उन्होंने एक नए टूलसेट का उपयोग करके AI के "मस्तिष्क" (विशेष रूप से ViT-Small/16 नामक मॉडल) को 100 अलग-अलग प्रकार की छवियों (ImageNet-100 नामक डेटासेट) पर 100 दिनों (इपोक) तक प्रशिक्षित होते हुए देखा।
यहाँ जो उन्होंने पाया है, उसकी कहानी एक बढ़ते हुए शहर के माध्यम से बताई गई है।
विचारों का शहर
AI की आंतरिक दुनिया की कल्पना एक विशाल, खाली शहर के रूप में करें। जब प्रशिक्षण शुरू होता है, तो यह शहर एक सपाट, कीचड़ भरा मैदान होता है। सभी विचार (जैसे "बिल्ली", "कुत्ता", "कार") एक ही स्थान पर सिमटे हुए होते हैं। AI उनमें अंतर नहीं कर सकता।
जैसे ही AI प्रशिक्षण शुरू करता है, शहर का विस्तार होने लगता है। पिछले अध्ययनों (TGO-I और TGO-II) में, वैज्ञानिकों ने देखा कि शहर बड़ा और अधिक जटिल होता जा रहा था, जैसे कि एक शहर नए गगनचुंबी इमारतें और घुमावदार सड़कें उगा रहा हो। उन्होंने इसे "मैनिफोल्ड एक्सपेंशन" कहा। लेकिन वे यह नहीं जानते थे कि शहर क्यों बढ़ रहा था। क्या यह केवल अव्यवस्थित हो रहा था? या क्या यह एक बेहतर पड़ोस योजना बना रहा था?
TGO-III वह नया शहर नियोजक (सिटी प्लानर) है जो उस प्रश्न का उत्तर देने के लिए आता है। उन्होंने केवल शहर के आकार को नहीं देखा; उन्होंने यह भी देखा कि विभिन्न पड़ोस (सिमेंटिक क्लासेस) खुद को कैसे व्यवस्थित कर रहे थे।
वेधशाला के चार उपकरण
शहर के लेआउट को समझने के लिए, लेखकों ने चार विशेष मापने वाले उपकरणों का उपयोग किया:
- लीनियर प्रोब (सरल परीक्षण): कल्पना कीजिए कि एक बहुत ही सरल रोबोट से पूछना, "क्या यह एक बिल्ली है या कुत्ता?" यदि AI का मस्तिष्क अव्यवस्थित है, तो सरल रोबोट बहुत बार गलत अनुमान लगाएगा। लेकिन यदि AI ने अपने विचारों को अच्छी तरह से व्यवस्थित किया है, तो सरल रोबोट एक मानचित्र पर एक सीधी रेखा खींच सकता है और कह सकता है, "बाएं तरफ सब बिल्ली है, दाएं तरफ सब कुत्ता है।" लेखकों ने पाया कि जैसे-जैसे प्रशिक्षण आगे बढ़ा, यह सरल रोबॉट बेहतर और बेहतर होता गया। इसका मतलब है कि AI अपने विचारों को अलग करने में आसान बना रहा था।
- फिशर रेश्यो (भीड़ मीटर): यह उपकरण मापता है कि दोस्तों का एक समूह (जैसे सभी "बिल्लियाँ") कितनी मजबूती से एक साथ रहता है बनाम वे अन्य समूहों (जैसे "कुत्तों") से कितनी दूर खड़े होते हैं। एक उच्च स्कोर का अर्थ है कि बिल्लियाँ एक तंग घेरे में हैं, और वह घेरा कुत्तों से दूर है। लेखकों ने देखा कि यह स्कोर बढ़ता गया, जिसका अर्थ है कि समूह अधिक घने और एक-दूसरे से दूर होते जा रहे थे।
- सेंट्रॉइड डिस्टेंस (मानचित्र भ्रमण): यह प्रत्येक समूह के "गुरुत्वाकर्षण केंद्र" के बीच की दूरी को मापता है। यदि आप बिल्ली के पड़ोस के बीच में खड़े हैं और कुत्ते के पड़ोस के बीच में चलते हैं, तो कितनी दूर है? लेखकों ने पाया कि जैसे-जैसे प्रशिक्षण आगे बढ़ा, ये पड़ोस एक-दूसरे से और दूर होते गए, जिससे एक विशाल, खुला शहर बन गया जहाँ कोई भी दो समूह भ्रमित नहीं होते।
- लोकल PCA रैंक (कमरे का आकार): यह सबसे दिलचस्प है। यह पूछता है: "एक विशिष्ट पड़ोस को अस्तित्व में रहने के लिए कितने आयामों (डायमेंशन) की आवश्यकता है?" शुरुआत में, "बिल्ली" वाला पड़ोस एक बिखरा हुआ, फैला हुआ ढेर था जिसे सभी विविधताओं को रखने के लिए एक विशाल, 3D गोदाम की आवश्यकता थी। लेकिन जैसे-जैसे AI ने सीखा, "बिल्ली" वाला पड़ोस अधिक व्यवस्थित हो गया। इसे अब एक विशाल गोदाम की आवश्यकता नहीं थी; यह एक सुव्यवस्थित, सघन कमरे में फिट हो सकता था। लेखकों ने पाया कि जबकि पूरा शहर बड़ा हो गया, व्यक्तिगत पड़ोस छोटे और अधिक कुशल हो गए।
बड़ी खोज: सिमेंटिक एक्सपेंशन
सबसे रोमांचक चीज़ जो लेखकों ने पाई, वह है जिसे वे सिमेंटिक एक्सपेंशन हाइपोथीसिस कहते हैं।
इस पेपर से पहले, कुछ लोगों का मानना था कि AI जैसे-जैसे सीखता है, वह केवल अधिक रैंडम और जटिल होता जाता है। लेकिन TGO-III सुझाव देता है कि यह बहुत अधिक उद्देश्यपूर्ण है। AI केवल एक बड़ा कचरा नहीं बना रहा है; यह सक्रिय रूप से एक बेहतर मानचित्र बना रहा है।
इसे ऐसे सोचें: जब आप पहली बार चित्र बनाना सीखते हैं, तो आपकी स्केचबुक टेढ़ी-मेढ़ी रेखाओं (scribbles) से भरी होती है। जैसे-जैसे आप अभ्यास करते हैं, आप केवल अधिक रेखाएं नहीं खींचते; आप स्पष्ट आकृतियाँ बनाना शुरू करते हैं। आप सीखते हैं कि एक वृत्त सिर के लिए है और एक रेखा शरीर के लिए है। "टेढ़ी-मेढ़ी रेखाएं" (अतिरिक्त जटिलता) वास्तव में स्पष्ट, अधिक विशिष्ट श्रेणियों को बनाने के लिए उपयोग की जा रही हैं।
लेखकों ने देखा कि जैसे-जैसे AI प्रशिक्षित हुआ, "बिल्ली" के विचार और "कुत्ते" के विचार केवल बेतरतीब ढंग से अलग नहीं हुए। वे एक ऐसी संरचना में व्यवस्थित हुए जहाँ उन्हें पहचानना आसान था। इन सभी नई, स्पष्ट भिन्नताओं के लिए जगह बनाने के लिए "शहर" का विस्तार हुआ।
"ट्रांजिशन ज़ोन" का आश्चर्य
पेपर ने यह भी देखा कि AI के मस्तिष्क में यह संगठन कहाँ होता है। AI कई परतों (layers) के रूप में बना है, जैसे कि एक बहुमंजिला इमारत। लेखकों ने पाया कि निचली मंजिलें (शुरुआती परतें) अभी भी थोड़ी अव्यवस्थित थीं। असली जादू ऊपरी मंजिलों पर हुआ।
उन्होंने ट्रांजिशन ज़ोन हाइपोथीसिस की पुष्टि की, लेकिन एक मोड़ के साथ। उन्होंने पाया कि "मध्य" भाग वह जगह है जहाँ ज्यामिति (geometry) बदलना शुरू होती है, लेकिन अंतिम मंजिलें वह जगह हैं जहाँ वास्तविक छंटनी होती है। ऊपरी परतें वह स्थान हैं जहाँ "बिल्लियाँ" और "कुत्ते" वास्तव में अलग होते हैं और बिल्कुल स्पष्ट हो जाते हैं। यह ऐसा है जैसे निचली मंजिलें निर्माण स्थल हैं, और ऊपरी मंजिलें तैयार, पॉलिश किए हुए अपार्टमेंट हैं जहाँ निवासी शांति से रहते हैं।
इसका क्या अर्थ है (और क्या नहीं)
लेखक सावधानी बरतते हुए कहते हैं कि उन्होंने इस व्यवहार को देखा है और साक्ष्य उनके विचार का समर्थन करते हैं। उन्होंने AI के रहस्य को "हल" नहीं किया है, लेकिन उन्होंने इसके काम करने के तरीके का एक बहुत मजबूत मानचित्र प्रदान किया है।
उन्होंने इस विचार को खारिज कर दिया कि AI केवल अधिक रैंडम हो रहा है या यह केवल अराजक तरीके से चित्रों को याद कर रहा है। इसके बजाय, वे सुझाव देते हैं कि AI अपने ज्ञान को व्यवस्थित, अलग और कुशल समूहों में सक्रिय रूप से व्यवस्थित कर रहा है।
अंत में, TGO-III हमें बताता है कि जब एक विज़न ट्रांसफॉर्मर सीखता है, तो वह केवल बड़ा नहीं हो रहा होता है; वह स्मार्ट हो रहा होता है। वह डेटा के एक अराजक बादल को एक सुव्यवस्थित, अलग और कुशल शहर में बदल देता है जहाँ हर विचार का अपना स्थान होता है, दूसरों से दूर, जिसे तुरंत पहचाना जा सके। यह इस बात का एक सुंदर उदाहरण है कि कैसे मशीन के भीतर भी अराजकता से व्यवस्था उत्पन्न हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।