Transformer Geometry Observatory TGO-IV: Developmental Topology Observatory

सोचने का आकार: AI अपनी दुनिया कैसे बनाता है

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, डिजिटल मस्तिष्क एक बिल्ली को पहचानना कैसे सीखता है। लंबे समय तक, वैज्ञानिकों ने इन "ट्रांसफॉर्मर्स" (Transformers)—जो आपके पसंदीदा चैटबॉट्स और इमेज जनरेटर के पीछे के शक्तिशाली AI मॉडल हैं—को रहस्यमय 'ब्लैक बॉक्स' के रूप में माना। हम जानते थे कि वे अविश्वसनीय रूप से अच्छा काम करते हैं, लेकिन हमें वास्तव में यह नहीं पता था कि वे कैसे सीखते हैं। इसके भीतर झाँकने के लिए, शोधकर्ताओं ने उन "प्रतिनिधित्वों" (representations) को देखना शुरू किया जो AI बनाता है। इन 'रिप्रेजेंटेशन्स' को एक उच्च-आयामी स्थान (high-dimensional space) में तैरते हुए चमकते डॉट्स के बादल के रूप में सोचें। प्रत्येक डॉट छवि का एक हिस्सा है (जैसे फर का एक टुकड़ा या एक कान), और जिस तरह से ये डॉट्स व्यवस्थित होते हैं, वह AI को बताता है कि वह क्या देख रहा है।

पहले, वैज्ञानिक इन बादलों का अध्ययन उनके "स्पेक्ट्रम" (डॉट्स कितने फैले हुए हैं) या उनकी "ज्यामिति" (डॉट्स एक साथ कैसे क्लस्टर होते हैं) को मापकर करते थे। उन्होंने पाया कि जैसे-जैसे AI सीखता है, बादल फैलता है और खुद को सार्थक आकारों में व्यवस्थित करता है। लेकिन पहेली का एक हिस्सा गायब था: "टोपोलॉजी" (topology)। सरल शब्दों में, टोपोलॉजी उन आकारों का अध्ययन है जिन्हें खींचने या मोड़ने से फर्क नहीं पड़ता, लेकिन वे छिद्रों (holes) और कनेक्शनों की परवाह करते हैं। क्या वह बादल एक बड़ा ठोस गोला है? क्या वह बीच में छेद वाला एक छल्ला है? क्या वह अलग-थलग द्वीपों का एक समूह है? इन बादलों के "आकार" को समझना हमें यह देखने में मदद करता है कि क्या AI वास्तव में दुनिया की संरचना को समझ रहा है या केवल पैटर्न को याद कर रहा है। यही वह प्रश्न है जिसका उत्तर नया अध्ययन, TGO-IV, देने का प्रयास करता है।

---

शोध पत्र: TGO-IV, टोपोलॉजी डिटेक्टिव

इस नए अध्ययन में, जिसका शीर्षक TGO-IV: डेवलपमेंटल टोपोलॉजी ऑब्जर्वेटरी है, भारत के SVNIT के शोधकर्ता कौस्तुभ कपिल और किशोर पी. उपला एक सूक्ष्मदर्शी (magnifying glass) लेकर यह देखते हैं कि एक विजन ट्रांसफॉर्मर (एक प्रकार का AI जो छवियों को देखता है) कैसे सीखता है। वे 'न्यूरोमॉर्फिक इंटेलिजेंस रिसर्च कलेक्टिव' नामक एक बड़े समूह का हिस्सा हैं, और यह उनकी "ट्रांसफॉर्मर ज्योमेट्री ऑब्जर्वेटरी" श्रृंखला का चौथा भाग है। जबकि पिछले भागों ने AI के फैलाव के गणित और उसके अर्थ संबंधी महत्व को देखा था, TGO-IV एक गहरा प्रश्न पूछता है: क्या AI की सोचने की वैश्विक आकृति (global shape) सीखने के दौरान बदल जाती है, या यह समान रहती है?

इसका उत्तर देने के लिए, टीम ने केवल डॉट्स को नहीं देखा; उन्होंने उनके चारों ओर एक डिजिटल "स्कैफोल्डिंग" (scaffolding) बनाई। कल्पना कीजिए कि आपके पास 384-आयामी स्थान में तैरते हुए 197 चमकते डॉट्स (जो एक छवि के हिस्सों का प्रतिनिधित्व करते हैं) का एक बादल है। आप केवल डॉट्स को देखकर आकार नहीं देख सकते। इसलिए, शोधकर्ताओं ने विएटोरिस-रिप्स सिम्पलीशियल कॉम्प्लेक्स (Vietoris–Rips simplicial complex) नामक एक गणितीय ट्रिक का उपयोग किया। इसे "डॉट कनेक्ट करने" के खेल के रूप में सोचें। वे शुरू में किन्हीं भी दो डॉट्स के बीच एक रेखा खींचते हैं जो एक-दूसरे के बहुत करीब होते हैं। फिर, वे धीरे-धीरे "कनेक्शन रेडियस" (जुड़ाव की त्रिज्या) को बढ़ाते हैं। जैसे-जैसे त्रिज्या बढ़ती है, रेखाएं अधिक डॉट्स को जोड़ती हैं, तीन जुड़े हुए डॉट्स के बीच त्रिकोण बनते हैं, और अंततः, 3D आकार (जैसे टेट्राहेड्रोन) दिखाई देते हैं। यह एक जाल (mesh) बनाता है जो डेटा क्लाउड के आकार का अनुमान लगाता है।

यह जाल बढ़ते हुए रेडियस के साथ कैसे बदलता है, इसे देखकर वे "परसिस्टेंट होमोलॉजी" (persistent homology) को ट्रैक कर सकते हैं। यह छिद्रों और कनेक्शनों की जीवन कथाओं को गिनने का एक तकनीकी तरीका है।

• जन्म (Birth): एक नया कनेक्शन बनता है, या एक लूप (loop) दिखाई देता है।
• मृत्यु (Death): एक कनेक्शन इतना बड़ा हो जाता है कि एक छेद भर जाता है, या एक लूप बंद हो जाता है।

शोधकर्ताओं ने इन "जन्मों" और "मृत्युओं" को ट्रैक किया जब AI ने 1,000 छवियों के ImageNet-100 डेटासेट पर 100 दिनों के प्रशिक्षण के दौरान अपनी 12 परतों (layers) के माध्यम से एक छवि को प्रोसेस किया। उन्होंने एक विशिष्ट मॉडल, ViT-Small/16 का उपयोग किया, जो छवियों को 16x16 पैच में तोड़कर प्रोसेस करता है, जिसके परिणामस्वरूप प्रति छवि 197 टोकन (डॉट्स) प्राप्त होते हैं।

उन्होंने क्या पाया: महान एकीकरण (The Great Consolidation)

अध्ययन ने एक दिलचस्प कहानी उजागर की कि कैसे AI की आंतरिक दुनिया स्थिर होती है। यहाँ "टोपोलॉजिकल ऑब्जर्वेटरीज" ने क्या देखा:

1. द्वीप मिलकर एक महाद्वीप बन जाते हैं
प्रशिक्षण की शुरुआत में (Epoch 1), AI का प्रतिनिधित्व क्लाउड एक बिखरा हुआ द्वीपसमूह (archipelago) था। डॉट्स दूर-दूर थे, जिससे कई अलग-अलग द्वीप बन रहे थे। जैसे-जैसे प्रशिक्षण आगे बढ़ा, शोधकर्ताओं ने बेट्टी कर्व्स (Betti curves - एक ग्राफ जो गिनता है कि कितने जुड़े हुए टुकड़े मौजूद हैं) में एक बड़ा बदलाव देखा। "जीरो-थ बेट्टी नंबर" ($\beta_0$), जो अलग-अलग द्वीपों की संख्या गिनता है, नाटकीय रूप से गिर गया। डॉट्स प्रक्रिया के बहुत पहले ही कम और बड़े समूहों में जुड़ने लगे। प्रशिक्षण के अंत तक (Epoch 100), बादल एक एकल, सुसंगत महाद्वीप बन गया था। AI केवल हिस्सों को नहीं देख रहा था; वह पूरी तस्वीर को एक जुड़े हुए इकाई के रूप में देख रहा था।

2. रिंग्स बनी रहती हैं, छेद गायब हो जाते हैं
शोधकर्ताओं ने "लूप्स" (डॉट्स के छल्ले) और "वॉइड्स" (3D बुलबुले) की भी तलाश की। उन्होंने पाया कि हालांकि AI ने कुछ लूप ($\beta_1$) बनाए, वे हमेशा कम और छिटपुट थे। इससे भी अधिक दिलचस्प बात यह थी कि 3D बुलबुले ($\beta_2$) लगभग पूरी तरह से अनुपस्थित थे। यह सुझाव देता है कि AI की सोच जटिल, बहु-स्तरीय सूचनात्मक बुलबुले नहीं बनाती है। इसके बजाय, यह डॉट्स को एक ठोस, सपाट (लगभग) संरचना में जोड़ने पर ध्यान केंद्रित करती है।

3. परतें एक जैसी होने लगती हैं
सबसे आश्चर्यजनक निष्कर्षों में से एक परतों के बीच की दूरी के बारे में था। शोधकर्ताओं ने यह मापने के लिए कि एक परत से दूसरी परत तक डेटा का आकार कितना भिन्न है, दो उपकरणों, बॉटलनेक डिस्टेंस (Bottleneck Distance) और वॉसरस्टीन डिस्टेंस (Wasserstein Distance) का उपयोग किया।

• प्रारंभिक प्रशिक्षण: परतें एक-दूसरे से बहुत भिन्न थीं। पहली परत से दूसरी, फिर तीसरी परत तक जाने पर डेटा का आकार बहुत तेजी से बदलता था।
• देर से प्रशिक्षण: जैसे-जैसे AI ने सीखा, परतें एक-दूसरे के अधिक समान दिखने लगीं। क्रमिक परतों के आकारों के बीच की "दूरी" कम हो गई। ऐसा लगता है जैसे AI ने हर कदम पर पहिये का पुनरुद्धार करना बंद कर दिया और एक ही स्थिर संरचना को परिष्कृत करना शुरू कर दिया।

हालाँकि, उन्होंने कुछ "पीक्स" (peaks) देखे जहाँ आकार महत्वपूर्ण रूप से बदल गया, विशेष रूप से परत 3, 10 और 12 के आसपास। यहाँ तक कि जब AI ने "सीख" लिया था, तब भी ये विशिष्ट परतें डेटा को महत्वपूर्ण तरीकों से पुनर्गठित करके भारी काम करती रहीं।

मुख्य विचार: प्रगतिशील टोपोलॉजिकल स्थिरीकरण (Progressive Topological Stabilization)

इन अवलोकनों के आधार पर, लेखक एक नया विचार प्रस्तावित करते हैं जिसे प्रोग्रेसिव टोपोलॉजिकल स्टेबिलाइजेशन हाइपोथेसिस कहा जाता है।

वे सुझाव देते हैं कि सीखना इस बारे में नहीं है कि AI की आंतरिक दुनिया एक उबाऊ, विशेषताहीन गोले में ढह जाए। इसके बजाय, यह परिष्करण (refinement) की एक प्रक्रिया है।

• रूपक (Metaphor): एक संगीत कार्यक्रम में लोगों की एक अराजक भीड़ की कल्पना करें। शुरू में, हर कोई बिखरा हुआ, चिल्लाता हुआ और अलग-थलग होता है (उच्च $\beta_0$, कई द्वीप)। जैसे ही संगीत शुरू होता है और गाना बढ़ता है, लोग हाथ मिलाने लगते हैं, छोटे समूह बनाते हैं, और अंततः, पूरी भीड़ एक विशाल, सुसंगत लहर के रूप में चलती है। भीड़ का "आकार" स्थिर और जुड़ा हुआ हो जाता है, लेकिन वह गायब नहीं होता।
• निष्कर्ष: AI के प्रतिनिधित्व "तेजी से सघन" (increasingly compact) होते जाते हैं (डॉट्स करीब आते हैं) जबकि अपना "गैर-तुच्छ ज्यामितीय संगठन" (non-trivial geometric organization) बनाए रखते हैं (संरचना दिलचस्प और उपयोगी बनी रहती है)। AI केवल याद नहीं करता; वह दुनिया का एक स्थिर, जुड़ा हुआ मानचित्र बनाता है।

इसका क्या अर्थ है (और क्या नहीं है)

लेखक सावधानीपूर्वक यह स्पष्ट करते हैं कि वे यह दावा नहीं कर रहे हैं कि वे AI के मस्तिष्क के सटीक आकार को देख रहे हैं। क्योंकि उनके पास एक विशाल 384-आयामी स्थान में काम करने के लिए केवल 197 डॉट्स थे, उनका "मेश" (mesh) एक अनुमान है, पूर्ण पुनर्निर्माण नहीं। वे स्वीकार करते हैं कि इतने कम बिंदुओं के साथ, जो "आकार" वे देखते हैं वह एक टोपोलॉजिकल सन्निकटन (approximation) है, न कि अंतर्निहित सत्य। हालाँकि, जो रुझान उन्होंने देखे वे सुसंगत और सार्थक हैं।

वे स्पष्ट रूप से इस विचार को खारिज करते हैं कि AI केवल एक तुच्छ, बेकार बिंदु में ढह रहा है। तथ्य यह है कि कुछ लूप ($\beta_1$) पूरे प्रशिक्षण के दौरान जीवित रहे, यह साबित करता है कि संरचना जटिल बनी रही। वे इस विचार को भी खारिज करते हैं कि AI एक एकल, अचानक उछाल में सीखता है; इसके बजाय, परिवर्तन निरंतर हैं, जिसमें प्रशिक्षण परिपक्व होने के साथ परतें एक-दूसरे के अधिक समान हो जाती हैं।

आगे की राह

यह शोध पत्र एक लंबी यात्रा का केवल चौथा पड़ाव है। शोधकर्ताओं के पास भविष्य के लिए एक योजना है:

• TGO-V (कंप्यूटेशनल ज्योमेट्री): वे जानना चाहते हैं कि AI का गणित (डॉट प्रोडक्ट्स और अटेंशन मैकेनिज्म) वास्तव में इन आकारों को कैसे बनाता है।
• TGO-VI (ऑप्टिमाइज़ेशन डायनेमिक्स): वे सीखने की "भौतिकी" को समझना चाहते हैं—कि कैसे प्रशिक्षण एल्गोरिदम का गणित (ग्रेडिएंट्स और लॉस लैंडस्केप) AI को इन स्थिर आकारों में बैठने के लिए मजबूर करता है।

संक्षेप में, TGO-IV हमें एक नया चश्मा देता है। AI के डेटा को केवल संख्याओं के बादल के रूप में देखने के बजाय, अब हम इसे एक जीवित, सांस लेते आकार के रूप में देख सकते हैं जो एक बिखरे हुए द्वीपसमूह के रूप में शुरू होता है और एक स्थिर, जुड़े हुए महाद्वीप के रूप में विकसित होता है। यह बताता है कि जब एक ट्रांसफॉर्मर सीखता है, तो वह केवल याद नहीं कर रहा होता; वह अपने ज्ञान के लिए एक स्थिर, टोपोलॉजिकल घर बना रहा होता है।