Transformer Geometry Observatory TGO-II: Representational Similarity Observatory
यह शोध पत्र ट्रांसफॉर्मर ज्योमेट्री ऑब्जर्वेटरी-II (TGO-II) फ्रेमवर्क को प्रस्तुत करता है जो यह प्रकट करता है कि विजन ट्रांसफॉर्मर्स प्रशिक्षण के दौरान मजबूत टोकन इंटरेक्शन संरचनाओं को बनाए रखते हुए प्रगतिशील मैनिफोल्ड विस्तार और समृद्ध रूपांतरणों के माध्यम से प्रतिनिधित्व संबंधी जटिलता और परत विशेषज्ञता विकसित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विजन ट्रांसफॉर्मर (एक प्रकार का AI जो छवियों को "देखता" है) की कल्पना एक ब्लैक बॉक्स के रूप में नहीं, बल्कि एक विशाल, बहु-मंजिला कारखाने के रूप में करें। इस कारखाने की प्रत्येक मंजिल एक "लेयर" (परत) का प्रतिनिधित्व करती है जहाँ AI छवि को प्रोसेस करता है।
लंबे समय तक, वैज्ञानिकों को पता था कि प्रशिक्षण के दौरान यह कारखाना अपने काम में बेहतर होता गया, लेकिन वे वास्तव में यह नहीं समझ पाए कि प्रत्येक मंजिल के कर्मचारी समय के साथ अपनी सोच में कैसे बदले। वे ज्यादातर अंतिम उत्पाद (क्या इसने बिल्ली को सही ढंग से पहचाना?) या कर्मचारियों द्वारा उपयोग किए जाने वाले उपकरणों (अटेंशन मैकेनिज्म) को देखते थे।
यह पेपर, TGO-II, प्रशिक्षण के पहले दिन से लेकर अंतिम दिन तक यह देखने के लिए एक नया "ऑब्जर्वेटरी" (एक हाई-टेक व्यूइंग डेक) पेश करता है कि दुनिया के उनके आंतरिक मानचित्र (internal maps) कैसे विकसित होते हैं।
यहाँ उन्हें क्या मिला, सरल उपमाओं के माध्यम से समझाया गया है:
1. कर्मचारी एक-दूसरे की नकल करना बंद कर देते हैं (विशेषज्ञता/Specialization)
उपमा: पहले दिन के इंटर्न के एक समूह की कल्पना करें। वे सभी एक ही फोटो को देखते हैं और लगभग एक जैसे स्केच बनाते हैं। वे सभी एक ही तरह से सोच रहे हैं।
निष्कर्ष: जैसे-जैसे प्रशिक्षण आगे बढ़ता है, विभिन्न मंजिलों के कर्मचारी एक जैसा काम करना बंद कर देते हैं। पेपर ने मापा कि मंजिलों के बीच "स्केच" (प्रतिनिधित्व) में कितनी समानता थी। उन्होंने पाया कि समय के साथ यह समानता घट गई।
इसका अर्थ है: कारखाने की मंजिलें विशेषज्ञ बन रही हैं। शुरुआती मंजिलें किनारों और आकृतियों पर ध्यान केंद्रित कर सकती हैं, जबकि बाद की मंजिलें "फर" या "पहियों" जैसे जटिल अवधारणाओं पर ध्यान केंद्रित करती हैं। वे अब केवल एक-दूसरे की नकल नहीं कर रहे हैं; वे अपनी अनूठी भूमिकाएँ गढ़ रहे हैं।
2. कार्यक्षेत्र बड़ा और अधिक जटिल हो जाता है (मैनिफ़ोल्ड विस्तार/Manifold Expansion)
उपमा: कल्पना करें कि इंटर्न कागज के एक छोटे, सपाट टुकड़े पर चित्र बना रहे हैं। शुरू में, वे केवल सरल रेखाएं खींच सकते हैं। लेकिन जैसे-जैसे वे सीखते हैं, उन्हें एहसास होता है कि उन्हें अधिक स्थान की आवश्यकता है। वे एक 3D मॉडल, फिर एक होलोग्राफिक प्रोजेक्शन का उपयोग करना शुरू करते हैं। जिस "कमरे" में वे काम कर रहे हैं, वह बड़ा और अधिक जटिल होता जा रहा है।
निष्कर्ष: पेपर ने "इंट्रिन्सिक डायमेंशनलिटी" (Intrinsic Dimensionality) को मापा, जो मूल रूप से उन विभिन्न दिशाओं या "डिग्री ऑफ फ्रीडम" की संख्या है जिनका उपयोग AI किसी छवि का वर्णन करने के लिए करता है। उन्होंने पाया कि यह संख्या प्रशिक्षण के दौरान तेजी से बढ़ी और फिर स्थिर हो गई।
इसका अर्थ है: AI केवल पुराने ही करतबों में बेहतर नहीं हो रहा है; यह वास्तव में अपने मानसिक कार्यक्षेत्र का विस्तार कर रहा है। यह छवियों को वर्णित करने के लिए बहुत अधिक समृद्ध, अधिक जटिल आयामों (dimensions) का उपयोग करना सीख रहा है।
3. कर्मचारी जुड़े रहते हैं (टोकन कपलिंग/Token Coupling)
उपमा: एक सामान्य अनुमान यह था कि जैसे-जैसे AI स्मार्ट होता है, छवि के विभिन्न हिस्से (जैसे "बिल्ली का कान" और "बिल्ली की पूंछ") एक-दूसरे से बात करना बंद कर देंगे और स्वतंत्र हो जाएंगे, जैसे भीड़ में अजनबी।
निष्कर्ष: पेपर ने देखा कि छवि के विभिन्न हिस्सों ने एक-दूसरे को कितना प्रभावित किया (टोकन कोवेरिएंस)। उन्होंने पाया कि पूरे प्रशिक्षण प्रक्रिया के दौरान मजबूत संबंध बने रहे। "कान" और "पूंछ" ने एक-दूसरे के साथ संवाद करना कभी बंद नहीं किया; वास्तव में, उनके बीच की बातचीत के पैटर्न और भी अधिक संगठित और संरचित हो गए।
इसका अर्थ है: AI छवि के हिस्सों को अलग करके स्मार्ट नहीं बनता है। यह छवि के हिस्सों को अधिक परिष्कृत तरीकों से एक साथ समन्वयित (coordinate) करना सीखकर स्मार्ट बनता है। "टीम" पूरी तरह से एकजुट रहती है, भले ही वे विशेषज्ञ बन रहे हों।
बड़ी हैरानी: "ट्रांज़िशन ज़ोन" (Transition Zone)
शोधकर्ताओं ने कारखाने के 4वें और 5वें फ्लोर के आसपास कुछ अजीब होते हुए देखा।
- फ्लोर 1–4: कर्मचारी तेजी से बदल रहे थे, और "कमरा" विस्तृत हो रहा था।
- फ्लोर 5–12: कर्मचारी एक नई लय में ढल गए। मंजिलों के बीच समानता कम हो गई, लेकिन जटिलता बढ़ती रही।
परिकल्पना: पेपर सुझाव देता है कि यह एक "ट्रांज़िशन ज़ोन" है। शुरुआती कुछ मंजिलें कच्चे, बुनियादी इनपुट (जैसे पिक्सेल का पैच) को संभालती हैं, और फ्लोर 4 या 5 के बाद, AI अमूर्त (abstract), उच्च-स्तरीय अवधारणाओं को संभालने में स्विच करता है। यह ऐसा है जैसे कारखाना "असेंबली लाइन" के काम से "क्रिएटिव डिज़ाइन" के काम में बदल रहा हो।
नए सिद्धांत का सारांश
इस पेपर से पहले, लोग शायद सोचते होंगे: "AI छवि को स्वतंत्र टुकड़ों में तोड़कर और उन्हें अलग-अलग विश्लेषित करके स्मार्ट बनता है।"
TGO-II इसके विपरीत सुझाव देता है: AI टुकड़ों को आपस में मजबूती से जोड़कर और उनके बीच की बातचीत को बहुत अधिक जटिल और विशिष्ट बनाकर स्मार्ट बनता है। यह एक जैज़ बैंड (jazz band) की तरह है: संगीतकार एक साथ बजाना बंद नहीं करते (वे अलग नहीं होते); इसके बजाय, वे अधिक जटिल सामंजस्य (harmonies) और सुधार (improvisations) सीखते हैं (मैनिफ़ोल्ड विस्तार) जबकि प्रत्येक संगीतकार अपनी अनूठी सोलो शैली (specialization) खोजता है।
आगे क्या?
लेखक स्वीकार करते हैं कि वे अभी तक नहीं जानते कि "अर्थ" (semantics) के संदर्भ में इन जटिल पैटर्न का सटीक क्या मतलब है। वे यह जांचने के लिए "TGO-III" बनाने की योजना बना रहे हैं कि क्या यह जटिल ज्यामिति वास्तव में AI को यह समझने में मदद करती है कि "बिल्ली" या "कार" क्या है, और "TGO-IV" यह देखने के लिए कि छवि के व्यक्तिगत हिस्से समय के साथ कैसे चलते और बदलते हैं।
संक्षेप में: AI चीजों को अलग करने के बजाय, अपने मानसिक मानचित्र का विस्तार करके, अपनी परतों को विशिष्ट बनाकर और अपने आंतरिक हिस्सों को मजबूती से जोड़े रखकर सीखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।