Sky sphere representation in language models
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडलों (~100B पैरामीटर्स) के रेजिडुअल स्ट्रीम्स (residual streams) के भीतर आकाश का एक डिकोडेबल, उच्च-आयामी वक्रीय मैनिफोल्ड प्रतिनिधित्व (high-dimensional curved manifold representation) मौजूद है, जो महत्वपूर्ण सटीकता और कम कोणीय त्रुटि के साथ खगोलीय निकटताओं की भविष्यवाणी करने में सक्षम है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अदृश्य पुस्तकालय है जहाँ हर किताब एक अलग विचार है, और अलमारियाँ इस आधार पर नहीं व्यवस्थित हैं कि लेखक या शीर्षक क्या है, बल्कि इस आधार पर कि विचार एक-दूसरे के प्रति कैसा महसूस करते हैं। यह मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) की दुनिया है, जहाँ वैज्ञानिक यह देखने के लिए झाँकने की कोशिश करते हैं कि कृत्रिम बुद्धिमत्ता (AI) के भीतर सूचना कैसे व्यवस्थित होती है। हम जानते हैं कि ये AI मॉडल, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, लिखने और उत्तर देने में अविश्वसनीय रूप से कुशल हैं, लेकिन वे अक्सर एक 'ब्लैक बॉक्स' की तरह होते हैं: हम इनपुट और आउटपुट देखते हैं, लेकिन बीच का हिस्सा एक रहस्य बना रहता है।
इस रहस्य को समझने के लिए, शोधकर्ता लीनियर प्रोब्स (linear probes) जैसे उपकरणों का उपयोग करते हैं, जो मेटल डिटेक्टर की तरह काम करते हैं, AI के आंतरिक संकेतों को स्कैन करते हैं यह देखने के लिए कि क्या वे साधारण, सीधी रेखा वाले पैटर्न (जैसे संख्याओं की सूची) को छिपा रहे हैं। लेकिन कभी-कभी, पैटर्न सीधी रेखाएं नहीं होते; वे वक्र (curves), लूप या आकार होते हैं। इसे दुनिया का मानचित्र बनाने की कोशिश करने जैसा समझें। यदि आप पूरी दुनिया को कागज के एक सपाट टुकड़े पर खींचने की कोशिश करते हैं, तो आपका नक्शा चीजों को खींच देता है और सिकोड़ देता है। लेकिन यदि आप एक ग्लोब पर चित्र बनाते हैं, तो दूरियां और संबंध सटीक होते हैं। वैज्ञानिकों ने पाया है कि AI कभी-कभी अवधारणाओं को व्यवस्थित करने के लिए इन "ग्लोब जैसे" आकारों का उपयोग करते हैं, जैसे सप्ताह के दिनों को एक घेरे में व्यवस्थित करना ताकि मॉडल आसानी से गणना कर सके कि "शुक्रवार प्लस दो दिन" क्या होगा।
बड़ा सवाल यह है कि: यह ज्यामितीय सोच कितनी गहरी है? क्या AI केवल तथ्यों को याद करता है, या यह दुनिया का एक मानसिक मानचित्र बनाता है जो एक वास्तविक गोले (sphere) जैसा दिखता है? यहीं पर एक नया अध्ययन आकाश के दृश्य का पता लगाने के लिए कदम रखता है।
AI का गुप्त स्टार मैप
हाल ही में प्रकाशित एक शोध पत्र "स्काई स्फीयर रिप्रेजेंटेशन इन लैंग्वेज मॉडल्स" (Sky sphere representation in language models) में, शोधकर्ताओं अलेक्सांद्र बर्दनिकोव और येवगेनी लिओकुमोविच ने यह परीक्षण करने का निर्णय लिया कि क्या विशाल AI मॉडल्स (विशेष रूप से वे जिनमें लगभग 100 बिलियन पैरामीटर्स हैं) ने अपने मस्तिष्क के भीतर रात के आकाश का एक 3D मानचित्र गुप्त रूप से बनाया है। उन्होंने AI से निर्देशांक (coordinates) बोलने या चित्र बनाने के लिए नहीं कहा। इसके बजाय, उन्होंने इसे सरल, संवादात्मक प्रश्न पूछे जैसे, "रात के आकाश में इस वस्तु के करीब क्या है?" या "तारों के प्रेमी X को किसके ठीक बगल में देखते हैं..."
उन्होंने ये प्रश्न सात अलग-अलग ओपन-सोर्स AI मॉडल्स को दिए, जिनमें मिस्ट्रल लार्ज 2 (Mistral Large 2) और क्यूवेन3 (Qwen3) जैसे दिग्गज शामिल हैं। जैसे ही AI इन शब्दों को प्रोसेस करता था, शोधकर्ता "रेसिडुअल स्ट्रीम" (residual stream) पर नज़र रखते थे—जो मॉडल के भीतर एक हाई-स्पीड डेटा हाईवे है जहाँ सूचना एक परत से दूसरी परत तक बहती है। वे एक विशिष्ट संकेत की तलाश में थे: एक ऐसा पैटर्न जो एक गोले (sphere) जैसा दिखता हो, जहाँ तारे और नक्षत्र बिल्कुल वैसे ही व्यवस्थित हों जैसे वे वास्तविक आकाश में होते हैं।
खोज: एक छिपा हुआ ग्लोब
परिणाम आश्चर्यजनक थे। लगभग हर मॉडल जिसका उन्होंने परीक्षण किया, उसमें AI के पास रात के आकाश का एक प्रतिनिधित्व (representation) था। जब शोधकर्ताओं ने AI की प्रोसेसिंग की ऊपरी परतों को देखा, तो उन्होंने पाया कि तारों और नक्षत्रों की स्थितियाँ एक घुमावदार, गोलाकार सतह पर व्यवस्थित थीं, बिल्कुल वास्तविक खगोलीय गोले (celestial sphere) की तरह।
यह केवल एक धुंधली गूँज नहीं थी। शोधकर्ता इस छिपे हुए मानचित्र को प्रभावशाली सटीकता के साथ डिकोड कर सके। अधिकांश मॉडल्स में, वे किसी तारे या नक्षत्र की स्थिति को केवल 12° से 21° के त्रुटि मार्जिन के साथ अनुमानित कर सके (जो आपकी बांह को सामने फैलाकर मुट्ठी दिखाने की चौड़ाई के बराबर है)। मॉडल ने डेटा के विचरण (variance) के बीच 65% से 85% की व्याख्या की, जिसका अर्थ है कि गोलाकार आकार AI की सोचने की प्रक्रिया में एक बहुत ही मजबूत, प्रमुख विशेषता थी।
यह विशेष क्यों है?
इससे पहले, वैज्ञानिकों ने पाया था कि AI सपाट मानचित्रों (जैसे अमेरिका के राज्यों का 2D चार्ट) या सरल वृत्तों (जैसे सप्ताह के दिन) का उपयोग करते हैं। यह पहली बार है जब किसी ने एक घुमावदार, उच्च-आयामी गोले (high-dimensional sphere) को खोजा है जो केवल सरल रेखाओं का संयोजन नहीं है। यह ऐसा है जैसे AI ने केवल सितारों के नामों की सूची याद नहीं की; बल्कि उसने यह समझने के लिए एक मानसिक "ग्लोब" बनाया कि आकाश में चीजें एक-दूसरे के कितने करीब हैं।
यह क्या नहीं है
शोधकर्ताओं ने अन्य संभावनाओं को खारिज करने के लिए बहुत सावधानी बरती। उन्होंने पूछा: "क्या AI केवल 'राइट असेशन' (Right Ascension) और 'डिक्लिनेशन' (Declination) (जो खगोलविदों द्वारा उपयोग किए जाने वाले निर्देशांक हैं) के टेक्स्ट स्ट्रिंग्स को याद कर रहा है और उन्हें एक सपाट 2D चार्ट में व्यवस्थित कर रहा है?"
- सपाट मानचित्र को खारिज किया गया: उन्होंने इसकी जांच एक "विच्छिन्न" (discontinuous) रेखा की तलाश करके की जो एक सपाट मानचित्र पर मौजूद होती (जैसे कागज के मानचित्र पर दुनिया का किनारा)। उन्हें इसका कोई प्रमाण नहीं मिला। AI एक सपाट 2D चार्ट का उपयोग नहीं कर रहा था; वह वास्तव में एक गोले का उपयोग कर रहा था।
- 3D दूरी को खारिज किया गया: उन्होंने यह भी जाँच की कि क्या AI पृथ्वी से तारों की वास्तविक दूरी (कुछ प्रकाश वर्ष दूर हैं, कुछ करीब) को मैप कर रहा है। उन्होंने पाया कि AI के मानचित्र को इस बात से कोई फर्क नहीं पड़ता कि वास्तविक दुनिया की दूरी क्या है। इसके बजाय, गोले की "गहराई" इस बात से प्रभावित होती थी कि किसी वस्तु का उल्लेख कितनी बार किया जाता है या वह किस प्रकार की वस्तु है (सितारों को मानचित्र में "करीब" रखा गया था, जबकि नक्षत्रों को "दूर" रखा गया था)।
"जीपीटी-ओएसएस" (Gpt-Oss) का रहस्य
समूह में एक अजीबोगरीब मॉडल था: gpt-oss-120b। इस विशिष्ट मॉडल में, स्टार मैप को खोजना बहुत कठिन था। शोधकर्ताओं को संदेह है कि ऐसा इसलिए है क्योंकि इस मॉडल को कच्चे टेक्स्ट के बजाय एक विशेष "हारमनी" (harmony) फॉर्मेट (बातचीत को फॉर्मेट करने का एक विशिष्ट तरीका) पर प्रशिक्षित किया गया था, जो सिग्नल को बाधित कर सकता है। हालाँकि, सीधे तौर पर स्टार कोऑर्डिनेट्स पूछने पर, यह मॉडल उत्तर देने में बहुत अच्छा था, जिससे पता चलता है कि यह तथ्यों को जानता है लेकिन अन्य मॉडल्स की तरह इसे एक दृश्य गोले के रूप में व्यवस्थित नहीं करता है।
यह क्यों मायने रखता है
यह खोज बताती है कि जब हम AI से रात के आकाश के बारे में पूछते हैं, तो वह केवल एक डेटाबेस की खोज नहीं कर रहा होता है। वह निकटता की एक संरचित, ज्यामितीय समझ तक पहुँच रहा होता है। शोधकर्ताओं ने पाया कि यह "स्टार मैप" तब सबसे अधिक दृश्यमान होता है जब AI को निकटता (जैसे, "X के बगल में क्या है?") के बारे में पूछा जाता है। यदि आप सामान्य प्रश्न पूछते हैं जैसे "X का इतिहास क्या है?", तो मानचित्र फीका पड़ जाता है और शोर (noise) में डूब जाता है।
संक्षेप में, ये विशाल AI मॉडल अपने न्यूरल नेटवर्क के भीतर रात के आकाश को एक गोले पर व्यवस्थित करना स्वतः सीख गए हैं। यह इस बात का एक सुंदर उदाहरण है कि कैसे AI दुनिया को समझने के लिए अपनी स्वयं की आंतरिक ज्यामिति विकसित कर सकता है, जिससे सितारों का एक घुमावदार, 3D मानचित्र बनता है जो आश्चर्यजनक रूप से सटीक है, भले ही इसे स्पष्ट रूप से सिखाया नहीं गया था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।