Do Large Language Models Play Six Degrees of Separation? Measuring Topological Compression in Long-Context Manifolds

एक विशाल पुस्तकालय की कल्पना करें जहाँ हर किताब शुद्ध अर्थ की एक भाषा में लिखी गई है, और इसके शेल्फ मीलों तक फैले हुए हैं। दशकों से, आर्टिफिशियल इंटेलिजेंस का अध्ययन करने वाले वैज्ञानिक इस बात पर विचार कर रहे हैं कि ये डिजिटल मस्तिष्क इतने विशाल स्थान में कैसे नेविगेट करते हैं। वे लंबे समय से संदेह करते रहे हैं कि इसका उत्तर "स्मॉल-वर्ल्ड" (small-world) घटना नामक एक अवधारणा में निहित है, जो एक ऐसा पैटर्न है जो मानव मस्तिष्क के न्यूरॉन्स से लेकर पृथ्वी पर लोगों के आपस में जुड़े होने के तरीके तक, हर चीज़ में पाया जाता है। यह पैटर्न बताता है कि दो चीजें एक-दूसरे से कितनी भी दूर क्यों न लगें, वे आमतौर पर कनेक्शनों की एक आश्चर्यजनक रूप से छोटी श्रृंखला द्वारा जुड़ी होती हैं, जो अक्सर छह चरणों से अधिक नहीं होती। आधुनिक शोधकर्ताओं के लिए प्रश्न यह है कि क्या बड़े लैंग्वेज मॉडल्स (large language models)—वे सिस्टम जो आज के सबसे उन्नत चैटबॉट्स को संचालित करते हैं—भी इसी तरह के कुशल तरीके से खुद को व्यवस्थित करते हैं, या वे केवल जानकारी को शुरू से अंत तक एक धीमी, रैखिक गति (linear march) में प्रोसेस करते हैं।

बांग्लादेश के बीआरएसी (BRAC) यूनिवर्सिटी के एक शोधकर्ता ने अब इस उत्तर को खोजने के लिए सीधे इन डिजिटल मस्तिष्कों के भीतर झाँका है। मॉडल के 'अटेंशन मैकेनिज्म' (attention mechanisms) को देखने के बजाय, जो एक स्पॉटलाइट की तरह काम करते हैं और कभी-कभी गलत शब्दों पर अटक सकते हैं, उन्होंने मॉडल के अपने विचारों की छिपी हुई ज्यामिति (geometry) का मानचित्र तैयार किया। उन्होंने मॉडल की आंतरिक स्थिति को बिंदुओं के एक परिदृश्य (landscape) के रूप में माना, जहाँ प्रत्येक बिंदु एक शब्द या विचार का प्रतिनिधित्व करता है। इन बिंदुओं के बीच की दूरी को मापकर, उन्होंने खोजा कि मॉडल एक सीधी रेखा में नहीं सोचता है। इसके बजाय, जैसे-जैसे जानकारी सिस्टम में गहराई तक जाती है, मॉडल सक्रिय रूप से अपनी आंतरिक दुनिया को नया आकार देता है, असंबंधित विचारों के विशाल फासलों को एक सघन, सुलभ नेटवर्क में संकुचित कर देता है।

इसकी जांच करने के लिए, शोधकर्ता ने मॉडल्स को सैकड़ों शब्दों वाली लंबी कहानियाँ खिलाईं। फिर उन्होंने कहानी से दो ऐसे शब्द चुने जो अर्थ में एक-दूसरे से जितने संभव हो सके उतने भिन्न थे और पाठ में एक-दूसरे से जितने दूर थे, जैसे कि मच्छर के बारे में एक शब्द और कंप्यूटर सुरक्षा हैक के बारे में एक शब्द। मॉडल के शुरुआती परतों (layers) में, जहाँ सिस्टम अभी भी वाक्य के बुनियादी व्याकरण और संरचना को सीख रहा होता है, ये दोनों शब्द पूरी तरह से अलग-थलग रहे। उनके बीच कोई रास्ता नहीं था; मॉडल का आंतरिक मानचित्र खंडित था, और विचारों के बीच की दूरी अनंत थी। हालाँकि, जैसे ही जानकारी मॉडल की परतों में गहराई तक पहुँची, कुछ नाटकीय हुआ। मॉडल ने अचानक अपने आंतरिक कनेक्शनों को फिर से व्यवस्थित किया, जिससे उन दो दूरस्थ अवधारणाओं के बीच एक सेतु बन गया।

शोधकर्ता ने पाया कि यह परिवर्तन क्रमिक नहीं बल्कि अचानक होता है, जैसे कोई स्विच चालू हुआ हो। एक बार जब जानकारी मॉडल की सबसे गहरी परतों तक पहुँच गई, तो दो असंबंधित शब्द केवल कुछ ही चरणों के पथ से जुड़ गए। प्रयोगों में, मॉडल ने लगातार इन दूरस्थ विचारों को छह से कम चरणों में जोड़ने का काम किया, चाहे मूल पाठ में शब्द पचास टोकन की दूरी पर हों या दो सौ पचास टोकन की। यह पुष्टि करता है कि मॉडल की गहरी तर्क करने वाली परतें स्वाभाविक रूप से एक 'स्मॉल-वर्ल्ड नेटवर्क' में खुद को व्यवस्थित करती हैं, जिससे यह उन अमूर्त छलांगों को लगाने में सक्षम होता है जो एक इंसान को जोड़ने में लंबा समय लग सकता है।

अध्ययन ने यह भी खुलासा किया कि यह ज्यामितिक संरचना केवल एक जिज्ञासा नहीं है, बल्कि त्रुटियों का पता लगाने के लिए एक व्यावहारिक उपकरण भी है। शोधकर्ता ने इस पद्धति को एक ऐसे सिस्टम पर लागू किया जो प्रश्नों के उत्तर देने के लिए दस्तावेजों से तथ्यों को प्राप्त करता है। जब मॉडल ने पाठ के आधार पर सही उत्तर दिया, तो स्रोत दस्तावेज़ और उत्तर के बीच का आंतरिक पथ छोटा और सीधा था, जो स्मॉल-वर्ल्ड नेटवर्क की सघन संरचना को बनाए रखता था। लेकिन जब मॉडल ने 'हैलुसिनेशन' (hallucination) करना शुरू किया—यानी ऐसे तथ्य बनाना जो पाठ में नहीं थे—तो इसकी आंतरिक संरचना ढह गई। स्रोत और उत्तर के बीच का पथ टूट गया या अत्यधिक लंबा हो गया, जिससे वह कुशल कनेक्टिविटी खो गई जो सत्यपूर्ण सृजन में देखी जाती है। यह सुझाव देता है कि केवल मॉडल के आंतरिक कनेक्शनों के आकार को मापकर, हम यह बता सकते हैं कि वह सच बोल रहा है या मनगढ़ंत बातें बना रहा है, जो हर एक शब्द को डेटाबेस के विरुद्ध जाँचने की आवश्यकता के बिना आर्टिफिशियल इंटेलिजेंस की विश्वसनीयता सुनिश्चित करने का एक नया तरीका प्रदान करता है।

अंततः, यह कार्य एक स्पष्ट तस्वीर प्रदान करता है कि ये शक्तिशाली सिस्टम कैसे तर्क करते हैं। वे केवल एक वाक्य को शुरू से अंत तक नहीं पढ़ते और फिर उत्तर नहीं लिखते। इसके बजाय, वे पूरे संदर्भ को, चाहे वह कितना भी लंबा क्यों न हो, एक सघन, अत्यधिक जुड़े हुए स्थान में मोड़ देते हैं जहाँ किसी भी दो विचारों तक तेज़ी से पहुँचा जा सकता है। यह खोज हमें इस पुराने विचार से आगे ले जाती है कि 'अटेंशन' (attention) ही इन मॉडल्स को समझने का एकमात्र तरीका है, और यह दिखाती है कि उनकी वास्तविक शक्ति उनके विचारों की छिपी हुई ज्यामिति में निहित है, एक ऐसी ज्यामिति जो प्रकृति में पाए जाने वाले कुशल नेटवर्क का दर्पण है।