All Circuits Lead to Rome: Rethinking Functional Anisotropy in Circuit and Sheaf Discovery for LLMs
यह शोध पत्र इस धारणा को चुनौती देता है कि LLM कार्य अद्वितीय आंतरिक तंत्रों पर निर्भर करते हैं, यह प्रदर्शित करते हुए कि कई संरचनात्मक रूप से भिन्न, निष्ठावान सर्किट सह-अस्तित्व में हो सकते हैं, एक ओवरलैप-जागरूक विधि पेश करता है जो इन गैर-रूढ़िगत स्पष्टीकरणों को उजागर करती है और इस अंतर्निहित कार्यात्मक अनिसोट्रॉपी (anisotropy) की व्याख्या करने के लिए उच्च-आयामी सुपरपोजिशन पर आधारित एक सैद्धांतिक ढांचा प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "ऑल सर्किट्स लीड टू रोम" (All Circuits Lead to Rome) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
मुख्य विचार: समस्या को हल करने का कोई एक "सही" तरीका नहीं है
कल्पना कीजिए कि आपने एक विशाल, सुपर-इंटेलिजेंट रोबोट (एक लार्ज लैंग्वेज मॉडल) से एक पहेली सुलझाने के लिए कहा। सालों तक, वैज्ञानिकों का मानना था कि रोबोट के मस्तिष्क के अंदर, तारों और गियरों का एक विशिष्ट, अद्वितीय पथ (path) है जो उस उत्तर को जन्म देता है। उन्हें लगा कि यदि वे उस एक पथ को खोज लेंगे, तो वे रोबोट के सोचने के "गुप्त नुस्खे" (secret sauce) को खोज लेंगे।
यह पेपर तर्क देता है कि यह विश्वास गलत है।
एक गुप्त पथ के बजाय, रोबोट के पास दर्जनों पूरी तरह से अलग पथ हैं जो बिल्कुल एक ही सही उत्तर की ओर ले जाते हैं। यह कुछ ऐसा है जैसे पूछना, "आप एम्पायर स्टेट बिल्डिंग तक कैसे पहुँचे?" और तीन अलग-अलग उत्तर मिलना:
- "मैंने सबवे लिया।"
- "मैं सीढ़ियाँ चढ़कर गया।"
- "मैंने हेलीकॉप्टर लिया।"
तीनों ही सच हैं। तीनों ने व्यक्ति को वहाँ पहुँचा दिया। लेकिन इन रास्तों में कोई समानता नहीं है। पेपर पुराने विश्वास को "फंक्शनल एनिसोट्रॉपी हाइपोथीसिस" (Functional Anisotropy Hypothesis - एक फैंसी तरीका यह कहने का कि कार्य एक विशिष्ट स्थान पर स्थित होते हैं) कहता है। लेखक सिद्ध करते हैं कि यह गलत है।
प्रयोग: "छिपे हुए रास्तों" की खोज
इसे सिद्ध करने के लिए, शोधकर्ताओं ने सर्किट एंड शीफ डिस्कवरी (CSD) नामक विधि का उपयोग किया। इसे रोबोट के मस्तिष्क के उन हिस्सों को बंद करने के तरीके के रूप में सोचें जो वास्तव में काम कर रहे हैं, ताकि देखा जा सके कि कौन से हिस्से वास्तव में काम कर रहे हैं।
आमतौर पर, वैज्ञानिक यह परीक्षण एक बार करते हैं, एक "सर्किट" (सक्रिय तारों का एक समूह) पाते हैं और कहते हैं, "आहा! यह ऐसे काम करता है!"
लेखकों ने कुछ अलग किया। उन्होंने एक ही कार्य पर एक ही टेस्ट को 20 बार चलाया, लेकिन उन्होंने एक विशेष नियम जोड़ा: "पिछली बार चुने गए तारों को दोबारा मत चुनना।" उन्होंने डिस्कवरी प्रक्रिया को समस्या को हल करने के नए तरीके खोजने के लिए मजबूर किया।
परिणाम:
- उन्हें 20 अलग-अलग "सर्किट" (तारों के समूह) मिले जो कार्य को पूरी तरह से हल करते थे।
- ये सर्किट एक-दूसरे से बिल्कुल अलग दिखते थे। वे मस्तिष्क के अलग-अलग स्तरों और अलग-अलग कनेक्शनों का उपयोग करते थे।
- उनके बीच का ओवरलैप बहुत कम था (5% से भी कम)। ऐसा लग रहा था जैसे वे एक ही मंजिल तक पहुँचने के लिए पूरी तरह से अलग-अलग मानचित्रों का उपयोग कर रहे हों।
"थ्री-एज" (तीन-किनारे वाला) आश्चर्य
शोधकर्ताओं ने एक कदम आगे बढ़कर इसे और अधिक विस्तार दिया। उन्होंने सबसे छोटा संभव सर्किट खोजने की कोशिश की। उन्हें केवल तीन किनारों (edges/connections) से बना एक "शीफ" (एक कार्यात्मक सर्किट) मिला।
पहले तो ऐसा लगा कि ये तीन किनारे "अनिवार्य" मूल आधार हैं—वह एक चीज़ जिसकी आपको बिल्कुल आवश्यकता है। लेकिन जब उन्होंने इसका परीक्षण किया, तो उन्हें एहसास हुआ: यहाँ तक कि ये तीन किनारे भी अनिवार्य नहीं हैं।
यदि आप उन तीन किनारों में से एक को हटा देते हैं, तो रोबलेट अभी भी काम करने के लिए तीन किनारों का दूसरा सेट ढूंढ सकता है। यह एक ऐसे शहर की तरह है जहाँ आपको लगता है कि नदी पार करने के लिए एक विशिष्ट पुल ही एकमात्र रास्ता है, लेकिन यदि आप उसे बंद कर देते हैं, तो ट्रैफ़िक तुरंत सुरंगों और नौकाओं के एक पूरी तरह से अलग सेट के माध्यम से अपना रास्ता बदल लेता है, और किसी को भी अंतर महसूस नहीं होता।
ऐसा क्यों होता है? ("सुपरपोजिशन" की उपमा)
पेपर इस बात के लिए एक सिद्धांत देता है, जिसे डिस्ट्रिब्यूटिव डेंस सर्किट हाइपोथीसिस (Distributive Dense Circuit Hypothesis) कहा जाता है।
कल्पना कीजिए कि रोबोट का मस्तिष्क लोगों (न्यूरॉन्स) से भरा एक विशाल, भीड़भाड़ वाला कमरा है जो एक साथ बात कर रहे हैं। इसे सुपरपोजिशन कहा जाता है। क्योंकि वहाँ बहुत सारे लोग हैं और लोगों के संयोजन के बहुत सारे तरीके हैं, इसलिए लोगों के लाखों अलग-अलग "संयोजन" हो सकते हैं जो एक ही वाक्य बोल सकते हैं।
- पुराना दृष्टिकोण: एक विशिष्ट समूह के लोग होने चाहिए जिन्हें "हेलो" कहने के लिए बोलना ही होगा।
- नया दृष्टिकोण: हजारों अलग-अलग समूहों के लोग हो सकते हैं जो समान वॉल्यूम और टोन में "हेलो" कह सकते हैं। यदि आप एक समूह को चुप करा देते हैं, तो दूसरा समूह तुरंत आपकी ओर से बोलने के लिए आगे आ जाता है।
चूँकि रोबोट इतना बड़ा और जटिल है, इसलिए इसमें अंतर्निहित रेडंडेंसी (redundancy) है। यह एक नाजुक पथ पर निर्भर नहीं है; यह प्रतिस्पर्धी पथों के एक घने जाल पर निर्भर करता है।
वैज्ञानिकों के लिए इसका क्या अर्थ है
यह पेपर यह नहीं कहता कि रोबोट टूटा हुआ है या हम इसे समझ नहीं सकते। यह कहता है कि हमें अपने निष्कर्षों की व्याख्या करने के तरीके को बदलने की आवश्यकता है।
- "द" (The) सर्किट की तलाश न करें: जब वैज्ञानिक एक सर्किट पाते हैं, तो उन्हें यह नहीं कहना चाहिए, "यह वह तरीका है जिससे मॉडल काम करता है।"
- "अ" (A) सर्किट की तलाश करें: उन्हें कहना चाहिए, "यह मॉडल के काम करने का एक वैध तरीका है, कई तरीकों में से एक।"
सारांश
पेपर "ऑल सर्किट्स लीड टू रोम" हमें बताता है कि लार्ज लैंग्वेज मॉडल किसी ऐसी मशीन की तरह नहीं हैं जिसमें एक अद्वितीय इंजन होता है। वे एक विशाल, लचीले शहर की तरह हैं जिसमें अनंत मार्ग हैं। यदि आप एक सड़क को अवरुद्ध करते हैं, तो ट्रैफ़िक दूसरा रास्ता खोज लेता है। मॉडल कैसे सोचता है, इसका कोई एक "सही" मानचित्र नहीं है; कई वैध मानचित्र हैं, और वे सभी एक ही मंजिल तक ले जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।