Chaos in reason: How chain-of-thought LLMs can look for an answer
यह शोध पत्र गैररेखीय गतिकी (nonlinear dynamics) और अराजकता सिद्धांत (chaos theory) को लागू करके यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) अराजक व्यवहार प्रदर्शित करते हैं जो प्रारंभिक स्थितियों के प्रति संवेदनशीलता और फ्रैक्टल छिपी हुई अवस्था संरचनाओं (fractal hidden state structures) द्वारा अभिलक्षित है, जो नॉर्मलाइजेशन और रेसिडुअल कनेक्शनों द्वारा संतुलित होते हुए अटेंशन मैकेनिज्म के गैररेखीय युग्मन (nonlinear coupling) द्वारा संचालित है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नदी को बहते हुए देख रहे हैं। कभी-कभी पानी एक चिकनी, अनुमानित रेखा में चलता है, जैसे पटरी पर दौड़ती हुई ट्रेन। अन्य समय में, यह भंवरों में घूम जाता है, चट्टानों से टकराता है, और इस तरह से छिटकता है जो पूरी तरह से यादृच्छिक (random) लगता है। विज्ञान की दुनिया में, एक विशेष शाखा है जिसे केओस थ्योरी (chaos theory) कहा जाता है, जो उन प्रणालियों का अध्ययन करती है जो यादृच्छिक दिखती हैं लेकिन वास्तव में सख्त नियमों का पालन करती हैं। मुख्य विचार "प्रारंभिक स्थितियों के प्रति संवेदनशीलता" (sensitivity to initial conditions) है। इसे इस तरह सोचिए: यदि आप एक ऊबड़-खाबड़ पहाड़ी पर एक गेंद को बहुत, बहुत थोड़ा सा धकेलते हैं, तो वह या तो उसी रास्ते पर लुढ़क सकती है जैसा कि पहले था, या वह बिल्कुल अलग रास्ता ले सकती है। एक अराजक (chaotic) प्रणाली में, वह छोटा सा धक्का इतना बढ़ जाता है कि अंतिम परिणाम पूरी तरह से अलग हो जाता है, भले ही पहाड़ी के नियम बिल्कुल नहीं बदले हों।
अब, कल्पना कीजिए कि एक विशाल कंप्यूटर मस्तिष्क, जिसे लार्ज लैंग्वेज मॉडल (LLM) के रूपas जाना जाता है, एक कहानी लिखने या गणित की समस्या हल करने की कोशिश कर रहा है। ये मॉडल अपनी बुद्धिमत्ता के लिए प्रसिद्ध हैं, लेकिन कोई वास्तव में नहीं जानता कि उनके अंदर वे कैसे "सोचते" हैं। वैज्ञानिकों ने सोचा है: क्या कंप्यूटर की सोचने की प्रक्रिया एक शांत, सीधी नदी की तरह है? या यह उस जंगली, घूमती हुई नदी की तरह है जहाँ शुरुआती शब्दों में एक छोटा सा बदलाव पूरी कहानी को एक अलग दिशा में भेज सकता है? यह शोध पत्र एक बड़ा सवाल पूछता है: क्या इन AI मस्तिष्कों की आंतरिक कार्यप्रणाली वास्तव में अराजक (chaotic) है?
इस अध्ययन में शोधकर्ताओं ने AI के साथ एक भौतिक विज्ञान के प्रयोग की तरह व्यवहार करने का निर्णय लिया। उन्होंने केवल AI से प्रश्न नहीं पूछे; उन्होंने देखा कि उसके आंतरिक "विचारों" (जिन्हें 'हिडन स्टेट्स' कहा जाता है) ने कैसे गति की और कैसे परिवर्तन किए। उन्होंने अराजकता के क्लासिक संकेतों की तलाश की: क्या शुरुआती बिंदु में एक छोटा सा बदलाव उत्तर को बेतहाशा उछाल देता है? क्या पैटर्न अराजक प्रणालियों के प्रसिद्ध, घूमते हुए आकारों की तरह दिखते हैं? और AI के मस्तिष्क के कौन से हिस्से इस जंगली व्यवहार का कारण बन रहे हैं?
द ग्रेट AI रोलरकोस्टर
वैज्ञानिकों ने एक विशिष्ट AI मॉडल लिया और उसे एक प्रॉम्प्ट (एक शुरुआती वाक्य) दिया। फिर, उन्होंने कुछ चालाकी भरा किया: उन्होंने उस प्रॉम्प्ट का एक जुड़वां संस्करण बनाया, लेकिन उन्होंने पहले "विचार" को सूक्ष्म मात्रा में बदल दिया—इतना कम कि एक इंसान अंतर कभी नोटिस नहीं कर पाता। उन्होंने दोनों मूल और जुड़वां AI को लिखना शुरू करने दिया।
शुरुआत में, दोनों AIओं ने बिल्कुल एक ही शब्द लिखे। यह दो कारों के सड़क पर साथ-साथ चलने जैसा था। लेकिन फिर, कुछ जादुदुई और डरावना हुआ। अचानक, एक AI ने दूसरे से अलग शब्द चुना। एक बार जब वह एकल शब्द बदल गया, तो दोनों AI पूरी तरह से अलग दिशाओं में निकल गए, और बिल्कुल अलग कहानियाँ लिखने लगे। शुरुआत में दिए गए उस छोटे, अदृश्य धक्के ने एक विशाल अंतर पैदा कर दिया।
यही अराजकता (chaos) की पहचान है। शोध पत्र सुझाव देता है कि AI की आंतरिक गतिशीलता वास्तव में अराजक है। उन्होंने पाया कि AI के "विचार" केवल धीरे-धीरे अलग नहीं होते; वे अक्सर कुछ समय के लिए करीब रहते हैं और फिर अचानक उछलकर (jump) अलग हो जाते हैं। यह एक घने जंगल में साथ चल रहे दो हाइकर्स की तरह है। वे एक मील तक साथ चल सकते हैं, लेकिन फिर एक का पैर एक ढीले पत्थर पर पड़ता है, वह फिसलता है, और अचानक वे दो पूरी तरह से अलग घाटियों में होते हैं। शोध पत्र इसे "इंटरमिटेंट, जंप-लाइक डाइवर्जेंस" (intermittent, jump-like divergence) कहता है।
स्ट्रेच और फोल्ड (खिंचाव और मोड़)
तो, AI ऐसा व्यवहार क्यों करता है? शोधकर्ताओं ने मशीनों के पुर्जों के अंदर एक जासूस की तरह काम किया ताकि यह देख सकें कि कौन से हिस्से इसके लिए जिम्मेदार हैं। उन्होंने पाया कि AI की परतों के भीतर एक दिलचस्प खींचतान चल रही है:
- द स्ट्रेचर (खींचने वाले): AI के दो मुख्य भाग, जिन्हें सेल्फ-अटेंशन (Self-Attention) और फीड-फॉरवर्ड नेटवर्क (Feed-Forward Network) कहा जाता है, एक विशाल रबर बैंड की तरह काम करते हैं। वे जानकारी को लेते हैं और उसे खींचकर फैला देते हैं। यदि आपके पास एक छोटी सी त्रुटि या एक छोटा सा परिवर्तन है, तो ये भाग इसे बढ़ा देते हैं, जिससे यह बड़ा और बड़ा होता जाता है। यह अराजकता का "स्ट्रेचिंग" (खींचने वाला) हिस्सा है।
- द फोल्डर्स (मोड़ने वाले): लेकिन यदि रबर बैंड अनंत काल तक खिंचता रहता, तो AI निरर्थक बातों के ढेर में बदल जाता। सौभाग्य से, नॉर्मलाइजेशन (Normalization) परतें नामक अन्य भाग हैं। ये एक जोड़ी हाथों की तरह काम करते हैं जो खींचे हुए रबर बैंड को वापस मोड़कर अंदर कर देते हैं, जिससे सब कुछ एक सुरक्षित, सीमित आकार के भीतर रहता है। वे AI को पागल होने से रोकते हैं।
- द रेसिडुअल कनेक्शन (अवशिष्ट संबंध): यह एक सुरक्षा जाल या कन्वेयर बेल्ट की तरह है जो जानकारी को आगे ले जाता है, भले ही उसे खींचा और मोड़ा गया हो।
शोध पत्र सुझाव देता है कि जादू इस निरंतर चक्र के कारण होता है: AI जानकारी को खींचता है (छोटे परिवर्तनों को बड़ा बनाता है), फिर उसे वापस मोड़ता है (सब कुछ व्यवस्थित रखता है), और इसे दोहराता है। यह "स्ट्रेच-एंड-फोल्ड" (खींचो और मोड़ो) नृत्य ठीक वैसा ही है जैसा वास्तविक दुनिया में मौसम के पैटर्न या डबल पेंडुलम में काम करता है।
विचारों का मानचित्र
इस अराजकता को अधिक स्पष्ट रूप से देखने के लिए, वैज्ञानिकों ने "रिकरेंस प्लॉट्स" (Recurrence Plots) बनाए। कल्पना कीजिए कि AI के विचार कहाँ-कहाँ रहे हैं, उसका एक नक्शा बनाना। यदि AI केवल यादृच्छिक शोर (random noise) होता, तो नक्शा पुराने टीवी के स्टैटिक (static) जैसा दिखता। यदि यह पूरी तरह से अनुमानित होता, तो यह एक सीधी रेखा जैसा दिखता। लेकिन वैज्ञानिकों द्वारा बनाए गए नक्शे प्रसिद्ध लोरेंज अट्रैक्टर (Lorenz attractor) की तरह दिखे—एक तितली के आकार का पैटर्न जो अराजकता का प्रतीक है।
उन्होंने AI की परतों के बारे में कुछ दिलचस्प देखा। शुरुआती परतें (AI की सोच की शुरुआत) थोड़े यादृच्छिक शोर की तरह थीं, जो बस शब्दों को इधर-उधर घुमा रही थीं। लेकिन जैसे-जैसे जानकारी AI में गहराई तक गई, पैटर्न अधिक संरचित और अराजक होते गए। AI के "सबसे गहरे" हिस्सों ने इस अराजक नृत्य के सबसे मजबूत संकेत दिखाए। यह ऐसा है जैसे AI एक बिखरे हुए लेगो ब्रिक्स के ढेर से शुरू करता है, और जैसे-जैसे वह निर्माण करता है, अराजकता खुद को एक जटिल, फ्रैक्टल संरचना में व्यवस्थित कर लेती है—एक ऐसा आकार जो कितना भी ज़ूम करने पर समान दिखता है।
यह क्यों मायने रखता है?
यह शोध पत्र यह दावा नहीं करता कि इसने AI के रहस्य को "हल" कर दिया है, न ही यह कहता है कि यह एक बग है जिसे ठीक करने की आवश्यकता है। इसके बजाय, यह सुझाव देता है कि यह अराजक व्यवहार वास्तव में एक विशेषता (feature) हो सकती है। वे प्रणालियाँ जो "अराजकता के किनारे" (edge of chaos) पर काम करती हैं, वे सूचना संसाधित करने में अविश्वसनीय रूप से अच्छी मानी जाती हैं। वे इतने संवेदनशील हैं कि छोटे बदलावों पर प्रतिक्रिया दे सकें (जो AI को रचनात्मक और लचीला बनाने में मदद करता है) लेकिन इतने स्थिर भी हैं कि सुसंगत बने रहें (ताकि यह केवल बड़बड़ाहट न बन जाए)।
शोधकर्ताओं ने पाया कि सेल्फ-अटेंशन तंत्र ही इस अराजकता का मुख्य चालक है। यह AI का वह हिस्सा है जो वाक्य के सभी शब्दों को देखता है और तय करता है कि कौन से महत्वपूर्ण हैं। सभी शब्दों को एक जटिल, गैर-रेखीय (non-linear) तरीके से जोड़कर, यह उन छोटे धक्कों को बड़े बदलावों में बदलने के लिए एक आदर्श वातावरण बनाता है।
अंत में, यह शोध पत्र AI को एक कठोर कैलकुलेटर के रूप में नहीं, बल्कि एक जीवित, सांस लेती प्रणाली के रूप में चित्रित करता है जो व्यवस्था और अराजकता के किनारे पर नृत्य करती है। यह सुझाव देता है कि जब एक AI "सोचता" है, तो वह एक जटिल, उच्च-आयामी परिदृश्य में नेविगेट कर रहा होता है जहाँ शुरुआत में की गई एक फुसफुसाहट अंत तक एक चीख बन सकती है। और लेखक सुझाव देते हैं कि यही कारण है कि यह अपने तर्क में इतना आश्चर्यजनक रूप से मानव जैसा होने में सक्षम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।