Layer-Order Inversion: Rethinking Latent Multi-Hop Reasoning in Large Language Models
यह शोध पत्र LLMs में मल्टी-हॉप रीजनिंग (multi-hop reasoning) की प्रचलित "हॉप-अलाइन्ड" (hop-aligned) परिकल्पना को चुनौती देता है, जिसमें "लेयर-ऑर्डर इनवर्जन" (layer-order inversion) को प्रदर्शित किया गया है, जहाँ बाद के हॉप के उत्तर मध्यवर्ती ब्रिज संस्थाओं (intermediate bridge entities) से पहले डिकोड किए जा सकते हैं, और व्यापक उथले रिकॉल (broad shallow recall) के बाद चयनात्मक गहरे निष्कर्षण (selective deep extraction) के माध्यम से इस घटना को समझाने के लिए एक "प्रोबेबिलिस्टिक रिकॉल-एंड-एक्सट्रैक्ट" (probabilistic recall-and-extract) ढांचे का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) आज के सबसे उन्नत कृत्रिम बुद्धिमत्ता (AI) सिस्टम के पीछे के डिजिटल मस्तिष्क हैं। उन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया जाता है, जिससे वे एक वाक्य में अगले शब्द की भविष्यवाणी करने में उल्लेखनीय सटीकता के साथ सक्षम होते हैं। यह क्षमता उन्हें प्रश्नों के उत्तर देने, कहानियाँ लिखने और उन समस्याओं को हल करने की अनुमति देती है जिनमें विभिन्न सूचनाओं को जोड़ने की आवश्यकता होती है। इन मॉडल्स द्वारा किए जाने वाले सबसे प्रभावशाली कार्यों में से एक 'मल्टी-हॉप रीजनिंग' (multi-hop reasoning) है। यह उस प्रश्न का उत्तर देने की प्रक्रिया है जिसे केवल एक तथ्य के आधार पर हल नहीं किया जा सकता, बल्कि जिसके लिए ज्ञान के कई टुकड़ों को एक साथ जोड़ने की आवश्यकता होती है। उदाहरण के लिए, "स्टीफन करी जो खेल खेलते हैं वह मूल रूप से किस देश से है?" इस प्रश्न का उत्तर देने के लिए, एक मॉडल को पहले खेल की पहचान करनी होगी, फिर उस खेल के उद्गम को खोजना होगा, और अंत में उन दोनों तथ्यों को जोड़कर उत्तर तक पहुँचना होगा। वर्षों तक, वैज्ञानिकों का मानना था कि ये मॉडल्स ऐसे पहेलियों को एक सख्त, चरण-दर-चरण आंतरिक पथ का पालन करके हल करते हैं, ठीक वैसे ही जैसे एक इंसान एक समय में एक समीकरण हल करते हुए गणित की समस्या हल करता है। उन्होंने सोचा कि मॉडल पहले मध्यवर्ती तथ्य (intermediate fact) को समझेगा, उसे संग्रहीत करेगा, और फिर अंतिम उत्तर खोजने के लिए उसका उपयोग करेगा। इन मशीनों के इस मानसिक व्यायाम को सटीक रूप से समझना न केवल उनकी बुद्धिमत्ता को बेहतर बनाने के लिए, बल्कि यह जानने के लिए भी महत्वपूर्ण है कि वे कब और क्यों विफल हो सकते हैं।
चीन के यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी और हांगकांग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने अब इस लंबे समय से चली आ रही धारणा को चुनौती दी है। लार्ज लैंग्वेज मॉडल्स की आंतरिक कार्यप्रणाली को गहराई से देखकर, उन्होंने पाया कि ये सिस्टम हमेशा उस व्यवस्थित, चरण-दर-चरण पथ का पालन नहीं करते हैं जैसा कि पहले माना जाता था। इसके बजाय, उन्होंने एक घटना देखी जिसे वे 'लेयर-ऑर्डर इनवर्जन' (layer-order inversion) कहते हैं। एक मानक, चरण-दर-चरण प्रक्रिया में, आप उम्मीद करेंगे कि मॉडल अंतिम उत्तर जानने से पहले बीच की जानकारी को समझ लेगा। हालाँकि, शोधकर्ताओं ने देखा कि कई मामलों में, मॉडल अंतिम उत्तर को पूरी तरह से समझने से पहले ही उसे "जानता" हुआ प्रतीत होता है। ऐसा तब होता है जब प्रश्न अधिक जटिल हो जाते हैं, जिनमें तर्क की श्रृंखला में अधिक कड़ियाँ शामिल होती हैं। प्रश्न जितना गहरा होता जाता है, इसकी संभावना उतनी ही अधिक होती है कि मॉडल के पास अंतिम उत्तर उन ब्रिज फैक्ट्स (bridge facts) को स्पष्ट रूप से संसाधित करने से पहले ही अपनी आंतरिक स्मृति में तैयार होगा जो बिंदुओं को जोड़ते हैं।
इस रहस्य को उजागर करने के लिए, शोधकर्ताओं ने 'पैचस्कोप्स' (Patchscopes) नामक तकनीक का उपयोग किया, जो मॉडल के आंतरिक विचारों के लिए एक सूक्ष्मदर्शी (microscope) की तरह कार्य करती है। उन्होंने मॉडल्स को चार चरणों तक के तर्क वाले जटिल प्रश्न दिए और यह देखा कि डेटा मॉडल की परतों (layers) से गुजरते समय सूचना कैसे उभरती है। उन्होंने दो विशिष्ट बिंदुओं को देखा: प्रश्न की शुरुआत, जहाँ विषय पेश किया जाता है, और प्रश्न का बिल्कुल अंत, जहाँ मॉडल उत्तर उत्पन्न करने की तैयारी करता है। उन्होंने पाया कि जबकि मॉडल अक्सर शुरुआत के पास तर्क के पहले चरण को संसाधित करता है, अंतिम उत्तर अक्सर मॉडल की आंतरिक अवस्था (internal state) में अपेक्षित समय से बहुत पहले दिखाई देता है, कभी-कभी मध्यवर्ती तथ्यों के पूरी तरह से बनने से भी पहले। यह इस विचार का खंडन करता है कि मॉडल एक कठोर सर्किट बनाता है जहाँ प्रत्येक चरण के शुरू होने से पहले अगले चरण का पूरा होना आवश्यक है। इसके बजाय, यह एक अधिक तरल प्रक्रिया का सुझाव देता है जहाँ मॉडल सीधे अंतिम उत्तर को याद कर सकता है, लगभग एक 'अंतर्ज्ञान' (gut feeling) की तरह, इससे पहले कि वह वहां तक पहुँचने के लिए तार्किक पथ का निर्माण कर सके।
शोधकर्ता इस व्यवहार को समझने के लिए एक नया तरीका प्रस्तावित करते हैं, जिसे वे 'प्रोबेबिलिस्टिक रिकॉल-एंड-एक्सट्रैक्ट फ्रेमवर्क' (probabilistic recall-and-extract framework) कहते हैं। एक कठोर मशीन के रूप में जो निश्चित नियमों का पालन करती है, उसके बजाय, वे सुझाव देते हैं कि मॉडल एक विशाल पुस्तकालय की तरह काम करता है जहाँ सूचना संभाव्यता (probability) के आधार पर पुनः प्राप्त की जाती है। इस दृष्टिकोण में, मॉडल केवल अपनी परतों के माध्यम से लंबवत (vertically) नहीं चलता, बल्कि एक बार में एक चरण हल नहीं करता। यह वाक्य के शब्दों के माध्यम से क्षैतिज (horizontally) रूप से भी चलता है। शोधकर्ताओं ने पाया कि मॉडल की उथली परतों (shallow layers) में, वाक्य के अंत के पास, अंतिम उत्तर की एक व्यापक, सहज रिकॉल (recall) होती है। यह रिकॉल एक संकेत या एक पूर्वाभास की तरह कार्य करता है जो सही समाधान की ओर इशारा करता है। यह संकेत किसी पूर्ण तर्क श्रृंखला का परिणाम नहीं है, बल्कि एक सीधा जुड़ाव है जिसे मॉडल पकड़ लेता है। कमजोर मॉडल्स में या बहुत कठिन प्रश्नों के लिए, यह सहज संकेत और भी प्रभावी हो जाता है, जो कभी-कभी मॉडल को सही उत्तर तक ले जाता है भले ही उसने चरणों के माध्यम से तर्क न किया हो, या इसके विपरीत, यदि संकेत भ्रामक हो तो उसे गलत रास्ते पर भी ले जा सकता है।
यह नया परिप्रेक्ष्य यह समझाने में मदद करता है कि मॉडल कभी-कभी उन तरीकों से क्यों सफल या विफल होते हैं जो पहले भ्रमित करने वाले थे। जब कोई मॉडल मल्टी-हॉप प्रश्न को सही हल करता है, तो यह इसलिए हो सकता है क्योंकि यह सहज संकेत इतना मजबूत था कि इसने अंतिम उत्तर को निर्देशित किया, भले ही चरण-दर-चरण तर्क अधूरा रहा हो। इसके विपरीत, जब मॉडल विफल होता है, तो यह अक्सर इसलिए नहीं होता कि उसके पास तथ्य नहीं हैं, बल्कि इसलिए होता है क्योंकि वह इस सहज संकेत के माध्यम से अंतिम उत्तर प्राप्त करने में विफल रहा या संचित ज्ञान से सही जानकारी निकालने में विफल रहा। अध्ययन से पता चलता है कि जटिल प्रश्नों के उत्तर देने की मॉडल की क्षमता इस व्यापक, सहज रिकॉल और विशिष्ट उत्तर के अधिक केंद्रित, गहरे निष्कर्षण (extraction) के बीच के संतुलन पर निर्भर करती है। यह खोज बताती है कि आर्टिफिशियल इंटेलिजेंस का आंतरिक तर्क एक कठोर असेंबली लाइन की तरह कम और स्मृति एवं जुड़ाव की एक गतिशील प्रक्रिया के रूप में अधिक है, जहाँ मंजिल को रास्ता पूरी तरह से तय करने से पहले ही देखा जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।