Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge
यह शोध पत्र "सूचना प्रचुरता विरोधाभास" (Information Abundance Paradox) को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि अत्यधिक लंबे संदर्भों के साथ बड़े भाषा मॉडलों को प्रशिक्षित करना उनके ज्ञान को पैरामीट्रिक रूप से आत्मसात करने की क्षमता को कमजोर कर सकता है, जिससे वे प्रासंगिक संकेतों पर अत्यधिक निर्भर हो जाते हैं और अंततः बिना सहायता वाले ज्ञान पुनर्प्राप्ति कार्यों में प्रदर्शन कम हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को कहानियाँ लिखना या पहेलियाँ सुलझाना सिखाने की कोशिश कर रहे हैं। लंबे समय तक, वैज्ञानिकों का मानना था कि सबसे अच्छा तरीका यह है कि रोबोट को किताबों, कोड और बातचीत का एक विशाल पुस्तकालय खिलाया जाए, इस उम्मीद में कि वह जितना अधिक पढ़ेगा, उतना ही बुद्धिमान बनता जाएगा। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जिस तरह का AI आज चैटबॉट्स और राइटिंग असिस्टेंट्स को शक्ति देता है। हर कोई जिस एक विचार के पीछे भाग रहा था, वह था "कॉन्टेक्स्ट" (संदर्भ): रोबोट को देखने के लिए एक विशाल खिड़की देना। केवल एक वाक्य एक बार में पढ़ने के बजाय, रोबमा एक पूरा पेज, एक पूरी किताब, या यहाँ तक कि पूरी बातचीत का इतिहास एक साथ देख सकता है। धारणा सरल थी: यदि आप रोबोट को सीखने के दौरान अधिक जानकारी देखने के लिए देते हैं, तो वह बाद में उस जानकारी का बेहतर उपयोग करने में सक्षम होगा। यह ऐसा ही है जैसे यह सोचना कि यदि आप एक बड़ी पाठ्यपुस्तक के साथ अध्ययन करते हैं, तो आप स्वतः ही एक बेहतर छात्र बन जाएंगे।
लेकिन क्या होगा अगर वह पाठ्यपुस्तक बहुत अधिक मददगार हो जाए? क्या होगा यदि, क्योंकि उत्तर आपकी आँखों के ठीक सामने हैं, आपका मस्तिष्क तय कर ले कि उसे कुछ भी याद रखने की आवश्यकता नहीं है? आप किताब में उत्तर खोजने में बहुत अच्छे हो सकते हैं, लेकिन यदि कोई परीक्षा के दौरान किताब छीन ले, तो आप पूरी तरह से खो सकते हैं। यह वही पेचीदा सवाल है जिसे जॉन्स हॉपकिन्स यूनिवर्सिटी की एक टीम ने जांचने का निर्णय लिया। वे यह देखना चाहते थे कि क्या AI मॉडल्स को प्रशिक्षण के दौरान एक "सुपर-साइज़्ड" विंडो देना वास्तव में उन्हें बेहतर तरीके से सीखने में मदद करता है, या क्या यह अनजाने में उन्हें सामने मौजूद जानकारी पर पूरी तरह से निर्भर रहने के लिए प्रशिक्षित कर देता है।
सूचना प्रचुरता का विरोधाभास (The Information Abundance Paradox)
शोधकर्ताओं ने कुछ ऐसा खोजा जिसे वे सूचना प्रचुरता का विरोधाभास कहते हैं। यह सुनने में बहुत भारी लगता है, लेकिन विचार वास्तव में काफी चंचल और थोड़ा विसंगतिपूर्ण है। उन्होंने पाया कि जब आप एक AI को उसके "कॉन्टेक्स्ट विंडो" (वह टेक्स्ट जो वह सीखते समय देख सकता है) में बहुत सारी प्रासंगिक जानकारी के साथ प्रशिक्षित करते हैं, तो मॉडल तथ्यों को याद रखने की कोशिश करना बंद कर देता है। इसके बजाय, वह बस दिए गए टेक्स्ट को देखना और उत्तर की नकल करना सीख जाता है।
इसे एक छात्र के गणित के टेस्ट की तरह समझें।
- पुराना तरीका (पैरामेट्रिक ज्ञान): छात्र कड़ी मेहनत करता है, फॉर्मूले याद करता है और नियम सीखता है। जब वह कोई समस्या देखता है, तो वह अपने दिमाग के अंदर मौजूद चीज़ों का उपयोग करके उसे हल करता है।
- नया तरीका (कॉन्टेक्स्टुअलाइजेशन): छात्र को अध्ययन करते समय अपनी डेस्क पर खुली किताब रखने की अनुमति दी जाती है। उसे एहसास होता है कि उसे फॉर्मूले याद रखने की ज़रूरत नहीं है; वह बस पन्ने को पलटकर तुरंत उत्तर ढूँढ सकता है। वह किताब का उपयोग करने में विशेषज्ञ बन जाता है।
विरोधाभास यह है कि जबकि यह "ओपन-बुक" छात्र किताब होने पर तो सटीक अंक प्राप्त करता है, लेकिन यदि आप किताब हटा लें, तो वह बुरी तरह विफल हो जाता है। शोधकर्ता सुझाव देते हैं कि AI को प्रशिक्षण के दौरान बहुत अधिक सहायक संदर्भ देकर, हम अनजाने में उसे "कॉन्टेक्स्ट का आदी" बना रहे हैं। वह एक मजबूत आंतरिक मस्तिष्क बनाने के बजाय पूरी तरह से बाहरी टेक्स्ट पर निर्भर रहने लगता है।
प्रमाण: जब बड़ा होना बेहतर नहीं होता
इसे साबित करने के लिए, टीम ने प्रयोगों की एक श्रृंखला चलाई जो एक वैज्ञानिक जादू के शो की तरह महसूस हुई।
1. प्रीट्रेनिंग प्रयोग (शून्य से सीखना)
उन्होंने छोटे AI मॉडल्स लिए और उन्हें किताबों के एक विशाल संग्रह (प्रोजेक्ट गुटेनबर्ग) पर प्रशिक्षित किया। उन्होंने उस "विंडो" के आकार को बदला जिसे मॉडल एक बार में देख सकता था, जो 512 शब्दों से लेकर 32,000 शब्दों तक था।
- परिणाम: शुरुआत में, जैसे-जैसे उन्होंने विंडो को बड़ा किया, मॉडल स्मार्ट होते गए। लेकिन फिर, कुछ अजीब हुआ। जब विंडो एक निश्चित आकार (कार्य के आधार पर लगभग 2,000 से 8,000 शब्द) तक पहुँच गई, तो मॉडल बदतर होने लगे।
- उपमा: कल्पना कीजिए कि एक छात्र एक छोटी नोटबुक से शुरू करता है। उसे सब कुछ याद रखना पड़ता है। फिर उसे एक बड़ी नोटबुक मिलती है, और वह और भी बेहतर करता है। लेकिन फिर उसे कागज का एक विशाल, अनंत स्क्रॉल मिलता है। अचानक, वह कुछ भी याद रखना बंद कर देता है। वह बस स्क्रॉल को देखता है। जब परीक्षा आती है और स्क्रॉल गायब हो जाता है, तो वह कुछ भी याद नहीं रख पाता। सीखने के लिए "स्वीट स्पॉट" (सही बिंदु) अधिकतम आकार में नहीं, बल्कि बीच में था।
2. फाइन-ट्यूनिंग प्रयोग (विशिष्ट कार्यों को सीखना)
इसके बाद, उन्होंने मौजूदा AI मॉडल्स को कानून, स्वास्थ्य और अर्थशास्त्र जैसे विशिष्ट विषयों को सिखाया। उन्होंने नियंत्रित किया कि मॉडल्स ने कितने "सहायक" टेक्स्ट देखे।
- परिणाम: जब मॉडल्स को बहुत सारे सहायक दस्तावेजों के साथ प्रशिक्षित किया गया, तो वे सवाल पूछने में अद्भुत हो गए यदि वे दस्तावेज़ फिर से प्रदान किए गए हों। लेकिन यदि दस्तावेज़ हटा दिए गए, या यदि दस्तावेज़ों में भ्रामक जानकारी थी, तो मॉडल क्रैश हो गए।
- मॉडल्स ने प्रशिक्षण के दौरान जितना अधिक सहायक कॉन्टेक्स्ट देखा, वे उतने ही कम मजबूत (robust) होते गए। वे एक ऐसे GPS की तरह बन गए जो सिग्नल होने पर तो बेहतरीन काम करता है, लेकिन यदि सिग्नल चला जाए, तो उसे मैप या सूरज को देखकर रास्ता बनाना नहीं आता।
ऐसा क्यों होता है? "कुशल" मस्तिष्क
शोधकर्ताओं ने AI के "मस्तिष्क" की गहराई में जाकर देखा कि पर्दे के पीछे क्या हो रहा है। उन्होंने इस व्यवहार के दो मुख्य कारण पाए:
1. प्रतिरोध का सबसे आसान मार्ग (The Path of Least Resistance)
सीखना कठिन काम है। नियम को याद रखने और अपने मस्तिष्क (मॉडल के "वेट्स") में संग्रहीत करने के लिए ऊर्जा लगती है। लेकिन यदि उत्तर वहीं मौजूद है, तो बस उसे ढूँढ लेना बहुत आसान है। शोधकर्ताओं ने पाया कि जब कॉन्टेक्स्ट समृद्ध और सहायक था, तो AI ने एक "लोअर कॉम्प्लेक्सिटी सॉल्यूशन" (कम जटिल समाधान) खोज लिया। यह एक शॉर्टकट खोजने जैसा था। AI को लगा, "जब मैं यहाँ दिए गए उदाहरण को देख ही सकता हूँ, तो 'नेगेटिंग अ बिट' के नियम को याद करने की क्या ज़रूरत है?" इसलिए, उसने याद करना बंद कर दिया और देखना शुरू कर दिया।
2. मस्तिष्क की शक्ति में बदलाव
उन्होंने यह भी देखा कि AI के मस्तिष्क के कौन से हिस्से काम कर रहे थे।
- FFNs (फीड-फॉरवर्ड नेटवर्क): इन्हें मॉडल के "मेमोरी बैंक" के रूप में सोचें जहाँ वह तथ्यों और नियमों को संग्रहीत करता है।
- अटेंशन मॉड्यूल्स (Attention Modules): इन्हें मॉडल की "आँखों" के रूप में सोचें जो जानकारी खोजने के लिए टेक्स्ट को स्कैन करती हैं।
- खोज: जब AI को लंबे, सहायक कॉन्टेक्स्ट के साथ प्रशिक्षित किया गया, तो सीखने का "दबाव" बदल गया। अपडेट्स अब मेमोरी बैंक (FFNs) में जाने के बजाय पूरी तरह से "आँखों" (Attention) में जाने लगे। मॉडल ने खुद को टेक्स्ट को स्कैन करने में बेहतर और तथ्यों को स्टोर करने में कमजोर बनाने के लिए पुनर्गठित (re-wire) कर लिया।
निष्कर्ष
यह पेपर सुझाव देता है कि "अनंत कॉन्टेक्स्ट" वाले मॉडल्स बनाने की दौड़—ऐसे AI जो एक ही नज़र में पूरी लाइब्रेरी पढ़ सकें—शायद एक छिपी हुई दीवार से टकरा रही है। यह केवल अधिक डेटा या बड़े कंप्यूटरों का मामला नहीं है। यदि हम इन मॉडल्स को उनके सामने बहुत अधिक जानकारी देकर प्रशिक्षित करते हैं, तो हम अनजाने में ऐसे मॉडल्स बना सकते हैं जो पढ़ने में तो अविश्वसनीय रूप से अच्छे हैं लेकिन अपने दम पर सोचने में बहुत खराब हैं।
शोधकर्ता यह नहीं कह रहे हैं कि लंबे कॉन्टेक्स्ट वाले मॉडल्स बुरे हैं। वे बस हमें चेतावनी दे रहे हैं कि यह केवल "अधिक मतलब बेहतर" वाली स्थिति नहीं है। इसमें एक ट्रेड-ऑफ (समझौता) है। यदि आप एक ऐसा मॉडल चाहते हैं जो बिना किसी किताब के सवाल का जवाब दे सके, तो आपको वास्तव में इसे कम कॉन्टेक्स्ट के साथ प्रशिक्षित करने की आवश्यकता हो सकती है, ताकि यह अपना आंतरिक ज्ञान विकसित करने के लिए मजबूर हो। यदि आपको केवल ऐसे मॉडल्स की परवाह है जो एक दस्तावेज़ को पढ़ सकते हैं और उसका सारांश दे सकते हैं, तो लंबा कॉन्टेक्स्ट बेहतरीन है। लेकिन यदि आप एक वास्तव में बुद्धिमान सहायक चाहते जो जानकारी उपलब्ध न होने पर भी तर्क कर सके, तो "सूचना प्रचुरता का विरोधाभास" बताता है कि हमें अपने AI को किताब का बहुत अधिक आदी न बनाने के प्रति सावधान रहने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।