Hierarchical Memorization in Large Language Models: Evidence from Citation Generation
यह अध्ययन प्रकट करता है कि एलएलएम (LLM) साइटेशन मतिभ्रम (hallucination) कोई द्विआधारी विफलता नहीं है बल्कि एक पदानुक्रमित स्मृति प्रक्रिया है जहाँ तथ्यात्मक सटीकता प्रशिक्षण डेटा की पुनरावृत्ति के साथ लघुगणकीय रूप से (log-linearly) बढ़ती है, जो विशिष्ट थ्रेशोल्ड और घटक-विशिष्ट रिकॉल पैटर्न प्रदर्शित करती है जहाँ वेन्यू (venues), वर्ष या संख्यात्मक क्षेत्रों से पहले शीर्षक और लेखक सीखे जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर की व्याख्या दी गई है।
मुख्य विचार: "विस्मृत पुस्तकों का पुस्तकालय" (The Library of Forgotten Books)
एक विशाल पुस्तकालय की कल्पना करें (लार्ज लैंग्वेज मॉडल, या LLM) जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। जब आप उससे किसी किताब की सिफारिश मांगते हैं, तो वह अपनी याददाश्त से शेल्फ से एक किताब निकालने की कोशिश करता है।
समस्या यह है कि इस पुस्तकालय के पास एक सटीक कैटलॉग (सूची) नहीं है। कभी-कभी, यह एक ऐसी किताब बना देता है जो अस्तित्व में ही नहीं है (इसे "हैलुसिनेशन" या भ्रम कहते हैं)। यह पेपर पूछता है: पुस्तकालय कुछ किताबों को पूरी तरह से क्यों याद रखता है और कुछ को क्यों बना देता है?
शोधकर्ताओं ने पाया कि पुस्तकालय की याददाश्त कोई साधारण "ऑन/ऑफ" स्विच नहीं है। इसके बजाय, यह इस आधार पर एक परिचितता का पदानुक्रम (hierarchy of familiarity) है कि कितनी बार किसी किताब का उल्लेख अन्य लोगों के नोट्स, समीक्षाओं और चर्चाओं में किया गया है (साइटेशन काउंट)।
मुख्य निष्कर्ष
1. लोकप्रियता मायने रखती है ("प्रसिद्ध पुस्तक" प्रभाव)
एक पेपर को जितनी अधिक बार साइट (अन्य पेपर्स द्वारा उल्लेख) किया जाता है, AI द्वारा उसे सही ढंग से याद रखने की संभावना उतनी ही अधिक होती है।
- उदाहरण: एक सेलिब्रिटी के बारे में सोचें। यदि आप किसी रैंडम व्यक्ति से पूछें, "राष्ट्रपति कौन है?" तो वे संभवतः सही उत्तर देंगे क्योंकि हर कोई इसके बारे में बात करता है। यदि आप पूछें, "एक छोटे से गाँव का मेयर कौन है?" तो वे अंदाज़ा लगा सकते हैं या कुछ भी बना सकते हैं।
- निष्कर्ष: AI प्रसिद्ध, अत्यधिक साइट किए गए पेपर्स को याद रखने में बहुत बेहतर है। उन पेपर्स के लिए जिनका उल्लेख बहुत कम किया जाता है, AI अक्सर विवरण गढ़ देता है।
2. दो "जादुई संख्याएँ" (सीमाएँ)
शोधकर्ताओं ने पाया कि याददाश्त लोकप्रियता के दो विशिष्ट स्तरों पर सक्रिय होती है:
- "जागने वाला" बिंदु (90 साइटेशन): इस संख्या से नीचे, AI ज्यादातर अंदाज़ा लगा रहा होता है। जैसे ही कोई पेपर लगभग 90 साइटेशन तक पहुँचता है, AI "चीज़ें बनाने" से "याद करने की कोशिश करने" की ओर बढ़ने लगता है।
- "परफेक्ट मेमोरी" बिंदु (1,200 साइटेशन): एक बार जब किसी पेपर के 1,200 से अधिक साइटेशन हो जाते हैं, तो AI इसे लगभग पूरी तरह से, शब्द-दर-शब्द याद रखता है। ऐसा लगता है जैसे वह किताब इतनी प्रसिद्ध है कि पुस्तकालय के पूरे स्टाफ ने उसे रट लिया है।
3. "परतदार" याददाश्त (सैंडविच का उदाहरण)
यह सबसे दिलचस्प हिस्सा है। भले ही AI को एक पेपर याद हो, लेकिन वह उसके हर हिस्से को समान रूप से याद नहीं रखता है। वह "ऊपरी" परतों को पहले और "निचली" परतों को अंत में याद रखता है।
कल्प Imagine करें कि एक पेपर एक सैंडविच की तरह है:
- ब्रेड (ऊपरी परत): शीर्षक (Title) और पहले लेखक का नाम। ये सबसे प्रसिद्ध भाग हैं। AI इन्हें तब भी याद रखता है जब पेपर बहुत प्रसिद्ध न हो।
- मीट (मध्य परत): सह-लेखक (Co-authors) और जर्नल का नाम। AI को इन चीज़ों को सही ढंग से याद रखने के लिए पेपर का बहुत प्रसिद्ध (लगभग 1,000 साइटेशन) होना आवश्यक है।
- लेट्यूस (निचली परत): वॉल्यूम, पेज नंबर और वर्ष। इन्हें याद रखना सबसे कठिन है। बहुत प्रसिद्ध पेपर्स के लिए भी, AI अक्सर वर्ष या पेज नंबर गलत कर देता है।
- सीक्रेट सॉस: वर्ष (Year) सबसे खराब है। AI वास्तविक वर्ष को याद करने के बजाय, उस समय के आधार पर वर्ष का अंदाज़ा लगाता है जब वह विषय लोकप्रिय था।
4. "मिक्स-अप" की समस्या (जुड़वा बच्चों का उदाहरण)
कभी-कभी, बहुत प्रसिद्ध पेपर्स के लिए भी AI भ्रमित हो जाता है।
- उदाहरण: कल्पना करें कि दो प्रसिद्ध जुड़वा भाई हैं जो बिल्कुल एक जैसे दिखते हैं और जिनके नाम भी मिलते-जुलते हैं। यदि आप किसी मित्र से उनमें से एक का वर्णन करने के लिए कहें, तो वे गलती से उनके कपड़े या उनके स्कूल के बारे में जानकारी मिला सकते हैं।
- निष्कर्ष: यदि दो पेपर्स के शीर्षक समान हैं और एक ही मुख्य लेखक है, तो AI उन्हें आपस में मिला सकता है। यह एक "फ्रेंकेंस्टीन" साइटेशन बना देता है जो सुनने में असली लगता है लेकिन वास्तव में दो अलग-अलग असली पेपर्स का मिश्रण होता है। शोधकर्ता इसे "स्प्यूरियस अट्रैक्टर इंटरफेरेंस" (spurious attractor interference) कहते हैं, जिसका अर्थ है कि AI की याददाश्त दो समान यादों के बीच उलझ जाती है।
ऐसा क्यों होता है?
पेपर सुझाव देता है कि AI पेपर्स के बारे में "सोच" या "समझ" नहीं रहा है। इसके बजाय, यह एक सांख्यिकीय पैटर्न मैचर (statistical pattern matcher) की तरह काम कर रहा है।
- यदि कोई पेपर हर जगह दिखाई देता है (उच्च रेडंडेंसी), तो AI ने उस सटीक वाक्य संरचना को इतनी बार देखा है कि वह बस उसे दोहरा देता है (शब्द-दर-शब्द याद करना)।
- यदि कोई पेपर दुर्लभ है, तो AI को गायब हिस्सों को भरने के लिए अंदाज़ा लगाना पड़ता है कि वहाँ आमतौर पर क्या होना चाहिए, जिससे नकली साइटेशन बनते हैं।
सारांश
पेपर निष्कर्ष निकालता है कि हैलुसिनेशन (चीज़ें बनाना) और मेमोराइजेशन (याद रखना) एक ही सिक्के के दो पहलू हैं। वे दोनों इस बात पर निर्भर करते हैं कि AI ने उस जानकारी को कितनी बार देखा है।
- कम लोकप्रियता: AI विवरणों का अंदाज़ा लगाता है और उन्हें बनाता है।
- मध्यम लोकप्रियता: AI शीर्षक और लेखक को याद रखता है लेकिन बाकी चीज़ों का अंदाज़ा लगाता है।
- उच्च लोकप्रियता: AI सब कुछ पूरी तरह से याद रखता है, जब तक कि वह एक समान नाम वाले "जुड़वा" पेपर से भ्रमित न हो जाए।
यह अध्ययन हमें चेतावनी देता है कि हम केवल इसलिए AI पर भरोसा नहीं कर सकते कि वह आत्मविश्वास के साथ बिब्लियोग्राफी (संदर्भ सूची) दे रहा है। हमें विवरणों की जाँच करनी चाहिए, विशेष रूप से तारीखों और पेज नंबरों की, क्योंकि AI की याददाश्त परतदार और अपूर्ण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।