Revisiting Non-Verbatim Memorization in Large Language Models: The Role of Entity Surface Forms
यह शोध पत्र RedirectQA प्रस्तुत करता है, जो विविध एंटिटी सरफेस फॉर्म्स (entity surface forms) के माध्यम से बड़े भाषा मॉडलों द्वारा तथ्यों को याद रखने की क्षमता का मूल्यांकन करने के लिए विकिपीडिया रीडायरेक्ट्स का उपयोग करता है, जिससे यह पता चलता है कि तथ्यात्मक रिकॉल (factual recall) न तो पूरी तरह से सतह-विशिष्ट है और न ही पूरी तरह से अपरिवर्तनीय, बल्कि यह उपयोग किए गए सरफेस फॉर्म के प्रकार और आवृत्ति से महत्वपूर्ण रूप से प्रभावित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "Revisiting Non-Verbatim Memorization in Large Language Models: The Role of Entity Surface Forms" का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
मुख्य विचार: "नाम का खेल" (The Name Game)
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट लाइब्रेरियन (AI) है जिसने दुनिया की लगभग हर किताब पढ़ ली है। आप इस लाइब्रेरियन से पूछते हैं, "प्रसिद्ध ब्राजीलियाई फुटबॉलर 'पेले' (Pelé) कौन है?" लाइब्रेरियन तुरंत चिल्लाकर कहता है, "एडसन अरंतिस डो नासिमेंटो (Edson Arantes do Nascimento)!"
आप प्रभावित होते हैं। लेकिन फिर, आप उसी लाइब्रेरियन से पूछते हैं, "प्रसिद्ध ब्राजीलियाई फुटबॉलर 'एडसन अरंतिस डो नासिमेंटो' कौन है?"
आश्चर्यजनक रूप से, लाइब्रेरियन रुक सकता है, भ्रमित दिख सकता है और कह सकता है, "मुझे लगता है कि वह एक प्रसिद्ध अभिनेता है?" या बस गलत उत्तर दे सकता है।
यह शोध पत्र पूछता है: ऐसा क्यों होता है कि जब आप एक नाम का उपयोग करते हैं तो लाइब्रेरियन तथ्य जानता है, लेकिन दूसरा नाम उपयोग करने पर वह भूल जाता है?
समस्या: "एक नाम" का जाल (The "One Name" Trap)
अब तक, शोधकर्ताओं ने AI का परीक्षण केवल किसी व्यक्ति या वस्तु के आधिकारिक, मानक नाम (जैसे "Pelé" या "The New York Times") का उपयोग करके किया था। उन्होंने माना कि यदि AI "Pelé" के लिए तथ्य जानता है, तो वह जानता है कि कोई भी व्यक्ति जो "Pelé" है, उसके बारे में जानता है।
लेखक कहते हैं कि यह एक व्यक्ति के ज्ञान का परीक्षण केवल उन्हें "बॉब" कहकर करने जैसा है। क्या होगा अगर आप उन्हें "बॉबी", "रॉबर्ट", "रॉब" या यहाँ तक कि "बॉब द बिल्डर" कहें? क्या वह व्यक्ति अभी भी अपने दोस्त को पहचानता है?
यह शोध पत्र तर्क देता है कि AI मॉडल मानव मस्तिष्क की तरह नहीं हैं जो "पहचान" (identity) को समझते हैं। इसके बजाय, वे पैटर्न मैचर्स (pattern matchers) की तरह हैं जो उनके द्वारा देखे गए शब्दों के विशिष्ट रूप और ध्वनि पर बहुत अधिक निर्भर करते हैं।
समाधान: "RedirectQA" (जादुई दर्पण)
इसका परीक्षण करने के लिए, शोधकर्ताओं ने RedirectQA नामक एक नया डेटासेट बनाया।
कल्पना कीजिए कि विकिपीडिया एक विशाल पुस्तकालय है। इस पुस्तकालय में "रीडायरेक्शन संकेत" (Redirection Signs) हैं। यदि आप "NYT" लिखे संकेत के पास जाते हैं, तो वह आपको मुख्य लेख "The New York Times" की ओर ले जाता है। यदि आप "क्रिस्टियानो रोनाल्डो" के पास जाते हैं, तो वह वहीं (लेकिन शायद "Christian Ronaldo" नाम के टाइपो वाले संकेत की ओर भी) ले जाता है।
शोधकर्ताओं ने इन दिशा-संकेतों को एक परीक्षण में बदल दिया:
- उन्होंने एक तथ्य लिया (जैसे, "पेले एक फुटबॉलर है")।
- उन्होंने आधिकारिक नाम ("Pelé") का उपयोग करके AI से प्रश्न पूछा।
- उन्होंने वही सटीक प्रश्न रीडायरेक्ट नाम ("Edson Arantes do Nascimento") का उपयोग करके पूछा।
उन्होंने यह देखने के लिए 13 अलग-अलग AI मॉडल्स के साथ ऐसा किया कि क्या उनके उत्तर सुसंगत रहते हैं।
निष्कर्ष: AI "नाजुक" (Fragile) है
1. "नाम परिवर्तन" का झटका (The "Name Change" Shock)
परिणाम चौंकाने वाले थे। एक ही तथ्य के लिए भी, नाम बदलने से अक्सर AI एक सही उत्तर से गलत उत्तर की ओर चला जाता था।
- उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड एक इमारत में "जॉन स्मिथ" को अंदर जाने देता है लेकिन "जॉनी स्मिथ" को दरवाजे पर ही रोक देता है, भले ही वे एक ही व्यक्ति हों। AI वही गार्ड है; उसे व्यक्ति से ज्यादा बैज (नाम) की परवाह है।
2. "छोटा बनाम बड़ा" बदलाव नियम (The "Small vs. Big" Change Rule)
शोधकर्ताओं ने पाया कि AI नाम के विभिन्न प्रकार के बदलावों को अलग-अलग तरीके से संभालता है:
- छोटे बदलाव (स्पेलिंग/टाइपो): यदि आप एक अक्षर छोड़ देते हैं या एक कैपिटल लेटर बदल देते हैं (जैसे, "J. M. Coetzee" बनाम "J M Coetzee"), तो AI आमतौर पर मजबूत (robust) होता है। वह अभी भी सही उत्तर देता है। यह एक दोस्त को पहचानने जैसा है भले ही उसके बाल बिखरे हुए हों।
- बड़े बदलाव (उपनाम/संक्षिप्त नाम): यदि आप उपनाम, संक्षिप्त नाम या जन्म का नाम उपयोग करते हैं (जैसे, "The New York Times" के बजाय "NYT", या "José García Castro" के बजाय "Pepillo"), तो AI अक्सर विफल हो जाता है। यह ऐसा है जैसे गार्ड आपके दोस्त को नहीं पहचान पाता क्योंकि उसने वेशभूटा बदल लिया है।
3. आवृत्ति का रहस्य (The Frequency Secret)
शोध पत्र ने यह भी देखा कि ये नाम AI के प्रशिक्षण डेटा (उन किताबों में जो AI ने पढ़ी हैं) में कितनी बार दिखाई देते हैं।
- पुराना सिद्धांत: "AI एक विशिष्ट नाम को जितनी बार देखता है, वह तथ्य को उतना ही बेहतर जानता है।"
- नया खोज: यह एक मिश्रण है। AI को विशिष्ट नाम (जैसे, "Pelé") देखने से लाभ होता है, लेकिन उसे उस व्यक्ति को किसी भी नाम से देखने से भी लाभ होता है।
- उपमा: AI की याददाश्त को एक वेब (जाल) के रूप में सोचें। यदि आप "Pelé" के धागे को खींचते हैं, तो पूरा वेब (व्यक्ति) हिलता है। लेकिन यदि आप एक बहुत ही कमजोर धागा (एक दुर्लभ उपनाम) खींचते हैं, तो वेब इतना नहीं हिलेगा कि उत्तर को ट्रिगर कर सके। व्यक्ति का "कुल वजन" मायने रखता है, लेकिन आप जिस विशिष्ट धागे को खींचते हैं वह भी मायने रखता है।
यह क्यों महत्वपूर्ण है?
यह शोध पत्र हमें बताता है कि हम AI पर केवल इसलिए भरोसा नहीं कर सकते क्योंकि वह "आधिकारिक" नाम को सही बताता है।
यदि आप एक मेडिकल चैटबॉट बना रहे हैं, तो यह दवा के बारे में तथ्यों को तब जान सकता है जब आप उसके जेनेरिक नाम का उपयोग करते हैं, लेकिन ब्रांड नाम या सामान्य उपनाम का उपयोग करने पर विफल हो सकता है। यदि आप एक कानूनी बॉट बना रहे हैं, तो यह कानून को तब जान सकता है जब आप आधिकारिक शीर्षक से केस का उल्लेख करते हैं, लेकिन सामान्य संक्षिप्त नाम का उपयोग करने पर विफल हो सकता है।
मुख्य बात (The Takeaway)
लार्ज लैंग्वेज मॉडल्स (LLMs) पूर्ण "तथ्य मशीनें" नहीं हैं जो दुनिया को समझते हैं। वे पैटर्न मशीनें हैं जो इस बात के प्रति आश्चर्यजनक रूप से संवेदनशील हैं कि आप चीजों को कैसे कहते हैं।
यदि आप वास्तव में जानना चाहते हैं कि क्या कोई AI स्मार्ट है, तो हमें केवल "सही" नामों का उपयोग करके उससे प्रश्न नहीं पूछना चाहिए। हमें उसे निकनेम, संक्षिप्त नाम और स्पेलिंग की गलतियों के साथ भी वही प्रश्न पूछने चाहिए ताकि यह देखा जा सके कि क्या वह वास्तव में सत्य को समझता है, या वह केवल एक विशिष्ट लेबल को याद कर रहा है।
संक्षेप में: AI को केवल उसके "आईडी कार्ड" के साथ टेस्ट न करें। उसे उसके "गली मोहल्ले के नामों" (street names) के साथ भी टेस्ट करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।