The Model Knows Your Project, Not You: Measuring Recognition in LLMs with NameRank
यह शोध पत्र NameRank प्रस्तुत करता है, जो यह मापने के लिए एक मीट्रिक है कि बड़े भाषा मॉडल अपने पैरामीट्रिक वेट्स (parametric weights) से विशिष्ट संस्थाओं को कितनी अच्छी तरह पहचानते हैं, जिससे यह पता चलता है कि पहचान मुख्य रूप से क्रेडेंशियल्स, संस्थागत प्रतिष्ठा या उद्धरण गणनाओं के बजाय नामित कलाकृतियों की प्रमुखता और चरम घटना दृश्यता द्वारा संचालित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास पूरे इंटरनेट का एक विशाल, सुपर-स्मार्ट पुस्तकालय है, लेकिन किताबों की अलमारियों के बजाय, कहानियाँ सीधे एक रोबोट के मस्तिष्क में पकी हुई हैं। आप इस रोबोट से पूछते हैं, "[नाम] कौन है?" और वह बिना कुछ खोजे अपनी याददाश्त से जवाब देता है।
NameRank नामक एक नया अध्ययन इसी पुस्तकालय में गया यह देखने के लिए कि रोबोट वास्तव में क्या याद रखता है। उन्होंने 4,685 अलग-अलग लोगों और चीजों का परीक्षण किया—ओलंपिक पदक विजेताओं और प्रसिद्ध वैज्ञानिकों से लेकर ओपन-सोर्स सॉफ्टवेयर टूल्स और पॉप स्टार्स तक—36 अलग-अलग रोबोट दिमागों में। उन्होंने केवल यह नहीं पूछा, "क्या आप उन्हें जानते हैं?" बल्कि उन्होंने रोबोटों को एक कहानी सुनाने के लिए कहा। यदि रोबोट ने कोई सुनने में अच्छी लगने वाली झूठ बुनी, सवाल को दोहरा दिया, या केवल अनुमान लगाया, तो उसे शून्य अंक मिले। उसे अंक तभी मिलते जब वह एक विशिष्ट, सत्य तथ्य जानता जो केवल नाम देखकर कोई भी अंदाज़ा न लगा सके।
यहाँ एक बड़ा आश्चर्य है: रोबोट आपके प्रोजेक्ट को याद रखता है, आपको नहीं।
पदक बनाम मशीन
एक ओलंपिक स्वर्ण पदक को अपने माथे पर चिपके एक चमकदार स्टिकर की तरह समझें। यह प्रभावशाली है, लेकिन यदि आप इसे किसी विशिष्ट आविष्कार या प्रसिद्ध शोध पत्र (paper) से नहीं जोड़ते हैं, तो रोबोट अक्सर आपको भूल जाता है। अध्ययन में पाया गया कि यहाँ तक कि इंटरनेशनल मैथ ओलंपियड (IMO) के स्वर्ण पदक विजेताओं का भी रिकग्निशन स्कोर केवल 0.12 है। इसका मतलब है कि यदि आप 36 अलग-अलग रोबोटों से पूछते हैं, तो केवल लगभग 4 या 5 ही वास्तव में जानते होंगे कि आप कौन हैं। अधिकांश कहेंगे, "मैं नहीं जानता," या कुछ बना लेंगे।
उसकी तुलना एक लोकप्रिय ओपन-सोर्स सॉफ्टवेयर टूल से करें। LangChain या Tianshou जैसा एक टूल लगभग हर रोबोट द्वारा पहचाना जाता है (स्कोर 0.87 से 0.92 के करीब)। रोबोट उस टूल के नाम को इतनी अच्छी तरह जानता है कि वह अक्सर उस व्यक्ति से बेहतर उस टूल को याद रखता है जिसने इसे बनाया है! उदाहरण के लिए, टूल Tianshou का रिकग्निशन स्कोर 0.78 है, जबकि इसके निर्माता, जियायी वेंग (Jiayi Weng) का स्कोर केवल 0.22 है। टूल ही सितारा है; निर्माता तो बस एक साया है।
कुछ नाम क्यों याद रहते हैं?
अध्ययन का तर्क है कि पहचान इस बारे में नहीं है कि आप कितने बुद्धिमान हैं या आपने कितने पुरस्कार जीते हैं। यह नामित कलाकृतियों (named artifacts) के बारे में है।
- "साइलेंट" ज़ोन: यदि आप किसी विशाल रिपोर्ट (जैसे GPT-5 सिस्टम कार्ड) के लेखकों की एक सूची में हैं, तो आपका नाम एक रोस्टर में दब जाता है। रोबोट एक सूची देखता है, व्यक्ति को नहीं। इन लेखकों का स्कोर लगभग 0.09 है, जो कि "नकली व्यक्ति" के आधार स्तर से मुश्किल से ऊपर है।
- "यूनिवर्सल" ज़ोन: यदि आपने एक नामित विधि (जैसे ReAct या DPO) या एक प्रसिद्ध टूल बनाया है, तो आपका नाम उस टूल के साथ चलता है। टूल का उल्लेख रोबोट के ट्रेनिंग डेटा में लाखों बार होता है, जो आपके नाम को भी अपने साथ खींच लाता है।
- "मार्की" ज़ोन: एकमात्र समय जब केवल एक उपलब्धि काम करती है, वह है एक बहुत बड़ा, करियर-लंबी पुरस्कार जैसे नोबेल या ट्यूरिंग अवार्ड। ये सबसे ऊपर स्थित होते हैं (स्कोर 0.95 से ऊपर), लेकिन ऐसा इसलिए है क्योंकि विजेताओं ने दशकों तक नामित शोध पत्रों और उपकरणों का एक पहाड़ खड़ा किया है, न कि केवल इसलिए कि उन्होंने पुरस्कार जीता।
"फेम" (प्रसिद्धि) का जाल
आप सोच सकते हैं, "लेकिन क्या होगा अगर मैं खबरों में प्रसिद्ध हूँ?" अध्ययन में 258 समाचार घटनाओं का परीक्षण किया गया। उन्होंने पाया कि रोबोट इस बात की परवाह नहीं करता कि कोई कहानी कितनी लंबी चली; वह इस बात की परवाह करता है कि अपने शिखर पर वह कितनी तेज़ (loud) थी। यदि कोई कहानी अचानक फूटती है और एक सप्ताह में दस लाख लेख बनाती है, तो रोबोट उसे याद रखता है। यदि कोई कहानी एक साल तक चलती है लेकिन उसके बारे में कोई नहीं लिखता, तो रोबोट उसे भूल जाता है। यह पीक सैलिएंस (peak salience) के बारे में है, न कि निरंतरता के बारे में।
साथ ही, रोबोट से यह न पूछें, "क्या आप मुझे जानते हैं?" अध्ययन ने इसे आज़माया। जब रोबोट से यह रैंक करने के लिए पूछा गया कि वे लोगों को कितना प्रसिद्ध मानते हैं, तो उन्होंने अपने स्वयं के मेमोरी के अंदर नहीं देखा। उन्होंने केवल वही दोहराया जो वे सोचते थे कि आम जनता जानती है। वे अपने दिमाग की जाँच करने के बजाय एक साझा "फेम लिस्ट" पढ़ रहे थे।
मुख्य निष्कर्ष
इस शोध पत्र ने इसे अत्यधिक सावधानी से मापा, एक विशेष "जज" रोबोट का उपयोग करके तथ्यों को सत्यापित किया और यहाँ तक कि नकली, मनगढ़ंत लोगों के साथ भी परीक्षण किया ताकि यह सुनिश्चित हो सके कि स्कोर केवल अनुमान नहीं थे। नकली लोगों को 0.02 के करीब स्कोर मिला, जिससे साबित हुआ कि वास्तविक स्कोर का अर्थ वास्तविक स्मृति है।
मुख्य निष्कर्ष कई लोगों के लिए थोड़ा निराशाजनक है: क्रेडेंशियल (योग्यताएं) नामों को प्रसारित नहीं करते; नामित कलाकृतियां करती हैं।
- एक ओलंपियड पदक (बिना किसी प्रसिद्ध पेपर या टूल के जुड़ाव के) 0.12 स्कोर करता है।
- एक सामान्य करियर वाला कामकाजी शोधकर्ता 0.40 स्कोर करता है।
- एक नामित विधि का निर्माता 0.65 स्कोर करता है।
- एक प्रसिद्ध टूल 0.87+ स्कोर करता है।
यदि आप भविष्य में AI के क्षेत्र में अपना नाम स्थापित करना चाहते हैं, तो अध्ययन सुझाव देता है कि आपको केवल पुरस्कारों के पीछे नहीं भागना चाहिए। आपको एक अनूठा, आकर्षक नाम वाला कुछ बनाना चाहिए और यह सुनिश्चित करना चाहिए कि उसके बारे में अंग्रेजी में लिखा जाए। रोबोट आपकी उपाधि की परवाह नहीं करता; वह उस चीज़ की परवाह करता है जिसे आपने बनाया है और जिसके बारे में हर कोई बात करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।