Efficient Knowledge Probing of Large Language Models by Adapting Pre-trained Embeddings
यह शोध पत्र PEEK को प्रस्तुत करता है, जो एक कम्प्यूटेशनल रूप से कुशल विधि है जो बड़े भाषा मॉडलों (Large Language Models) के तथ्यात्मक ज्ञान की सटीकता से भविष्यवाणी करने के लिए एक लीनियर डिकोडर के साथ पूर्व-प्रशिक्षित एम्बेडिंग मॉडलों को अनुकूलित करती है, जिससे पारंपरिक फॉरवर्ड-पास प्रोबिंग तकनीकों की उच्च लागत से बचा जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय (एक लार्ज लैंग्वेज मॉडल, या LLM) है जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। आप यह जानना चाहते हैं कि उसने वास्तव में कौन से तथ्य याद किए हैं और वह क्या भूल गया है।
समस्या:
वर्तमान में, यह जाँचने के लिए कि क्या पुस्तकालय को कोई विशिष्ट तथ्य पता है (जैसे कि "गरिफुना ग्वाटेमाला की एक जनसंख्या है"), आपको लाइब्रेरियन के पास जाना पड़ता है, प्रश्न पूछना पड़ता है और उत्तर का प्रतीक्षा करना पड़ता है। यदि आप लाखों तथ्यों की जाँच करना चाहते हैं, तो यह पुस्तकालय की हर एक किताब को एक-एक करके पढ़ने जैसा है। यह धीमा, महंगा और थकाऊ है। यदि पुस्तकालय एक "ब्लैक बॉक्स" है (यानी आप देख नहीं सकते कि वह कैसे सोचता है), तो आप सीधे उससे पूछे बिना यह नहीं देख सकते कि वह क्या जानता है।
समाधान (PEEK):
शोधकर्ताओं ने PEEK (प्रॉक्सी एम्बेडिंग्स टू एस्टिमेट नॉलेज) नामक एक नया टूल प्रस्तावित किया है। PEEK को एक हाई-टेक "नॉलेज रडार" या एक "शैडो लाइब्रेरियन" के रूप में समझें।
विशाल पुस्तकालय से हर एक सवाल पूछने के बजाय, PEEK एक छोटे, तेज़, प्री-ट्रेन "स्कैनर" (एक एम्बेडिंग मॉडल) का उपयोग करता है जो अनुमान लगाता है कि बड़े पुस्तकालय को क्या पता है।
यह कैसे काम करता है, चरण-दर-चरण:
प्रशिक्षण चरण (स्कैनर को सिखाना):
सबसे पहले, शोधकर्ता तथ्यों का एक छोटा नमूना लेते हैं और बड़े पुस्तकालय से पूछते हैं, "क्या तुम यह जानते हो?" वे पुस्तकालय के उत्तर (हाँ/नहीं, या वह कितना आश्वस्त है) को रिकॉर्ड करते हैं। फिर, वे एक छोटे, तेज़ स्कैनर को उन तथ्यों का टेक्स्ट दिखाते हैं। वे स्कैनर की सेटिंग्स को थोड़ा बदलते हैं (जैसे रेडियो को ट्यून करना) जब तक कि स्कैनर का "अनुमान" बड़े पुस्तकालय के वास्तविक उत्तर से मेल न खा जाए।
अनुरूपता (Analogy): कल्पना कीजिए कि आपके पास एक मास्टर शेफ (LLM) और एक सहायक शेफ (एम्बेडिंग मॉडल) है। आप मास्टर शेफ के सूप को चखते हैं और सहायक शेफ को बताते हैं, "यह नमकीन है।" आप सहायक शेफ के सीजनिंग को तब तक एडजस्ट करते रहते हैं जब तक कि वह केवल सामग्री की सूची देखकर मास्टर शेफ के सूप के स्वाद का सटीक अनुमान न लगा सके।भविष्यवाणी चरण (रडार):
एक बार जब स्कैनर ट्यून हो जाता है, तो आपको बड़े पुस्तकालय से पूछने की आवश्यकता नहीं होती। आप बस एक नया तथ्य स्कैनर में डालते हैं। स्कैनर तुरंत भविष्यवाणी करता है, "बड़े पुस्तकालय को यह पता है," या "बड़े पुस्तकालय को यह नहीं पता है।"
अनुरूपता (Analogy): अब, हर नई सामग्री को चखने के लिए मास्टर शेफ से पूछने के बजाय, सहायक शेफ सामग्री की सूची देखता है और तुरंत कहता है, "शेफ को इसे बनाना आता है।"
उन्होंने क्या पाया:
- गति और सटीकता: यह "स्कैनर" विधि अविश्वसनीय रूप से तेज़ और सटीक है। अपने परीक्षणों में, यह बड़े पुस्तकालय से एक भी प्रश्न पूछे बिना, यह बताने में 90% तक सटीक था कि पुस्तकालय क्या जानता है।
- टेक्स्ट बनाम मैप्स: उन्होंने दो प्रकार के स्कैनर आज़माए: एक जो वाक्यों को पढ़ता है (एक सेंटेंस-एम्बेडिंग मॉडल) और एक जो कनेक्शन के मानचित्रों को पढ़ता है (एक ग्राफ न्यूरल नेटवर्क)। उन्होंने पाया कि सेंटेंस स्कैनर बहुत बेहतर काम करता है। ऐसा लगता है कि बड़ा पुस्तकालय अपने ज्ञान को कनेक्शन के कठोर मानचित्र के बजाय वाक्यों के संग्रह की तरह व्यवस्थित करता है।
- अंदर झांकने की आवश्यकता नहीं: अन्य तरीकों के विपरीत जिन्हें पुस्तकालय की आंतरिक "ब्रेन वेव्स" (हिडन लेयर्स) को देखने की आवश्यकता होती है, PEEK को केवल तथ्य के टेक्स्ट की आवश्यकता होती है। इसका मतलब है कि यह तब भी काम करता है जब पुस्तकालय एक "ब्लैक बॉक्स" हो जिसे आप छू नहीं सकते।
यह क्यों महत्वपूर्ण है:
शोध पत्र सुझाव देता है कि इन विशाल AI पुस्तकालयों को स्वास्थ्य सेवा या कानून जैसे महत्वपूर्ण कार्यों में मदद करने के देने से पहले, हमें उनके ज्ञान की कमियों की जाँच करने के लिए इस "स्कैनर" का उपयोग करना चाहिए। यह एक सस्ता और कुशल तरीका है यह कहने का, "हे, इस AI को X के बारे में नहीं पता है, इसलिए किसी मरीज से बात करने से पहले इसे ठीक करें।"
संक्षेप में:
PEEK एक तेज़, सस्ता प्रॉक्सी बनाने का एक तरीका है जो एक विशाल AI के ज्ञान आधार की नकल करना सीख जाता है। प्रशिक्षित होने के बाद, यह प्रॉक्सी लाखों तथ्यों को स्कैन कर सकता है ताकि यह बता सके कि विशाल AI क्या जानता है, जिससे आपका समय और पैसा बचता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।