Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data
यह शोध पत्र प्रीट्रेनिंग डेटा को ध्यान में रखते हुए एक सुदृढ़ मूल्यांकन बेंचमार्क का प्रस्ताव देकर और उस प्रीट्रेनिंग डेटा की पुनर्प्राप्ति (रिट्रीवल) के माध्यम से मॉडल की ईमानदारी को बढ़ाने की एक नवीन विधि पेश करके एलएलएम (LLM) मतिभ्रम (hallucinations) की समस्या का समाधान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बुद्धिमान लेकिन अति-आत्मविश्वासी छात्र की कल्पना करें जिसका नाम "LLM" है, जिसने अपने प्रशिक्षण के दौरान अरबों किताबें पढ़ी हैं। यह छात्र प्रश्न पूछने में बहुत कुशल है, लेकिन इसमें एक बड़ी खामी है: इसे यह नहीं पता कि इसे क्या नहीं पता है। जब इससे किसी ऐसे विषय के बारे में सवाल पूछा जाता है जिसे इसने पहले कभी नहीं देखा, तो "मुझे नहीं पता" कहने के बजाय, यह आत्मविश्वास के साथ एक कहानी बना लेता है। AI की दुनिया में, इसे हैलुसिनेशन (hallucination) कहा जाता है।
आपने जो शोध पत्र साझा किया है, वह तर्क देता है कि AI को भरोसेमंद बनाने के लिए, हमें इसे यह सिखाने की आवश्यकता है कि "मुझे यह पता है" और "मुझे यह नहीं पता" के बीच क्या अंतर है। यहाँ उनके समाधान का सरल उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।
समस्या: "ब्लैक बॉक्स" की अंधाधुंध दृष्टि (The "Black Box" Blind Spot)
आमतौर पर, जब शोधकर्ता यह परीक्षण करने की कोशिश करते हैं कि क्या कोई AI ईमानदार है, तो वे AI के साथ एक ब्लैक बॉक्स की तरह व्यवहार करते हैं। वे उससे प्रश्न पूछते हैं और देखते हैं कि वह क्या कहता है, लेकिन उन्हें ठीक से पता नहीं होता कि AI ने अपने तथ्यों को सीखने के लिए कौन सी किताबें पढ़ी थीं।
- खामी: यदि AI किसी प्रश्न का गलत उत्तर देता है, तो शोधकर्ता मान लेते हैं कि AI उत्तर "नहीं जानता"। लेकिन हो सकता है कि AI ने अपने प्रशिक्षण की किताबों में उत्तर पढ़ा हो; बस वह उसे भूल गया या भ्रमित हो गया।
- परिणाम: पिछले परीक्षण अनुचित थे क्योंकि वे यह नहीं बता सकते थे कि AI झूठ बोल रहा था (हैलुसिनेशन कर रहा था) या बस उसका बुरा दिन था (भूल गया था)।
समाधान: "ओपन बुक" दृष्टिकोण (The "Open Book" Approach)
लेखकों ने Pythia नामक एक विशेष, ओपन-सोर्स AI मॉडल का उपयोग किया। इसका मुख्य लाभ क्या है? हमारे पास उस पूरी लाइब्रेरी का ज्ञान है जो इस AI ने पढ़ी है।
- उपमा: कल्पना करें कि आप उस छात्र को उसके द्वारा अध्ययन की गई प्रत्येक पुस्तक की एक विशिष्ट सूची दे रहे हैं। अब, जब आप एक प्रश्न पूछते हैं, तो आप वास्तव में लाइब्रेरी की जांच कर सकते हैं कि: "क्या इस छात्र ने इस प्रश्न का उत्तर अपनी किताबों में पढ़ा था?"
- नया बेंचमार्क: उन्होंने एक नया परीक्षण बनाया (जिसे TIP-TRIVIAQA कहा जाता है) जहाँ हम ठीक जानते हैं कि AI को कौन से प्रश्न पता होने चाहिए (क्योंकि उत्तर उसकी प्रशिक्षण पुस्तकों में है) और कौन से उसे पता नहीं होने चाहिए (क्योंकि उत्तर उसकी पुस्तकों में कहीं भी नहीं है)। यह ईमानदारी को मापने के लिए एक निष्पक्ष मैदान तैयार करता है।
विधि: "लाइब्रेरियन" सिस्टम (RETAIN)
AI की ईमानदारी को ठीक करने के लिए, लेखकों ने केवल उसे "ईमानदार होने" के लिए नहीं कहा। उन्होंने RETAIN नामक एक तीन-स्तरीय प्रणाली बनाई है जो एक स्मार्ट लाइब्रेरियन की तरह काम करती है:
द रिट्रीवर (खोजने वाला - The Retriever):
जब आप कोई प्रश्न पूछते हैं, तो यह एजेंट तुरंत AI की "लाइब्रेरी" (इसके प्रीट्रेनिंग डेटा) में उत्तर खोजने के लिए जाता है। यह एक लाइब्रेरियन की तरह है जो यह देखने के लिए अलमारी से किताबें निकाल रहा है कि क्या उत्तर वहां है।द आंसरएबिलिटी क्लासिफायर (द्वारपाल - The Answerability Classifier):
यह एजेंट लाइब्रेरियन द्वारा खोजी गई किताबों को देखता है। यह पूछता है: "क्या इस किताब में वास्तव में उत्तर है?"
- यदि हाँ: तो यह किताब को अगले एजेंट को सौंप देता है।
- यदि नहीं: तो यह प्रक्रिया को रोकता है और AI को बताता है, "हमारे पास हमारी लाइब्रेरी में उत्तर नहीं है। 'मुझे नहीं पता' कहें।"
- द रिस्पॉन्डर (बोलने वाला - The Responder):
यह वह AI है जो वास्तव में आपसे बात करता है। यह तभी बोलता है जब गेटकीपर (द्वारपाल) इसे हरी झंडी देता है और एक प्रासंगिक किताब पढ़ने के लिए देता है। यदि गेटकीपर "नहीं" कहता है, तो रिस्पॉन्डर बस कहता है, "मुझे नहीं पता।"
यह क्यों काम करता है
शोध पत्र में पाया गया कि यह तरीका पिछले तरीकों से कहीं बेहतर है।
- पुराना तरीका: केवल AI को यह कहना कि "यदि आप सुनिश्चित नहीं हैं, तो 'मुझे नहीं पता' कहें" प्रभावी नहीं रहा। AI अभी भी अनुमान लगाने की कोशिश करता था।
- RETAIN तरीका: पहले अपने स्रोत सामग्री को भौतिक रूप से प्राप्त करके, AI के पास एक "रियलिटी चेक" (वास्तविकता की जाँच) होती है। वह देख सकता है, "ओह, उत्तर मेरी किताबों में नहीं है," इसलिए वह ईमानदारी से स्वीकार करता है कि उसे नहीं पता।
- बोनस: जब उत्तर किताबों में होता है, तो AI बहुत सटीक उत्तर देता है क्योंकि वह केवल अपनी याददाश्त पर भरोसा करने के बजाय उसी समय स्रोत सामग्री को पढ़ रहा होता है।
परिणाम
जब उन्होंने इस नई प्रणाली का परीक्षण किया:
- यह उन उत्तरों के लिए "मुझे नहीं पता" कहने में बहुत बेहतर था जो इसके प्रशिक्षण डेटा में नहीं थे।
- यह सही उत्तर देने में भी बहुत बेहतर था जब उत्तर डेटा में मौजूद था।
- इसने सभी अन्य तरीकों को पछाड़ दिया जिनका उन्होंने परीक्षण किया था, जिससे यह सिद्ध हुआ कि AI को उसके अपने "सोर्स कोड" (किताबों जो उसने पढ़ीं) तक पहुंच देना ही उसे ईमानदार बनाने की कुंजी है।
संक्षेप में: शोध पत्र दिखाता है कि AI को मनगढ़ंत बातें करने से रोकने के लिए, आपको केवल उसे ईमानदार होने के लिए कहने की आवश्यकता नहीं है। इसके बजाय, आपको उसे पहले अपनी लाइब्रेरी की जांच करने के लिए एक उपकरण देना चाहिए। यदि उत्तर वहां नहीं है, तो उसे ईमानदारी से कहना चाहिए, "मैंने वह नहीं पढ़ा है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।