PRISM: Probing Reasoning, Instruction, and Source Memory in LLM Hallucinations
यह शोध पत्र PRISM को प्रस्तुत करता है, जो एक व्यापक बेंचमार्क है जो LLM मतिभ्रम (hallucination) मूल्यांकन को तीन पीढ़ी चरणों में चार विशिष्ट आयामों में त्रुटियों को अलग करके एक नैदानिक समस्या के रूप में पुनर्गठित करता है, जो मॉडल प्रदर्शन में महत्वपूर्ण ट्रेड-ऑफ्स को प्रकट करता है और अधिक विश्वसनीय AI सिस्टम विकसित करने के लिए एक ढांचा प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़ा भ्रमित सहायक है जिसे "द मॉडल" (The Model) कहा जाता है। आप उससे एक कहानी लिखने, गणित की समस्या हल करने या चिकित्सा सलाह देने के लिए कहते हैं। कभी-कभी, यह बहुत अच्छा काम करता है। अन्य समय में, यह आत्मविश्वास के साथ मनगढ़ंत बातें बनाता है, आपके निर्देशों को अनदेखा करता है, या इसके तर्क गलत हो जाते हैं। इसे हैलुसिनेशन (Hallucination) कहा जाता है।
अब तक, जब मॉडल गलती करता था, तो हम बस कहते थे, "तुम गलत हो," और उसे खराब ग्रेड देते थे। लेकिन हमें पता नहीं चलता था कि वह क्यों विफल हुआ। क्या वह कोई तथ्य भूल गया था? क्या उसने आपके नियमों को गलत समझा? या क्या वह सोचते समय भ्रमित हो गया था?
PRISM नामक शोध पत्र इन AI मॉडलों का परीक्षण करने का एक नया तरीका पेश करता है। केवल अंतिम उत्तर को देखने के बजाय, PRISM एक चिकित्सा निदानकर्ता (Medical Diagnician) या एक मैकेनिक की तरह काम करता है जो इंजन को खोलकर देखता है कि वास्तव में कौन सा हिस्सा टूटा हुआ है।
यहाँ एक सरल विवरण दिया गया है कि PRISM कैसे काम करता है, कुछ रचनात्मक उपमाओं का उपयोग करते हुए:
1. "बीमारी" के चार प्रकार
PRISM मॉडल द्वारा की जाने वाली हर गलती को चार विशिष्ट श्रेणियों में विभाजित करता है। इन्हें एक छात्र द्वारा परीक्षा में की जाने वाली गलतियों के चार अलग-अलग प्रकारों के रूप में सोचें:
- ज्ञान की त्रुटि (Knowledge Error - "झूठा तथ्य"): मॉडल सोचता है कि वह उत्तर जानता है, लेकिन वह गलत होता है।
- उपमा: कल्पना कीजिए कि एक इतिहास का शिक्षक आपको आत्मविश्वास से बताता है कि टाइटैनिक 1912 में डूबा था (यह सच है), लेकिन फिर दावा करता है कि इसे "टाइटैनिक कॉर्प" नामक कंपनी ने बनाया था (यह नहीं था)। मॉडल के मस्तिष्क में गलत डेटा संग्रहीत है।
- ज्ञान की कमी (Knowledge Missing - "खाली पन्ना"): मॉडल को उत्तर बिल्कुल पता नहीं होता, लेकिन फिर भी वह अनुमान लगाने की कोशिश करता है।
- उपमा: आप मॉडल से कल हुई किसी समाचार घटना के बारे में पूछते हैं (जो उसके सीखने के बाद हुई है)। उसके पास वह जानकारी नहीं है, लेकिन "मुझे नहीं पता" कहने के बजाय, वह एक कहानी गढ़ देता है। यह एक ऐसे छात्र की तरह है जो उस प्रश्न पर अनुमान लगा रहा है जिसे उसने पहले कभी नहीं देखा।
- तर्क की त्रुटि (Reasoning Error - "लॉजिक ग्लिच"): मॉडल के पास सही तथ्य हैं, लेकिन वह उन्हें सही ढंग से जोड़ नहीं पाता है।
- उपमा: आप मॉडल को केक के लिए सामग्री (मैदा, अंडे, चीनी) और रेसिपी के चरण देते हैं। उसके पास सभी सही हिस्से हैं, लेकिन वह मिश्रण बनाने से पहले अंडे बेक करने का निर्णय लेता है, या वह ओवन चालू करना भूल जाता है। तर्क की श्रृंखला टूट गई है।
- निर्देश पालन त्रुटि (Instruction Following Error - "विद्रोही छात्र"): मॉडल तथ्यों और तर्क को जानता है, लेकिन वह आपके विशिष्ट नियमों को अनदेखा कर देता है।
- उपमा: आप मॉडल को कहते हैं, "बिल्लियों के बारे में एक कविता लिखें, लेकिन 'e' अक्षर का उपयोग न करें।" मॉडल बिल्लियों के बारे में एक बेहतरीन कविता लिखता है, लेकिन वह पचास बार 'e' अक्षर का उपयोग करता है। वह नियमों का पालन करने में विफल रहा, भले ही सामग्री ठीक थी।
2. "PRISM" लेंस
PRISM नाम एक आदर्श रूपक है। एक प्रिज्म सफेद प्रकाश की किरण को लेता है और उसे अलग-अलग रंगों के इंद्रधनुष में विभाजित कर देता है।
- पुराने बेंचमार्क: ब्लैक-एंड-व्हाइट कैमरे की तरह थे। वे केवल अंतिम उत्तर की तस्वीर लेते थे और कहते थे, "पास" या "फेल"। वे यह नहीं बता सकते थे कि विफलता क्यों हुई।
- PRISM: एक प्रिज्म की तरह है। यह मॉडल के बिखरे हुए आउटपुट को लेता है और उसे अलग-अलग करता है ताकि हम देख सकें कि कौन सा "रंग" (ज्ञान, तर्क, या निर्देश) समस्या पैदा कर रहा है।
3. बड़ी खोज: "ट्रेड-ऑफ" का जाल
शोधकर्ताओं ने इस नए लेंस का उपयोग करके 24 विभिन्न AI मॉडलों (मुफ्त और महंगे दोनों) का परीक्षण किया। उन्होंने पाया कि कुछ आश्चर्यजनक है: आप एक साथ सब कुछ ठीक नहीं कर सकते।
मॉडल के मस्तिष्क को एक मांसपेशी की तरह समझें।
- यदि आप इसे नियमों का पालन करने के प्रति बहुत सख्त (जैसे एक रोबोट जो कभी कमांड नहीं तोड़ता) होने के लिए प्रशिक्षित करते हैं, तो हो सकता है कि वह नियमों पर इतना केंद्रित हो जाए कि वह रचनात्मक रूप या तार्किक रूप से सोचना बंद कर दे।
- यदि आप इसे गणित और तर्क में जीनियस बनाने के लिए प्रशिक्षित करते हैं, तो हो सकता है कि यह आपके निर्देशों को अनदेखा करने लगे क्योंकि यह समस्या को हल करने में बहुत व्यस्त है।
शोध पत्र इसे एक ट्रेड-ऑफ (Trade-off) कहता है। एक प्रकार के हैलुसिनेशन को ठीक करने से अक्सर दूसरे प्रकार की समस्या बढ़ जाती है। यह एक कार को ट्यून करने जैसा है: यदि आप सुचारू सवारी के लिए सस्पेंशन को कसते हैं, तो कार मोड़ों पर खराब प्रदर्शन कर सकती है।
4. यह क्यों महत्वपूर्ण है
PRISM से पहले, डेवलपर्स उन डॉक्टरों की तरह थे जो बिना निदान जाने मरीज को कौन सी दवा देनी है, इसका अनुमान लगाते थे। वे मॉडल की याददाश्त को "ठीक" करने की कोशिश कर सकते थे, जिससे अनजाने में उसकी निर्देश पालन करने की क्षमता टूट सकती थी।
PRISM के साथ, हम अंततः कह सकते हैं:
- "यह मॉडल नियमों का पालन करने में बहुत अच्छा है, लेकिन यह तथ्य भूल जाता है।" -> हमें इसे अधिक डेटा खिलाने की आवश्यकता है।
- "यह मॉडल तथ्यों को जानता है लेकिन गणित नहीं कर सकता।" -> हमें इसे तर्क पहेलियों पर प्रशिक्षित करने की आवश्यकता है।
- "यह मॉडल स्मार्ट है लेकिन निर्देशों को अनदेखा करता है।" -> हमें इसे बेहतर तरीके से सुनना सिखाने की आवश्यकता है।
निष्कर्ष
PRISM AI के लिए एक नया, अत्यंत विस्तृत रिपोर्ट कार्ड है। यह हमें केवल यह कहने के बजाय कि "AI हैलुसिनेट कर रहा है", हमें यह बताने लगता है कि AI ठीक कहाँ हैलुसिनेट कर रहा है। यह इंजीनियरों को बेहतर, सुरक्षित और अधिक भरोसेमंद AI सहायक बनाने में मदद करता है जो केवल स्मार्ट दिखने के बजाय, वास्तव में स्मार्ट और विश्वसनीय होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।