The "Curse of Knowledge" in LLM Query Simulation: Concept Provenance for Tracing Answer-Side Intrusion
यह शोध पत्र "कॉन्सेप्ट प्रोवेनेंस" (concept provenance) प्रस्तुत करता है, जो LLM-जनित खोज प्रश्नों में उत्तर-पक्षीय ज्ञान घुसपैठ (answer-side knowledge intrusion) का पता लगाने और उसे वर्गीकृत करने के लिए एक रूपरेखा है, जो यह प्रकट करता है कि हालांकि ऐसी घुसपैठ व्यापक है और प्राकृतिक मानवीय भिन्नता से भिन्न है, लेकिन इसका समग्र प्रतिधारण मूल्यांकन मेट्रिक्स (aggregate retrieval evaluation metrics) पर न्यूनतम प्रभाव पड़ता है, फिर भी इसे जनरेशन-पश्चात चयन (post-generation selection) के माध्यम से प्रभावी ढंग से समाप्त किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब कोई व्यक्ति ऑनलाइन जानकारी खोजता है, तो वह एक ऐसे प्रश्न से शुरुआत करता है जो उसके पहले से ज्ञात ज्ञान और उसे क्या खोजने की आवश्यकता है, इस पर आधारित होता है। वे अपनी वर्तमान समझ के आधार पर सर्च बॉक्स में शब्द टाइप करते हैं, इस उम्मीद में कि कंप्यूटर उन्हें उन उत्तरों तक ले जाएगा जो उनके पास अभी नहीं हैं। पूछने का यह क्षण एक सख्त सीमा है: उपयोगकर्ता के पास प्रश्न है, लेकिन उत्तर नहीं। यदि प्रश्न के भीतर ही उत्तर छिपा हो, तो खोज की प्रक्रिया टूट जाती है, क्योंकि तब उपयोगकर्ता खोज नहीं कर रहा है; वह केवल उस बात की पुष्टि कर रहा है जिसे वह पहले से जानता है। आधुनिक दुनिया में, शोधकर्ता इन मानव खोजकर्ताओं का अनुकरण करने के लिए कृत्रिम बुद्धिमत्ता (AI) का उपयोग कर रहे हैं। वे बड़े भाषा मॉडलों (Large Language Models) को हजारों अलग-अलग खोज प्रश्न उत्पन्न करने के लिए कहते हैं ताकि यह परीक्षण किया जा सके कि सर्च इंजन कितनी अच्छी तरह काम करते हैं। हालाँकि, इन कृत्रिम मस्तिष्कों में अक्सर एक छिपा हुआ दोष होता है। क्योंकि उन्होंने विशाल मात्रा में पाठ (text) पढ़ा है, वे कभी-कभी अनजाने में उस प्रश्न के भीतर ही उत्तर शामिल कर देते हैं जिसे उन्हें पूछना चाहिए था। यह एक गलत परीक्षण बनाता है, जहाँ सर्च इंजन इसलिए पूरी तरह से काम करता हुआ प्रतीत होता है क्योंकि प्रश्न ने उसे पहले ही उत्तर दे दिया था।
RMIT यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस दोष को उजागर करने का प्रयास किया, जिसे वे खोज सिमुलेशन में "ज्ञान का अभिशाप" (curse of knowledge) कहते हैं। उन्होंने प्रत्येक शब्द के मूल को खोजने के लिए, कि वह कहाँ से आया है, यह देखने के लिए कि प्रत्येक अवधारणा का उद्गम क्या है, एक नया तरीका विकसित किया। उन्होंने एक सरल लेकिन महत्वपूर्ण प्रश्न पूछा: क्या एक वास्तविक मानव, जिसे केवल अपनी समस्या की कहानी पता हो और इसके अलावा कुछ भी नहीं, वह इस विशिष्ट शब्द का उपयोग कर सकता था? इसका उत्तर खोजने के लिए, उन्होंने आठ अलग-अलग AI मॉडलों द्वारा उत्पन्न 77,000 से अधिक खोज प्रश्नों का विश्लेषण किया, जो 100 अलग-अलग विषयों पर आधारित थे। उन्होंने इन मशीन-निर्मित प्रश्नों की तुलना हजारों स्वयंसेवकों द्वारा लिखे गए वास्तविक प्रश्नों के एक बड़े संग्रह से की, जिन्हें वही कहानियाँ दी गई थीं लेकिन खोज परिणामों तक उनकी कोई पहुँच नहीं थी।
शोधकर्ताओं ने एक प्रणाली बनाई जिससे वे किसी भी क्वेरी के प्रत्येक शब्द को कई श्रेणियों में वर्गीकृत कर सकें। कुछ शब्द सीधे उस कहानी से आए थे जो उपयोगकर्ता को बताई गई थी। अन्य सामान्य शब्द थे जिनका उपयोग कई मनुष्य करते हैं। तीसरा समूह उन दुर्लभ शब्दों का था जिनका उपयोग मनुष्य करते तो हैं, लेकिन केवल कभी-कभार। अंतिम समूह, जिसमें शोधकर्ता सबसे अधिक रुचि रखते थे, उसमें वे शब्द थे जो किसी भी मनुष्य ने उस संदर्भ में कभी उपयोग नहीं किए थे, फिर भी वे सही उत्तर के लिए अत्यधिक विशिष्ट थे। ये 'अतिचारी' (intruders) थे। उन्होंने पाया कि लगभग हर एक विषय में, कृत्रिम बुद्धिमत्ता ने इन उत्तर-पक्ष की अवधारणाओं को शामिल कर दिया था। सभी क्वेरीज़ में, इन अतिचारी शब्दों ने गैर-सामान्य शब्दों का लगभग 7.4 प्रतिशत हिस्सा बनाया। 100 में से 97 विषयों में, कृत्रिम बुद्धिमत्ता ने कम से कम एक ऐसा शब्द शामिल किया जिसे एक वास्तविक मानव, शून्य से शुरू करते हुए, कभी भी टाइप करने के बारे में नहीं सोचता।
अध्ययन ने खुलासा किया कि यह घुसपैठता तब भी होती है जब शोधकर्ताओं ने इसे रोकने के लिए हर संभव प्रयास किया। उन्होंने कृत्रिम बुद्धिमत्ता को कहानी की सीमाओं के भीतर रहने के लिए विशिष्ट निर्देश दिए, और उन्होंने कार्य को इस तरह से पेश किया जैसे कि मशीन एक चिकित्सा विशेषज्ञ या एक सामान्य व्यक्ति हो। हालांकि इन परिवर्तनों ने घुसपैठ को थोड़ा कम किया, लेकिन वे इसे समाप्त नहीं कर सके। कृत्रिम बुद्धिमत्ता अपने विशाल आंतरिक पुस्तकालय से तथ्यों तक पहुँचती रही और उन शब्दों को निकाल लेती रही जो प्रश्न के बजाय उत्तर के थे। शोधकर्ताओं ने पाया कि यह व्यवहार केवल एक यादृच्छिक त्रुटि नहीं थी; यह मशीन के सोचने के तरीके और एक मानव के खोजने के तरीके के बीच एक मौलिक अंतर था। मशीन उत्तर जानती है, इसलिए वह मान लेती है कि प्रश्न में उस ज्ञान का प्रतिबिंब होना चाहिए।
दिलचस्प बात यह है कि इन अतिचारी शब्दों की उपस्थिति ने व्यापक अर्थों में सर्च इंजन के प्रदर्शन के समग्र स्कोर को नाटकीय रूप से नहीं बदला। शोधकर्ताओं ने पाया कि बड़े परिप्रेक्ष्य में इन शब्दों के कारण खोज परिणामों में कुल अंतर आश्चर्यजनक रूप से छोटा था। हालाँकि, जब उन्होंने व्यक्तिगत खोजों को देखा, तो प्रभाव महत्वपूर्ण था। जब उन्होंने क्वेरी से इन विशिष्ट अतिचारी शब्दों को हटा दिया, तो सही दस्तावेज़ों को खोजने की सर्च इंजन की क्षमता स्पष्ट रूप से गिर गई। इससे पता चला कि जबकि यह घुसपैठ पूरे परीक्षण को बर्बाद नहीं करती है, फिर भी यह एक एकल खोज के विशिष्ट पथ को विकृत करती है, उसे उन दस्तावेज़ों की ओर खींचती है जिन्हें उपयोगकर्ता को अभी तक नहीं देखना चाहिए था।
इसे हल करने के लिए, शोधकर्ताओं ने परीक्षण किया कि क्या वे कृत्रिम बुद्धिमत्ता द्वारा प्रश्न उत्पन्न करने के बाद खराब क्वेरीज़ को फ़िल्टर कर सकते हैं। उन्होंने एक रणनीति आजमाई जिसमें कई संभावित प्रश्न उत्पन्न किए गए और फिर केवल उन्हीं को चुना गया जो सीमा अनुपालन (boundary compliance) के कड़े परीक्षण में पास हुए। ऐसा करके, वे 99 प्रतिशत विषयों से इन अतिचारी शब्दों को हटाने में सक्षम रहे। उन्होंने पाया कि वे विकल्पों का एक बड़ा पूल बनाकर और फिर सावधानीपूर्वक उन विकल्पों को चुनकर जो मानवीय सीमाओं के भीतर रहे, लगभग पूर्ण परिणाम प्राप्त कर सकते थे। इसने सिद्ध किया कि समस्या असाध्य नहीं थी, बल्कि इसके लिए सत्यापन के एक चरण की आवश्यकता थी जो कृत्रिम बुद्धिमत्ता स्वयं नहीं कर सकती थी।
अध्ययन ने इस बात पर भी प्रकाश डाला कि हम स्वयं का निर्णय लेने के लिए कृत्रिम बुद्धिमत्ता पर कितना भरोसा करते हैं। जब शोधकर्ताओं ने अन्य कृत्रिम बुद्धिमत्ता मॉडलों को न्यायाधीश के रूप में कार्य करने और यह तय करने के लिए कहा कि कौन से शब्द घुसपैठ थे, तो मशीनें विफल रहीं। वे एक-दूसरे से सहमत थे कि घुसपैमती शब्द सामान्य, आम जानकारी थे, जबकि मानव न्यायाधीशों ने सही ढंग से पहचाना कि वे विशिष्ट शब्द थे जिन्हें एक सामान्य व्यक्ति नहीं जानता होगा। यह सुझाव देता है कि कृत्रिम बुद्धिमत्ता मॉडल औसत व्यक्ति पर अपने उन्नत ज्ञान को थोपने की प्रवृत्ति रखते हैं, यह मानते हुए कि जो उनके लिए स्पष्ट है, वह सबके लिए स्पष्ट है।
अंततः, यह शोध मानव कार्यों के साथ कृत्रिम बुद्धिमत्ता के संवाद को समझने के लिए एक नया दृष्टिकोण प्रदान करता है। यह दिखाता है कि केवल मशीन को मानव की तरह कार्य करने के लिए कहना पर्याप्त नहीं है; मशीन की जांच करना आवश्यक है ताकि यह सुनिश्चित हो सके कि वह उस जानकारी का उपयोग नहीं कर रही है जो उसके पास नहीं होनी चाहिए। शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि कृत्रिम बुद्धिमत्ता खोज व्यवहार का अनुकरण करने के लिए एक शक्तिशाली उपकरण हो सकती है, लेकिन यह सुनिश्चित करने के लिए कि सिमुलेशन ईमानदार बना रहे, इसे एक मानव-निर्मित सुरक्षा जाल (safety net) की आवश्यकता है। इस जांच के बिना, हमारे द्वारा सर्च इंजन को बेहतर बनाने के लिए किए जाने वाले परीक्षण शायद इंजन की खोजने की क्षमता को नहीं, बल्कि मशीन की उत्तर का अनुमान लगाने की क्षमता को माप रहे होंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।