Information Discernment in Large Language Models
यह शोध पत्र 'Learn2Discern' ढांचे को प्रस्तुत करता है जो यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) स्रोत की विश्वसनीयता या सत्यता के आधार पर सूचनाओं को उचित रूप से तौलने में लगातार विफल रहते हैं, जो एक गंभीर कमी है जिसे उपयोगकर्ता अध्ययन पुष्टि करते हैं कि यह विश्वास को कम करती है और मॉडल के आकार में वृद्धि के बावजूद बनी रहती है, हालांकि इसे सरल इन्फरेंस-टाइम हस्तक्षेपों के माध्यम से कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं। आपके पास अपने बारे में क्या हुआ है, इस बारे में अपना खुद का सिद्धांत है, लेकिन फिर आपको जनता से कुछ सुराग मिलते हैं। कुछ सुराग एक अनुभवी, ईमानदार पुलिस अधिकारी से आते हैं; कुछ एक जाने-माने झूठे व्यक्ति से आते हैं जो बस परेशानी पैदा करना चाहता है। कुछ सुराग आपको सच्चाई के करीब ले जाते हैं, जबकि अन्य आपको गलत दिशा में दौड़ा देते हैं। बड़ा सवाल यह है कि क्या आपका जासूसी दिमाग इन सुरागों को तौलना जानता है? क्या आप ईमानदार अधिकारी की अधिक बात सुनते हैं, या आप सबसे तेज़ आवाज़ से विचलित हो जाते हैं? क्या आप अपना मन बदलते हैं जब कोई सुराग आपकी मदद करता है, या आप अपने मूल अनुमान पर तब तक अड़े रहते हैं जब तक कि वह गलत न हो जाए?
यह बिल्कुल उसी तरह की पहेली है जिसके बारे में वैज्ञानिक आधुनिक "लार्ज लैंग्वेज मॉडल्स" (LLMs) के बारे में पूछ रहे हैं। ये सुपर-स्मार्ट कंप्यूटर प्रोग्राम हैं जो चैटबॉट्स और सर्च इंजन को शक्ति प्रदान करते हैं। इन्हें इंटरनेट से भारी मात्रा में डेटा पर प्रशिक्षित किया जाता है, लेकिन उन्हें उन सवालों के जवाब देने के लिए नई जानकारी भी ढूँढने की आवश्यकता होती है जिन्हें वे अभी तक नहीं जानते। समस्या यह है कि इंटरनेट एक शोर भरी जगह है। यह विश्वसनीय समाचार साइटों से भरा है, लेकिन यह फर्जी खबरों, अफवाहों और लोकप्रिय लेकिन गलत विचारों से भी भरा है। यदि एक कंप्यूटर प्रोग्राम यह अंतर नहीं कर सकता कि एक भरोसेमंद स्रोत और एक लोकप्रिय झूठे व्यक्ति के बीच क्या अंतर है, या यदि वह एक मददगार सुराग और एक भ्रामक सुराग के बीच अंतर नहीं कर सकता, तो वह लाखों लोगों में गलत जानकारी फैलाना शुरू कर सकता है। यह शोध पत्र इस बात की गहराई से जांच करता है कि क्या ये डिजिटल जासूस वास्तव में शोर से सच को अलग करने में सक्षम हैं।
शोधकर्ताओं ने, जो मिशिगन विश्वविद्यालय की एक टीम है, इस कौशल का परीक्षण करने का एक नया तरीका बनाया, जिसे वे "सूचना विवेक" (information discernment) कहते हैं। उन्होंने 13 अलग-अलग एआई मॉडलों और लगभग 6,70,000 परीक्षणों को शामिल करते हुए एक विशाल प्रयोग तैयार किया। उन्होंने मॉडलों से ज्ञात उत्तरों वाले प्रश्न पूछे, उन्हें एक "प्रायर" विश्वास दिया (जो मॉडल का पहले का विचार था), और फिर उन्हें एक विशिष्ट स्रोत से एक नया दावा दिया। कभी-कभी स्रोत अत्यधिक विश्वसनीय था, तो कभी एक हाशिए की वेबसाइट थी। कभी-कभी नया दावा सच्चाई के करीब था, और कभी यह पूरी तरह से गलत था। वे देखना चाहते थे कि क्या मॉडल अपने उत्तरों को अच्छे स्रोतों और सहायक दावों के लिए अधिक अपडेट करेंगे।
परिणाम थोड़े चौंकाने वाले थे। पेपर में पाया गया कि, कुल मिलाकर, ये एआई मॉडल इस तरह के विवेक में बहुत खराब हैं। जब यह तय करने की बात आती है कि किन स्रोतों पर भरोसा किया जाए, तो वे रैंडम अनुमान लगाने से थोड़ा ही बेहतर प्रदर्शन करते हैं। वास्तव में, मॉडल किसी स्रोत को केवल इसलिए सुनने के लिए दोगुना अधिक इच्छुक थे क्योंकि वह लोकप्रिय था (जैसे कि बहुत अधिक विज़िटर्स वाली वेबसाइट) बजाय इसके कि वह विश्वसनीय (जैसे कि तथ्य-जांच किया गया समाचार आउटलेट) हो। यह ऐसा है जैसे जासूस पुलिस अधिकारी को अनदेखा कर देता है और उस व्यक्ति की बात सुनता है जिसके पास सबसे बड़ा मेगाफोन है। इसके अलावा, मॉडलों को इससे कोई फर्क नहीं पड़ता था कि नई जानकारी उन्हें सच्चाई के करीब ले जाती है या उनसे दूर धकेलती है; उन्होंने दोनों मामलों में लगभग समान रूप से अपने विश्वासों को अपडेट किया।
टीम ने यह भी जांचा कि क्या मॉडलों को बड़ा या नया बनाने से यह ठीक हो जाएगा। उन्होंने पाया कि नए और बड़े मॉडल दावों में सच्चाई को पहचानने में थोड़े बेहतर हुए, लेकिन वे अभी भी विश्वसनीय और अविश्वसनीय स्रोतों के बीच अंतर करना नहीं सीख सके। यह सुझाव देता है कि केवल एआई को "स्मार्टर" बनाना या इसे लंबे समय तक प्रशिक्षित करना इसे स्वचालित रूप से यह नहीं सिखाता कि जानकारी कहाँ से आ रही है, इसके बारे में एक आलोचनात्मक विचारक कैसे बना जाए। हालाँकि, एक सकारात्मक पहलू भी था: शोधकर्ताओं ने पाया कि सरल तरकीबें, जैसे कि मॉडल को उत्तर देने से पहले स्रोत की विश्वसनीयता को रेट करने के लिए कहना, इसके प्रदर्शन में काफी सुधार कर सकती हैं।
यह सुनिश्चित करने के लिए कि यह केवल एक कंप्यूटर विज्ञान की समस्या नहीं थी, शोधकर्ताओं ने 299 वास्तविक मानव उपयोगकर्ताओं से भी पूछा कि वे क्या सोचते हैं। उन्होंने पाया कि लोग इन कौशलों की पूरी तरह से परवाह करते हैं। जब उपयोगकर्ताओं को बताया गया कि एक चैटबॉट ने विश्वसनीय स्रोतों को अनदेखा कर दिया या अपना विचार बदल दिया जब वह पहले से ही सही था, तो उन्होंने कहा कि वे बॉट पर कम भरोसा करेंगे और इसका उपयोग कम करेंगे। यह पुष्टि करता है कि सूचना को पहचानने की क्षमता केवल एक तकनीकी मीट्रिक नहीं है; यह ऐसे एआई बनाने के लिए एक मुख्य आवश्यकता है जिस पर लोग वास्तव में भरोसा कर सकें।
संक्षेप में, यह पेपर प्रकट करता है कि जबकि हमारे वर्तमान एआई मॉडल जानकारी प्राप्त करने में बेहतरीन हैं, वे वर्तमान में जानकारी की गुणवत्ता का निर्णय लेने में काफी अंधे हैं। वे सच्चाई के बजाय लोकप्रियता का अनुसरण करते हैं और अपने विश्वासों को सही ढंग से अपडेट करने में संघर्ष करते हैं। लेकिन अच्छी खबर यह है कि कुछ सरल निर्देशों के साथ, हम उन्हें रोशनी देखने में थोड़ा बेहतर मदद कर सकते हैं, जिससे वे सभी के लिए सुरक्षित और अधिक उपयोगी उपकरण बन सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।