Epistemic Familiarity is Associated With Belief Stability in Large Language Models
यह शोध पत्र P-StaT ढांचे को प्रस्तुत करता है जो यह प्रदर्शित करता है कि बड़े भाषा मॉडल अपरिचित कृत्रिम कथनों की तुलना में परिचित काल्पनिक कथनों को संसाधित करते समय अधिक विश्वास स्थिरता प्रदर्शित करते हैं, जिससे यह प्रकट होता है कि ज्ञान संबंधी परिचितता (epistemic familiarity) अर्थ संबंधी-प्रेरित विश्वास अस्थिरता को कम करने में एक प्रमुख कारक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को यह सिखा रहे हैं कि एक तथ्य (fact), एक झूठ (lie) और एक मनगढ़ंत कहानी (made-up story) के बीच अंतर कैसे किया जाए। आप सोच सकते हैं कि एक बार जब रोबोट "सत्य" के नियमों को सीख लेता है, तो वह उन्हें बिना किसी सवाल के लागू करेगा। लेकिन लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया में—जो चैटबॉट्स और सर्च टूल्स के पीछे के शक्तिशाली AI दिमाग हैं—चीजें थोड़ी अस्थिर हैं। ये मॉडल उन विशाल पुस्तकालयों की तरह हैं जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है, लेकिन वे चीजों को उस तरह से "जानते" नहीं हैं जैसे इंसान जानते हैं; वे केवल पैटर्न के आधार पर यह अनुमान लगाते हैं कि अगले शब्द क्या होने चाहिए। वैज्ञानिकों के लिए एक प्रमुख प्रश्न यह है कि यदि संदर्भ या प्रश्न पूछने के तरीके को थोड़ा बदल दिया जाए, तो क्या तथ्य पर रोबंतु का विश्वास स्थिर रहता है, या वह डगमगा जाता है और ढह जाता है? यह "एपिस्टेमिक स्टेबिलिटी" (epistemic stability) का अध्ययन है। यदि एक रोबोट आज एक शहर के अस्तित्व में होने पर विश्वास करता है, लेकिन केवल इसलिए अपना मन बदल लेता है क्योंकि आपने पास में ही एक काल्पनिक कहानी का जिक्र किया, तो यह एक समस्या है। हमें इसकी परवाह है क्योंकि ये मॉडल जानकारी देने के लिए तेजी से उपयोग किए जा रहे हैं, और हमें यह जानने की जरूरत है कि क्या उनके विश्वास चट्टान की तरह मजबूत हैं या वे थोड़ी सी उलझन से आसानी से हिल जाते हैं।
यहाँ सामंथा डाइज़ और उनकी टीम का एक नया अध्ययन है, जिन्होंने यह देखने के लिए रोबोट की दुनिया को हिलाकर रख दिया कि इसमें से क्या बाहर निकलता है। उन्होंने P-StaT नामक एक फ्रेमवर्क बनाया (जिसका अर्थ है Perturbation Stability of Truth)। P-StaT को एक "विश्वास तनाव परीक्षण" (belief stress test) के रूप में समझें। शोधकर्ताओं ने 21 अलग-अलग AI मॉडल्स को लिया और उन्हें निर्णय लेने के लिए कई कथन दिए। कुछ कथन वास्तविक तथ्य थे (जैसे "सूरत भारत में है"), कुछ स्पष्ट झूठ थे, और पेचीदा हिस्सा "न ही" (Neither) वाले कथन थे—ऐसे दावे जो वास्तविक दुनिया में न तो सत्य हैं और न ही असत्य।
टीम ने इन "न ही" वाले कथनों को दो समूहों में विभाजित किया। पहला समूह था फमिलियर फिक्शनल (Familiar Fictional) कथन। ये ऐसी मनगढ़ंत चीजें हैं जो किसी कहानी की किताब या फिल्म जैसी लगती हैं, जैसे "बिकिनी बॉटम प्रशांत महासागर में है।" भले ही बिकिनी बॉटम वास्तविक नहीं है, लेकिन AI ने संभवतः इसे अपने प्रशिक्षण डेटा में देखा होगा क्योंकि यह एक लोकप्रिय कार्टून है। दूसरा समूह था अनफमिलियर सिंथेटिक (Unfamiliar Synthetic) कथन। ये शब्दों के पूरी तरह से नए, अजीब संयोजन हैं जिन्हें AI ने पहले कभी नहीं देखा होगा, जैसे "शहर यूस्टापोर ओकलानियन में है।" इन्हें पूरी तरह से अजनबी बनाने के लिए डिज़ाइन किया गया है।
शोधकर्ताओं ने "क्या होगा अगर" का खेल खेला। उन्होंने AI से कहा, "ठीक है, मान लो कि ये मनगढ़ंत चीजें वास्तव में सच हैं," और फिर देखा कि क्या AI अचानक अपने वास्तविक तथ्यों पर संदेह करने लगता है। यह ऐसा है जैसे किसी व्यक्ति से कहना, "कल्पना करो कि ड्रैगन असली हैं," और फिर उससे पूछना, "तो, क्या आसमान नीला है?" यदि वह व्यक्ति अचानक कहता है, "मुझे यकीन नहीं है, शायद ड्रैगन की वजह से आसमान हरा है," तो उसका विश्वास तंत्र अस्थिर है।
परिणाम दिलचस्प थे। जब AI को अनफमिलियर सिंथेटिक कथनों (पूरी तरह से नए, अजीब वाले) के संपर्क में लाया गया, तो वह बहुत डगमगा गया। व्यवहारिक परीक्षणों में (जहाँ AI बस बातचीत कर रहा था), मॉडल्स ने वास्तविक तथ्यों के बारे में अपने विश्वास को 50% से अधिक बार वापस ले लिया। यह एक सिक्के के उछाल जैसा है! यदि आप एक सिक्के को 100 बार उछालते हैं, तो आप लगभग 50 हेड की उम्मीद करते हैं; यहाँ, AI ने केवल कुछ नया होने के कारण वास्तविक तथ्यों पर अपने विश्वास को अक्सर खो दिया।
हालाँकि, जब AI को फमिलियर फिक्शनल कथनों (कार्टून शहर और फिल्मी राक्षस) के संपर्क में लाया गया, तो वह बहुत शांत रहा। वह जानता था कि बिकिनी बॉटम एक कार्टून है, इसलिए उसने उस विचार को अपने वास्तविक शहरों के ज्ञान को खराब नहीं करने दिया। अध्ययन बताता है कि AI की अस्थिरता केवल शब्दों के अजीब होने के बारे में नहीं है; यह इस बारे में है कि संदर्भ कितना अपरिचित महसूस होता है। मॉडल्स के पास उन चीजों का एक "कम्फर्ट ज़ोन" होता है जिन्हें उन्होंने पहले देखा है, और जब आप उन्हें अज्ञात की ओर धकेलते हैं, तो सत्य पर उनकी पकड़ ढीली हो जाती है।
शोधकर्ताओं ने यह भी देखा कि जब AI भ्रमित होता है, तो वह किस प्रकार के तथ्यों को छोड़ने की सबसे अधिक संभावना रखता है। उन्होंने पाया कि AI केवल यादृच्छिक रूप से चीजें नहीं भूलता। यह उन चीजों के बारे में विश्वास छोड़ने की प्रवृत्ति रखता है जो पहले से ही थोड़े धुंधले थे—जैसे तकनीकी चिकित्सा शब्द, अस्पष्ट भूगोल, या ऐसे कथन जिनमें थोड़ा विरोधाभास था। यह ऐसा है जैसे AI का विश्वास तंत्र ताश के पत्तों का घर है: जब आप परिचित कल्पना की हल्की हवा चलाते हैं, तो घर खड़ा रहता है। लेकिन जब आप अपरिचित बकवास का तूफान चलाते हैं, तो जो पत्ते पहले से ही थोड़े डगमगा रहे थे (ट्रिकी, तकनीकी वाले), वे सबसे पहले गिर जाते हैं।
संक्षेप में, यह पेपर सुझाव देता है कि एपिस्टेमिक फमिलियारिटी (epistemic familiarity)—एक AI किसी विषय को कितनी अच्छी तरह जानता है—यह एक बड़ा कारक है कि उसके विश्वास कितने स्थिर हैं। यदि किसी AI को उन चीजों के बारे में तर्क करने के लिए कहा जाता है जिन्हें उसने पहले कभी नहीं देखा है, तो वह वास्तव में जो वह जानता है उसके बारे में भ्रमित होने या अपना मन बदलने की बहुत अधिक संभावना रखता है। लेखक यह नहीं कह रहे हैं कि AI टूटा हुआ है, बल्कि वे हमें दिखा रहे हैं कि "स्थिरता" (stability) सटीकता के सामान्य परीक्षणों के साथ-साथ विश्वसनीयता को मापने का एक नया तरीका है। यह पता चला कि, इन डिजिटल दिमागों के लिए, खेल के नियमों को जानना खेल के तथ्यों को जानने जितना ही महत्वपूर्ण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।