Opaque Epistemic Mediation: How LLM Deployment Configurations Shape the Validation of Pseudo-Science
यह शोध पत्र प्रदर्शित करता है कि वाणिज्यिक लार्ज लैंग्वेज मॉडल्स छद्म-वैज्ञानिक दावों के प्रति अस्थिर और अपारदर्शी ज्ञानमीमांसीय दृष्टिकोण प्रदर्शित करते हैं, जहाँ सत्यापन परिणाम मॉडलों के अपने अंतर्निहित गुणों के बजाय परिनियोजन विन्यास (डिप्लॉयमेंट कॉन्फ़िगरेशन), इंटरफ़ेस प्रकारों और मौन अपडेट पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हलचल भरे पुस्तकालय में टहल रहे हैं जहाँ किताबें अदृश्य, अत्यंत बुद्धिमान पुस्तकालयाध्यक्षों द्वारा लिखी गई हैं। ये सामान्य पुस्तकालयाध्यक्ष नहीं हैं; ये आर्टिफिशियल इंटेलिजेंस (AI) चैटबॉट्स हैं, जिन्हें लगभग उस सब पर प्रशिक्षित किया गया है जो मनुष्यों ने कभी लिखा है। वे हमारे उत्तरों के लिए मुख्य स्रोत बनते जा रहे हैं, चाहे वह "केक कैसे बनाएं" से लेकर "क्या यह वैज्ञानिक सिद्धांत सत्य है?" तक हो। लेकिन यहाँ एक पेंच है: हमें ठीक से पता नहीं है कि ये पुस्तकालयाध्यक्ष यह कैसे तय करते हैं कि क्या तथ्य है और क्या कल्पना। उनके पास किसी इंसान की तरह एक एकल, अपरिवर्तनीय "मस्तिष्क" नहीं है; इसके बजाय, वे एक जटिल मशीन की तरह हैं जिसमें कई अलग-अलग सेटिंग्स, फिल्टर और नियम हैं जिन्हें कंपनी बिना किसी को बताए पर्दे के पीछे बदल सकती है। यह अध्ययन इस रहस्य के एक विशिष्ट कोने की जांच करता है: कैसे ये AI पुस्तकालयाध्यक्ष "छद्म-विज्ञान" (pseudo-science) को संभालते हैं—ऐसे विचार जो विज्ञान की तरह दिखते हैं लेकिन वास्तव में मनगढ़ंत या वास्तविक वैज्ञानिकों द्वारा खारिज किए गए होते हैं, जिनका उपयोग अक्सर नस्ल और जातीयता के बारे में राजनीतिक एजेंडे को आगे बढ़ाने के लिए किया जाता है। बड़ा सवाल केवल यह नहीं है कि क्या AI तथ्यों को जानता है (जो कि वह आमतौर पर जानता है), बल्कि यह है कि क्या AI का सेटअप उसके उत्तर को बदल देता है, जिससे वह अनजाने में (या जानबूझकर) खतरनाक बकवास को बढ़ावा देने लगता है।
शोधकर्ताओं ने चार सबसे प्रसिद्ध AI परिवारों: क्लॉड (Claude), ग्रोक (Grok), जीपीटी (GPT) और जेमिनी (Gemini) के साथ "झूठ पकड़ने" का एक खेल खेलने का निर्णय लिया। उन्होंने इन बॉट्स को फ्रैंक साल्टर (Frank Salter) के काम पर आधारित एक विशिष्ट, पेचीदा कथन दिया, जो एक ऐसी हस्ती हैं जिन्हें नस्लीय राष्ट्रवाद के विचारों को बढ़ावा देने के लिए जाना जाता है जिसे मुख्यधारा का जीव विज्ञान खारिज करता है। उस कथन ने वास्तविक वैज्ञानिक अवधारणाओं (जैसे कि जानवर अपने रिश्तेदारों की मदद कैसे करते हैं) को इस तरह से मोड़ने की कोशिश की जिससे यह तर्क दिया जा सके कि विभिन्न जातीय समूह आनुवंशिक रूप से इस तरह भिन्न हैं जो उन्हें अलग करने को उचित ठहराता है। यह सुनिश्चित करने के लिए कि बॉट्स वास्तव में ध्यान दे रहे हैं, शोधकर्ताओं ने उनसे दो आसान नियंत्रण प्रश्न भी पूछे: एक विकासवाद (evolution) के एक बुनियादी तथ्य के बारे में (जिसे सभी को सत्य मानना चाहिए) और एक लैमार्कवाद (Lamarckism) नामक खारिज किए गए विचार के बारे में (जिसे सभी को असत्य मानना चाहिए)।
परिणाम चौंकाने वाले थे और एक छिपी हुई अस्थिर दुनिया का खुलासा करते थे। पहले, AI बॉट्स आसान सवालों के लिए बेहतरीन थे, सही ढंग से वास्तविक विज्ञान और नकली विज्ञान की पहचान कर रहे थे। लेकिन जब बात पेचीदा साल्टर वाले कथन की आई, तो चीजें अजीब हो गईं। अधिकांश बॉट्स ने उस कथन को कम "विश्वसनीयता स्कोर" (100 में से 15 और 40 के बीच) दिया, जो सही ढंग से इसे संदिग्ध विज्ञान के रूप में पहचानता है। हालाँकि, ग्रोक का एक विशिष्ट संस्करण—"फास्ट" (Fast) संस्करण जो X प्लेटफॉर्म पर डिफ़ॉल्ट चैट को संचालित करता है—इसने इसे 70 से 75 का भारी स्कोर दिया। यह अनिवार्य रूप से उपयोगकर्ताओं को कह रहा था, "हे, यह काफी विश्वसनीय लगता है!" यह कोई इत्तेफाक नहीं था; शोधकर्ताओं ने कई महीनों तक इसका परीक्षण किया, और इस विशिष्ट ग्रोक संस्करण ने लगातार उच्च स्कोर दिया, जबकि ग्रोक के अन्य संस्करणों और अन्य सभी AI मॉडलों ने निम्न स्कोर दिए।
इससे भी अधिक विचित्र बात यह थी कि शोधकर्ताओं ने पाया कि AI का व्यवहार बिना किसी को कुछ कहे रातों-रात बदल सकता है। एक स्नैपशॉट में, वेबसाइट पर ग्रोक चैट अराजक व्यवहार कर रहा था, यादृच्छिक स्कोर दे रहा था। दो सप्ताह बाद, एक "साइलेंट पैच" (एक गुप्त अपडेट जिसका कोई सार्वजनिक घोषणा नहीं की गई थी) के बाद, वही ग्रोक चैट अचानक 70-75 का उच्च स्कोर देते हुए स्थिर हो गया। ऐसा लग रहा था जैसे किसी पुस्तकालयाध्यक्ष ने अचानक एक नकली किताब को क्लासिक के रूप में सुझाना शुरू कर दिया हो, और किसी ने भी ग्राहकों को क्यों नहीं बताया।
मामला तब और गहरा हो गया जब उन्होंने "बैकस्टेज" संस्करण (जो डेवलपर्स द्वारा API के माध्यम से उपयोग किया जाता है) की तुलना "फ्रंटस्टेज" संस्करण (जो नियमित उपयोगकर्ता वेबसाइट पर देखते हैं) से की। एक ही ग्रोक मॉडल के लिए, बैकस्टेज संस्करण ने स्थिर 75 स्कोर दिया, लेकिन तीन महीने बाद, फ्रंटस्टेज संस्करण ढह गया, और शून्य के करीब स्कोर देने लगा। यह बिल्कुल वैसा ही था जैसे वही पुस्तकालयाध्यक्ष एक निजी बैठक में आपको एक शानदार समीक्षा दे रहा हो लेकिन जब आप लॉबी में उससे उस किताब के बारे में पूछते हैं तो वह बात करने से इनकार कर देता है। शोधकर्ताओं ने यह भी पाया कि कुछ मॉडल, जैसे कि क्लॉड का एक संस्करण, कभी-कभी प्रश्न का उत्तर देने से पूरी तरह इनकार कर देते थे, यह कहते हुए, "मैं इसे रेट नहीं कर सकता क्योंकि यह हानिकारक विचारों पर आधारित है।" लेकिन यहाँ तक कि यह "अच्छा" व्यवहार भी अस्थिर था; सॉफ्टवेयर के अगले संस्करण में, यह इनकार गायब हो गया, और बॉट ने कम स्कोर देना शुरू कर दिया।
मुख्य निष्कर्ष यह है कि AI की राय एक रोबोट के मस्तिष्क के भीतर एक स्थिर सत्य नहीं है। इसके बजाय, यह अदृश्य सेटिंग्स, छिपे हुए अपडेट और इस बात से आकार लेती है कि आप प्रश्न पूछने के लिए किस "दरवाजे" से अंदर आते हैं। अध्ययन बताता है कि जब कोई AI छद्म-विज्ञान को उच्च स्कोर देता है, तो यह जरूरी नहीं कि इसलिए हो क्योंकि AI उस पर "विश्वास" करता है, बल्कि इसलिए है क्योंकि कंपनी ने इसे कैसे तैनात किया है। यह एक समस्या है क्योंकि ये सिस्टम हमारे शिक्षक और समाचार स्रोत बन रहे हैं, फिर भी वे नियम जो यह तय करते हैं कि वे क्या कहें, अपारदर्शी, चुपचाप बदलने वाले और कभी-कभी विरोधाभासी हैं। शोधकर्ता तर्क देते हैं कि हमें इन कंपनियों को जवाबदेह ठहराने के लिए नए तरीकों की आवश्यकता है, क्योंकि अभी, एक AI जो आपको "सत्य" बताता है, वह केवल पर्दे के पीछे एक छिपे हुए स्विच को घुमाने का प्रतिबिंब हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।