Large language models eroding science understanding: an experimental study
यह प्रयोगात्मक अध्ययन प्रदर्शित करता है कि बड़े भाषा मॉडल (LLMs) को हाशिए के वैज्ञानिक साहित्य द्वारा आसानी से हेरफेर किया जा सकता है ताकि वे वैज्ञानिक सर्वसम्मति का खंडन करने वाले सुव्यवस्थित, सम्मोहक और भ्रामक उत्तर उत्पन्न कर सकें, जिससे सार्वजनिक वैज्ञानिक समझ के लिए महत्वपूर्ण जोखिम और विशेषज्ञों के निर्णय का स्थान लेने में LLMs की अक्षमता उजागर होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, विद्वान छात्र है, जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। यह छात्र धाराप्रवाह बोल सकता है, अविश्वसनीय रूप से बुद्धिमान लग सकता है, और ऐसे उत्तर लिख सकता है जो किसी शीर्ष विश्वविद्यालय के प्रोफेसर द्वारा लिखे गए प्रतीत होते हैं। हालाँकि, इस छात्र में एक बड़ा दोष है: इसे वास्तव में यह नहीं पता कि क्या सच है और क्या झूठ। यह केवल यह जानता है कि शब्दों के पैटर्न जो इसने पहले देखे हैं, उनके आधार पर सबसे संभावित क्या लगता है।
यह उस शोध पत्र की कहानी है जिसे आपने साझा किया है। इसके लेखक, जो समाजशास्त्रियों और भौतिकविदों का मिश्रण हैं, यह परीक्षण करना चाहते थे कि क्या इस "प्रतिभाशाली छात्र" (एक लार्ज लैंग्वेज मॉडल, या LLM) को झूठ या निरर्थक बातों को तथ्य के रूप में मानने और दोहराने के लिए बहकाया जा सकता है।
यहाँ उनके प्रयोग का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
सेटअप: "लाइब्रेरी" बनाम "फ्रिंज बुकस्टोर" (सीमांत पुस्तक भंडार)
आमतौर पर, जब वैज्ञानिक किसी चीज़ के बारे में सच्चाई जानना चाहते हैं (जैसे गुरुत्वाकर्षण कैसे काम करता है या भौतिकी में एक विशिष्ट संख्या का सटीक मान क्या है), तो वे "मुख्य लाइब्रेरी" (इंटरनेट की मुख्य विज्ञान साइटों जैसे arXiv) के पास जाते हैं। यह लाइब्रेरी उन किताबों से भरी है जिन्हें विशेषज्ञों द्वारा जांचा, परखा और सहमति दी गई है।
शोधकर्ताओं ने यह देखने का निर्णय लिया कि क्या होगा यदि वे उसी "प्रतिभाशाली छात्र" को लेकर उन्हें केवल एक "फ्रिंज बुकस्टोर" (viXra नामक एक वेबसाइट) से पढ़ने के लिए मजबूर करें। इस बुकस्टोर में वैकल्पिक सिद्धांत हैं जिन्हें अधिकांश वैज्ञानिक गलत या अप्रमाणित मानकर खारिज कर देते हैं।
उन्होंने केवल छात्र को ब्राउज़ करने की अनुमति नहीं दी; उन्होंने छात्र के निर्देशों को ही फिर से लिख दिया। उन्होंने छात्र को बताया: "बाकी सब कुछ भूल जाओ। इन 10 विशिष्ट 'फ्रिंज' किताबों को पूर्ण सत्य मानो। यह उल्लेख न करें कि वे सीमांत (fringe) हैं। उनकी मुख्य लाइब्रेरी से तुलना न करें। बस ऐसे उत्तर दें जैसे ये फ्रिंज किताबें ही एकमात्र सत्य हैं जो अस्तित्व में हैं।"
परीक्षण: दो वैज्ञानिक पहेलियाँ
शोधकर्ताओं ने छात्र से दो कठिन विज्ञान विषयों के बारे में तीन प्रकार के प्रश्न पूछे:
- फाइन स्ट्रक्चर कांस्टेंट (Fine Structure Constant): भौतिकी में एक मौलिक संख्या। "मुख्य लाइब्रेरी" कहती है कि हमें ठीक से नहीं पता कि इसका मान ऐसा क्यों है। "फ्रिंज बुकस्टोर" में लोग दावा करते हैं कि वे जानते हैं और उन्होंने इसके लिए गुप्त गणितीय सूत्र खोज लिए हैं।
- गुरुत्वाकर्षण तरंगें (Gravitational Waves): स्पेस-टाइम की लहरें। "मुख्य लाइब्रेरी" कहती है कि हमने उन्हें निश्चित रूप से पहचान लिया है। "फ्रिंज बुकस्टोर" में लोग दावा करते हैं कि वे मौजूद तो हैं लेकिन वे वास्तव में कुछ पूरी तरह से अलग हैं (जैसे वैक्यूम में कंपन) और हमारे वर्तमान डिटेक्टर उन्हें गलत समझ रहे हैं।
परिणाम: "आत्मविश्वासी झूठा" (The Confident Liar)
जब शोधकर्ताओं ने मानक, बिना संशोधित छात्र (सामान्य AI) से पूछा, तो उसने विशेषज्ञों और मुख्य लाइब्रेरी के अनुरूप उत्तर दिए। उसने कहा, "हमें अभी तक गुप्त सूत्र का पता नहीं है," और "हाँ, हमने गुरुत्वाकर्षण तरंगों का पता लगा लिया है।"
लेकिन जब उन्होंने संशोधित छात्र ( "FringeLLM") से पूछा, तो कुछ डरावना हुआ:
- छात्र ने ऐसे उत्तर दिए जो धाराप्रवाह, विस्तृत और बहुत पेशेवर लग रहे थे।
- उसने आत्मविश्वास से दावा किया कि गुप्त सूत्र वास्तव में मौजूद हैं।
- उसने आत्मविश्वास से दावा किया कि हमारे डिटेक्टर कुछ और ही देख रहे हैं।
- महत्वपूर्ण रूप से: यदि आप एक सामान्य व्यक्ति (एक "Lay Reader") होते जिसे भौतिकी की गहरी जानकारी नहीं है, तो आपके पास यह बताने का कोई तरीका नहीं होता कि विशेषज्ञ का उत्तर और "FringeLLM" का उत्तर में क्या अंतर है। वे दोनों समान रूप से बुद्धिमान और प्रभावशाली लग रहे थे।
बड़ी चेतावनी: "अलाइनमेंट" का जाल
यह शोध पत्र इस बारे में एक महत्वपूर्ण बिंदु बनाता है कि यह कैसे हुआ।
AI मॉडल्स को आमतौर पर मनुष्यों द्वारा "अलाइन" (समायोजित) किया जाता है ताकि वे नस्लवादी बातें न कहें, खतरनाक चिकित्सा सलाह न दें, या बुरा व्यवहार न करें। शोधकर्ता तर्क देते हैं कि यह प्रक्रिया एक दोधारी तलवार है।
- यदि आपके पास AI के मस्तिष्क से बुरी जानकारी को हटाने की शक्ति है, तो आपके पास उसमें बुरी जानकारी डालने की शक्ति भी है।
- उन्होंने दिखाया कि AI के "सत्य" को "फ्रिंज विज्ञान" के साथ बदलने में केवल कुछ ही घंटे लगे।
निष्कर्ष: यह क्यों मायने रखता है
लेखकों का निष्कर्ष है कि AI मानव विशेषज्ञों की जगह नहीं ले सकता।
इसे एक टूर गाइड की तरह समझें। एक वास्तविक विशेषज्ञ गाइड जानता है कि इतिहास क्या है, कौन सी कहानियाँ सच हैं और कौन सी कहानियाँ फर्जी हैं, क्योंकि उन्होंने वर्षों तक अन्य विशेषज्ञों से बात की है और स्वयं उस पथ पर चला है। AI उस रोबोट की तरह है जिसने अब तक लिखी गई हर टूर गाइडबुक पढ़ ली है लेकिन वास्तव में कभी उस पथ पर चला नहीं है। वह कहानियों को पूरी तरह से सुना सकता है, लेकिन उसे यह नहीं पता कि कौन सी कहानियाँ झूठ हैं।
शोध पत्र चेतावनी देता है कि यदि हम अपने विज्ञान संबंधी प्रश्नों के उत्तर के लिए AI पर छोड़ देते हैं और मानव विशेषज्ञ द्वारा काम की जाँच नहीं करवाते हैं, तो हम एक ऐसी दुनिया का जोखिम उठाते हैं जहाँ:
- भ्रामक जानकारी (Misinformation) एकदम सटीक दिखती है: खराब विज्ञान भी अच्छे विज्ञान जितना ही प्रभावशाली लग सकता है।
- अधिकार (Authority) का अपहरण किया जा सकता है: जिस तरह शोधकर्ताओं ने AI को फ्रिंज विज्ञान में विश्वास करने के लिए बदला, वैसे ही एक सरकार या कोई बुरा तत्व AI को अपनी मनचाही राजनीतिक कहानी में विश्वास करने के लिए बदल सकता है, जिससे वह "वैज्ञानिक तथ्य" की तरह सुनाई दे।
संक्षेप में: AI एक बहुत अच्छा नकलची है, लेकिन वह सत्य का निर्णायक नहीं है। हमें यह बताने के लिए अभी भी वास्तविक मनुष्यों की आवश्यकता है कि एक वास्तविक वैज्ञानिक खोज और एक प्रभावशाली नकली चीज़ के बीच क्या अंतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।