← नवीनतम पेपर
💻 computer science

From Hallucination to Reliability: Generative Modeling and the Structure of Scientific Inference

यह शोध पत्र तर्क देता है कि मतिभ्रम (hallucination) के अंतर्निहित जोखिम के बावजूद, जनरेटिव एआई विश्वसनीय वैज्ञानिक ज्ञान उत्पन्न कर सकता है जब इसे उन वर्कफ्लो में एकीकृत किया जाता है जो त्रुटिपूर्ण आउटपुट को फ़िल्टर करने के लिए पूर्व-मौजूद डोमेन ज्ञान का लाभ उठाते हैं, जिससे स्वयं वर्कफ्लो को ज्ञानमीमांसीय मूल्यांकन (epistemic evaluation) की प्राथमिक इकाई के रूप में स्थापित किया जा सके।

मूल लेखक: Charles Rathkopf

प्रकाशित 2026-08-27
📖 10 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Charles Rathkopf

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

विज्ञान लंबे समय से एक सरल, सुखद विचार पर निर्भर रहा है: यदि आप दुनिया का एक मॉडल बनाते हैं, तो आप उस पर भरोसा कर सकते हैं कि वह आपको सत्य बताएगा, बशर्ते आप उसमें सही डेटा डालें। लेकिन आर्टिफिशियल इंटेलिजेंस की एक नई पीढ़ी नियमों को बदल रही है। ये पुराने प्रकार के कंप्यूटर नहीं हैं जो केवल जानकारी को व्यवस्थित श्रेणियों में छाँटते हैं; ये जेनेरेटिव मॉडल हैं, ऐसे सिस्टम जिन्हें शून्य से पूरी तरह से नए, जटिल डेटा बनाने के लिए डिज़ाइन किया गया है। वे भविष्यवाणी कर सकते हैं कि एक प्रोटीन तीन-आयामी आकार में कैसे मुड़ेगा या पूरे विश्व में मौसम का पूर्वानुमान लगा सकते हैं। समस्या यह है कि इन रचनात्मक मशीनों का एक काला पक्ष भी है। वे "हलुसिनेशन" (hallucinations) के प्रति संवेदनशील हैं, यह शब्द मानव मनोविज्ञान से लिया गया है जो तब उपयोग किया जाता है जब एआई ऐसी विश्वसनीय दिखने वाली विवरणों की रचना करता है जो वास्तव में अस्तित्व में ही नहीं होते। एक मेडिकल स्कैन में, यह एक स्वस्थ हड्डी में फ्रैक्चर जैसा दिख सकता है; एक प्रोटीन मॉडल में, यह एक ठोस संरचना हो सकती है जहाँ प्रकृति ने एक अराजक, अव्यवस्थित ढेर छोड़ा है। दशकों से, वैज्ञानिक इस बात से चिंतित थे कि ये त्रुटियाँ घातक दोष हैं, जो इस तकनीक को गंभीर खोज के लिए बहुत खतरनाक बनाती हैं। यदि मशीन चीजें बना रही है, तो हम कभी कैसे जान पाएंगे कि क्या वास्तविक है?

जूलिच रिसर्च सेंटर के एक शोधकर्ता चार्ल्स रथकोफ का एक नया शोध पत्र तर्क देता है कि हम समस्या को गलत तरीके से देख रहे थे। यह डर कि हलुसिनेशन जेनेरेटिव एआई को अविश्वसनीय बनाते हैं, इस गलतफहमी पर आधारित है कि विज्ञान वास्तव में कैसे काम करता है। रथकोफ का सुझाव है कि हमें एआई मॉडल को अलग से आंकना बंद कर देना चाहिए और पूरे वैज्ञानिक प्रक्रिया, या "वर्कफ़्लो" (workflow) को आंकना शुरू करना चाहिए जिसमें मॉडल अंतर्निहित है। शोध पत्र प्रस्तावित करता है कि भले ही एआई काल्पनिक विवरण बनाना जारी रखे, वैज्ञानिक इसके चारों ओर एक सुरक्षा जाल बना सकते हैं। प्राकृतिक दुनिया के अपने गहरे, पूर्व-मौजूद ज्ञान का उपयोग करके, शोधकर्ता झूठ को फ़िल्टर कर सकते हैं और सत्यों को रख सकते हैं। परिणाम यह है कि अंतिम वैज्ञानिक निष्कर्ष विश्वसनीय हो सकता है, भले ही उसे तक पहुँचने के लिए इस्तेमाल किया गया उपकरण त्रुटिपूर्ण हो।

यह समझने के लिए कि यह क्यों मायने रखता है, व्यक्ति को पहले यह समझना होगा कि ये एआई मॉडल क्या कर रहे हैं। पारंपरिक सॉफ़्टवेयर के विपरीत जो सख्त, पूर्व-लिखित नियमों का पालन करता है, जेनेरेटिव एआई मौजूदा डेटा की विशाल मात्रा का अध्ययन करके और फिर यह अनुमान लगाकर सीखता है कि आगे क्या आएगा। यह एक ऐसे छात्र की तरह है जिसने पुस्तकालय की हर किताब पढ़ ली है और अब उसे एक नई कहानी लिखने के लिए कहा गया है। छात्र कुछ सुंदर और नया लिख सकता है, लेकिन वह एक ऐसा पात्र भी बना सकता है जो कभी अस्तित्व में नहीं था या एक ऐसा कथानक जो भौतिकी के नियमों का उल्लंघन करता हो। विज्ञान की दुनिया में, यह "आविष्कार" ही हलुसिनेशन है। शोध पत्र बताता है कि ये त्रुटियाँ केवल यादृच्छिक गलतियाँ नहीं हैं; वे अपरिहार्य हैं। क्योंकि एआई जटिल, उच्च-आयामी संरचनाओं को बनाने की कोशिश कर रहा है—जैसे प्रोटीन का जटिल फोल्डिंग या तूफान के घूमते पैटर्न—उसे उन अंतरालों को भरना पड़ता है जहाँ डेटा कम है। ऐसा करते हुए, वह कभी-कभी एक ऐसी संरचना बना देता है जो सतह पर तो पूर्ण दिखती है लेकिन भीतर से मौलिक रूप रूप से गलत होती है। लेखक का तर्क है कि हम केवल एआई को अधिक कठिन प्रशिक्षण नहीं दे सकते या मॉडल का बेहतर संस्करण नहीं बना सकते ताकि इसे रोका जा सके। वही तंत्र जो एआई को रचनात्मक और उपयोगी बनाता है, वही तंत्र उसे हलुसिनेट करने के लिए मजबूर करता है।

शोध पत्र एक सामान्य धारणा को चुनौती देता है: कि हललुसिनेशन केवल एक ऐसा डेटा है जो एआई के प्रशिक्षण डेटा से अलग दिखता है। यदि ऐसा होता, तो वैज्ञानिक अपने प्रशिक्षण डेटा से मेल न खाने वाले किसी भी आउटपुट को बस फेंक सकते थे। लेकिन रथकोफ का तर्क है कि यह एक जाल है। विज्ञान में, लक्ष्य वह दोहराना नहीं है जो हम पहले से जानते हैं; बल्कि वह खोजना है जिसे हम नहीं जानते। यदि एक वैज्ञानिक किसी अजीब नए परिणाम को केवल इसलिए फेंक देता है क्योंकि वह अतीत से अलग दिखता है, तो वह अनजाने में एक वास्तविक खोज को भी फेंक सकता है। इसके बजाय, शोध पत्र हलुसिनेशन को अधिक सटीक रूप से परिभाषित करता है: यह एक ऐसा आउटपुट है जो उस वास्तविक वस्तु का गलत प्रतिनिधित्व करता है जिसका वर्णन उसे करना चाहिए, और यह दुर्घटना से करता है, योजनाबद्ध तरीके से नहीं। यह एक ऐसी गलती है जो मशीन स्वयं करती है, न कि कोई चाल जो उसे सिखाई गई हो।

लेखक फिर दो वास्तविक दुनिया के उदाहरणों की ओर मुड़ता है यह दिखाने के लिए कि वैज्ञानिक एआई को ठीक किए बिना ही इस समस्या को कैसे हल कर रहे हैं। पहला मामला अल्फाफोल्ड (AlphaFold) का है, जो गूगल डीपमाइंड द्वारा विकसित एक प्रसिद्ध एआई सिस्टम है जो प्रोटीन के 3D आकारों की भविष्यवाणी करता है। प्रोटीन जीवन के कार्यवाहक हैं, और उनके आकार निर्धारित करते हैं कि वे क्या करते हैं। अल्फाफोल्ड 3, नवीनतम संस्करण, एक जेनेरेटिव दृष्टिकोण का उपयोग करता है जो इसे नई संरचनाओं को आविष्कार करने की अनुमति देता है। डेवलपर्स जानते थे कि इससे हलुसिनेशन होगा। वास्तव में, सिस्टम कभी-कभी प्रोटीन के एक हिस्से के लिए एक ठोस, सघन आकार बना देता है जो वास्तव में ढीला और अव्यवस्थित होना चाहिए। यदि कोई वैज्ञानिक उस आउटपुट को सीधे सच मान लेता, तो वह गुमराह हो जाता। हालाँकि, टीम ने एआई के चारों ओर एक "वर्कफ़्लो" बनाया ताकि इन त्रुटियों को पकड़ा जा सके। उन्होंने विश्लेषण की एक दूसरी परत जोड़ी जो गुणवत्ता नियंत्रण निरीक्षक की तरह कार्य करती है। यह सिस्टम एआई के आउटपुट को देखता है और इसकी जाँच रसायन विज्ञान और भौतिकी के ज्ञात नियमों के विरुद्ध करता है। उदाहरण के लिए, इसे पता है कि प्रोटीन का अव्यवस्थित हिस्सा आसपास के पानी के संपर्क में होना चाहिए, जबकि ठोस हिस्से अंदर दबे होने चाहिए। यदि एआई एक अव्यवस्थित हिस्से के लिए ठोस आकार बनाता है, तो वर्कफ़्लो इसे संदिग्ध के रूप में चिह्नित करता है। सिस्टम प्रत्येक अनुमानित आकार के प्रत्येक भाग को एक 'कॉन्फिडेंस स्कोर' (confidence score) भी देता है, जिससे वैज्ञानिक को पता चलता है कि कौन से हिस्से विश्वसनीय हैं और कौन से संभावित रूप से हलुसिनेशन हैं। एआई अभी भी गलतियाँ करता है, लेकिन वर्कफ़्लो यह सुनिश्चित करता है कि वे गलतियाँ अंतिम निष्कर्ष तक कभी न पहुँचें।

दूसरा उदाहरण मौसम विज्ञान से आता है, विशेष रूप से एक सिस्टम जिसे मौसम के पूर्वानुमान के लिए उपयोग किया जाने वाला SEEDS कहा जाता है। मौसम अराजक होता है; शुरुआती स्थितियों में मामूली बदलाव भी बहुत अलग परिणामों की ओर ले जा सकते हैं। इसे संभालने के लिए, पूर्वानुमानकर्ता "एन्सेम्बल्स" (ensembles) का उपयोग करते हैं, जिसका अर्थ है संभावित भविष्य की एक श्रृंखला प्राप्त करने के लिए एक ही मॉडल को कई बार चलाना। SEEDS इन कई संभावित भविष्यों को तेजी से बनाने के लिए जेनेरेटिव एआई का उपयोग करता है। शोध पत्र नोट करता है कि इस एआई से व्यक्तिगत पूर्वानुमान भौतिक रूप से असंभव हो सकते हैं, जैसे कि एक मौसम मानचित्र जहाँ वायु दबाव और तापमान भौतिकी के नियमों का खंडन करते हैं। ये हलुसिनेशन हैं। फिर भी, सिस्टम विश्वसनीय बना हुआ है। कैसे? क्योंकि वैज्ञानिक एक एकल पूर्वानुमान को अलग से नहीं देखते हैं। वे 512 पूर्वानुमानों के पूरे समूह को एक साथ देखते हैं। यदि एक पूर्वानुमान एक हलुसिनेशन है, तो वह एक बड़े समूह में केवल एक आवाज है। जब तक हलुसिनेशन दुर्लभ हैं और सभी एक जैसे नहीं हैं, वे तब तक बाहर निकल जाते हैं जब तक वैज्ञानिक बारिश या गर्मी की अंतिम संभावना की गणना नहीं कर लेते। यहाँ वर्कफ़्लो स्वयं एन्सेम्बल है। आउटपुट को एक एकल सत्य के बजाय संभावनाओं के संग्रह के रूप में मानकर, सिस्टम शोर को फ़िल्टर करता है। शोधकर्ता यह जांचने के लिए सांख्यिकीय उपकरणों का भी उपयोग करते हैं कि क्या पूर्वानुमानों का समूह, एक समूह के रूप में, वास्तविकता से मेल खाता है, जिससे यह सुनिश्चित होता है कि अंतिम संभाव्यता संख्याएँ भरोसेमंद हैं।

शोध पत्र का मुख्य निष्कर्ष यह है कि विश्वसनीयता के लिए एआई का पूर्ण होना आवश्यक नहीं है। इसके लिए एआई के आसपास की मानवीय प्रक्रिया का स्मार्ट होना आवश्यक है। रथकोफ का तर्क है कि हमें "हलुसिनेशन-मुक्त" एआई बनाने का प्रयास करना बंद कर देना चाहिए, जो कि एक असंभव लक्ष्य हो सकता है, और "हलुसिनेशन-प्रतिरोधी" (hallucination-resistant) वर्कफ़्लो बनाना शुरू करना चाहिए। यह ध्यान को मशीन से हटाकर पद्धति (मेथड) पर केंद्रित करता है। मशीन एक ब्लैक बॉक्स, विचारों का एक रहस्यमय जनरेटर हो सकती है, जब तक कि उसके आसपास के वैज्ञानिकों के पास उन विचारों का परीक्षण करने का ज्ञान हो। शोध पत्र सुझाव देता है कि विज्ञान हमेशा से इसी तरह काम करता आया है: हम ऐसे उपकरणों का उपयोग करते हैं जो त्रुटिपूर्ण हैं, लेकिन हम उन्हें जाँच और संतुलन (checks and balances) से घेरते हैं। एआई कच्चा माल प्रदान करता है, और वैज्ञानिक निर्णय प्रदान करता है।

यह दृष्टिकोण विज्ञान में एआई की भूमिका के बारे में हमारी सोच को भी बदल देता है। कुछ आलोचक तर्क देते हैं कि एआई केवल नए विचार खोजने (डिस्कवरी) के लिए अच्छा है, लेकिन उन्हें सच साबित करने (जस्टिफिकेशन) के लिए नहीं। वे कहते हैं कि हमें एआई पर तभी भरोसा करना चाहिए जब हम प्रयोगशाला में उसके भविष्यवाणियों का परीक्षण कर सकें। रथकोफ सहमत हैं कि परीक्षण महत्वपूर्ण है, लेकिन वे जोड़ते हैं कि वर्कफ़्लो स्वयं प्रमाण का हिस्सा है। आउटपुट को फ़िल्टर करना, रैंक करना और योग्य बनाना, औचित्य (justification) का एक रूप है। यह केवल यह देखने के बारे में नहीं है कि एआई सही है या नहीं; यह एक ऐसा सिस्टम बनाने के बारे में है जो यह सुनिश्चित करे कि प्रयोग चलाने से पहले ही एआई सही है। शोध पत्र सुझाव देता है कि जब तक हमारे पास उस प्रणाली के बारे में पर्याप्त पृष्ठभूमि ज्ञान है जिसका हम अध्ययन कर रहे हैं—चाहे वह प्रोटीन हो या तूफान का मोर्चा—हम इन सुरक्षा जालों का निर्माण कर सकते हैं।

शोध पत्र एक गंभीर लेकिन आशावादी नोट के साथ समाप्त होता है। इन विश्वसनीय वर्कफ़्लो को बनाने की क्षमता उस लक्षित प्रणाली की गहरी समझ होने पर निर्भर करती है। यदि वैज्ञानिक ऐसी चीज़ का मॉडल बनाने की कोशिश कर रहे हैं जिसके बारे में वे बहुत कम जानते हैं, तो वे झूठ को पकड़ने के लिए आवश्यक फिल्टर नहीं बना सकते। उन सीमावर्ती क्षेत्रों में, जोखिम बना रहता है। लेकिन उन कई क्षेत्रों के लिए जहाँ हमारे पास पहले से ही नियमों की ठोस पकड़ है—जैसे प्रोटीन फोल्डिंग या मौसम गतिशीलता—जेनेरेटिव एआई एक शक्तिशाली साथी हो सकता है। मशीन हलुसिनेट करना जारी रखेगी, ठीक वैसे ही जैसे एक मानव कलाकार पेंटिंग करते समय गलती कर सकता है। लेकिन जब तक वैज्ञानिक को पता है कि एक वास्तविक पेंटिंग कैसी दिखती है, वे त्रुटि को पहचान सकते हैं और उत्कृष्ट कृति को सुरक्षित रख सकते हैं। शोध पत्र यह दावा नहीं करता है कि एआई की समस्या हल हो गई है या हलुसिनेशन समाप्त हो जाएंगे। यह कुछ अधिक व्यावहारिक दावा करता है: कि हम उनके साथ जीना सीख सकते हैं, उन्हें प्रबंधित कर सकते हैं, और फिर भी मानव ज्ञान की सीमाओं का विस्तार करने के लिए इन शक्तिशाली उपकरणों का उपयोग कर सकते हैं। लेखक का तर्क है कि विज्ञान की विश्वसनीयता कभी भी हमारे उपकरणों की पूर्णता के बारे में नहीं थी, बल्कि उन्हें उपयोग करने की बुद्धिमत्ता के बारे में थी।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →