VaaS is a Multi-Layer Hallucination Reduction Pipeline for AI-Assisted Science: Production Validation and Prospective Benchmarking
यह शोध पत्र VaaS को प्रस्तुत और मान्य करता है, जो एक बहु-स्तरीय, लागत प्रभावी पाइपलाइन है जो पुनरावृत्ति परिशोधन (iterative refinement) और कठोर बेंचमार्किंग के माध्यम से वैज्ञानिक उद्धरण जनरेशन में AI मतिभ्रम (hallucinations) को लगभग शून्य स्तर तक कम करती है, जिससे उत्पादन स्तर पर विश्वसनीय AI-सहायता प्राप्त बायोमेडिकल अनुसंधान सक्षम होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
समस्या: "आत्मविश्वासी झूठा" AI
कल्पना कीजिए कि आपने एक बहुत ही बुद्धिमान, विद्वान छात्र से एक दुर्लभ बीमारी पर शोध पत्र लिखने के लिए कहा है। वे बहुत सुंदर तरीके से लिखते हैं, लेकिन एक समस्या है: वे तथ्यों की जांच करने में बहुत खराब हैं।
यदि उन्हें कोई विशिष्ट विवरण नहीं पता है, तो "मुझे नहीं पता" कहने के बजाय, वे आत्मविश्वास के साथ कुछ भी बना लेते हैं। वे एक फर्जी मेडिकल स्टडी बना सकते हैं, एक ऐसा पेपर उद्धृत (cite) कर सकते हैं जो अस्तित्व में ही नहीं है, या दावा कर सकते हैं कि कोई दवा स्वीकृत हो गई है जबकि वह नहीं हुई थी। विज्ञान की दुनिया में इसे हैलुसिनेशन (hallucination) कहा जाता है। यह उस छात्र की तरह है जो एक बेहतरीन निबंध लिखता है लेकिन एक ऐसी किताब का संदर्भ देता है जो कभी लिखी ही नहीं गई। यदि कोई डॉक्टर या शोधकर्ता इस फर्जी जानकारी का उपयोग करता है, तो वास्तविक लोगों को नुकसान पहुँच सकता है।
वर्तमान AI मॉडल (लार्ज लैंग्वेज मॉडल्स) इसी तरह के होते हैं: वे लिखने में बहुत अच्छे हैं, लेकिन स्मार्ट दिखने के लिए तथ्य गढ़ने के प्रति प्रवृत्त होते हैं।
समाधान: VaaS (वैलिडेशन एज़ अ सिस्टम)
लेखकों ने एक "सुपर-फैक्ट-चेकर" सिस्टम बनाया है जिसे VaaS कहा जाता है। इसे केवल एक छात्र के रूप में नहीं, बल्कि वैज्ञानिक तथ्यों के लिए एक उच्च-सुरक्षा वाली फैक्ट्री असेंबली लाइन के रूप में सोचें।
AI को पूरा रिपोर्ट लिखने देने और बेहतर की उम्मीद करने के बजाय, VaaS काम को ऐसे चरणों में तोड़ देता है जहाँ AI को हर एक स्तर पर अपने काम को साबित करना पड़ता है।
फैक्ट्री असेंबली लाइन (5 परतें)
कल्पना कीजिए कि एक कार बनाने वाली फैक्ट्री है। आप केवल एक व्यक्ति को पूरा इंजन बनाने के लिए नहीं छोड़ देंगे और फिर उम्मीद नहीं करेंगे कि वह काम करेगा। आपके पास हर स्टेशन पर निरीक्षक (inspectors) होते हैं। VaaS भी इसी तरह काम करता है:
- लेयर 1: रिट्रीवल (लाइब्रेरियन)
AI पेपर खोजने के लिए लाइब्रेरी (PubMed) में जाता है। लेकिन यहाँ एक चाल है: AI केवल किताब का शीर्षक याद नहीं रख सकता। उसे शेल्फ तक जाना होगा और किताब को नीचे खींचना होगा। - लेयर 2: "पहला नियम" (अंतरात्मा)
कुछ भी लिखने से पहले, AI को उसके "पहले नियम" की याद दिलाई जाती है: "कभी झूठ मत बोलो।" यह केवल एक सुझाव नहीं है; यह AI के व्यक्तित्व में गहराई से समाहित (hard-coded) है। यदि वह अनिश्चित महसूस करता है, तो उसे यह कहना ही होगा। - लेयर 3: लाइव चेक (ID स्कैनर)
यह सबसे महत्वपूर्ण चरण है। यदि AI कहता है, "मुझे आईडी #12345 वाला एक पेपर मिला है," तो सिस्टम तुरंत ऑनलाइन जाकर चेक करता है कि क्या वह आईडी वास्तव में मौजूद है।- उपमा: यह एक क्लब के बाउंसर की तरह है जो डेटाबेस के विरुद्ध एक असली आईडी की जांच करता है। यदि आईडी फर्जी है, तो AI को एक शब्द भी बोलने से पहले ही बाहर निकाल दिया जाता है।
- लेयर 4: टॉपिक मैच (विषय विशेषज्ञ)
भले ही पेपर मौजूद हो, क्या वह वास्तव में सही जीन के बारे में बात करता है? सिस्टम पेपर के शीर्षक और सारांश (abstract) की जांच करता है।- उपमा: यदि आपने "एप्पल पाई" पर पेपर माँगा और AI ने "एप्पल फार्मिंग" पर पेपर ढूँढ लिया, तो सिस्टम उसे खारिज कर देता है। यह एक वास्तविक पेपर है, लेकिन गलत विषय है।
- लेकर 5: दूसरा मत (पीयर रिव्यू)
एक दूसरा, स्वतंत्र AI एजेंट काम की जांच करता है ताकि यह सुनिश्चित हो सके कि पहले वाले ने कुछ भी छिपा हुआ न छोड़ा हो।
परिणाम: "वाइल्ड वेस्ट" से "फोर्ट नॉक्स" तक
शोधकर्ताओं ने इस सिस्टम का तीन तरीकों से परीक्षण किया:
स्ट्रेस टेस्ट (तनाव परीक्षण): उन्होंने AI को बिना सुरक्षा प्रणाली के 5 दुर्लभ बीमारियों के बारे में लिखने के लिए कहा।
- परिणाम: AI ने अपने 38% उद्धरण (citations) खुद बनाए थे। यह एक गड़बड़ी भरा मामला था।
- VaaS के साथ: त्रुटि दर गिरकर 0% हो गई। सिस्टम ने प्रकाशित होने से पहले ही हर एक फर्जी या गलत उद्धरण को पकड़ लिया।
"ब्लाइंड" टेस्ट (RIKER2): उन्होंने 40 अलग-अलग जीन्स पर सिस्टम का परीक्षण किया, और AI की "रचनात्मकता" (temperature) सेटिंग्स को बदलकर देखा कि क्या यह टूट जाता है।
- परिणाम: सिस्टम के बिना, AI ने अपने 96% उद्धरण खुद बनाए (लगभग सब कुछ फर्जी या गलत था)।
- VaaS के साथ: त्रुटि दर गिरकर 0% हो गई। इससे कोई फर्क नहीं पड़ा कि AI कितना "रचनात्मक" था; सुरक्षा द्वार ने हर बार झूठ को पकड़ लिया।
"रियल वर्ल्ड" टेस्ट (वास्तविक दुनिया का परीक्षण): उन्होंने सिस्टम द्वारा बनाए गए 100 नए जीन रिव्यूज की जांच की।
- परिणाम: 99.4% एकदम सही थे। बची हुई मामूली त्रुटि केवल एक "शायद" वाला मामला था जिसे इंसान को दोबारा जांचने की आवश्यकता थी।
यह क्यों मायने रखता है
- यह सस्ता है: उन्होंने साबित किया कि आप इसे $1 प्रति जीन रिव्यू से भी कम में कर सकते हैं। आपको फैक्ट-चेक करने के लिए 50 PhD विशेषज्ञों की टीम की आवश्यकता नहीं है; आपको बस एक स्मार्ट, स्वचालित असेंबली लाइन की आवश्यकता है।
- यह सार्वभौमिक है: उन्होंने इसे विभिन्न प्रकार के AI पर टेस्ट किया (केवल उस पर नहीं जिसे उन्होंने बनाया)। "चीजें बनाना" (making things up) की समस्या सभी में होती है, लेकिन VASS सुरक्षा लाइन सभी के लिए इसे ठीक करती है।
- यह विज्ञान के लिए सुरक्षित है: इसका मतलब है कि हम अंततः डॉक्टरों और शोधकर्ताओं की मदद के लिए AI का उपयोग कर सकते हैं, बिना इस डर के कि AI फर्जी दवाएं या फर्जी अध्ययन बना रहा है।
निचोड़
पेपर दिखाता है कि AI एक शक्तिशाली उपकरण है, लेकिन यह बिना ब्रेक वाली कार की तरह है: तेज और रोमांचक, लेकिन अगर आप इसे नियंत्रित नहीं करते हैं तो खतरनाक। VaaS ब्रेकिंग सिस्टम है। यह AI को गाड़ी चलाने से नहीं रोकता; यह बस यह सुनिश्चित करता है कि वह फर्जी तथ्यों से टकराकर दुर्घटनाग्रस्त न हो जाए।
AI की गति को एक सख्त, बहु-स्तरीय "फैक्ट-चेकिंग" असेंबली लाइन के साथ जोड़कर, लेखकों ने विज्ञान के लिए एक ऐसा तरीका बनाया है जो वास्तव में भरोसेमंद है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।