Grounded verification of chemical and materials reasoning: detection is the bottleneck
यह शोधपत्र यह प्रदर्शित करता है कि रसायन विज्ञान और सामग्रियों के बारे में तर्क करने वाले बड़े भाषा मॉडलों (large language models) के लिए, एक स्तरीय, डेटाबेस-आधारित सत्यापन प्रणाली जो व्यापक पुनर्प्राप्ति (blanket retrieval) के बजाय विशिष्ट तथ्यात्मक त्रुटियों का पता लगाने को प्राथमिकता देती है, लक्षित सुधारों को सक्षम करके भ्रम (confabulation) की दरों को महत्वपूर्ण रूप से कम करती है, जिससे मॉडल की सटीकता में सुधार करने के लिए त्रुटि सुधार के बजाय त्रुटि पहचान को प्राथमिक बाधा के रूप में पहचाना जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वह जादू का खेल जो लगभग सफल रहा
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत आत्मविश्वासी रोबोटिक मित्र से बात कर रहे हैं। आप उससे एक प्रश्न पूछते हैं, और वह एक लंबी, प्रवाहमयी कहानी के साथ उत्तर देता है जो सुनने में एकदम सटीक लगती है। लेकिन कभी-कभी, उस कहानी में एक झूठ होता है। विज्ञान की दुनिया में, विशेष रूप से रसायन विज्ञान (chemistry) और सामग्रियों (materials) के क्षेत्र में, यह एक बड़ी बात है। यदि रोबोट एक रासायनिक सूत्र को "C6H12O6" कहता है जबकि वास्तव में वह "C6H12O5" है, तो एक वैज्ञानिक ऐसी मशीन बना सकता है जो काम नहीं करेगी, या ऐसी दवा जो सुरक्षित नहीं होगी। यह केवल एक टाइपिंग की गलती नहीं है; यह एक "हैलुसिनेशन" (hallucination) है, जहाँ रोबोट ऐसे तथ्य गढ़ता है जो वास्तविक लगते हैं लेकिन पूरी तरह से फर्जी होते हैं।
लंबे समय तक, लोगों ने इसे ठीक करने की कोशिश की कि रोबोट को अपना काम स्वयं जाँचने के लिए कहा जाए। यह एक छात्र से अपने ही टेस्ट को ग्रेड करने के लिए कहने जैसा है; वे अक्सर अपनी गलतियों को पकड़ने में चूक जाते हैं क्योंकि वे बहुत आत्मविश्वासी होते हैं। अन्य लोगों ने रोबកម្ម को एक पुस्तकालय (डेटाबेस) दिया ताकि वह उत्तर देने से पहले किताबों को देख सके। लेकिन हर सवाल के लिए हर किताब को देखना धीमा, महंगा है, और कभी-कभी रोबोट फिर भी भ्रमित हो जाता है। शोधकर्ता जिस बड़े सवाल का जवाब चाहते थे वह था: हम इन झूठों को बिना प्रक्रिया को धीमा किए कैसे पकड़ सकते हैं, और क्या हम उन्हें खोजने के बाद वास्तव में ठीक कर सकते हैं?
वह जासूस जो केवल संदिग्धों की जाँच करता है
यह शोध पत्र, जो कुर्बन इंटेलिजेंस लैब (Kurban Intelligence Lab) से है, इन स्मार्ट रोबोटों के साथ "जासूस" खेलने का एक नया तरीका पेश करता है। इन रोबोटों को पूरा पुस्तकालय पढ़ने या अपना होमवर्क खुद चेक करने के बजाय, उन्होंने एक "टियर्ड वेरीफायर" (tiered verifier) बनाया है। इस वेरीफायर को एक सुपर-फास्ट, सुपर-सख्त लाइब्रेरियन के रूप में सोचें जो केवल विशिष्ट तथ्यों की जाँच करता है।
यहाँ यह जादू का खेल कैसे काम करता है:
- सेटअप: रोबोट किसी रसायन के बारे में एक प्रश्न (जैसे "एम्पिसिलिन का सूत्र क्या है?") का उत्तर देने की कोशिश करता है।
- रुकावट: रोबोट एक प्रवाहपूर्ण उत्तर लिखता है, लेकिन हो सकता है कि उसने कोई संख्या या सूत्र बना लिया हो।
- जाँच: वेरीफायर पूरी कहानी नहीं पढ़ता। यह विशिष्ट "जांचने योग्य दावों" (जैसे आणविक सूत्र या ऊर्जा संख्या) को खोजता है। यह उस विशिष्ट दावे को निकालता है और उसकी तुलना एक विश्वसनीय डेटाबेस (जैसे रसायनों का डिजिटल विश्वकोश) से करता है।
- गेट (द्वार): यदि दावा डेटाबेस से मेल खाता है, तो वेरीफायर कहता है, "सब ठीक है!" और उत्तर को आगे जाने देता है। यदि दावा गलत है, तो वेरीफायर लाल झंडी (red flag) दिखाता है।
- सुधार: जब झंडी दिखाई जाती है, तो वेरीफायर केवल यह नहीं कहता कि "तुम गलत हो।" वह सही तथ्य को रोबोट को वापस फुसफुसाता है और कहता है, "फिर से प्रयास करें, लेकिन इस तथ्य का उपयोग करें।" रोबोट फिर अपने उत्तर के केवल उस हिस्से को फिर से लिखता है।
सबसे बड़ा आश्चर्य: झूठ पकड़ना सुधारने से अधिक कठिन है
इस शोध पत्र की सबसे रोमांचक खोज एक प्लॉट ट्विस्ट की तरह है। शोधकर्ताओं को उम्मीद थी कि रोबोट अपनी गलतियों को सुधारने में बुरा हो सकता है। उन्होंने सोचा, "शायद रोबोट सही तथ्य देखता है लेकिन फिर भी उसे लिखने का तरीका नहीं समझ पाता।"
लेकिन समस्या यह बिल्कुल नहीं थी। शोध पत्र में पाया गया कि सुधार करना वास्तव में आसान है। जब वेरीफायर ने गलती पकड़ी और रोबोट को सही तथ्य दिया, तो रोबोट ने 80% से 97% बार इसे ठीक कर लिया! चाहे वह आणविक सूत्र हो या क्रिस्टल संरचना, रोबोट सुधार को खुशी-खुशी स्वीकार करने के लिए तैयार था।
असली बाधा, जिसने सिस्टम को पूर्ण होने से रोका, वह थी डिटेक्शन (पहचानना)। वेरीफायर को सबसे पहले गलती को खोजना था।
- सामान्य रसायनों के लिए, वेरीफायर ने लगभग सभी त्रुटियों को पकड़ लिया।
- दुर्लभ, अजीब रसायनों (विज्ञान के "लॉन्ग टेल") के लिए, वेरीफायर कई गलतियों को पहचानने में चूक गया।
- एक मामले में (फॉर्मेशन एनर्जी), वेरीफायर ने केवल 19% त्रुटियों को पकड़ा, भले ही वह उन्हें पकड़ने पर 80% तक ठीक कर सकता था।
यह एक सुरक्षा गार्ड की तरह है जो चोर को देखने के बाद उसे रोकने में तो अद्भुत है, लेकिन भीड़ में चोर को पहचानने में बहुत बुरा है। शोध पत्र निष्कर्ष निकालता है कि सबसे बड़ी चुनौती रोबोट को ईमानदार बनाना नहीं है; बल्कि सिस्टम को झूठ पकड़ने के लिए सिखाना है।
क्या काम करता है और क्या नहीं
शोधकर्ताओं ने इस सिस्टम का परीक्षण चार अलग-अलग "स्मार्ट रोबोटों" (लार्ज लैंग्वेज मॉडल्स) पर किया और कुछ दिलचस्प पैटर्न पाए:
- "दुर्लभ" समस्या: रोबोटों ने उन दुर्लभ, अस्पष्ट रसायनों पर सबसे अधिक गलतियाँ कीं जिन्हें उन्होंने पहले नहीं देखा था। यहीं पर वेरीफायर की सबसे अधिक आवश्यकता थी, और यहीं पर वह त्रुटियों को खोजने में भी संघर्ष कर रहा था।
- "सामान्य" सीमा: बहुत प्रसिद्ध, सुस्थापित तथ्यों (जैसे बुनियादी भौतिक स्थिरांक) के लिए, रोबोट पहले से ही इतने अच्छे थे कि वेरीफायर को बहुत कुछ करने की आवश्यकता नहीं पड़ी। वास्तव में, इन आसान तथ्यों के लिए, वेरीफायर ने कभी-कभी एक सही उत्तर को गलत के रूप में चिह्नित कर दिया, जिससे रोबोट ने एक अच्छे उत्तर को "तोड़" दिया। इससे पता चला कि आपको उन चीजों को ठीक करने में सावधानी बरतनी चाहिए जो टूटी नहीं हैं।
- "सिर्फ पूछने" से बेहतर: टीम ने अपने सिस्टम की तुलना एक "कन्वर्सेशनल ओरकल" (एक रोबोट जो बस उत्तर खोज लेता है और बता देता है) से की। उनका "गेटेड" सिस्टम बहुत बेहतर था। क्यों? क्योंकि कन्वर्सेशनल रोबोट अक्सर उत्तर के बारे में केवल बात करता था, लेकिन वास्तव में उस विशिष्ट संख्या को नहीं लिखता था जिसकी वैज्ञानिकों को आवश्यकता थी। वेरीफायर ने रोबोट को सटीक तथ्य लिखने के लिए मजबूर किया, जिससे इसकी जाँच करना आसान हो गया।
- लागत मायने रखती है: हर उत्तर में हर शब्द की जाँच करना महंगा और धीमा है। उनका सिस्टम केवल उन हिस्सों की जाँच करता था जो संदिग्ध लग रहे थे। इसका मतलब है कि उन्होंने सब कुछ जाँचने की तुलना में 3.2 गुना कम डेटाबेस लुकअप का उपयोग किया, जिससे अधिकांश त्रुटियों को पकड़ते हुए भी समय और पैसा बचाया।
"स्कोप" (दायरा) का सबक
उन्होंने एक और चतुर ट्रिक खोजी। कभी-कभी, वेरीफायर सामग्री (रासायनिक सूत्र) की जाँच करेगा और कहेगा, "यह सही है!" लेकिन अंतिम उत्तर के लिए उन सामग्रियों के आधार पर गणना की आवश्यकता होती है (जैसे "इस अणु का वजन क्या है?")। यदि वेरीफायर केवल सामग्री की जाँच करता है और अंतिम गणना की नहीं, तो अंतिम उत्तर अभी भी गलत हो सकता है।
जब उन्होंने वेरीफायर का विस्तार केवल सामग्री के बजाय अंतिम गणना को जाँचने के लिए किया, तो सफलता दर 83% से बढ़कर 90% हो गई। इसने उन्हें सिखाया कि किसी समस्या को वास्तव में ठीक करने के लिए, आपको उस उत्तर के उस हिस्से की जाँच करनी होगी जो वास्तव में उपयोगकर्ता के लिए महत्वपूर्ण है, न कि केवल उसके निर्माण खंडों की।
निचोड़
यह शोध पत्र दिखाता है कि हम AI को बहुत अधिक विश्वसनीय बना सकते हैं, लेकिन हमें पहेली के सही हिस्से पर ध्यान केंद्रित करना होगा। हमें रोबोट को अपनी गलतियों को सुधारने में स्मार्ट बनाने की आवश्यकता नहीं है; वह पहले से ही उसमें काफी अच्छा है। इसके बजाय, हमें बेहतर "झूठ पकड़ने वाले यंत्र" (lie detectors) बनाने की आवश्यकता है जो होने से पहले ही दुर्लभ, पेचीदा गलतियों को पहचान सकें।
शोधकर्ताओं ने यह भी दिखाया कि यह तरीका अन्य चीजों के लिए भी काम करता है, जैसे रेडियोधर्मी परमाणुओं के अर्ध-आयु (half-lives) की जाँच करना, जो यह सिद्ध करता है कि यह विचार केवल रसायन विज्ञान तक सीमित नहीं है। हालाँकि, वे इस बात पर ध्यान देने में सावधानी बरतते हैं कि जिन चीजों को रोबोट पहले से ही पूरी तरह जानते हैं (जैसे प्रसिद्ध भौतिक स्थिरांक), उनके लिए यह सिस्टम ज्यादा मदद नहीं करता है और वास्तव में कुछ नई गलतियाँ भी पैदा कर सकता है। जादू केवल वहीं काम करता है जहाँ वास्तव में खोजने के लिए गलतियाँ मौजूद हों।
संक्षेप में: रोबोट सुधरने के लिए तैयार है; हमें बस उसे झूठ पकड़ने में बेहतर होने की जरूरत है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।