SCI-PRM: A Tool Aware Process Reward Model for Scientific Reasoning Verification
यह शोध पत्र Sci-PRM को प्रस्तुत करता है, जो एक टूल-अवेयर प्रोसेस रिवॉर्ड मॉडल है जिसे नए निर्मित SCIPRM70K डेटासेट पर प्रशिक्षित किया गया है ताकि टूल के उपयोग के सूक्ष्म सत्यापन (fine-grained verification) के माध्यम से वैज्ञानिक तर्क क्षमता को बढ़ाया जा सके और सघन रिवॉर्ड संकेतों (dense reward signals) के माध्यम से प्रभावी टेस्ट-टाइम स्केलिंग और सुदृढीकरण लर्निंग (reinforcement learning) को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन विज्ञान की परीक्षा दे रहे एक छात्र हैं। आपके पास एक पाठ्यपुस्तक (आपका ज्ञान) है और विशेष कैलकुलेटर और संदर्भ पुस्तकों का एक सेट (आपके उपकरण) है।
समस्या:
वर्तमान AI मॉडल उन छात्रों की तरह हैं जो तथ्यों को याद रखने में तो बहुत अच्छे हैं लेकिन अपने उपकरणों का सही उपयोग करने में बहुत खराब हैं।
- यदि आप उनसे गणित का कोई सरल प्रश्न पूछते हैं, तो वे उसे सही कर सकते हैं।
- लेकिन यदि आप उन्हें किसी डेटाबेस में किसी विशिष्ट रासायनिक अभिक्रिया (chemical reaction) को खोजने या कोई जटिल भौतिकी सिमुलेशन (physics simulation) चलाने के लिए कहते हैं, तो वे अक्सर भ्रमित (hallucinate) हो जाते हैं। वे ऐसा दिखावा कर सकते हैं जैसे उन्होंने डेटा खोज लिया हो जबकि उन्होंने नहीं किया, या वे ऐसा कोड लिख सकते हैं जो दिखने में तो सही लगता है लेकिन वास्तव में कंप्यूटर को क्रैश कर देता है।
- मौजूदा "शिक्षक" (AI जज) अंतिम उत्तर की जाँच करने में अच्छे हैं, लेकिन वे छात्र को काम करते समय देखने में खराब हैं। वे यह नहीं बता सकते कि छात्र सही कैलकुलेटर का उपयोग कर रहा है या वह बस संख्याएँ मनगढ़ंत बना रहा है।
समाधान: Sci-PRM
शोधकर्ताओं ने एक नया प्रकार का "सुपर-टीचर" बनाया है जिसे Sci-PRM कहा जाता है। इसे एक सख्त, अत्यधिक विशिष्ट निरीक्षक (proctor) के रूप में सोचें जो छात्र के बगल में बैठा है और वास्तविक समय में उसके काम के हर कदम को देख रहा है।
यह इस प्रकार काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. "चेन-ऑफ-टूल" (Chain-of-Tool) प्रशिक्षण डेटा
इस सुपर-टीचर को सिखाने के लिए, शोधकर्ताओं ने इसे केवल प्रश्न और उत्तर नहीं दिए। उन्होंने 17,800+ विज्ञान समस्याओं का एक विशाल पुस्तकालय बनाया जहाँ "सही" तरीके से समस्या को हल करने के लिए उपकरणों (जैसे पेपर खोजने के लिए वेब सर्च करना या कोड स्क्रिप्ट चलाना) का उपयोग करना शामिल है।
- उपमा: कल्पना करें कि हजारों घंटों के वीडियो रिकॉर्ड किए गए हैं जहाँ विशेषज्ञ वैज्ञानिक समस्याओं को हल कर रहे हैं। वीडियो न केवल अंतिम परिणाम दिखाता है, बल्कि यह भी दिखाता है कि उन्होंने कौन सा बटन दबाया, उन्होंने क्या कोड टाइप किया, और उन्होंने परिणाम की व्याख्या कैसे की।
- ट्विस्ट: उन्होंने इसमें "नकारात्मक उदाहरण" (negative examples) भी शामिल किए—जैसे कि लोगों के गलतियाँ करने वाले वीडियो, जैसे कि ऐसा कोड लिखना जिससे अनंत लूप (infinite loop) बन जाए या एक फर्जी वैज्ञानिक पेपर का हवाला देना। यह AI को सिखाता है कि क्या नहीं करना है।
2. तीन-चरणीय "निरीक्षक" (Proctor) जाँच
जब Sci-PRM छात्र के काम को देखता है, तो वह केवल "सही" या "गलत" नहीं कहता। यह एक तीन-भाग वाले निरीक्षक की तरह कार्य करता है:
- क्या आपने सही उपकरण चुना? (उदाहरण के लिए, क्या आपने प्रोटीन खोजने के लिए जीव विज्ञान डेटाबेस का उपयोग किया, या आपने गलती से गणितीय कैलकुलेटर का उपयोग कर लिया?)
- क्या आपने उपकरण का सही उपयोग किया? (उदाहरण के लिए, क्या आपने रासायनिक सूत्र सही ढंग से टाइप किया, या आपने दशमलव बिंदु मिस कर दिया?)
- क्या आप परिणाम को समझते हैं? (उदाहरण के लिए, उपकरण ने आपको एक संख्या दी। क्या आपने इसकी सही व्याख्या की, या आपने डेटा से मेल न खाने वाली कोई कहानी बना ली?)
3. यह अन्य "शिक्षकों" से बेहतर क्यों है?
यह पेपर Sci-PRM की तुलना अन्य शीर्ष-स्तरीय AI मॉडलों (जैसे GPT-5-Mini) से करता है।
- अंतराल (The Gap): जब कार्य केवल "सोचने" (बिना किसी उपकरण के) का होता है, तो अन्य मॉडल बहुत अच्छे होते हैं। लेकिन जैसे ही छात्र को उपकरण का उपयोग करना पड़ता है, अन्य मॉडलों के ग्रेड काफी गिर जाते हैं। वे कोड में सूक्ष्म त्रुटियों या फर्जी उद्धरणों (citations) को नहीं पकड़ पाते।
- Sci-PRM का लाभ: उपकरण शामिल होने पर भी Sci-PRM चौकना नहीं छोड़ता। यह बिना वास्तव में कंप्यूटर चलाने के इंतजार किए, "साइटेशन हेलुसिनेशन" (एक फर्जी पेपर का शीर्षक) या "लॉजिक एरर" (कोड जो क्रैश हो जाएगा) को पहचान सकता है।
- उपमा: अन्य शिक्षकों को छात्र के पूरा प्रयोग खत्म करने और बीकर फटने का इंतजार करना पड़ता है ताकि वे जान सकें कि वह गलत था। Sci-PRM छात्र की योजना को देखकर कह सकता है, "रुको! तुम ऐसे रसायन मिलाने जा रहे हो जो विस्फोट कर देंगे," इससे पहले कि कुछ भी हो।
4. यह AI को सीखने में कैसे मदद करता है (दो तरीके)
तरीका 1: "बेस्ट ऑफ एन" (Best of N) चयन (टेस्ट-टाइम स्केलिंग)
कल्पore करें कि AI छात्र को एक समस्या को 10 अलग-अलग तरीकों से हल करने की अनुमति दी गई है।- पुराना तरीका: उस उत्तर को चुनें जो सबसे अधिक आत्मविश्वासी दिखता है।
- Sci-PRM का तरीका: यह सभी 10 प्रयासों की समीक्षा करता है, तर्क और उपकरण के उपयोग के हर चरण की जाँच करता है, और उस प्रयास को चुनता है जहाँ छात्र ने वास्तव में नियमों का पालन किया और कोई गलती नहीं की। यह बहुत अधिक सटीक उत्तरों की ओर ले जाता है।
तरीका 2: रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) के लिए "कोच"
जब एक AI को बेहतर होने के लिए प्रशिक्षित किया जाता है, तो उसे फीडबैक की आवश्यकता होती है।- पुराना तरीका: AI प्रयास करता है, विफल होता है, और अंत में केवल "गलत" बताया जाता है। उसे यह नहीं पता होता कि वह कहाँ गलत हुआ।
- Sci-PRM का तरीका: यह एक सघन रिवॉर्ड सिग्नल (dense reward signal) के रूप में कार्य करता है। यह हर एक कदम के बाद "थम्स अप" या "थम्स डाउन" देता है। यह AI को बहुत तेज़ी से सीखने में मदद करता है और "वैनिशिंग एडवांटेज" (vanishing advantage) की समस्या से बचाता है (जहाँ AI भ्रमित हो जाता है क्योंकि उसे यह नहीं पता होता कि किस विशिष्ट चाल के कारण विफलता हुई)।
निष्कर्ष
पेपर का दावा है कि Sci-PRM एक विशेष उपकरण है जो AI मॉडलों को विज्ञान में बहुत अधिक विश्वसनीय बनाता है। यह उन्हें तथ्य गढ़ने या कोड तोड़ने से रोकता है जब वे बाहरी उपकरणों का उपयोग करते हैं। यह एक चरण-दर-चरण पर्यवेक्षक के रूप में कार्य करके ऐसा करता है जो विज्ञान के तर्क और उन उपकरणों की कार्यप्रणाली, दोनों को समझता है जिनका उपयोग समस्याओं को हल करने के लिए किया जाता है।
मुख्य निष्कर्ष: यह केवल सही उत्तर पाने के बारे में नहीं है; यह यह साबित करने के बारे में है कि आप वहां सही तरीके से, सही उपकरणों का उपयोग करके, बिना कुछ मनगढ़ंत बनाए पहुंचे हैं। Sci-PRM पहला मॉडल है जिसे विशेष रूप से विज्ञान की जटिल दुनिया में इस "प्रमाण" की जाँच करने के लिए डिज़ाइन किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।