Mat-Pref: Verifiable-Reward Training Improves Compositional Reasoning in Inorganic Materials
यह शोध पत्र अकार्बनिक पदार्थों के लिए एक सत्यापन योग्य-पुरस्कार (verifiable-reward) बेंचमार्क, Mat-Pref को प्रस्तुत करता है, और यह प्रदर्शित करता है कि सुपरवाइज्ड फाइन-ट्यूनिंग (supervised fine-tuning) के साथ ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (Group Relative Optimization) को संयोजित करने वाला एक दो-चरणीय प्रशिक्षण पाइपलाइन, संरचनात्मक तर्क और अनदेखी संरचना श्रेणियों एवं गुणों में सामान्यीकरण को बढ़ाकर बड़े ज़ीरो-शॉट (zero-shot) मॉडलों की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन शेफ को एक आदर्श भोजन बनाना सिखाने की कोशिश कर रहे हैं। आपके पास व्यंजनों का एक विशाल पुस्तकालय (प्रशिक्षण डेटा) है, लेकिन शेफ बार-बार गलत सामग्री चुन लेता है या निर्देशों में खो जाता है।
यह शोध पत्र, MAT-PREF, एक विशिष्ट प्रकार के "शेफ" (एक आर्टिफिशियल इंटेलिजेंस) को जटिल पहेलियों को हल करने के बारे में सिखाने के बारे में है—जो अकार्बनिक पदार्थों (inorganic materials) से संबंधित हैं—सोचिए इन्हें नई बैटरियों, सौर पैनलों या कंप्यूटर चिप्स के लिए निर्माण खंड (building blocks) के रूप में।
यहाँ उन्होंने क्या किया, इसका सरल विवरण दिया गया है:
1. समस्या: शेफ "तर्क" नहीं कर सकता, वह बस अनुमान लगाता है
शोधकर्ता यह देखना चाहते थे कि क्या बड़े AI मॉडल यह पता लगा सकते हैं कि किसी क्रिस्टल संरचना में एक सामग्री (परमाणु) को दूसरे से बदलने का सबसे अच्छा तरीका क्या है ताकि उसे अधिक मजबूत या कुशल बनाया जा सके।
उन्होंने दुनिया के चार सबसे स्मार्ट AI शेफ (70 से 671 बिलियन "मस्तिष्क कोशिकाओं" वाले मॉडल) का परीक्षण किया। भले ही ये मॉडल बहुत विशाल हैं, फिर भी वे केवल 33% से 54% उत्तर ही सही दे पाए।
- उपमा: यह एक जीनियस को बहुविकल्पीय गणित परीक्षण देने जैसा है, लेकिन वह गलत उत्तर चुनता रहता है क्योंकि वह केवल शब्दों के आधार पर अनुमान लगा रहा है, न कि वास्तव में गणित कर रहा है। उसने अभी तक रसायन विज्ञान के तर्क (logic) को नहीं सीखा है।
2. समाधान: एक नया "प्रशिक्षण जिम" (MAT-PREF)
इसे ठीक करने के लिए, टीम ने MAT-PREF नामक एक नया प्रशिक्षण मैदान बनाया।
- स्रोत: उन्होंने रासायनिक तथ्यों के एक विशाल, विश्वसनीय डेटाबेस (Materials Project) का उपयोग किया जहाँ प्रत्येक उत्तर एक अत्यंत सटीक कंप्यूटर सिमुलेशन (जिसे DFT कहा जाता है) द्वारा सत्यापित है। यह एक ऐसे शिक्षक की तरह है जो हर एक प्रश्न के लिए सटीक सही उत्तर जानता है।
- परीक्षण: उन्होंने 10,000 से अधिक प्रश्न बनाए। कुछ आसान थे (जैसे जो AI ने प्रशिक्षण के दौरान देखे थे), कुछ कठिन थे (पूरी तरह से नए क्रिस्टल आकार), और कुछ पेचीदा थे (वही आकार उपयोग करते हुए अलग गुण पूछना, जैसे "यह कितनी रोशनी रोकता है" बजाय इसके कि "यह कितना स्थिर है")।
3. प्रशिक्षण विधि: सफलता के दो चरण
शोधकर्ताओं ने केवल AI को अधिक डेटा नहीं दिया। उन्होंने दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग किया:
चरण 1: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) – "नियम सीखना"
सबसे पहले, उन्होंने AI को रसायन शास्त्री की तरह सोचना सिखाया। उन्होंने उसे प्रश्नों के उदाहरण और सही तर्क के चरण दिए (जैसे, "परमाणु का आकार जांचें," "विद्युत आवेश की जांच करें")।- परिणाम: AI तर्क को समझने और प्रारूप का पालन करने में बहुत बेहतर हो गया, जिससे उसकी सटीकता रैंडम अनुमान लगाने से बढ़कर लगभग 45% हो गई। लेकिन यह अभी भी असंगत था।
चरण 2: GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) – "गलतियों से सीखना"
यही असली गुप्त मंत्र है। कल्पना कीजिए कि AI एक प्रश्न का 8 बार उत्तर देने का प्रयास करता है।- यदि वह उत्तर सही देता है, तो उसे एक "इनाम" (रिवॉर्ड) मिलता है।
- यदि वह गलत होता है, तो उसे "ना" मिलता है।
- AI फिर अपने 8 प्रयासों की तुलना करता है। वह सीखता है: "हे, जो उत्तर मैंने प्रयास #3 में चुना वह सही था, लेकिन जो मैंने #7 में चुना वह गलत था। मुझे #7 चुनना बंद कर देना चाहिए।"
- परिणाम: यह प्रक्रिया AI को अनुमान लगाने के बजाय सही तर्क के प्रति प्रतिबद्ध होने के लिए मजबूर करती है।
4. परिणाम: एक छोटा शेफ दिग्गजों को हरा देता है
इस दो-चरणीय प्रशिक्षण के बाद, शोधकर्ताओं ने एक अपेक्षाकृत छोटे AI मॉडल (Qwen3-8B) को फिर से टेस्ट किया।
- चौंकाने वाला तथ्य: इस छोटे, प्रशिक्षित मॉडल ने 65% से 71% सटीकता प्राप्त की।
- तुलना: इसने विशाल, अप्रशिक्षित "दिग्गज" मॉडलों (जिनमें 30 गुना अधिक मस्तिष्क शक्ति थी) को भारी अंतर (20 प्रतिशत अंक से अधिक) से हरा दिया।
- लागत: उन्होंने यह सारा प्रशिक्षण $50 से भी कम में पूरा किया।
5. यह क्यों मायने रखता है: निरंतरता ही कुंजी है
शोधपत्र में कुछ दिलचस्प बात मिली कि AI कैसे बेहतर हुआ।
- पहले: AI कभी-कभी सही उत्तर जानता था, लेकिन यह एक घबराए हुए छात्र की तरह था जो उत्तर जानता तो है पर हाथ उठाने से डरता है। यदि आप उसी प्रश्न को थोड़े अलग शब्दों (डिस्ट्रैक्टर्स) के साथ पूछते, तो AI सही और गलत के बीच झूलता रहता।
- बाद में: प्रशिक्षण ने AI को आत्मविश्वासी बना दिया। उसने केवल सही उत्तर ही नहीं खोजा; उसने उस पर टिकने का तरीका भी सीख लिया।
- उपमा: एक छात्र के टेस्ट देने के बारे में सोचें। पहले, वह एक प्रश्न के संस्करण पर "A" चुन सकता था और दूसरे पर "B", भले ही तर्क एक ही हो। प्रशिक्षण के बाद, वह हर बार "A" ही चुनता है क्योंकि वह अवधारणा को वास्तव में समझ चुका है।
सारांश
यह शोध पत्र दिखाता है कि आकार ही सब कुछ नहीं है। जटिल विज्ञान की समस्याओं को हल करने के लिए आपको सबसे बड़े, सबसे महंगे AI की आवश्यकता नहीं है। इसके बजाय, आपको एक स्मार्ट प्रशिक्षण विधि की आवश्यकता है जो सत्यापित तथ्यों का उपयोग करके AI को तार्किक और आत्मविश्वासी तरीके से सोचने के लिए सिखाती है। इस नए "जिम" (MAT-PREF) और दो-चरणीय प्रशिक्षण का उपयोग करके, एक छोटे AI ने बेहतर सामग्रियां बनाने के तरीके को समझने में दिग्गजों से बेहतर प्रदर्शन किया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।