LLM-Based FORM Code Generation with Verification-Driven Fine-Tuning
यह शोध पत्र यह प्रदर्शित करके कि अत्याधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) ज़ीरो-शॉट FORM कार्यों में विफल रहते हैं, FORM सिम्बोलिक मैनिपुलेशन भाषा के लिए AI सहायता की कमी को संबोधित करता है, और फिर FORM बाइनरी को एक ओरेकल के रूप में उपयोग करके एक सत्यापन-संचालित फाइन-ट्यूनिंग पाइपलाइन पेश करता है, जो एक कॉम्पैक्ट 8B-पैरामीटर वाले मॉडल को प्रशिक्षित करता है जो सामान्य तर्क क्षमताओं को बनाए रखते हुए कोड निष्पादन और शुद्धता में बहुत बड़े अत्याधुनिक मॉडल्स से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
उप-परमाणु दुनिया में, जहाँ कण एक सेकंड के अंशों में आपस में टकराते और क्षय होते हैं, सैद्धांतिक भौतिक विज्ञानी अपनी खोजों के गणित को वर्णित करने के लिए एक विशेष भाषा पर भरोसा करते हैं। यह भाषा, जिसे 'फॉर्म' (Form) के रूप में जाना जाता है, कोई सामान्य-उद्देश्य वाला प्रोग्रामिंग टूल नहीं है, बल्कि अत्यधिक जटिल बीजगणितीय अभिव्यक्तियों को संभालने के लिए डिज़ाइन की गई एक अत्यंत विशिष्ट प्रणाली है। जब वैज्ञानिक क्वांटम फील्ड थ्योरी का उपयोग करके कणों के व्यवहार की गणना करते हैं, तो परिणामी सूत्रों में लाखों या अरबों पद शामिल हो सकते हैं। सामान्य-उद्देश्य वाले कंप्यूटर प्रोग्राम ऐसे विशाल गणनाओं का सामना करने पर अक्सर क्रैश हो जाते हैं, लेकिन फॉर्म उन्हें कंप्यूटर की मेमोरी के बजाय हार्ड ड्राइव पर मध्यवर्ती चरणों (intermediate steps) को संग्रहीत करके प्रबंधित करने के लिए बनाया गया है। दशकों से, यह उपकरण ब्रह्मांड के रहस्यों को उजागर करने के लिए अपरिहार्य रहा है, फिर भी इसे सीखना कठिन बना हुआ है। इसका सिंटैक्स अद्वितीय है, इसके नियम कठोर हैं, और अब तक, ऐसा कोई कृत्रिम बुद्धिमत्ता (AI) नहीं था जो इसके लिए मानव को कोड लिखने में मदद कर सके।
तकनीक के इस अंतर ने कार्लज़ूह (Karlsruhe) इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं के सामने एक अनूठी चुनौती पेश की। उन्होंने एक मौलिक प्रश्न पूछा: क्या इंटरनेट डेटा की विशाल मात्रा पर प्रशिक्षित एक आधुनिक कृत्रिम बुद्धिमत्ता, एक ऐसी भाषा के लिए कोड लिखना सीख सकती है जो उस डेटा में लगभग अस्तित्व ही नहीं रखती? उन्हें जो उत्तर मिला वह स्पष्ट रूप से 'नहीं' था। जब उन्होंने सबसे शक्तिशाली, अत्याधुनिक AI मॉडलों का परीक्षण किया—जिनमें से कुछ में सैकड़ों अरब पैरामीटर थे—तो वे दिग्गज पूरी तरह से विफल रहे। बिना किसी मैनुअल या गाइड के, वे फॉर्म का एक भी वैध कोड उत्पन्न नहीं कर सके। AI के लिए, यह भाषा प्रभावी रूप से अदृश्य थी, एक शून्य-संसाधन डोमेन जहाँ मॉडल का विशाल आकार विशिष्ट प्रशिक्षण की अनुपस्थिति की तुलना में कम महत्वपूर्ण था।
इसे हल करने के लिए, शोधकर्ताओं ने एक अलग दृष्टिकोण अपनाया। एक विशाल मॉडल पर अनुमान लगाने के बजाय, उन्होंने एक विशेष, छोटा AI बनाया और उसे एक कठोर, स्व-सुधार (self-correcting) पद्धति का उपयोग करके सिखाया। उन्होंने एक पाइपलाइन बनाई जहाँ एक शक्तिशाली AI सरल अंग्रेजी निर्देशों के आधार पर संभावित प्रोग्राम बनाता था, लेकिन इन प्रोग्रामों पर तुरंत भरोसा नहीं किया जाता था। इसके बजाय, उन्हें यह देखने के लिए वास्तविक फॉर्म सॉफ्टवेयर में डाला जाता था कि क्या वे सही ढंग से चलते हैं। यदि कोड ने कोई त्रुटि या गलत परिणाम दिया, तो उसे त्याग दिया जाता था। केवल वे प्रोग्राम जो हर जाँच—सिंटैक्स, निष्पादन और तार्किक निरंतरता—में सफल होते थे, उन्हें ही रखा जाता था। इस प्रक्रिया ने 4,600 से अधिक उदाहरणों की एक सत्यापित लाइब्रेरी तैयार की, जिसमें सरल ट्यूटोरियल से लेकर जटिल भौतिकी गणनाएँ शामिल थीं।
इस उच्च-गुणवत्ता वाले, सत्यापित डेटा का उपयोग करते हुए, टीम ने आठ बिलियन पैरामीटर्स वाले एक संक्षिप्त AI मॉडल को फाइन-ट्यून किया। परिणाम एक विशेषज्ञ था जिसने दुनिया के सबसे बड़े, सबसे महंगे मॉडलों को भी पीछे छोड़ दिया। 664 विशिष्ट गणना कार्यों के एक सेट पर, इस छोटे, विशेष मॉडल ने उनमें से 97.7% को सही ढंग से हल किया। इसके विपरीत, सबसे बड़े फ्रंटियर मॉडल, यहाँ तक कि जब उन्हें सिंटैक्स गाइड पढ़ने के लिए दिया गया, तब भी वे उन्हीं कार्यों के लिए केवल लगभग 75% मामलों में ही सिंटैक्स रूप से वैध कोड बनाने में सक्षम रहे जो बिना किसी त्रुटि के चल सके। ओपन-एंडेड कार्यों पर यह लाभ और भी स्पष्ट था जहाँ लक्ष्य का वर्णन किया गया था लेकिन विधि निर्दिष्ट नहीं थी; विशेष मॉडल ने 83% बार सफलतापूर्वक चलने योग्य कोड उत्पन्न किया, जबकि दिग्गज मॉडलों में से सर्वश्रेष्ठ केवल 65% बार ऐसा करने में सक्षम रहे।
शायद सबसे आश्चर्यजनक बात यह थी कि शोधकर्ताओं ने पाया कि इस विशेष प्रशिक्षण ने AI को अन्य चीजें "भूलने" के लिए मजबूर नहीं किया। मॉडल ने अपने सामान्य तर्क और कोडिंग क्षमताओं को बनाए रखा, गणित और तर्क के मानक परीक्षणों पर प्रदर्शन में केवल मामूली गिरावट देखी। यह सुझाव देता है कि एक AI को नया, विशिष्ट कौशल सिखाने के लिए उसकी सामान्य बुद्धिमत्ता का त्याग करने की आवश्यकता नहीं है। यह अध्ययन प्रदर्शित करता है कि अत्यधिक विशिष्ट वैज्ञानिक भाषाओं के लिए, सफलता की कुंजी मॉडल का विशाल आकार नहीं, बल्कि उस डेटा की गुणवत्ता और सत्यापन है जिससे वह सीखता है। सॉफ्टवेयर का उपयोग स्वयं एक शिक्षक के रूप में हर सबक को सत्यापित करने के लिए करके, शोधकर्ताओं ने एक ऐसा उपकरण बनाया है जो अब भौतिकविदों को प्रकृति के मौलिक नियमों की खोज के लिए आवश्यक जटिल कोड लिखने में सहायता कर सकता है, जिससे उस भाषा में प्रवेश की बाधा कम हो गई है जो लंबे समय से हाई-एनर्जी फिजिक्स में एक बाधा बनी हुई थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।