Error-Driven Prompt Optimization for Arithmetic Reasoning
यह शोध पत्र एक त्रुटि-संचालित प्रॉम्प्ट अनुकूलन ढांचे (error-driven prompt optimization framework) को प्रस्तुत करता है जो ऑन-प्रिमाइसेस लघु भाषा मॉडलों की अंकगणितीय तर्क क्षमताओं को महत्वपूर्ण रूप से बढ़ाता है, जिससे वे गोपनीयता-अनुपालक औद्योगिक सेटिंग्स में बिना किसी महंगी फाइन-ट्यूनिंग के GPT-3.5 Turbo जैसे बड़े मॉडलों को भी पीछे छोड़ने में सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी तस्वीर: एक स्थानीय मुनीहा बनाम क्लाउड का दिग्गज
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा भुलक्कड़, स्थानीय मुनीहा (एक Small Language Model या SLM) है जो आपके सुरक्षित कार्यालय में काम करता है। आपके पास एक सुपर-जीनियस सलाहकार (एक Large Language Model जैसे GPT-3.5) भी है जो एक विशाल क्लाउड ऑफिस में रहता है।
समस्या क्या है? आपकी कंपनी संवेदनशील वित्तीय डेटा (financial data) के साथ काम करती है। आप गोपनीयता नियमों के कारण इस डेटा को क्लाउड सलाहकार के पास नहीं भेज सकते। आपको सब कुछ अपने स्थानीय कार्यालय में ही रखना होगा।
हालाँकि, आपका स्थानीय मुनीहा गणित में बहुत खराब है। यदि आप उससे पूछते हैं, "राजस्व में प्रतिशत परिवर्तन क्या है?" तो वह नंबर का अनुमान लगा सकता है या इकाइयों (units) को गलत बता सकता है (जैसे "प्रतिशत" के बजाय "मिलियन" कहना)। वे तेज़ और निजी हैं, लेकिन गंभीर काम के लिए पर्याप्त सटीक नहीं हैं।
यह शोध पत्र उस भुलक्कड़ स्थानीय मुनीहा को एक गणित के जादूगर में बदलने के लिए एक चतुर प्रशिक्षण पद्धति पेश करता है, बिना उनका डेटा क्लाउड पर भेजे या महंगे पुन: प्रशिक्षण (retraining) के लिए भुगतान किए।
रणनीति: "अनुमान मत लगाओ, कोड लिखो"
शोधकर्ताओं ने महसूस किया कि मुनीहा से केवल गणित के बारे में "सोचने" के लिए कहना ही समस्या थी। इसके बजाय, उन्होंने मुनीहा को एक प्रोग्रामर की तरह कार्य करने के लिए प्रशिक्षित किया।
- पुराना तरीका: "यहाँ संख्याओं की एक तालिका है। उत्तर बताओ।" (मुनीहा अनुमान लगाता है)।
- नया तरीका: "यहाँ एक तालिका है। एक छोटा कंप्यूटर स्क्रिप्ट (Python code) लिखें जो आपके लिए गणित करे, और फिर उसे चलाएं।"
यह मुनीहा को मन में लंबी विभाजन (long division) करने के लिए कहने के बजाय उसे कैलकुलेटर देने जैसा है। कंप्यूटर कोड गणित में एकदम सटीक होता है; मुनीहा को बस निर्देशों को सही ढंग से लिखना होता है।
असली सफलता का मंत्र: गलतियों से सीखना (एक "त्रुटि-संचालित" लूप)
कैलकुलेटर के साथ भी, मुनीहा अभी भी गलतियाँ करता था। कभी-कभी वे गलत फॉर्मूला लिखते थे, या वे "स्केल" (scale) को गलत समझ लेते थे (जैसे यह कहना कि उत्तर "हजारों" में है जबकि वह "प्रतिशत" में होना चाहिए था)।
इस शोध पत्र का मुख्य नवाचार एक व्यवस्थित "गलती पकड़ने वाला" (Mistake Detective) प्रक्रिया है:
- परीक्षण चलाएं: मुनीहा 497 वित्तीय प्रश्नों को हल करने का प्रयास करता है।
- गलतियों को पकड़ें: सिस्टम उन प्रश्नों को देखता है जिन्हें मुनीहा ने गलत किया है।
- सुरागों को समूह में बांटें: हर गलती को व्यक्तिगत रूप से देखने के बजाय, सिस्टम समान गलतियों को एक साथ समूह में रखता है।
- उपमा: कल्पना कीजिए कि एक शिक्षक टेस्ट चेक कर रहा है। केवल यह कहने के बजाय कि "तुमने प्रश्न 5 गलत किया," वे ध्यान देते हैं, "ओह, प्रश्न 5 को गलत करने वाले सभी छात्र प्रश्न 12 को भी गलत कर गए क्योंकि उन सभी ने 100 से भाग देना भूल गया था।"
- एक नियम लिखें: प्रत्येक गलतियों के समूह के लिए, शोधकर्ता इसे ठीक करने के लिए एक विशिष्ट नियम लिखते हैं।
- उदाहरण नियम: "यदि प्रश्न 'प्रतिशत परिवर्तन' (percentage change) के बारे में पूछता है, तो उत्तर 'प्रतिशत' में होना चाहिए, 'डॉलर' में नहीं।"
- पुनः प्रयास करें: वे इस नियम को मुनीहा के निर्देशों में जोड़ते हैं और परीक्षण को फिर से चलाते हैं।
- दोहराएं: वे सबसे बड़े शेष गलतियों के समूह को ढूंढते हैं, एक नया नियम लिखते हैं, और तब तक परीक्षण करते रहते हैं जब तक कि गलतियाँ सुधरना बंद न हो जाएं।
परिणाम: बड़े को हराना
इस "गलती ढूंढो, नियम लिखो, दोहराओ" चक्र का पालन करके, शोधकर्ताओं ने कुछ आश्चर्यजनक हासिल किया:
- शुरुआती बिंदु: स्थानीय मुनीहा (Qwen3 4B) लगभग 30% की सटीकता के साथ शुरू हुआ (जो अनुमान लगाने से थोड़ा ही बेहतर था)।
- सुधार: केवल तीन विशिष्ट नियमों को जोड़ने के बाद, जो उनके गलती विश्लेषण से निकले थे, सटीकता उछलकर 70.8% हो गई।
- विजय: इस स्थानीय, निजी मुनीहा ने विशाल क्लाउड सलाहकार (GPT-3.5 Turbo) को पछाड़ दिया, जिसका स्कोर केवल 66.2% था।
"बहुत अधिक नियमों" का जाल
शोध पत्र ने एक महत्वपूर्ण सीमा की भी खोज की। कल्पना कीजिए कि आप अपने मुनीहा को एक नियम पुस्तिका देते हैं।
- बहुत कम नियम: वे सरल गलतियाँ करते हैं।
- बिल्कुल सही संख्या में नियम: वे एकदम सटीक होते हैं।
- बहुत अधिक नियम: मुनीहा भ्रमित हो जाता है। नियम पुस्तिका इतनी मोटी और जटिल हो जाती है कि वे नियमों को अनदेखा करने लगते हैं या उन्हें आपस में मिला देते हैं।
शोधकर्ताओं ने नियमों की एक "इष्टतम संख्या" (optimal number) पाई। इस बिंदु के बाद अधिक नियम जोड़ने से वास्तव में प्रदर्शन खराब हो गया। यह एक साधारण कार्य के लिए 50 पन्नों की निर्देश पुस्तिका याद करने की कोशिश करने जैसा है; आप बस अभिभूत (overwhelmed) हो जाते हैं।
दावों का सारांश
- गोपनीयता सर्वोपरि: आप संवेदनशील डेटा (वित्त, स्वास्थ्य) के लिए एक अत्यधिक सटीक AI बना सकते हैं जो पूरी तरह से आपके अपने कंप्यूटर (on-premises) पर रहता है।
- महंगा प्रशिक्षण नहीं: आपको मॉडल को फिर से प्रशिक्षित करने के लिए लाखों खर्च करने की आवश्यकता नहीं है। आपको बस इसकी गलतियों का विश्लेषण करने और उन्हें ठीक करने के लिए सरल टेक्स्ट नियम लिखने की आवश्यकता है।
- छोटा बड़े को हरा सकता है: एक छोटा, कुशल मॉडल, सही "त्रुटि-संचालित" नियमों द्वारा निर्देशित होने पर, एक विशाल, महंगे मॉडल की तुलना में अंकगणितीय तर्क (arithmetic reasoning) में बेहतर काम कर सकता है।
- विधि: मुख्य कुंजी कोड जनरेशन (गणित करने के लिए AI को कोड लिखने के लिए कहना) और पुनरावृत्त प्रॉम्प्ट ऑप्टिमाइज़ेशन (AI की विशिष्ट प्रकार की गलतियों को व्यवस्थित रूप से ठीक करना) का संयोजन है।
संक्षेप में, यह शोध पत्र दिखाता है कि गणित की समस्याओं को हल करने के लिए आपको बड़े दिमाग की आवश्यकता नहीं है; आपको बस निर्देशों के एक बेहतर सेट की आवश्यकता है जो उस मस्तिष्क को उसकी विशिष्ट कमियों (blind spots) से बचने में मदद करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।