Code-Guided Reasoning for Small Language Models: Evaluating Executable MCQA Scaffolds
यह शोध पत्र कोड-गाइडेड रीजनिंग (CGR) को प्रस्तुत करता है, जो एक मूल्यांकन प्रोटोकॉल और संसाधन है जो यह प्रदर्शित करता है कि निष्पादन योग्य कोड स्कैफोल्ड्स (executable code scaffolds) मल्टीपल-चॉइस QA कार्यों पर छोटे भाषा मॉडलों के प्रदर्शन में महत्वपूर्ण सुधार करते हैं, जो सीधे उत्तर देने की तुलना में 28.10 प्रतिशत अंकों का सटीकता लाभ प्राप्त करते हैं और परिणामों का विश्लेषण करने के लिए व्यापक ट्रेस डेटा प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Code-Guided Reasoning for Small Language Models" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: एक छोटे दिमाग को टूलबॉक्स देना
कल्पना कीजिए कि आपके पास एक छोटा, बुद्धिमान छात्र है (एक "स्मॉल लैंग्वेज मॉडल" या SLM)। यदि आप इस छात्र से सीधे एक कठिन बहुविकल्पीय प्रश्न पूछते हैं, तो वे गलत उत्तर दे सकते हैं क्योंकि वे थके हुए हैं, भ्रमित हैं, या बस सूची में से सही अक्षर चुनने में खराब हैं।
आमतौर पर, बेंचमार्क छात्र से बस यह पूछते हैं: "उत्तर क्या है? A, B, C, या D?" और तुरंत ग्रेड दे देते हैं।
यह पेपर एक अलग सवाल पूछता है: क्या होगा अगर हम छात्र से केवल उत्तर न मांगें? क्या होगा अगर हम उन्हें एक टूलकिट (एक जनरेटेड पायथन प्रोग्राम) दें जो उन्हें समस्या को छोटे हिस्सों में तोड़ने, गणित करने, अपने काम की जाँच करने और उत्तर चुनने से पहले खुद से सवाल पूछने की अनुमति दे?
शोधकर्ता इसे कोड-गाइडेड रीजनिंग (CGR) कहते हैं। वे यह देखना चाहते थे कि क्या इस छोटे छात्र को एक "टूलकिट" के अंदर रखने से वे सीधे पूछने की तुलना में अधिक स्मार्ट हो जाते हैं।
प्रयोग: ग्रेडिंग के तीन तरीके
इसका परीक्षण करने के लिए, शोधकर्ताओं ने हर प्रश्न के लिए तीन अलग-अलग "चैनलों" के साथ एक दौड़ आयोजित की:
- डायरेक्ट स्प्रिंट (बेसलाइन): छात्र से प्रश्न पूछा जाता है और उसे तुरंत उत्तर चिल्लाना होता है। सोचने की अनुमति नहीं है।
- असिस्टेड हाइक (CGR): छात्र को एक "हार्नेस" (एक सुपर-स्मार्ट AI द्वारा लिखा गया कोड का एक हिस्सा) दिया जाता है। यह हार्नेस कहता है: "ठीक है, आइए इस समस्या को तीन चरणों में तोड़ते हैं। पहले, X की गणना करें। फिर, Y के बारे में छात्र से पूछें। फिर, यदि उत्तर मेल नहीं खाते हैं, तो उनसे फिर से पूछें।" छात्र इन निर्देशों का पालन करता है, काम करता है, और अंत में एक उत्तर चुनता है।
- कोच का अनुमान (जेनरेटर-साइड): वह सुपर-स्मार्ट AI जिसने हार्नेस लिखा है, वह उत्तर के बारे में अपना स्वयं का अनुमान भी लगाता है। यह छात्र का उत्तर नहीं है; यह कोच का उत्तर है।
लक्ष्य: "डायरेक्ट स्प्रिंट" के स्कोर की तुलना "असिस्टेड हाइक" से करना।
परिणाम: टूलबॉक्स काम करता है (ज्यादातर)
शोधकर्ताओं ने कई अलग-अलग विषयों (जैसे मेडिकल परीक्षा, भौतिकी और गणित प्रतियोगिता) में लगभग 20,500 प्रश्नों पर यह परीक्षण किया।
- डायरेक्ट स्प्रिंट: छोटे छात्रों ने लगभग 38% प्रश्नों को सही बताया (उन प्रश्नों पर जहाँ उन्होंने शुरू में शून्य सही नहीं किए थे)।
- असिस्टेड हाइक: जब उन्हें कोड टूलकिट दिया गया, तो उन्हीं छात्रों ने लगभग 66% को सही बताया।
निष्कर्ष: समस्या को सोचने का एक संरचित तरीका (कोड स्कैफोल्ड) देने से उनकी सटीकता में 28 प्रतिशत अंक की वृद्धि हुई। यह एक बहुत बड़ी छलांग है।
उपमा: यह एक छात्र को कैलकुलेटर और स्टेप-बाय-स्टेप वर्कशीट देने जैसा है। इसके बिना, वे घबराहट में "C" चुन सकते हैं। वर्कशीट के साथ, वे समस्या पर काम करते हैं और महसूस करते हैं कि उत्तर "A" है।
सावधानी: यह जादू नहीं है (और यह मुफ्त नहीं है)
पेपर अपनी सीमाओं के बारे में बहुत ईमानदार है। "असिस्टेड हाइक" एक पूर्ण, मुफ्त अपग्रेड नहीं है। यहाँ कुछ सावधानियां दी गई हैं:
- इसमें अधिक ऊर्जा लगती है: "असिस्टेड हाइक" में डायरेक्ट स्प्रिंट की तुलना में लगभग 7 गुना अधिक कंप्यूटर पावर (टोकन) का उपयोग होता है। वर्कशीट भरने के लिए छात्र से कई बार सवाल पूछना पड़ता है। यह कच्ची बुद्धिमत्ता का "सेब-से-सेब" (तुलना) नहीं है; यह "कच्चा दिमाग" बनाम "दिमाग + बहुत अधिक प्रयास" की तुलना है।
- वर्कशीट अव्यवस्थित हो सकती है: कभी-कभी कोड (वर्कशीट) खराब तरीके से लिखा जाता है। छात्र निर्देशों से भ्रमित हो सकते हैं, या कोड का वह हिस्सा जो उत्तर पढ़ने की कोशिश करता है, अक्षर "A" को खोजने में विफल हो सकता है और बस "X" का अनुमान लगा सकता है।
- यह सभी के लिए काम नहीं करता: कुछ प्रकार के प्रश्नों के लिए (विशेष रूप से "Time-MQA" डेटासेट में टाइम-सीरीज डेटा), टूलकिट ने वास्तव में छात्रों को बदतर बना दिया। ऐसा लगता है कि कुछ समस्याओं के लिए, बहुत अधिक सोचना और चरणों में तोड़ना उस छात्र को भ्रमित कर सकता है जो पहले से ही कार्य में अच्छा था।
- "कोच" थोड़ा बेईमानी कर रहा है: वह सुपर-स्मार्ट AI जिसने वर्कशीट लिखी है (जेनरेटर), अक्सर उत्तर जानता ही था। शोधकर्ताओं को यह सुनिश्चित करने के लिए सावधान रहना पड़ा कि छात्र केवल कोच के उत्तर की नकल न कर रहा हो। उन्होंने पाया कि छात्र ने अपने दम पर सुधार किया, लेकिन कोच का ज्ञान एक बड़ी मदद था।
यह पेपर वास्तव में क्या दावा करता है (और क्या नहीं करता)
यह क्या दावा करता है:
- यदि आप एक छोटे भाषा मॉडल को एक जनरेटेड कोड प्रोग्राम के अंदर रखते हैं जो प्रश्न को तोड़ता है, तो संभवतः वे अधिक बहुविकल्पीय प्रश्नों के सही उत्तर देंगे बजाय इसके कि आप उनसे सीधे पूछें।
- यह सुधार वास्तविक है, लेकिन यह अधिक लागत (अधिक कंप्यूटिंग पावर) और कुछ जोखिमों (कोड बग वाला हो सकता है) के साथ आता है।
- हमें केवल अंतिम स्कोर को नहीं, बल्कि यह देखना चाहिए कि मॉडल ने उत्तर कैसे प्राप्त किया (क्या उसने उपकरणों का उपयोग किया? क्या उसने अनुमान लगाया?)।
यह क्या दावा नहीं करता:
- यह कोई चिकित्सा उपचार नहीं है: पेपर में मेडिकल प्रश्नों का परीक्षण किया गया था, लेकिन यह नहीं कहता कि यह विधि वास्तविक रोगियों के निदान के लिए सुरक्षित है। यह केवल एक बेंचमार्क टेस्ट है।
- यह मुफ्त नहीं है: आप "टूलकिट" चलाने के लिए आवश्यक अतिरिक्त कंप्यूटिंग पावर के बिना इसे वास्तविक दुनिया के ऐप में उपयोग नहीं कर सकते।
- यह सब कुछ ठीक नहीं करता: कुछ कठिन समस्याओं के लिए, टूलकिट ने चीजों को बदतर बना दिया।
निचोड़
इस पेपर को एक नए शिक्षण तरीके की रिपोर्ट कार्ड के रूप में देखें। वह तरीका है: "छात्र से केवल उत्तर न मांगें; उन्हें इसे हल करने के लिए एक संरचित योजना दें।"
रिपोर्ट कहती है: "हाँ, यह तरीका काम करता है और स्कोर को काफी बढ़ाता है, लेकिन इसके लिए अधिक समय और संसाधनों की आवश्यकता होती है, और कभी-कभी योजना को खुद ठीक करने की आवश्यकता होती है।"
शोधकर्ताओं ने एक नया छात्र नहीं बनाया; उन्होंने बस मौजूदा छात्रों को यह दिखाने का एक बेहतर तरीका खोजा कि वे क्या कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।