The Impact of LLM Self-Consistency and Reasoning Effort on Automated Scoring Accuracy and Cost
यह अध्ययन प्रदर्शित करता है कि जहाँ रणनीतिक मॉडल चयन और बढ़े हुए तर्क प्रयास (reasoning effort) उच्च विद्यालय गणित चर्चाओं के लिए स्वचालित स्कोरिंग सटीकता को महत्वपूर्ण रूप से बढ़ाते हैं, वहीं सेल्फ-कंसिस्टेंसी (self-consistency) के माध्यम से एंसेम्बलिंग से कोई पर्याप्त लाभ नहीं होता है, जिसमें विशिष्ट कम-लागत वाले मॉडल प्रदर्शन और व्यय के बीच इष्टतम संतुलन प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो गणित की सैकड़ों छोटी बातचीत (conversations) को ग्रेड कर रहे हैं जहाँ छात्र अपनी सोच समझा रहे हैं। आप इन गणित संबंधी बातचीत को ग्रेड करने के लिए एक AI रोबोट का उपयोग करना चाहते हैं, लेकिन आपकी दो बड़ी चिंताएँ हैं: क्या रोबोट सटीक होगा? और क्या इसमें बहुत अधिक पैसा खर्च होगा?
यह शोध पत्र एक प्रयोगशाला प्रयोग की तरह है जहाँ शोधकर्ताओं ने विभिन्न AI रोबोटों पर विभिन्न "सेटिंग्स" का परीक्षण किया ताकि यह देखा जा सके कि कौन से सबसे अच्छे थे। उन्होंने दो बड़ी कंपनियों (OpenAI और Google) के रोबोटों की तुलना की और दो मुख्य रणनीतियों का परीक्षण किया:
- "कमेटी" रणनीति (Self-Consistency): एक ही रोबट को एक ही उत्तर को कई बार ग्रेड करने के लिए कहना और फिर बहुमत से निर्णय लेना।
- "गहरा सोचने वाला" रणनीति (Reasoning Effort): रोबोट को अंतिम ग्रेड देने से पहले "ज़्यादा गहराई से सोचने" के लिए कहना।
यहाँ उन्हें क्या मिला, इसे सरल भाषा में समझाया गया है:
1. "कमेटी" रणनीति से ज़्यादा मदद नहीं मिली
विचार: यदि एक रोबोट थोड़ा भ्रमित है, तो शायद एक ही उत्तर को पाँच बार ग्रेड करने के लिए कहना और बहुमत से निर्णय लेना गलतियों को सुधार देगा। यह एक पहेली का उत्तर लगाने के लिए पाँच दोस्तों से पूछने जैसा है; यदि वे सभी सहमत हैं, तो आप अधिक आश्वस्त महसूस करते हैं।
वास्तविकता: शोधकर्ताओं ने पाया कि ये AI रोबोट वास्तव में बहुत जिद्दी होते हैं। एक बार जब वे किसी उत्तर पर निर्णय ले लेते हैं, तो वे उस पर टिके रहते हैं, भले ही वे गलत हों।
- उपमा: कल्पना कीजिए कि एक रोबोट इस बात को लेकर आश्वस्त है कि आकाश हरा है। यदि आप उससे 10 बार पूछते हैं, तो वह 10 बार "हरा" ही कहेगा। उसे बार-बार पूछने से उसे यह एहसास नहीं होगा कि आकाश वास्तव में नीला है; यह केवल आपको एक उत्तर के बजाय 10 उत्तरों के लिए भुगतान करने पर मजबूर करेगा।
- परिणाम: रोबोट को खुद पर वोट देने के लिए कहना (1 बार से लेकर 7 बार तक) सटीकता में सुधार नहीं कर सका। इसने केवल लागत बढ़ा दी। केवल एक चीज़ ने थोड़ी मदद की, वह थी रोबोट को थोड़ा अधिक "रैंडम" बनाना (एक सेटिंग जिसे temperature कहा जाता है), लेकिन केवल वोट देने के लिए पूछने से त्रुटियाँ ठीक नहीं हुईं।
2. "गहरा सोचने वाला" रणनीति मिली-जुली रही
विचार: नए AI मॉडल को उत्तर देने से पहले "चरण-दर-चरण सोचने" के लिए कहा जा सकता है, ठीक वैसे ही जैसे कोई इंसान अंतिम उत्तर लिखने से पहले कागज पर गणित का सवाल हल करता है।
वास्तविकता: यह काम कर गया, लेकिन यह पूरी तरह से इस बात पर निर्भर था कि आप कौन सा रोबोट उपयोग कर रहे हैं।
- "ज़रूरत से ज़्यादा सोचने वाले" (Over-Thinkers): कुछ सस्ते, छोटे रोबोटों के लिए, उन्हें "ज़्यादा गहराई से सोचने" के लिए कहना वास्तव में उन्हें ग्रेडिंग में खराब बना देता था। वे सरल उत्तरों का अत्यधिक विश्लेषण करने लगे और भ्रमित हो गए।
- "सबसे स्मार्ट" रोबोट: सबसे शक्तिशाली रोबोट (Gemini 3.1 Pro Preview) पहले से ही इतना अच्छा था कि उसे गहराई से सोचने के लिए कहने से उसके स्कोर में कोई खास बदलाव नहीं आया। वह एक सेकंड या एक मिनट सोचने के बावजूद सटीक था।
- सामान्य रुझान: कुल मिलाकर, मॉडलों को थोड़ा अधिक सोचने देने से सटीकता में मदद मिली, लेकिन यह सुधार एक सीधी रेखा में नहीं था। कभी-कभी ज़्यादा सोचने से मदद मिली, तो कभी नहीं।
3. "कीमत बनाम प्रदर्शन" का सही संतुलन
शोधकर्ताओं ने एक मानचित्र (जिसे "एफिशिएंसी फ्रंटियर" कहा जाता है) बनाया ताकि ग्रेड कितना अच्छा है और उसकी लागत कितनी है के बीच सबसे अच्छा संतुलन दिखाया जा सके।
- सस्ते विजेता: सबसे छोटे, सबसे सस्ते रोबोट (GPT-5.4 Nano और Mini) जिनमें शून्य "गहरा विचार" (deep thinking) था, वे सबसे अच्छी वैल्यू साबित हुए। वे आश्चर्यजनक रूप से सटीक थे और उनकी लागत प्रति ग्रेडिंग कार्य कुछ पैसे ही थी।
- महंगा चैंपियन: सबसे शक्तिशाली रोबोट (Gemini 3.1 Pro Preview) ने उच्चतम सटीकता दी, लेकिन इसकी लागत सस्ते रोबोटों की तुलना में लगभग 4 से 15 गुना अधिक थी।
- मध्यम मार्ग: सस्ते रोबोटों को "ज़्यादा गहराई से सोचने" के लिए कहना आमतौर पर उन्हें अधिक सटीक बनाए बिना केवल अधिक महंगा बना देता था।
निष्कर्ष
यदि आप छात्रों की गणित संबंधी बातचीत को स्वचालित रूप से ग्रेड करना चाहते हैं:
- न करें: AI को अपने उत्तरों पर बार-बार वोट देने के लिए न कहें; यह बिना गलतियाँ सुधारे पैसा बर्बाद करता है।
- करें: अपने बजट के अनुसार सही रोबोट चुनें। यदि आपको पूर्ण सटीकता चाहिए और पैसा कोई समस्या नहीं है, तो सबसे शक्तिशाली मॉडल का उपयोग करें। लेकिन यदि आपको हज़ारों पेपर सस्ते में ग्रेड करने हैं, तो एक छोटा, "आलसी" (बिना गहराई से सोचे वाला) रोबोट अक्सर उतना ही अच्छा होता है और बहुत सस्ता भी होता है।
महत्वपूर्ण नोट: इस अध्ययन में केवल हाई स्कूल गणित की बातचीत को देखा गया है जिसमें सरल "हाँ/नहीं" चेकलिस्ट थी। निबंधों, इतिहास के प्रश्नों या अधिक जटिल ग्रेडिंग पैमानों के लिए परिणाम अलग हो सकते हैं। उल्लेख की गई कीमतें वर्तमान API दरों पर आधारित हैं, जो बदल सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।