Accuracy, Stability, and Repeated-Run Reliability of Large Language Models on Deterministic Programming Tasks
यह शोध पत्र यह प्रदर्शित करता है कि मानक रन-लेवल सटीकता मेट्रिक्स, एकल-रन सफलता और निरंतर पुनरावृत्ति-मुक्त प्रदर्शन के बीच के पर्याप्त अंतर को अनदेखा करके, विशेष रूप से मध्यम-स्तरीय मॉडलों के लिए, नियतात्मक प्रोग्रामिंग कार्यों पर बड़े भाषा मॉडलों की विश्वसनीयता को काफी बढ़ा-चढ़ाकर बताते हैं, जिससे सटीक मूल्यांकन के लिए बार-बार किए जाने वाले रन स्थिरता विश्लेषण की आवश्यकता स्थापित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक विशिष्ट व्यंजन बनाने के लिए शेफ की एक टीम को काम पर रखा है, जो आपके द्वारा दी गई रेसिपी (विधि) का पालन करेंगे। आप प्रत्येक शेफ से एक ही बार में लगातार पांच बार वह व्यंजन बनाने के लिए कहते हैं, जिसमें वही सामग्री और निर्देश उपयोग किए जाते हैं।
ज्यादातर लोग परिणामों को देखकर कहेंगे, "वाह, शेफ A ने 5 में से 4 बार इसे सही बनाया! यह 80% सफलता दर है। वे बहुत अच्छे हैं।"
लेकिन यह शोध पत्र एक अलग, अधिक व्यावहारिक प्रश्न पूछता है: "यदि मैं अभी इस शेफ से यह व्यंजन बनाने के लिए कहता हूँ, तो क्या मैं भरोसा कर सकता हूँ कि यह हर बार एकदम सही होगा, या मुझे उन्हें तब तक दोबारा प्रयास करने के लिए कहना होगा जब तक कि वे इसे सही न कर लें?"
शोधकर्ताओं ने पाया कि सफलता को मापने का मानक तरीका (वह "80% सफलता दर") अक्सर हमसे झूठ बोलता है। यह शेफ को वास्तव में जितना सक्षम है, उससे कहीं अधिक विश्वसनीय दिखाता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. "औसत" बनाम "परफेक्ट स्ट्रीक" (The "Average" vs. The "Perfect Streak")
यह पेपर एक शेफ (या AI मॉडल) को मापने के दो तरीके पेश करता है:
- रन-लेवल पास रेट (औसत): यह रसोई से कुल कितनी 'परफेक्ट प्लेटें' निकलीं, गिनने जैसा है। यदि एक शेफ 100 प्लेट बनाता है और 80 एकदम सही होती हैं, तो उनका स्कोर 80% है। यह वही है जिसे ज्यादातर लोग देखते हैं।
- परफेक्ट स्टेबिलिटी रेट ("नो रिट्राई" स्कोर): यह पूछता है: "कितने ऑर्डर्स में शेफ ने बिना किसी गलती के पहली ही कोशिश में काम पूरा किया?"
बड़ी खोज: "औसत" स्कोर हमेशा "नो रिट्राई" स्कोर से अधिक होता है।
- उपमा: कल्पना कीजिए कि एक शेफ यह तय करने के लिए सिक्का उछालता है कि व्यंजन में नमक डालना है या नहीं।
- परिदृश्य A: वे 50% समय व्यंजन सही बनाते हैं, लेकिन जब वे गलत होते हैं, तो वे बहुत ज्यादा गलत होते हैं। वे अस्थिर (inconsistent) हैं।
- परिदृश्य B: वे 50% समय व्यंजन सही बनाते हैं, लेकिन वे या तो हमेशा परफेक्ट होते हैं या हमेशा खराब।
- पेपर ने पाया कि "मध्यम-स्तर" के शेफों (जो अच्छे हैं लेकिन पूर्ण नहीं हैं) के लिए, उनके "औसत" स्कोर और उनके "नो रिट्राई" स्कोर के बीच का अंतर बहुत बड़ा है। एक मॉडल औसत पर 86% सटीक दिख सकता है, लेकिन यदि आपको बिना किसी दूसरे अनुमान के इसे पूरी तरह सही करने की आवश्यकता है, तो यह वास्तव में केवल 75% विश्वसनीय है। यह 17.8% का अंतर है—एक विशाल अंतर जो यह बदल देता है कि आप किसे काम पर रखेंगे।
2. "मिड-रेंज" का जाल (The "Mid-Range" Trap)
शोधकर्ताओं ने पाया कि सबसे बड़े झूठ "बीच के स्तर" वाले मॉडल्स के साथ होते हैं।
- टॉप-टियर मॉडल्स: वे इतने अच्छे हैं कि वे शायद ही कभी गलती करते हैं, इसलिए उनका "औसत" और "स्टेबिलिटी" स्कोर लगभग समान होता है।
- बॉटम-टियर मॉडल्स: वे इतने खराब हैं कि वे लगभग हमेशा विफल हो जाते हैं, इसलिए उनके स्कोर भी समान होते हैं (दोनों ही कम होते हैं)।
- मिडिल मॉडल्स (मध्यम मॉडल्स): ये सबसे पेचीदा हैं। वे पर्याप्त बार सफल होते हैं ताकि अच्छे दिख सकें, लेकिन वे इतनी बार विफल होते हैं कि परेशान करने वाले बन जाते हैं। क्योंकि वे "अनिश्चितता की कगार" पर होते हैं, उनके परिणाम बहुत अधिक उतार-चढ़ाव वाले होते हैं। पेपर ने पाया कि इन मॉडल्स के लिए, "औसत" स्कोर उनकी विश्वसनीयता को लगभग 18 प्रतिशत अंकों से बढ़ा-चढ़ाकर दिखाता है।
3. "प्रॉम्प्ट" (रेसिपी कार्ड)
टीम ने परीक्षण किया कि एक विस्तृत रेसिपी कार्ड (एक "विस्तृत प्रॉम्प्ट") बनाम एक संक्षिप्त कार्ड (एक "मिनिमल प्रॉम्प्ट") देने से क्या वे शेफ अधिक सुसंगत (consistent) हुए।
- परिणाम: यह पूरी तरह से शेफ पर निर्भर करता है।
- कुछ मॉडल्स के लिए, विस्तृत रेसिपी मददगार रही। अन्य के लिए, छोटी रेसिपी बेहतर थी। कुछ के लिए, इससे कोई फर्क नहीं पड़ा।
- सबक: किसी को भी ठीक करने के लिए कोई "जादुई प्रॉम्प्ट" नहीं है। आप बस एक मध्यम-स्तर के मॉडल को बेहतर निर्देश देकर यह उम्मीद नहीं कर सकते कि वह अचानक पूरी तरह से स्थिर हो जाएगा।
4. "सोचने वाले" मॉडल्स (Reasoning vs. Standard)
कुछ आधुनिक शेफ खाना पकाने से पहले "कदम-दर-कदम सोचने" (Reasoning Models) के लिए प्रशिक्षित होते हैं। शोधकर्ता यह जानना चाहते थे कि क्या यह "सोचना" उन्हें अधिक सुसंगत बनाता है।
- परिणाम: जरूरी नहीं कि ऐसा हो।
- जबकि कुछ "सोचने वाले" मॉडल्स आश्चर्यजनक रूप से स्थिर थे, अन्य वास्तव में अपने गैर-सोचने वाले समकक्षों की तुलना में कम स्थिर थे। "सोचने" की प्रक्रिया ने गारंटी नहीं दी कि एक परफेक्ट स्ट्रीक मिलेगी। वास्तव में, कुछ के लिए, अतिरिक्त सोचने के चरणों ने चीजें गलत होने के अधिक अवसर पैदा कर दिए।
5. यह क्यों महत्वपूर्ण है
पेपर का तर्क है कि हमें केवल "औसत" स्कोर को देखना बंद कर देना चाहिए।
- वास्तविक दुनिया: यदि आप एक सॉफ्टवेयर सिस्टम बना रहे हैं जिसे स्वचालित रूप से चलना है (जैसे कि एक सेल्फ-ड्राइविंग कार या बैंकिंग स्क्रिप्ट), तो आप ऐसा सिस्टम नहीं चाहते जो "ज्यादातर समय" काम करता हो। आप एक ऐसा सिस्टम चाहते हैं जो हर एक बार काम करे, बिना आपके "रिट्राई" बटन दबाने के।
- निष्कर्ष: यह जानने के लिए कि क्या कोई AI वास्तव में वास्तविक दुनिया के लिए तैयार है, आपको इसे बार-बार टेस्ट करना होगा। आपको न केवल यह जानने की आवश्यकता है कि क्या वह समस्या को हल कर सकता है, बल्कि यह भी कि वह पहली कोशिश में कितनी विश्वसनीयता से उसे हल करता है।
संक्षेप में: किसी टेस्ट में उच्च स्कोर का मतलब यह नहीं है कि छात्र सुसंगत है। यह पेपर हमें दिखाता है कि "अंततः सही होने" और "हर बार सही होने" के बीच के अंतर को कैसे मापा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।