Is Large Language Model Performance on Reasoning Tasks Impacted by Different Ways Questions Are Asked?
यह अध्ययन प्रकट करता है कि प्रश्नों का प्रारूप, जिसमें विकल्पों की संख्या और विशिष्ट शब्दावली शामिल है, तर्क संबंधी कार्यों पर लार्ज लैंग्वेज मॉडल के प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करता है, जिससे अक्सर तर्क के चरणों की सटीकता और अंतिम उत्तर की शुद्धता के बीच एक विसंगति उत्पन्न होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो यह परीक्षण करने की कोशिश कर रहे हैं कि एक नया छात्र (एक AI) तर्क संबंधी पहेलियों को हल करने में कितना बुद्धिमान है। आप यह देखना चाहते हैं कि क्या छात्र वास्तव में गणित या तर्क को समझता है, या वह केवल सही उत्तर का अनुमान लगा रहा है।
यह शोध पत्र एक रिपोर्ट कार्ड की तरह है जहाँ शोधकर्ताओं ने एक ही तर्क संबंधी समस्याओं को पाँच अलग-अलग AI छात्रों से पूछा, लेकिन उन्होंने सवाल पूछने के तीन बहुत अलग तरीके अपनाए:
- "निबंध" शैली (लघु उत्तर): "यहाँ एक समस्या है। इसे हल करें और मुझे उत्तर बताएं।"
- "बहुविकल्पीय" शैली: "यहाँ एक समस्या है। इन 5 या 11 विकल्पों में से सही उत्तर चुनें।"
- "सही या गलत" शैली: "यहाँ एक समस्या और एक विशिष्ट उत्तर है। क्या यह उत्तर सही है या गलत?"
शोधकर्ता यह जानना चाहते थे कि: क्या सवाल पूछने का तरीका आपके प्रदर्शन को बदल देता है?
यहाँ मुख्य निष्कर्ष दिए गए, जिन्हें सरल भाषा में समझाया गया है:
1. "अनुमान लगाने का खेल" प्रभाव
सबसे बड़ा आश्चर्य यह था कि सही अंतिम उत्तर प्राप्त करने का मतलब हमेशा यह नहीं होता कि AI ने सही काम किया है।
- उपमा: कल्पना कीजिए कि एक छात्र बहुविकल्पीय परीक्षा दे रहा है। हो सकता है कि उसे गणित करना न आता हो, लेकिन वह "C" का अनुमान लगाता है और सही हो जाता है। यदि आप केवल बबल शीट को देखते हैं, तो उसे 100% अंक मिलते हैं। लेकिन यदि आप उनके रफ कार्य (स्क्रैच पेपर) को देखते हैं, तो उन्होंने वहां कुछ भी निरर्थक लिखा है।
- निष्कर्ष: AI अक्सर बहुविकल्पीय प्रश्न में सही अक्षर का "अनुमान" लगा लेता है भले ही उसके तर्क के चरण गलत हों। इसके विपरीत, कभी-कभी AI सटीक गणित करता है लेकिन अंत में गलत अक्षर चुन लेता है क्योंकि वह विकल्पों से भ्रमित हो जाता है।
- पाठ: यदि आप केवल अंतिम उत्तर की जाँच करते हैं, तो आप सोच सकते हैं कि AI वास्तव में जितना बुद्धिमान है उससे कहीं अधिक बुद्धिमान है।
2. "मेन्यू" की समस्या (बहुविकल्पीय)
जब शोधकर्ताओं ने AI को चुनने के लिए विकल्पों की एक सूची दी, तो विकल्पों की संख्या और उपयोग किए गए शब्द बहुत मायने रखते थे।
- बहुत अधिक विकल्प: जब सूची 5 विकल्पों से बढ़कर 11 विकल्प हो गई, तो AI का प्रदर्शन अक्सर गिर गया। यह वैसा ही है जैसे आपको 5 आइसक्रीम फ्लेवर के बजाय 50 फ्लेवर ऑफर किए जाएं; AI अभिभूत हो गया और अधिक अनुमान लगाने लगा।
- "कुछ और" का विकल्प: शोधकर्ताओं ने "कुछ और" (या "उपरोक्त में से कोई नहीं") नामक एक अजीब विकल्प जोड़ा।
- यदि "कुछ और" सही उत्तर था, तो AI इसे चुनने में अक्सर संघर्ष करता था, भले ही उसने गणित सही किया हो। ऐसा लगता है कि वह एक विशिष्ट संख्या चुनने को प्राथमिकता देता है, भले ही वह संख्या गलत हो।
- AI में एक "पसंदीदा सीट" का झुकाव भी दिखाई दिया। वह सही होने या न होने के बावजूद अक्सर पहला या आखिरी विकल्प चुनता था।
3. "हाँ/नहीं" का जाल (सही या गलत)
जब "सही या गलत" वाले प्रश्न पूछे गए, तो विशिष्ट शब्दों के उपयोग ने परिणामों को बदल दिया।
- सही बनाम गलत: AI गलत होने पर "गलत" कहने की तुलना में सही होने पर "सही" कहने में आम तौर रूप से बेहतर था। ऐसा लगता है कि उसमें सहमति जताने का एक पूर्वाग्रह था।
- शब्दों का चयन: प्रॉम्प्ट को "सही या गलत" से बदलकर "हाँ या नहीं" करने से AI कुछ कार्यों में काफी खराब प्रदर्शन करने लगा। यह ठीक वैसा ही है जैसे कोई व्यक्ति "क्या आप जाना चाहते हैं?" का उत्तर "हाँ" में दे सकता है, लेकिन "क्या यह सच है कि आप जाना चाहते हैं?" पर हिचकिचा सकता है। AI इन सूक्ष्म भाषाई बदलावों के प्रति संवेदनशील है।
4. "निर्देश" का भ्रम
शोधकर्ताओं ने AI की मदद करने के लिए "पहले समस्या को हल करें, फिर तय करें कि यह सही है या गलत" जैसे निर्देश जोड़कर प्रयास किया।
- परिणाम: कभी-कभी इससे मदद मिली, लेकिन अक्सर इसने AI को भ्रमित कर दिया या इसके प्रदर्शन को और खराब कर दिया। AI कभी-कभी निर्देश पर इतना केंद्रित हो जाता था कि वह समस्या के वास्तविक तर्क को ही भूल जाता था।
सारांश: हमें क्या सीखना चाहिए?
शोध पत्र यह निष्कर्ष निकालता है कि हम AI की बुद्धिमत्ता का निर्णय केवल अंतिम स्कोर देखकर नहीं कर सकते।
- यदि आप AI से बहुविकल्पीय प्रश्न पूछते हैं, तो वह तर्क को समझे बिना सही अक्षर का अनुमान लगाकर "चीटिंग" कर सकता है।
- यदि आप उससे सही/गलत प्रश्न पूछते हैं, तो उपयोग किए गए विशिष्ट शब्द उसे कम सटीक होने के लिए trick कर सकते हैं।
- यह जानने के लिए कि क्या AI वास्तव में स्मार्ट है, आपको उसके "रफ कार्य" (उसके तर्क के चरणों) की जाँच करनी होगी, न कि केवल उस अंतिम बबल की जिसे उसने भरा है।
शोधकर्ताओं ने भविष्य के डेवलपर्स को इन बारीकियों को समझने में मदद करने के लिए नए परीक्षणों (बेंचमार्क) का निर्माण किया है, ताकि यह सुनिश्चित किया जा सके कि जब हम AI का परीक्षण करते हैं, तो हम केवल यह नहीं देख रहे हैं कि वह अनुमान लगाने में कितना अच्छा है, बल्कि यह देख रहे हैं कि वह सोचने में कितना अच्छा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।