Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets
यह शोध पत्र यह प्रदर्शित करता है कि जहाँ बड़े भाषा मॉडल (large language models) इस बात का निर्णय लेने में उत्कृष्ट हैं कि क्या उम्मीदवार एक सही सेट से संबंधित हैं, वहीं वे पूर्ण स्वीकार्य सेटों को तैयार करने में महत्वपूर्ण रूप से विफल रहते हैं क्योंकि उनमें अति-समावेशन (over-inclusions) के बजाय मौन लोप (silent omissions) की ओर एक व्यवस्थित प्रवृत्ति होती है, जो विभिन्न डोमेन और पैरामीटर पैमानों में बनी रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
महान भूमिका परिवर्तन: जब AI शिक्षक बन जाता है
एक ऐसी कक्षा की कल्पना करें जहाँ छात्र अब केवल उत्तर नहीं दे रहे हैं; वे पाठ्यपुस्तकें लिख रहे हैं, परीक्षाओं का मूल्यांकन कर रहे हैं, और यह तय कर रहे हैं कि क्या "सही" उत्तर माना जाए। यह आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में अभी हो रहा है। लार्ज लैंग्वेज मॉडल्स (LLMs) को "परीक्षार्थी" (परीक्षा देने वाले) से "परीक्षक" (परीक्षा बनाने वाले) के रूप रूप में बढ़ावा दिया जा रहा है। वे नियम, उत्तर कुंजियाँ (answer keys), और चेकलिस्ट लिख रहे हैं जो अन्य AI सिस्टम को यह बताते हैं कि वे अच्छा काम कर रहे हैं या नहीं।
इसे समझने के लिए कठिन क्यों है, यह जानने के लिए दो अलग-अलग कौशलों के बारे में सोचें। पहला है निर्णय लेना (Judging): एक एकल उत्तर को देखना और कहना, "हाँ, यह सही है," या "नहीं, यह गलत है।" दूसरा है लेखन (Authoring): शून्य से हर एक संभावित सही उत्तर की पूरी सूची बनाना। यह एक रेफरी द्वारा खिलाड़ी के बाउंड्री से बाहर जाने पर सीटी बजाने और एक कोच द्वारा ऐसा नियम पुस्तिका लिखने के बीच का अंतर है जिसमें खिलाड़ी के बाउंड्री से बाहर जाने के हर संभव तरीके को सूचीबद्ध किया गया हो ताकि कोई भी छूट न जाए। हम इस पर इसलिए ध्यान देते हैं क्योंकि यदि परीक्षा लिखने वाला AI गलती करता है, तो वह केवल एक प्रश्न गलत नहीं करता; वह सभी के लिए "सही" होने की परिभाषा बदल देता है, जिससे संभावित रूप से अच्छे उत्तरों को दंडित किया जा सकता है और बुरे उत्तरों को पुरस्कृत किया जा सकता है।
शोध पत्र की बड़ी खोज: मशीन में छिपा मौन भूत
यह शोध पत्र इस बात की जांच करता है कि AI इन नई भूमिकाओं को कैसे संभालता है, इसमें एक अजीब और खतरनाक त्रुटि (glitch) है। शोधकर्ताओं ने पाया कि जबकि AI मॉडल निर्णय लेने (यह पहचानने में कि एक विशिष्ट उत्तर सही है या गलत) में वास्तव में काफी अच्छे हैं, वे लेखन (सभी सही उत्तरों की पूरी सूची लिखने) में आश्चर्यजनक रूप से खराब हैं।
इसे "साइमन कहता है" (Simon Says) के खेल की तरह समझें। यदि आप AI से पूछते हैं, "क्या 'सेब' एक फल है?" तो वह लगभग हमेशा सही उत्तर देगा "हाँ"। लेकिन यदि आप उससे पूछते हैं, "मौजूद सभी फलों की सूची बनाएं," तो वह सेब और केले सूचीबद्ध करना शुरू करेगा, लेकिन फिर वह बस... रुक जाएगा। वह संतरों, कीवी और आमों को भूल जाएगा। वह इसलिए नहीं भूलता क्योंकि उसे पता नहीं है कि वे क्या हैं; वह इसलिए भूल जाता है क्योंकि वह पूरी सूची लिखने के विशिष्ट कार्य में खराब है।
लेखक इसे "जजिंग-एनुमेरेटिंग सिज़र्स" (Judging-Enumerating Scissors) कहते हैं। एक ऐसी कैंची की कल्पना करें जहाँ एक ब्लेड "जजिंग" (तेज और मजबूत) है और दूसरा "ऑथरिंग" (कुंद और कमजोर) है। जैसे-जैसे AI मॉडल बड़े और स्मार्ट होते जाते हैं (छोटे से विशाल स्तर तक स्केल करते हुए), "जजिंग" ब्लेड अधिक तेज होता जाता है, लेकिन "ऑथरिंग" ब्लेड बहुत कम तेज होता है। वे कभी बराबरी नहीं कर पाते। वे कितनी अच्छी तरह निर्णय ले सकते हैं और कितनी अच्छी तरह सूची बना सकते हैं, उनके बीच का अंतर बना रहता है, चाहे आप उन्हें कितना भी कंप्यूटिंग पावर क्यों न दें।
मौन भूत: हम गलतियों को नोटिस क्यों नहीं करते
इस खोज का सबसे भयानक हिस्सा यह है कि AI कैसे विफल होता है। जब यह सही उत्तरों की सूची लिखता है, तो यह आमतौर पर गलत उत्तर नहीं जोड़ता (जैसे फल की सूची में "पत्थर" कहना)। इसके बजाय, यह मौन विलोपन (Silent Omissions) करता है। यह बस वास्तविक उत्तरों को छोड़ देता है।
यहाँ बताया गया है कि यह इतना खतरनाक क्यों है:
- अति-समावेशन (गलत चीजें जोड़ना): यदि AI गलती से फल की सूची में "पत्थर" जोड़ देता है, तो एक मानव समीक्षक इसे आसानी से पकड़ सकता है। "हे, पत्थर फल नहीं हैं!" वे कहते हैं। यह एक दृश्य त्रुटि है।
- विलोपन (सही चीजें छोड़ देना): यदि AI "कीवी" को सूचीबद्ध करना भूल जाता है, तो देखने के लिए कोई त्रुटि नहीं होती। सूची बस थोड़ी छोटी दिखती है। छूटे हुए कीवी को खोजने के लिए, समीक्षक को स्वयं उत्तर जानना होगा और फिर उसे ढूंढना होगा।
शोध पत्र दिखाता है कि AI मॉडल उन चीजों को पकड़ने में गलत चीजों को जोड़ने की तुलना में 6 से 7 गुना बेहतर हैं जिन्हें उन्होंने गलती से छोड़ दिया है। यह उस छात्र की तरह है जो अपने निबंध में टाइपो (typos) खोजने में बहुत अच्छा है लेकिन यह महसूस करने में बहुत बुरा है कि वह निष्कर्ष लिखना भूल गया है। क्योंकि छूटे हुए हिस्से अदृश्य होते हैं, इसलिए AI की "उत्तर कुंजियाँ" अधूरी रह जाती हैं, और उन कुंजियों के आधार पर ग्रेडिंग करने वाले AI सिस्टम सही उत्तरों को केवल इसलिए दंडित करते हैं क्योंकि वे सूची में नहीं थे।
द "मैजिक रूल" लूपहोल (जादुई नियम का रास्ता)
शोधकर्ताओं ने एक चतुर समाधान का परीक्षण किया। उन्होंने AI को फलों की सूची बनाने के लिए नहीं कहा, बल्कि यह लिखने के लिए कहा कि क्या चीज़ उसे फल बनाती है (जैसे, "यदि यह पेड़ पर उगता है और इसमें बीज होते हैं")। जब उन्होंने ऐसा किया, तो AI लगभग सटीक हो गया (99% सटीकता)।
यह साबित करता है कि AI मूर्ख नहीं है। वह नियमों को जानता है। समस्या पूरी तरह से उन्हें सूचीबद्ध करने के कार्य में है। यह एक ऐसे शेफ की तरह है जो केक की रेसिपी को पूरी तरह से समझा सकता है लेकिन जब उसे पूरी खरीदारी की सूची लिखने के लिए कहा जाता है, तो वह अंतिम तीन सामग्रियां लिखना भूल जाता है। शोध पत्र दिखाता है कि यदि आप AI को सूची के बजाय नियम लिखने के लिए प्रेरित करते हैं, तो समस्या समाप्त हो जाती है। लेकिन कई वास्तविक दुनिया के मामलों में (जैसे कंप्यूटर कोड के लिए टेस्ट सुइट लिखना), लिखने के लिए कोई सरल नियम नहीं होता है; आपको विशिष्ट टेस्ट केस की सूची बनानी ही पड़ती है, और वहीं AI लड़खड़ा जाता है।
"अपना काम खुद चेक करना" मदद क्यों नहीं करता
आप सोच सकते हैं, "खैर, अगर AI सूची बनाने में बुरा है, तो शायद वह अपनी गलतियों को ठीक करने के लिए अपनी सूची को खुद चेक कर सकता है?" शोध पत्र ने इसका भी परीक्षण किया। उन्होंने AI को एक सूची बनाने के लिए कहा, फिर एक दूसरी सूची बनाने के लिए, और फिर दूसरी सूची का उपयोग करके पहली सूची को फ़िल्टर करने के लिए कहा।
परिणाम? यह काम नहीं आया। AI अपने विलोपन (omissions) को ठीक नहीं कर सका। यह एक ऐसे व्यक्ति से पूछने जैसा है जो गिनती करने में बुरा है कि क्या उसने अपनी उंगलियों को गिनते समय कुछ छोड़ा है। AI का "जजिंग" कौशल एक स्पष्ट, पहले से बनी सूची को देखते समय मजबूत होता है, लेकिन अपनी स्वयं की अव्यवस्थित, स्व-जनित सूची को जज करने की कोशिश करते समय यह ढह जाता है। शोध पत्र निष्कर्ष निकालता है कि AI को अपनी उत्तर कुंजी की जाँच करने के लिए कहना एक जाल है; उसे छूटे हुए हिस्सों को पकड़ने के लिए एक बाहरी, मानव-सत्यापित "गोल्ड स्टैंडर्ड" की आवश्यकता होती है।
वास्तविक दुनिया की लागत: AI पर "टैक्स"
अंत में, शोध पत्र ने मापा कि जब इस टूटी हुई उत्तर कुंजी का उपयोग अन्य AI को प्रशिक्षित करने के लिए किया जाता है तो क्या होता है। उन्होंने एक परिदृश्य बनाया जहाँ एक AI को अंक मिलते हैं यदि वह सही उत्तर देता है।
- जब AI ने एक पूर्ण, मानव-निर्मित कुंजी का उपयोग किया, तो उसने अच्छी तरह से सीखा।
- जब उसने एक मॉडल-निर्मित कुंजी का उपयोग किया, तो उसने काफी खराब प्रदर्शन किया।
एक विशिष्ट भाषा कार्य पर, मॉडल-निर्मित कुंजी का उपयोग करने वाले AI ने 18.5 अंक कम प्राप्त किए। गणित के एक कार्य पर भी, जहाँ नियम सरल थे, इसने 1.9 अंक खो दिए। यह "टैक्स" इसलिए लगता है क्योंकि मॉडल-निर्मित कुंजी बहुत सख्त है: यह उन अच्छे उत्तरों को खारिज कर देती है जिन्हें AI ने उत्पन्न किया था लेकिन जिसे वह अपनी सूची में शामिल करना भूल गया था। AI भ्रमित हो जाता है, यह सोचकर कि उसके सही उत्तर गलत हैं, और रचनात्मक होना बंद कर देता है।
मुख्य निष्कर्ष (The Takeaway)
शोध पत्र यह नहीं कहता कि AI बेकार है। यह कहता है कि जब हम AI से "परीक्षक" बनने और शुद्धता के नियमों को लिखने के लिए कहते हैं, तो हमें बहुत सावधान रहना चाहिए।
- सूची न मांगें; नियम मांगें। यदि AI एक नियम (जैसे पायथन स्क्रिप्ट) लिख सकता है जो उत्तरों की जाँच करे, तो उसका उपयोग करें। यह लगभग सटीक है।
- सूची पर आँख मूंदकर भरोसा न करें। यदि AI को सही उत्तरों की सूची लिखनी है, तो वह निश्चित रूप से कुछ छोड़ देगा।
- एक "गेटकीपर" का उपयोग करें। किसी AI की उत्तर कुंजी पर भरोसा करने से पहले, जाँच लें कि क्या वह एक ज्ञात-सही उत्तर को स्वीकार करता है। यदि वह एक ज्ञात-सही उत्तर को अस्वीकार करता है, तो उस कुंजी को फेंक दें।
- सुधारें, त्यागें नहीं। यदि कुंजी किसी सही उत्तर को अस्वीकार करती है, तो आप पूरी चीज़ को फेंकने के बजाय अक्सर केवल विशिष्ट गलती (जैसे अपेक्षित आउटपुट) को ठीक कर सकते हैं।
निष्कर्ष: AI गलतियाँ पकड़ने में बहुत अच्छा है, लेकिन यह सुनिश्चित करने में बहुत बुरा है कि उसने कुछ छोड़ा तो नहीं है। जब तक हम इस "मौन विलोपन" (silent omission) की समस्या को ठीक नहीं कर लेते, हम पूरी तरह से AI को अपना होमवर्क खुद ग्रेड करने के लिए नहीं दे सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।