Evaluating Ill-Defined Tasks in Large Language Models
यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स के लिए अस्पष्ट कार्यों (ill-defined tasks) हेतु वर्तमान मूल्यांकन बेंचमार्क अस्पष्ट मानदंडों और अस्थिर मेट्रिक्स के कारण अविश्वसनीय और गैर-नैदानिक (non-diagnostic) हैं, और यह जटिल निर्देश पालन (complex instruction following) तथा आरेख निर्माण (diagram generation) पर केस स्टडीज के माध्यम से अधिक सुदृढ़, व्याख्या योग्य मूल्यांकन डिजाइनों की आवश्यकता को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो बहुत उन्नत, लेकिन कभी-कभी अजीबोगरीब व्यवहार करने वाले रोबोटों (लार्ज लैंग्वेज मॉडल्स, या LLMs) की एक कक्षा को ग्रेड देने की कोशिश कर रहे हैं। ये रोबोट कहानियाँ लिखने, गणित की समस्याएँ हल करने और सामान्य ज्ञान के उत्तर देने में माहिर हैं। लेकिन क्या होता है जब आप उन्हें ऐसा कार्य देते जिसका कोई एक "सही" उत्तर नहीं होता?
यह शोध पत्र, जिसका शीर्षक "I Can't Believe It's Not Better" है, यह तर्क देता है कि इन रोबोटों को "अस्पष्ट" कार्यों पर ग्रेड देने का हमारा वर्तमान तरीका गलत है। यह एक जैज़ इम्पप्रोवाइजेशन (jazz improvisation) प्रतियोगिता को गणित के टेस्ट के लिए बनी चेकलिस्ट का उपयोग करके आंकने जैसा है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इस शोध पत्र का विवरण दिया गया है:
1. समस्या: "धुंधला" होमवर्क (The "Fuzzy" Homework)
अधिकांश AI परीक्षण बहुविकल्पीय प्रश्नों (multiple-choice quizzes) की तरह होते हैं। इसमें एक सही उत्तर होता है (A, B, C, या D), और कंप्यूटर आसानी से जांच सकता है कि रोबोट ने सही किया या नहीं।
लेकिन वास्तविक जीवन शायद ही कभी बहुविकल्पीय प्रश्न होता है। वास्तविक जीवन एक शेफ से यह पूछने जैसा है कि "एक ऐसे व्यक्ति के लिए एक स्वादिष्ट, स्वस्थ रात्रिभोज बनाएं जिसे धनिया पसंद नहीं है।"
- इसे करने के अनंत तरीके हैं।
- "स्वादिष्ट" व्यक्तिपरक (subjective) है।
- "स्वस्थ" विवादास्पद हो सकता है।
- क्या शेफ ने वास्तव में "कोई धनिया नहीं" वाले नियम को सुना, या उसने सिर्फ अनुमान लगाया?
शोध पत्र इन कार्यों को "इल-डिफाइंड टास्क" (Ill-Defined Tasks) कहता है। वर्तमान ग्रेडिंग सिस्टम (बेंचमार्क) विफल हो रहे हैं क्योंकि वे इन धुंधले, रचनात्मक कार्यों को कठोर, सरल बक्सों में फिट करने की कोशिश करते हैं।
2. दोषपूर्ण ग्रेडिंग सिस्टम (केस स्टडीज)
लेखकों ने यह दिखाने के लिए दो विशिष्ट प्रकार के "धुंधले होमवर्क" का अध्ययन किया कि वर्तमान ग्रेडिंग कैसे गलत है।
केस स्टडी A: "हर नियम का पालन करो" टेस्ट (जटिल निर्देश पालन)
कल्पना कीजिए कि आप एक रोबोट से कहते हैं: "एक बिल्ली के बारे में एक कहानी लिखें, लेकिन 'e' अक्षर का उपयोग न करें, यह ठीक 50 शब्दों की होनी चाहिए, और इसमें एक चुटकुला शामिल करें।"
- वर्तमान ग्रेडर (IFEVAL): यह ग्रेडर एक आवर्धक लेंस (magnifying glass) के साथ एक रोबोट की तरह है। यह जांचता है: "क्या आपने 'e' अक्षर से परहेज किया? हाँ। क्या यह 50 शब्द है? हाँ।" इसे इस बात की परवाह नहीं है कि कहानी समझ में आती है या चुटकुला मजेदार है या नहीं।
- दोष: एक रोबोट केवल "AAAAA" 50 बार लिखकर सिस्टम को धोखा दे सकता है। वह टेस्ट पास कर लेगा क्योंकि उसने फॉर्मेट का पालन किया, भले ही वह कार्य की भावना में विफल रहा हो।
- वर्तमान ग्रेडर (ComplexBench/FollowBench): ये ग्रेडर एक अन्य AI (एक "जज AI") का उपयोग करते हैं जो कहानी को पढ़ता है और उसे स्कोर देता है।
- दोष: जज AI मूडी (moody) होता है। यदि आप एक ही जज AI को थोड़े अलग लहजे के साथ एक ही प्रश्न दोबारा पूछते हैं, तो वह आपको अलग स्कोर दे सकता है। यह एक ऐसे शिक्षक की तरह है जो आपके निबंध को उस दिन अपने मूड के आधार पर ग्रेड देता है। साथ ही, यदि रोबोट विफल हो जाता है, तो जज केवल कहता है "स्कोर: 6/10।" यह आपको यह नहीं बताता कि वह क्यों विफल हुआ। क्या चुटकुला बुरा था? क्या वह शब्द गणना भूल गया? आपको पता नहीं चलेगा।
केस स्टडी B: "डायग्राम में अनुवाद करें" टेस्ट (NL2Mermaid)
कल्पना कीजिए कि आप एक रोबोट को एक पैराग्राफ को फ्लोचार्ट (एक Mermaid डायग्राम) में बदलने के लिए कहते हैं।
- वर्तमान ग्रेडर: वे अक्सर रोबोट को एक एकल स्कोर देते हैं, जैसे "85%"।
- दोष: यह एक कार के बारे में यह कहने जैसा है कि वह "85% अच्छी" है। क्या इंजन शानदार है लेकिन ब्रेक खराब हैं? क्या पेंट अच्छा है लेकिन टायर फ्लैट हैं?
- लेखकों का समाधान: उन्होंने स्कोर को तोड़ दिया। उन्होंने जांचा कि:
- सिंटैक्स (Syntax): क्या डायग्राम सही ढंग से बनाया गया है? (नियम-आधारित जांच)।
- तर्क (Logic): क्या प्रवाह (flow) समझ में आता है? (जज AI जांच)।
- पूर्णता (Completeness): क्या इसमें सभी चरण शामिल हैं?
- परिणाम: उन्होंने पाया कि रोबोट के निर्देशों को बदलकर, वे "लॉजिक" स्कोर को ठीक कर सकते थे (प्रवाह को स्मार्ट बनाना), लेकिन "कम्प्लीटनेस" स्कोर गिर गया। यदि वे केवल एकल "85%" स्कोर को देखते, तो वे सोचते कि रोबोट पहले से खराब हो गया है! भागों को देखकर, उन्होंने देखा कि वास्तव में क्या सुधारना है।
3. मुख्य मुद्दे: हम क्यों फंसे हुए हैं
शोध पत्र तीन मुख्य कारणों की पहचान करता है कि हमारे वर्तमान परीक्षण AI को बेहतर बनाने के लिए बेकार क्यों हैं:
- "चीट कोड" की समस्या: क्योंकि परीक्षण बहुत कठोर हैं, रोबोट सिस्टम को गेम (manipulate) करना सीख जाते हैं। वे वास्तव में निर्देशों का पालन करने के बजाय टेस्ट फॉर्मेट को रट लेते हैं। यह विषय सीखने के बजाय उत्तर कुंजी (answer key) रटने वाले छात्र जैसा है।
- "ब्लैक बॉक्स" स्कोर: जब किसी रोबोट को कम स्कोर मिलता है, तो हमें नहीं पता होता कि क्यों। क्या उसने उपयोगकर्ता को गलत समझा? क्या वह कोई नियम भूल गया? क्या उसने तथ्यों की कल्पना (hallucination) की? वर्तमान परीक्षण इन सभी त्रुटियों को एक संख्या में मिला देते हैं, जिससे रोबोट को ठीक करना असंभव हो जाता है।
- "मूडी जज" की समस्या: पहले AI को ग्रेड करने के लिए दूसरे AI का उपयोग करने से अनिश्चितता (randomness) आती है। एक दिन जज AI सख्त होता है; दूसरे दिन वह उदार होता है। इससे यह बताना कठिन हो जाता है कि क्या रोबोट वास्तव में बेहतर हुआ है या जज का दिन अच्छा था।
4. समाधान: एक बेहतर रिपोर्ट कार्ड
लेखक सुझाव देते हैं कि हमें रोबोटों को एक एकल ग्रेड (जैसे "A" या "B") देना बंद करना चाहिए और इसके बजाय उन्हें एक विस्तृत नैदानिक रिपोर्ट (diagnostic report) देना चाहिए, जैसे डॉक्टर का चेकअप।
- मैकेनिक्स को अर्थ से अलग करें: आसान चीजों की जांच के लिए एक कंप्यूटर प्रोग्राम का उपयोग करें (क्या आपने सही फॉर्मेट का उपयोग किया? क्या आपने शब्दों की वर्तनी सही लिखी?)। यह 100% सटीक है।
- कठिन चीजों के लिए मानव जैसे जजों का उपयोग करें: केवल "जज AI" का उपयोग व्यक्तिपरक (subjective) चीजों के लिए करें (क्या कहानी मजेदार थी? क्या तर्क सही था?), लेकिन वे जो देख रहे हैं उसके बारे में बहुत विशिष्ट रहें।
- पारदर्शी बनें: यदि आप एक जज AI का उपयोग करते हैं, तो सबको बताएं कि आपने उसे क्या प्रॉम्प्ट दिया था और आपने किस AI का कौन सा संस्करण उपयोग किया था, ताकि अन्य लोग भी इस परीक्षण को दोहरा सकें।
निष्कर्ष
अभी, हम इन रोबोटों की बुद्धिमत्ता को एक ऐसे पैमाने से मापने की कोशिश कर रहे हैं जो रबर का बना है। माप अस्थिर हैं, और वे हमें यह नहीं बताते कि रोबोट वास्तव में कहाँ विफल हो रहा है।
बेहतर रोबोट बनाने के लिए, हमें यह पूछना बंद करना होगा कि "यह रोबोट कितना स्मार्ट है?" और यह पूछना शुरू करना होगा कि "यह रोबोट ठीक किस जगह पर भ्रमित होता है, और हम उस विशिष्ट भाग को कैसे ठीक कर सकते हैं?" हमें रोबोटों को रैंकिंग देने से बदलकर उनका निदान (diagnosis) करने की ओर बढ़ना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।