The Generative AI Paradox on Evaluation: What It Can Solve, It May Not Evaluate
यह शोध पत्र एक महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करता है जहाँ लार्ज लैंग्वेज मॉडल्स (LLMs) जनरेशन कार्यों में उत्कृष्ट होते हैं लेकिन मूल्यांकन में संघर्ष करते हैं, और अक्सर उन क्षेत्रों में भी अविश्वसनीय निर्णय देते हैं जहाँ उनमें दक्षता की कमी होती है, जिससे यह धारणा चुनौती मिलती है कि सृजनात्मक निपुणता मूल्यांकन संबंधी विश्वसनीयता की गारंटी देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक शानदार भोजन बनाने के लिए एक विश्व स्तरीय शेफ को काम पर रखा है। वे सब्जियां काटने, सॉस में मसाला डालने और व्यंजन को सजाने में अविश्वसनीय हैं। हर कोई इस बात से सहमत है कि वे खाना पकाने के उस्ताद हैं।
अब, कल्पना कीजिए कि आप उसी शेफ से एक 'ब्लाइंड टेस्ट' (blind taste test) के लिए एक फूड क्रिटिक (खाद्य समीक्षक) के रूप में कार्य करने के लिए कहते हैं। आप उन्हें एक प्लेट भोजन देते हैं (जो उनका अपना बनाया हुआ हो सकता है या किसी और का) और उनसे पूछते हैं, "क्या यह स्वादिष्ट है? क्या इसे सही तरीके से पकाया गया है?"
आप उम्मीद करेंगे कि वह मास्टर शेफ सबसे अच्छा जज साबित होगा, है ना? आखिर, वह जानता है कि अच्छा खाना कैसा होता है।
यह शोध पत्र कहता है: "अभी रुकिए।"
KAIST और जॉर्जिया टेक के शोधकर्ताओं ने एक अजीब घटना की खोज की जिसे वे "जेनरेटिव एआई पैराडॉक्स" (Generative AI Paradox) कहते हैं। यह पता चला है कि सिर्फ इसलिए कि एक AI उत्तर बनाने (खाना पकाने) में अद्भुत है, इसका मतलब यह नहीं है कि वह उत्तरों की जांच करने (समीक्षा करने) में भी अच्छा है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. "वह शेफ जो स्वाद नहीं ले सकता" (पैराडॉक्स)
शोधकर्ताओं ने कई AI मॉडलों (जैसे GPT-4 और अन्य) का एक ट्रिविया गेम पर परीक्षण किया।
- खाना पकाने का कार्य (Generation): AI को ऐसे प्रश्न देने थे जैसे, "अभिनेता निगेल हॉथोन का जन्म कहाँ हुआ था?"
- क्रिटिक का कार्य (Evaluation): AI को एक उत्तर (जैसे, "कोवेंट्री") को देखना था और यह तय करना था कि वह सही है या गलत।
चौंकाने वाला परिणाम:
- केस A: AI ने सही ढंग से उत्तर 'पकाया' (कोवेंट्री), लेकिन जब उसी उत्तर की 'समीक्षा' करने के लिए कहा गया, तो उसने कहा, "नहीं, यह गलत है!"
- केस B: AI ने गलत उत्तर 'पकाया' (लंदन), लेकिन जब उसे किसी दूसरे गलत उत्तर की 'समीक्षा' करने के लिए कहा गया, तो उसने कहा, "हाँ, यह सही है!"
यह एक ऐसे शेफ की तरह है जो केक तो बेहतरीन बना सकता है, लेकिन फिर उसी केक की तस्वीर देखकर कहता है, "यह निश्चित रूप से केक नहीं है।"
2. "अति-आत्मविश्वासी छात्र" (Unfaithfulness)
यह शोध पत्र "फेथफुलनेस" (Faithfulness/विश्वसनीयता) की अवधारणा पेश करता है। यह पूछता है: क्या AI वास्तव में उस आधार पर निर्णय लेता है जो वह जानता है?
कल्पना कीजिए कि एक छात्र गणित की परीक्षा दे रहा है।
- यदि वे कोई सवाल गलत करते हैं, तो उन्हें कहना चाहिए, "मुझे इसका उत्तर नहीं पता।"
- लेकिन ये AI उन अति-आत्मविश्वासी छात्रों की तरह हैं जो एक सवाल गलत करते हैं, लेकिन जब वे किसी और के पेपर को ग्रेड करते हैं, तो वे आत्मविश्वास के साथ सही उत्तर को "गलत" मार्क कर देते हैं क्योंकि वे अपने स्वयं के ज्ञान को लेकर भ्रमित होते हैं।
अध्ययन में पाया गया कि ये AI अक्सर यह नहीं जानते कि वे क्या नहीं जानते। भले ही वे किसी प्रश्न में फंस गए हों और खुद उत्तर न दे पा रहे हों, फिर भी ग्रेडिंग करते समय वे शायद ही कभी "मुझे नहीं पता" कहते हैं। इसके बजाय, वे अनुमान लगाते हैं, और अक्सर गलत तरीके से आत्मविश्वास के साथ अनुमान लगाते हैं।
3. "असंगत जज" (Reliability की कमी)
शोधकर्ताओं ने पाया कि AI जज असंगत (inconsistent) हैं।
- यदि आप AI को दो बहुत मिलते-जुलते गलत उत्तर देते हैं, तो वह एक को "गलत" मार्क कर सकता है और दूसरे को "मुझे नहीं पता" मार्क कर सकता है।
- यह फुटबॉल के रेफरी की तरह है जो एक मैच में फाउल के लिए सीटी बजाता है, लेकिन अगले मैच में ठीक उसी फाउल को अनदेखा कर देता है।
यह विसंगति बताती है कि आप AI को सत्य के अंतिम निर्णायक के रूप में पूरी तरह से भरोसा नहीं कर सकते, भले ही वह कहानियाँ लिखने या उत्तर देने में बहुत अच्छा हो।
मुख्य निष्कर्ष
लंबे समय तक, लोगों ने माना: "यदि कोई AI एक शानदार निबंध लिखने के लिए पर्याप्त स्मार्ट है, तो वह निबंधों को ग्रेड करने के लिए भी पर्याप्त स्मार्ट होगा।"
यह शोध पत्र सिद्ध करता है कि वह धारणा गलत है।
- जेनरेशन (Generation) एक जादू का खेल दिखाने जैसा है।
- इवैल्यूएशन (Evaluation) जादू के पीछे के तंत्र (mechanics) को समझने जैसा है।
सिर्फ इसलिए कि एक AI जादू को पूरी तरह से दिखा सकता है, इसका मतलब यह नहीं है कि वह नकली जादू को पहचानने के लिए उसके तंत्र को समझने में सक्षम है।
यह क्यों मायने रखता है?
जैसे-जैसे हम स्कूल के पेपर ग्रेड करने, मेडिकल डायग्नोसिस की जांच करने, या समाचारों की तथ्य-जांच (fact-check) करने के लिए AI का उपयोग करना शुरू कर रहे हैं, हमें सावधान रहने की आवश्यकता है। हम यह मानकर नहीं चल सकते कि AI एक "सुपर-राइटर" होने के कारण एक "सुपर-जज" भी है। हमें बेहतर सिस्टम बनाने की आवश्यकता है जो AI की ग्रेडिंग की जांच करें, क्योंकि AI वास्तविक ज्ञान के बजाय अपनी मर्जी से ग्रेडिंग कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।