How Hypocritical Is Your LLM judge? Listener-Speaker Asymmetries in the Pragmatic Competence of Large Language Models
यह शोध पत्र बड़े भाषा मॉडलों की व्यावहारिक सक्षमता में एक महत्वपूर्ण विषमता को प्रकट करता है, जो यह दर्शाता है कि वे भाषाई उपयुक्तता का निर्णय लेने वाले श्रोताओं के रूप में, व्यावहारिक रूप से उपयुक्त भाषा उत्पन्न करने वाले वक्ताओं की तुलना में लगातार बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
"पाखंडी" AI: क्यों कुछ मॉडल्स रचनाकारों से बेहतर आलोचक होते हैं
कल्पना कीजिए कि आपका एक दोस्त है जो एक बेहतरीन फूड क्रिटिक (खाद्य समीक्षक) है। वह किसी व्यंजन को चख सकता है, मसालों में क्या कमी है यह सटीक रूप से बता सकता है, बनावट (टेक्सचर) क्यों गलत है यह समझा सकता है, और आपको 100% यकीन के साथ बता सकता है कि शेफ विफल रहा है। उसके पास एक उत्तम स्वाद बोध है।
लेकिन फिर, जब आप उसी दोस्त से स्वयं वह व्यंजन बनाने के लिए कहते हैं। अचानक, वह टोस्ट जला देता है, नमक डालना भूल जाता है, और आपको कच्ची सामग्री की एक प्लेट परोस देता है। वह जानता है कि एक आदर्श भोजन कैसा दिखता है, लेकिन वह वास्तव में उसे बना नहीं सकता।
यह शोध पत्र "How Hypocritical Is Your LLM Judge?" (आपका LLM जज कितना पाखंडी है?) की मुख्य खोज है, जिसे जूडिथ सिएकर और सिना ज़ारीज़ द्वारा लिखा गया है।
उन्होंने लार्ज लैंग्वेज मॉडल्स (LLMs) की जांच की—जो चैटबॉट्स के पीछे का AI दिमाग हैं—और पाया कि कई मॉडल्स में ठीक यही "पाखंड" होता है। वे अक्सर बेहतरीन श्रोता (जज/आलोचक) होते हैं लेकिन खराब वक्ता (जनरेटर) होते हैं।
दो टोपी: आलोचक बनाम कलाकार
अध्ययन को समझने के लिए, कल्पना करें कि AI ने दो अलग-अलग टोपियाँ पहनी हुई हैं:
- श्रोता (आलोचक): AI को एक वाक्य दिया जाता है और पूछा जाता है, "क्या यह वाक्य तार्किक रूप से सही है? क्या यह संदर्भ में समझ में आता है?" उसे बस "हाँ" या "नहीं" कहना होता है।
- वक्ता (कलाकार): AI को एक स्थिति दी जाती है और उसे शुरुआत से एक आदर्श प्रतिक्रिया लिखने के लिए कहा जाता है।
शोधकर्ताओं जानना चाहते थे: यदि कोई AI गलतियों को पकड़ने में अच्छा है, तो क्या वह सही चीज़ बनाने में भी अच्छा है?
तीन परीक्षण
उन्होंने 14 अलग-अलग AI मॉडल्स को तीन विशिष्ट "प्रैग्मैटिक" (व्यावहारिक अर्थ संबंधी) परीक्षणों के माध्यम से परखा। प्रैग्मैटिक्स इस बात का अध्ययन है कि संदर्भ कैसे अर्थ बदल देता है (जैसे, यह जानना कि "क्या आप नमक पास कर सकते हैं?" एक अनुरोध है, न कि आपकी क्षमता के बारे में एक प्रश्न)।
"गलत तथ्य" का परीक्षण:
- परिदृश्य: कोई पूछता है, "फ्रांस के वर्तमान राजा की आयु क्या है?" (फ्रांस में कोई राजा नहीं है)।
- जाल: एक खराब AI जवाब दे सकता है, "वह 70 वर्ष का है।" एक अच्छा AI कहेगा, "फ्रांस में कोई राजा नहीं है।"
- परिणाम: AI आसानी से यह जज कर सकता था कि "वह 70 वर्ष का है" जैसा उत्तर गलत था। लेकिन जब खुद सही उत्तर बनाने (जेनरेट करने) के लिए कहा गया, तो कई मॉडल्स विफल रहे और बस झूठ के साथ चलते रहे।
"व्याकरण की बारीकी" का परीक्षण:
- परिदृश्य: आपके पास दो केले हैं। आप एक केला जान को देते हैं। क्या आप कहेंगे "Jan received a banana" या "the banana"?
- जाल: "the" का उपयोग करने का अर्थ है कि पूरी दुनिया में केवल एक विशिष्ट केला है, जो यहाँ अजीब है।
- परिणाम: AI आसानी से एक वाक्य को देखकर कह सकता था, "नहीं, यहाँ 'the' गलत है।" लेकिन जब उसे स्वयं वह वाक्य लिखने के लिए कहा गया, तो उसने अक्सर गलत शब्द चुना।
"लॉजिक पज़ल" (तर्क पहेली) का परीक्षण:
- परिदृश्य: एक डिब्बे में रंगीन कंचों (marbles) के बारे में तार्किक कथनों की एक श्रृंखला।
- जाल: AI को अंतिम रंग का अनुमान लगाना होता है।
- परिणाम: फिर से, AI एक निष्कर्ष को देखकर यह कहने में बहुत अच्छा था कि "यह मेल नहीं खाता!" लेकिन खुद सही निष्कर्ष बनाने में उसे संघर्ष करना पड़ा।
बड़ी खोज: "विषमता" (Asymmetry)
पेपर ने एक मजबूत विषमता पाई।
- छोटे और मध्यम आकार के मॉडल्स: ये सबसे अधिक "पाखंडी" थे। वे अक्सर सही उत्तर बनाने में बहुत खराब थे (90% बार गलत होना) लेकिन आश्चर्यजनक रूप से उत्तर को जज करने में अच्छे थे (60-70% बार सही होना)।
- बड़े, महंगे मॉडल्स: बहुत स्मार्ट मॉडल्स (जैसे GPT-4 या GPT-5) दोनों में बेहतर थे, लेकिन उनमें भी एक अंतर दिखा। वे बनाने की तुलना में आलोचना करने में अभी भी थोड़े बेहतर थे।
मुख्य अंतर्दृष्टि: सिर्फ इसलिए कि एक AI झूठ को पहचान सकता है, इसका मतलब यह नहीं है कि वह सच बोल भी सकता है।
ऐसा क्यों होता है?
लेखक इसकी तुलना मानव मनोविज्ञान से करते हैं। वास्तविक जीवन में, एक जटिल चुटकुले को समझने की तुलना में उसे खुद बनाना अक्सर कठिन होता है।
- सुनना एक पैटर्न को पहचानने जैसा है। AI वाक्य को देखता है और उसकी तुलना अपने डेटाबेस से करता है। "क्या यह सही लग रहा है? नहीं।"
- बोलना घर बनाने जैसा है। AI को शब्द-दर-शब्द वाक्य का निर्माण करना होता है, जिसमें मेमोरी, तर्क और संदर्भ को एक साथ प्रबंधित करना पड़ता है। यह एक बहुत कठिन काम है।
यह आपके लिए क्या मायने रखता है
इस अध्ययन के आज के AI के उपयोग के संबंध में कुछ महत्वपूर्ण निष्कर्ष हैं:
- "जज" पर आँख मूंदकर भरोसा न करें: हम वर्तमान में AI का उपयोग दूसरे AI के काम को ग्रेड करने के लिए कर रहे हैं (जैसे, "क्या यह निबंध अच्छा है?")। यह पेपर चेतावनी देता है कि एक AI एक बेहतरीन ग्रेडर हो सकता है लेकिन एक खराब लेखक। यदि वह स्वयं उत्तर नहीं लिख सकता, तो दूसरों को ग्रेड देने की उसकी क्षमता अविश्वसनीय हो सकती है।
- निर्माण (Generation) पहचान से कठिन है: यदि आप चाहते हैं कि कोई AI कुछ बनाए (कोड लिखे, अनुबंध का मसौदा तैयार करे, समस्या हल करे), तो केवल उसके पढ़ने की समझ के टेस्ट स्कोर को न देखें। वे अलग-अलग कौशल हैं।
- "पाखंड" वास्तविक है: एक AI खेल के नियमों को पूरी तरह से जान सकता है लेकिन जब उसकी बारी खेलने की आती है, तो वह खेल हार सकता है।
निचोड़
पेपर निष्कर्ष निकालता है कि हमें यह मानना बंद करना होगा कि क्योंकि एक AI भाषा को मूल्यांकन (evaluate) करने में स्मार्ट है, इसलिए वह भाषा के उपयोग में भी स्मार्ट है। ये दो अलग-अलग मांसपेशियां हैं, और वर्तमान में, कई AI मॉडल्स के पास मजबूत "आलोचक" मांसपेशियां हैं लेकिन कमजोर "रचनाकार" मांसपेशियां हैं।
तो, अगली बार जब कोई AI किसी बुरी कहानी की सटीक समीक्षा दे, तो याद रखें: वह कमरे में सबसे अच्छा आलोचक हो सकता है, लेकिन वह खुद एक अच्छी कहानी लिखने में सक्षम भी नहीं हो सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।