Models Know Models Best: Evaluation via Model-Preferred Formats
यह शोध पत्र एक गतिशील फॉर्मेट-अलाइनमेंट रणनीति प्रस्तावित करता है जो मॉडल-पसंदीदा संकेतों पर प्रशिक्षित एक हल्के क्लासिफायर का लाभ उठाकर सिंबल-आधारित और क्लोज़-स्टाइल मूल्यांकन स्वरूपों के बीच स्वचालित रूप से चयन करता है, जिससे प्रदर्शन संबंधी विसंगतियों को हल किया जा सके और विभिन्न LLM बेंचमार्क में ज़ीरो-शॉट सटीकता में महत्वपूर्ण सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह साबित करने के लिए एक परीक्षा दे रहे हैं कि आप कितने बुद्धिमान हैं। अब, कल्पना कीजिए कि यह परीक्षा दो अलग-अलग शैलियों में आती है:
- "बहुविकल्पीय" (Multiple Choice) शैली: आप एक प्रश्न पढ़ते हैं, और फिर आपको एक अक्षर (A, B, C, या D) चुनना होता है जो सही उत्तर से मेल खाता हो।
- "रिक्त स्थान भरें" (Fill-in-the-Blank) शैली: आप एक वाक्य पढ़ते हैं जो अचानक अधूरा रह जाता है, और आपको सही शब्दों के साथ उस वाक्य को पूरा करना होता है।
लंबे समय तक, शोधकर्ताओं ने सोचा कि ये दोनों शैलियाँ वास्तव में एक ही प्रश्न पूछने के दो अलग तरीके हैं। लेकिन इस शोध पत्र ने, जिसका शीर्षक है "Models Know Models Best" (मॉडल खुद को सबसे बेहतर जानते हैं), कुछ चौंकाने वाला खोजा: लार्ज लैंग्वेज मॉडल्स (LLMs) दोनों शैलियों को समान रूप से पसंद नहीं करते हैं। वास्तव में, आपके द्वारा चुनी गई शैली मॉडल को एक जीनियस या एक पूरी तरह से असफल व्यक्ति बना सकती है, भले ही प्रश्न बिल्कुल एक ही हो।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया है, जिसे सरल उपमाओं का उपयोग करके समझाया गया है:
1. "सही काम के लिए गलत औज़ार" वाली समस्या
शोधकर्ताओं ने 8 अलग-अलग प्रकार के प्रश्नों पर 22 विभिन्न AI मॉडलों का परीक्षण किया। उन्हें एक स्पष्ट पैटर्न मिला:
- "सिंबल" (Symbol) शैली (A, B, C, D चुनना): यह उन प्रश्नों के लिए सबसे अच्छा काम करता है जिनमें विकल्पों की तुलना करने की आवश्यकता होती है। इसे एक मेनू की तरह समझें जहाँ आपको अपने आहार के अनुकूल व्यंजन की सूची देखनी है और उसे चुनना है। मॉडल को विकल्प चुनने के लिए सभी विकल्पों को एक साथ देखना पड़ता है।
- "क्लोज़" (Cloze) शैली (रिक्त स्थान भरना): यह उन प्रश्नों के लिए सबसे अच्छा काम करता है जिनमें एक कहानी को आगे बढ़ाने की आवश्यकता होती है। इसे एक उपन्यास में वाक्य पूरा करने जैसा समझें। मॉडल को प्राकृतिक प्रवाह में अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है।
समस्या: जब शोधकर्ताओं ने एक "कहानी सुनाने वाले" मॉडल को एक ऐसे प्रश्न के लिए एक अक्षर चुनने के लिए मजबूर किया जो वास्तव में एक वाक्य को पूरा करने के बारे में था (सिंबल शैली), तो मॉडल का स्कोर गिर गया। यह एक मैराथन धावक को गणित का समीकरण हल करने के लिए कहने जैसा था; वे दौड़ने में अच्छे हैं, लेकिन टेस्ट का प्रारूप उनकी ताकत से मेल नहीं खा रहा था।
2. इंसान सबसे अच्छा प्रारूप (Format) नहीं पहचान सकते
शोधकर्ताओं ने पहले इस समस्या को ठीक करने की कोशिश की और मनुष्यों से पूछा कि वे एक प्रश्न को देखें और तय करें, "हे, यह एक कहानी जैसा लग रहा है, इसलिए चलिए 'रिक्त स्थान भरें' शैली का उपयोग करते हैं।"
परिणाम: यह अच्छी तरह से काम नहीं कर गया। इंसान यह अनुमान लगाने में खराब हैं कि एक AI किस प्रारूप को पसंद करेगा। कभी-कभी एक प्रश्न इंसान को कहानी जैसा दिखता है, लेकिन AI वास्तव में बहुविकल्पीय सूची (Multiple Choice list) को पसंद करता है। मानव अंतर्ज्ञान (Intuition) पर भरोसा करने से अक्सर AI का प्रदर्शन और भी खराब हो गया।
3. समाधान: "मॉडल से पूछें कि वह क्या चाहता है"
चूंकि इंसान सही प्रारूप का अनुमान नहीं लगा सके, इसलिए लेखकों ने मॉडलों से ही पूछा।
उन्होंने एक छोटा, हल्का "ट्रैफिक पुलिस" (क्लासिफायर) बनाया। यह ट्रैफिक पुलिस एक विशिष्ट प्रश्न को देखती है और AI से पूछती है: "यदि मैं आपको यह प्रश्न एक बहुविकल्पीय सूची के रूप में दूँ, तो आप कितने आश्वस्त हैं? यदि मैं इसे आपको रिक्त स्थान भरने के रूप में दूँ, तो आप कितने आश्वस्त हैं?"
AI के अपने आंतरिक आत्मविश्वास संकेतों के आधार पर, ट्रैफिक पुलिस तय करती है कि उस विशिष्ट प्रश्न के लिए कौन सा प्रारूप उपयोग किया जाए।
- यदि प्रश्न विकल्पों की तुलना करने के बारे में है: तो ट्रैफिक पुलिस कहती है, "बहुविकल्पीय (Symbol) प्रारूप का उपयोग करें।"
- यदि प्रश्न एक वाक्य को पूरा करने के बारे में है: तो ट्रैफिक पुलिस कहती है, "रिक्त स्थान भरें (Cloze) प्रारूप का उपयोग करें।"
4. परिणाम: छिपी हुई क्षमता को अनलॉक करना
जब उन्होंने इस "मॉडल-पसंद" (Model-Preferred) रणनीति का उपयोग किया, तो परिणाम नाटकीय थे।
- "कहानी" वाले प्रश्नों के लिए: AI का प्रदर्शन काफी बढ़ गया। यह ऐसा था जैसे आखिरकार उन्हें सही जूते पहना दिए गए हों।
- "तुलना" वाले प्रश्नों के लिए: प्रदर्शन ऊँचा बना रहा या थोड़ा सुधरा।
- बड़ी सीख: यह शोध पत्र दिखाता है कि कई AI मॉडल वास्तव में हमारी सोच से कहीं अधिक स्मार्ट हैं, लेकिन हम अक्सर उन्हें गलत "रूलर" (मापने के पैमाने) से परख रहे थे। जब हम विशिष्ट कार्य के अनुरूप रूलर को बदलते हैं, तो हम उनकी वास्तविक क्षमताओं को देख पाते हैं।
सारांश
यह शोध पत्र तर्क देता है कि हमें केवल एक टेस्ट फॉर्मेट चुनकर हर चीज़ के लिए उस पर टिके नहीं रहना चाहिए। इसके बजाय, हमें AI को यह बताने देना चाहिए कि वह प्रत्येक विशिष्ट समस्या के लिए कौन सा प्रारूप पसंद करता है। ऐसा करके, हम मॉडलों को बाधित करना बंद कर देते हैं और यह देखना शुरू करते हैं कि वे वास्तव में कितने स्मार्ट हैं।
संक्षेप में: यह शोध पत्र सिद्ध करता है कि आप प्रश्न कैसे पूछते हैं, यह प्रश्न के खुद के होने जितना ही महत्वपूर्ण है, और यह पता लगाने का सबसे अच्छा तरीका कि सही तरीका क्या है, वह है मॉडल की अपनी पसंद को सुनना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।