A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models
यह शोध पत्र एक स्केलेबल, सर्वसम्मति-आधारित ढांचे का प्रस्ताव करता है जो एक सापेक्ष बुद्धिमत्ता सूचकांक (रिलेटिव इंटेलिजेंस इंडेक्स) उत्पन्न करने के लिए गुमनाम प्रतिक्रियाओं की उनकी आपसी रैंकिंग को एकत्रित करके लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है, जो उन परिदृश्यों में प्रतिक्रिया गुणवत्ता का आकलन करने के लिए पारंपरिक स्थिर बेंचमार्क का एक मॉडल-संचालित विकल्प प्रदान करता है जहाँ कई वैध उत्तर मौजूद होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट एआई टेस्ट-टेस्ट (The Great AI-Taste-Test)
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटरों ने बात करना, लिखना और समस्याओं को हल करना इतनी अच्छी तरह से सीख लिया है कि वे इंसानों की तरह व्यवहार कर सकते हैं। यह लार्ज लैंग्वेज मॉडल्स (LLMs) का क्षेत्र है, जो उन चैटबॉट्स और टूल्स के पीछे के सुपर-स्मार्ट डिजिटल दिमाग हैं जिनका हम आज उपयोग करते हैं। लंबे समय तक, वैज्ञानिकों ने इन दिमागों का परीक्षण सख्त "उत्तर कुंजियों" (answer keys) का उपयोग करके किया, जैसे कि एक गणित का टेस्ट जहाँ केवल एक ही सही संख्या होती है। लेकिन जीवन हमेशा गणित का टेस्ट नहीं होता। कभी-कभी, एक प्रश्न के कई अच्छे उत्तर हो सकते हैं, और "सबसे अच्छा" उत्तर इस पर निर्भर करता है कि वह कितना स्पष्ट, सहायक या चतुर महसूस होता है। यहीं पर चीजें पेचीदा हो जाती हैं: आप एक निबंध को कैसे ग्रेड करेंगे जब उसे लिखने के पांच अलग-अलग तरीके हो सकते हैं?
इसे हल करने के लिए, शोधकर्ताओं ने एआई (AI) को एआई को ग्रेड देने के लिए उपयोग करना शुरू कर दिया है। यह एक जजों के पैनल से यह तय करने के लिए पूछने जैसा है कि उनके दोस्तों में से किसने सबसे मजेदार चुटकुला सुनाया। लेकिन यहाँ एक पेंच है: यदि जज वे सभी दोस्त हैं जो एक ही स्कूल में गए थे, तो वे सभी एक ही तरह के चुटकुले को पसंद कर सकते हैं, भले ही वह वास्तव में सबसे मजेदार न हो। यह पेपर ठीक इसी समस्या में उतरता है। यह पूछता है: यदि हम विभिन्न एआई मॉडल्स को एक-दूसरे के उत्तरों को अंधे होकर (बिना पहचान जाने) जज करने दें, तो क्या हम एक पैटर्न पा सकते हैं कि वे क्या पसंद करते हैं? यह "सत्य" खोजने का दावा नहीं करता है, बल्कि यह एक मानचित्र है कि ये डिजिटल दिमाग इस बात पर कैसे सहमत होते हैं कि क्या अच्छा लगता है।
डिजिटल दुनिया का ब्लाइंड टेस्ट-टेस्ट (The Blind Taste-Test of the Digital World)
कल्पना कीजिए कि आप एक विशाल, हाई-टेक पॉटलक डिनर (potluck dinner) में हैं। खाना लाने के बजाय, पाँच अलग-अलग सुपर-इंटेलिजेंट रोबोट (मान लीजिए कि वे "शेफ" हैं) एक ही व्यंजन के लिए अपनी सबसे अच्छी रेसिपी लेकर आते हैं। लक्ष्य यह देखना नहीं है कि किसने "सही" भोजन बनाया—क्योंकि शायद एक परफेक्ट स्टू बनाने के दस तरीके हो सकते हैं—बल्कि यह देखना है कि अन्य रोबोटों को कौन सा भोजन सबसे अच्छा दिखता और स्वाद में सबसे अच्छा लगता है।
यही काम मोहतशम खान ने इस पेपर में किया है। मानव द्वारा टेस्ट-टेस्ट कराने के बजाय, उन्होंने एक "ब्लाइंड टेस्ट-टेस्ट" सेट किया जहाँ शेफ एक-दूसरे को जज करते हैं।
सेटअप: एक गुप्त पहचान का खेल
इस प्रयोग में पाँच शीर्ष-स्तरीय एआई मॉडल शामिल थे: क्लॉड (Claude), चैटजीपीटी (ChatGPT), जेमिनी (Gemmi), ग्रोक (Grok) और मिस्ट्रल (Mistral)। शोधकर्ता ने उन्हें 25 अलग-अलग चुनौतियाँ दीं, जिनमें कठिन गणितीय पहेलियों को हल करने से लेकर कोड लिखने, सुरक्षा संबंधी प्रश्नों के उत्तर देने और सामान्य ज्ञान की ट्रिविया तक शामिल थे।
यहाँ एक जादू का नुस्खा है: जब रोबोटों द्वारा जजिंग की जा रही थी, उन्हें यह नहीं पता था कि उत्तर किसने लिखा था। उत्तरों से नाम हटा दिए गए थे और उन्हें इधर-उधर मिला दिया गया था, और केवल "उत्तर 1", "उत्तर 2" आदि के रूप में लेबल किया गया था। प्रत्येक रोबोट को यह तय करने के लिए सभी उत्तरों को सबसे अच्छे से सबसे खराब के क्रम में रैंक करना था कि वे कितने स्पष्ट और सहायक प्रतीत होते हैं। उन्होंने यह पूरी तरह से स्वतंत्र रूप से किया, बिना एक-दूसरे से बात किए या यह देखे कि दूसरे क्या सोचते हैं।
स्कोर: "रिलेटिव इंटेलिजेंस इंडेक्स" (The Relative Intelligence Index)
जजिंग खत्म होने के बाद, शोधकर्ता ने वोटों की गिनती की। उन्होंने एक नया स्कोर बनाया जिसे रिलेटिव इंटेलिजेंस इंडेक्स (RII) कहा गया। इसे "स्मार्ट" होने के ग्रेड के रूप में नहीं, बल्कि एक लोकप्रियता प्रतियोगिता के स्कोर के रूप में सोचें। एक उच्च RII का अर्थ है कि एक रोबोट के उत्तरों को उसके साथियों द्वारा बार-बार "सर्वश्रेष्ठ" के रूप में चुना गया। एक कम RII का अर्थ है कि उसके उत्तरों को अक्सर नीचे रैंक किया गया।
हमें क्या मिला?
परिणाम कुछ हद तक एक स्पोर्ट्स लीग की तरह थे जहाँ अलग-अलग टीमें अलग-अलग दिनों में जीतती हैं।
- लगातार विजेता: क्लॉड और ग्रोक अक्सर शीर्ष पर रहे। क्लॉड विशेष रूप से गणित और कोडिंग में मजबूत था, जबकि ग्रोक तार्किक पहेलियों और रचनात्मक सोच में चमक रहा था।
- स्थिर प्रदर्शन करने वाले: जेमिनी और मिस्ट्रल हमेशा "सर्वश्रेष्ठ उत्तर" का पुरस्कार नहीं जीतते थे, लेकिन वे अविश्वसनीय रूप से सुसंगत थे। उनके स्कोर एक टेस्ट से दूसरे टेस्ट में बहुत अधिक नहीं बदलते थे।
- स्पीड बनाम क्वालिटी का ट्रेड-ऑफ: अध्ययन ने यह भी समय निकाला कि प्रत्येक रोबोट को उत्तर तैयार करने में कितना समय लगा। दिलचस्प बात यह है कि जिन रोबोटों को सोचने में सबसे अधिक समय लगा (जैसे जेमिनी और क्लॉड), वे अक्सर वे थे जिन्हें दूसरे सबसे अधिक पसंद करते थे। सबसे तेज़ रोबोट (जैसे मिस्ट्रल) फुर्तीले थे लेकिन उन्हें हमेशा उच्चतम वोट नहीं मिले।
बड़ा "लेकिन"
पेपर बहुत सावधानी से यह कहता है कि यह स्कोर क्या नहीं है। यह इस बात का माप नहीं है कि वास्तव में कौन "सही" है या कौन इंसानों के लिए सबसे अधिक सहायक है। यह केवल इस बात का माप है कि रोबोट एक-दूसरे की शैली को कितना पसंद करते हैं। यह संभव है कि सभी रोबोटों को समान किताबों और वेबसाइटों पर प्रशिक्षित किया गया हो, इसलिए वे केवल इसलिए सहमत हो सकते हैं क्योंकि उनके "टेस्ट बड्स" (स्वाद कलिकाएं) एक जैसे हैं, न कि इसलिए कि उनमें से कोई एक वस्तुनिष्ठ रूप से बेहतर है।
निष्कर्ष (The Takeaway)
यह फ्रेमवर्क सुझाव देता है कि जब एक एकल सही उत्तर नहीं होता है, तो हम एक "आम सहमति" (consensus) पद्धति का उपयोग कर सकते हैं यह देखने के लिए कि अन्य एआई के लिए कौन से आउटपुट सबसे अधिक पॉलिश और सुसंगत महसूस होते हैं। हालांकि यह मानवीय निर्णय का स्थान नहीं लेता है, लेकिन यह मॉडल्स की तुलना करने का एक स्केलेबल तरीका प्रदान करता है जब उत्तर व्यक्तिपरक (subjective) हों। अध्ययन ने पाया कि हालांकि कुछ मॉडल्स को उनके साथियों द्वारा आम तौर पर पसंद किया जाता है, लेकिन परिणाम विषय और टेस्ट के विशिष्ट रन के आधार पर बदल सकते हैं। यह एआई प्रदर्शन को देखने का एक नया तरीका है, जो इस बात पर ध्यान केंद्रित करता है कि "मॉडल एक-दूसरे के बारे में क्या सोचते हैं?" न कि केवल इस पर कि "क्या उन्होंने उत्तर सही दिया?"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।