CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks
CoEval एक ओपन-सोर्स फ्रेमवर्क है जो बिना लेबल किए गए डेटा की आवश्यकता के या सार्वजनिक बेंचमार्क पर भरोसा किए बिना, कस्टम कार्यों के लिए भाषा मॉडलों को विश्वसनीय रूप से रैंक करने हेतु कंटैमिनेशन-मुक्त (contamination-free), एट्रिब्यूट-कंट्रोल्ड बेंचमार्क उत्पन्न करता है और जज मॉडल्स के एक विविध एन्सेम्बल का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक भर्ती प्रबंधक (hiring manager) हैं जो किसी बहुत ही विशिष्ट कार्य के लिए सबसे अच्छा कर्मचारी चुनने की कोशिश कर रहे हैं, जैसे कि "एक अस्त-व्यस्त गोदाम को व्यवस्थित करना" या "बागवानी के बारे में मज़ेदार चुटकुले लिखना।" आपके पास एक समस्या है: आपके पास कोई पिछला प्रदर्शन विवरण (labeled data) नहीं है, और अन्य सभी द्वारा उपयोग किए जाने वाले मानक परीक्षण (public benchmarks) बेकार हैं क्योंकि उम्मीदवारों ने पहले से ही अध्ययन करके उनके उत्तर रट लिए हैं।
यह ठीक वही समस्या है जिसे CoEval हल करता है। यह एक नया, ओपन-सोर्स टूल है जो आपको मानवीय विशेषज्ञों द्वारा ग्रेडिंग किए बिना या धोखाधड़ी की चिंता किए बिना, आपकी विशिष्ट आवश्यकताओं के लिए AI मॉडल्स को रैंक करने में मदद करता है।
यह कैसे काम करता है, इसे सरल उपमाओं (analogies) में तोड़कर यहाँ दिया गया है:
1. "फ्रेश टेस्ट" जनरेटर (धोखाधड़ी की अनुमति नहीं है)
आमतौर पर, AI मॉडल्स पुराने टेस्ट लेते हैं (जैसे SAT या GRE)। क्योंकि ये टेस्ट बहुत लोकप्रिय हैं, इसलिए AI मॉडल्स ने संभवतः प्रशिक्षण के दौरान प्रश्न देखे होंगे और उत्तर रट लिए होंगे। यह एक छात्र द्वारा गणित सीखने के बजाय उत्तर कुंजी (answer key) को रटने जैसा है।
CoEval खेल बदल देता है। पुराने प्रश्नों का उपयोग करने के बजाय, यह एक "टीचर AI" का उपयोग करता है जो केवल आपके कार्य के विवरण के आधार पर तुरंत नए प्रश्न बनाता है।
- उपमा: कल्पना कीजिए कि एक शिक्षक कक्षा में छात्र के आने के दौरान ही गणित का टेस्ट बना रहा है। छात्र उत्तर याद नहीं कर सकता क्योंकि प्रश्न उस सेकंड तक अस्तित्व में ही नहीं थे।
- परिणाम: यह पेपर सिद्ध करता है कि ये नए प्रश्न 100% ताज़ा हैं। ये किसी भी प्रमुख सार्वजनिक टेस्ट बैंक के साथ कोई भी 13-शब्दों का वाक्यांश साझा नहीं करते हैं, जिसका अर्थ है कि AI पुराने डेटा को याद करके धोखाधड़ी नहीं कर सकता।
2. न्यायाधीशों की "जूरी" (संख्या से अधिक विविधता)
एक बार जब AI मॉडल्स इन ताज़ा प्रश्नों के उत्तर दे देते हैं, तो किसी को उन्हें ग्रेड करना होता है। आप एक अत्यंत बुद्धिमान AI से उन्हें ग्रेड करने के लिए कह सकते हैं, लेकिन यह जोखिम भरा है। वह एकल न्यायाधीश पक्षपाती हो सकता है, जैसे कि लंबे उत्तरों को छोटे, अच्छे उत्तरों की तुलना में अधिक पसंद करना, या उन उत्तरों को पसंद करना जो उसके अपने मॉडल परिवार जैसे दिखते हों।
CoEval एक "जूरी" दृष्टिकोण का उपयोग करता है। यह विभिन्न कंपनियों (जैसे, OpenAI से एक, Anthropic से एक, Google से एक) के न्यायाधीशों का एक छोटा समूह इकट्ठा करता है।
- उपमा: एक अदालत के बारे में सोचें। यदि आपके पास एक न्यायाधीश है जो गुस्सैल स्वभाव का है, तो निर्णय अनुचित हो सकता है। लेकिन यदि आपके पास विभिन्न पृष्ठभूमियों के तीन लोगों की जूरी है, तो उनके व्यक्तिगत स्वभाव एक-दूसरे के प्रभाव को कम कर देते हैं। यदि एक न्यायाधीश लंबे उत्तर पसंद करता है और दूसरा उनसे नफरत करता है, तो औसत स्कोर निष्पक्ष हो जाता है।
- बड़ी खोज: पेपर ने पाया कि जूरी में कौन है, यह इस बात से अधिक महत्वपूर्ण है कि वहां कितने लोग हैं। एक ही कंपनी से अधिक न्यायाधीश जोड़ने से उनके साझा पूर्वाग्रह (bias) में वृद्धि होती है। वास्तव में, एक एकल न्यायाधीश कभी-कभी "एंटी-कोरिलेटेड" (गलत उत्तर देने वाला) हो सकता है, लेकिन विविध जूरी लगभग कभी गलत नहीं होती।
3. "नो-ह्यूमन" फैक्ट्री
आमतौर पर, एक अच्छा टेस्ट बनाने के लिए, आपको प्रश्न लिखने और उत्तरों को ग्रेड करने के लिए मनुष्यों की आवश्यकता होती है। यह धीमा और महंगा है।
- उपमा: CoEval एक पूरी तरह से स्वचालित फैक्ट्री की तरह है। आप इसे एक ब्लूप्रिंट (आपके कार्य का विवरण) देते हैं, और यह स्वचालित रूप से:
- टेस्ट प्रश्न डिजाइन करता है।
- AI उम्मीदवारों से टेस्ट लेता है।
- उत्तरों को ग्रेड करने के लिए विविध जूरी को इकट्ठा करता है।
- एक अंतिम रैंकिंग निकालता है।
- लागत: लेखकों ने लगभग 8,000 मूल्यांकनों के साथ एक विशाल अध्ययन चलाया जिसकी लागत एक कप कॉफी ($5.89) के बराबर थी। यह इतना सस्ता है कि आप हर बार एक नया AI मॉडल आने पर एक नया टेस्ट चला सकते हैं।
4. यह क्यों मायने रखता है
पेपर ने CoEval का तीन वास्तविक दुनिया के परिदृश्यों में परीक्षण किया जहाँ कोई "सही" उत्तर मौजूद नहीं था:
- ड्रग इंटरैक्शन (दवाओं का परस्पर प्रभाव): यह पता लगाना कि क्या दो दवाएं आपस में टकराती हैं।
- क्लिनिकल रीजनिंग (नैदानिक तर्क): रोगी के लक्षणों का निदान करना।
- कानूनी विश्लेषण: कानूनों की व्याख्या करना।
इन क्षेत्रों में, कोई मानक "गोल्ड स्टैंडर्ड" टेस्ट नहीं हैं। CoEval ने मॉडल्स को सफलतापूर्वक रैंक किया, जिससे पता चला कि कौन से विशिष्ट कार्यों के लिए सबसे अच्छे हैं। इसने यह भी पकड़ा कि एक छोटा, सस्ता मॉडल वास्तव में एक बड़े मॉडल की तुलना में खराब था, जिसे एक एकल पक्षपाती न्यायाधीश मिस कर सकता था।
निष्कर्ष (The Bottom Line)
CoEval एक ऐसा टूल है जो कहता है: "पुराने, रटे हुए टेस्ट पर भरोसा न करें। एक एकल न्यायाधीश पर भरोसा न करें जो पक्षपाती हो सकता है। इसके बजाय, अपने विशिष्ट कार्य के लिए एक ताज़ा टेस्ट बनाएं और उसे ग्रेड करने के लिए एक विविध, छोटी टीम के AI न्यायाधीशों को रखें।"
यह AI के परीक्षण की जटिल, महंगी प्रक्रिया को एक सस्ते, दोहराने योग्य और निष्पक्ष प्रक्रिया में बदल देता है जिसे कोई भी टीम अपनी विशिष्ट आवश्यकताओं के लिए सही AI खोजने हेतु उपयोग कर सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।