PoQ-Judge: A Multi-Architecture Evaluation Framework for Cost-Aware Proof-of-Quality in Decentralized LLM Inference
यह शोध पत्र PoQ-Judge को प्रस्तुत करता है, जो एक मल्टी-आर्किटेक्चर फ्रेमवर्क है जो विकेंद्रीकृत LLM इन्फरेंस गुणवत्ता का मूल्यांकन करने के लिए रेफरेंस-फ्री जज मॉडल को प्रशिक्षित करता है, जो ऑनलाइन कैलिब्रेशन और कैस्केड इवैल्यूएशन के माध्यम से ग्राउंड-ट्रुथ प्रॉक्सी के साथ मजबूत सहसंबंध और महत्वपूर्ण लागत कटौती प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि स्वयंसेवकों की एक विशाल, वैश्विक टीम आर्टिफिशियल इंटेलिजेंस का उपयोग करके प्रश्नों के उत्तर देने या सारांश लिखने का प्रयास कर रही है। क्योंकि हर कोई अलग-अलग कंप्यूटरों और अलग-अलग गति से काम कर रहा है, सिस्टम को यह तय करने का एक तरीका चाहिए: "क्या यह उत्तर वास्तव में अच्छा है?" और "काम करने के लिए किसे इनाम मिलना चाहिए?"
अतीत में, सिस्टम के साथ एक बड़ी समस्या थी: यह जानने के लिए कि क्या कोई उत्तर अच्छा है, उसे एक "आदर्श" उत्तर (जैसे कि शिक्षक का उत्तर कुंजी/answer key) से तुलना करने की आवश्यकता थी। लेकिन एक लाइव, रियल-टाइम चैट में, किसी के पास उत्तर कुंजी नहीं होती। सिस्टम वहीं अटक गया था।
यह पेपर PoQ-Judge पेश करता है, जो एक नया समाधान है जो एक सुपर-स्मार्ट, बिजली की तरह तेज़ रेफरी की तरह कार्य करता है जो उत्तर कुंजी देखे बिना भी उत्तर को ग्रेड दे सकता है।
यह कैसे काम करता है, इसके सरल भाग यहाँ दिए गए हैं:
1. समस्या: गायब उत्तर कुंजी
कल्पना कीजिए कि एक शिक्षक छात्र के निबंध को ग्रेड दे रहा है। आमतौर पर, शिक्षक निबंध को एक "मॉडल उत्तर" के विरुद्ध जाँचता है ताकि यह देखा जा सके कि वह सही है या नहीं।
- पुराना तरीका: सिस्टम सब कुछ ग्रेड करने के लिए "मॉडल उत्तरों" का उपयोग करने की कोशिश करता था। लेकिन एक लाइव चैट में, मॉडल उत्तर अभी मौजूद ही नहीं होता।
- परिणाम: सिस्टम अंधा था। वह बिना किसी संदर्भ (reference) के यह नहीं बता सकता था कि एक प्रतिक्रिया शानदार है या बकवास।
2. समाधान: "PoQ-Judge" रेफरी
लेखकों ने तीन विशेष AI "रेफरी" (जिन्हें Judge Models कहा जाता है) बनाए हैं जो एक प्रश्न और एक उत्तर को देखने और केवल उन्हें पढ़कर उन्हें 0 से 10 तक स्कोर देने के लिए प्रशिक्षित किए गए हैं। उन्हें किसी संदर्भ उत्तर की आवश्यकता नहीं है।
इन रेफरी को तीन अलग-अलग प्रकार के श्रमिकों के रूप में सोचें, जिनमें से प्रत्येक की गति और कौशल स्तर अलग है:
द स्पीडस्टर (TextCNN):
- यह क्या है: एक छोटा, सुपर-फास्ट वर्कर।
- गति: यह पलक झपकने से भी कम समय (सब-मिलीसेकंड) में एक उत्तर को ग्रेड देता है।
- कौशल: यह स्पष्ट बकवास को पहचानने में अच्छा है, लेकिन यह गहरा विचारक नहीं है। यह एक सुरक्षा गार्ड की तरह है जो जल्दी से जाँच करता है कि दरवाज़ा लॉक है या नहीं।
- उपयोग: जब आप कम बजट में हजारों उत्तरों को तेज़ी से चेक करना चाहते हैं, तो यह एकदम सही है।
द बैलेंस्ड वर्कर (MiniLM):
- यह क्या है: एक मध्यम आकार का वर्कर।
- गति: एक सेकंड का बहुत छोटा हिस्सा लेता है (लगभग 13 मिलीसेकंड)।
- कौशल: यह एक अच्छा ऑल-राउंडर है। यह अधिकांश स्थितियों के लिए अर्थ को पर्याप्त रूप से समझ लेता है।
द एक्सपर्ट (DeBERTa):
- यह क्या है: एक बड़ा, अत्यधिक प्रशिक्षित विशेषज्ञ।
- गति: इसे थोड़ा अधिक समय लगता है (लगभग 15 मिलीसेकंड), लेकिन फिर भी यह बहुत तेज़ है।
- कौशल: यह सबसे अच्छा है। यह बारीकियों और संदर्भ को बहुत गहराई से समझता है। पेपर में पाया गया कि यह विशेषज्ञ वास्तव में उन पुराने सिस्टम्स से बेहतर था जिनके पास उत्तर कुंजियाँ थीं।
3. उन्होंने अपना काम कैसे सीखा
आप केवल एक रेफरी को नियम पुस्तिका देकर यह उम्मीद नहीं कर सकते कि वे पूर्ण होंगे। लेखकों ने इन रेफरी को दो चरणों में प्रशिक्षित किया:
- स्कूल (प्री-ट्रेनिंग): उन्होंने 45,000 उदाहरणों के एक विशाल पुस्तकालय का अध्ययन किया जहाँ एक सुपर-स्मार्ट AI (GPT-4) ने पहले ही उत्तरों को ग्रेड दिया था। इसने रेफरी को सिखाया कि "अच्छा" सामान्य रूप से कैसा दिखता है।
- इंटर्नशिप (फाइन-ट्यूनिंग): उन्होंने विशिष्ट कार्यों (जैसे प्रश्न पूछना और समाचारों का सारांश बनाना) पर उसी सुपर-स्मार्ट AI द्वारा लेबल किए गए 1,400 उदाहरणों का अभ्यास किया। इसने उन्हें नेटवर्क के विशिष्ट प्रकार के काम का विशेषज्ञ बना दिया।
4. "कैस्केड" रणनीति: पैसा बचाना
सिस्टम पैसे के मामले में स्मार्ट है। यह हर काम के लिए महंगे एक्सपर्ट (DeBERTa) को काम पर नहीं लगाता है।
- कैस्केड प्रोटोकॉल: एक फनल (कीप) की कल्पना करें।
- पहले, स्पीडस्टर उत्तर की जाँच करता है। यदि उत्तर स्पष्ट रूप से बहुत खराब (या स्पष्ट रूप से उत्तम) है, तो सिस्टम वहीं रुक जाता है और पैसा बचाता है।
- यदि स्पीडस्टर अनिश्चित है, तो उत्तर को बैलेंस्ड वर्कर या एक्सपर्ट के पास भेज दिया जाता है।
- परिणाम: इस रणनीति ने सिस्टम के खर्चों में 72% तक की बचत की क्योंकि अधिकांश उत्तरों को ग्रेड करने के लिए महंगे विशेषज्ञ की आवश्यकता नहीं थी।
5. बड़ी चुनौती: यह कार्य पर निर्भर करता है
पेपर में एक आश्चर्यजनक मोड़ मिला। रेफरी प्रश्नों के उत्तर (जैसे "पहला राष्ट्रपति कौन था?") को ग्रेड देने में शानदार थे। उन्होंने 1.0 सटीकता में से 0.83 का स्कोर प्राप्त किया।
- हालाँकि, उन्हें लंबे टेक्स्ट का सारांश (summarizing) बनाने (जैसे "इस समाचार लेख का सारांश दें") में संघर्ष करना पड़ा। उनकी सटीकता गिरकर 0.20 रह गई।
- क्यों? सारांशों के लिए "ग्राउंड ट्रुथ" (जिस तरह से वे सफलता को मापते हैं) दोषपूर्ण है। यह एक पेंटिंग को केवल यह देखकर ग्रेड देने की कोशिश करने जैसा है कि उसमें कितने लाल पिक्सेल हैं। रेफरी ने दोषपूर्ण नियमों के अनुसार खेलना सीख लिया, इसलिए वे सारांशों के लिए अच्छा नहीं कर सके।
जीत का सारांश
यह पेपर सिद्ध करता है कि AI उत्तरों को प्रभावी ढंग से ग्रेड करने के लिए आपको उत्तर कुंजी की आवश्यकता नहीं है। छोटे, विशिष्ट रेफरी को प्रशिक्षित करके, सिस्टम:
- संदर्भ की प्रतीक्षा किए बिना रियल-टाइम में उत्तरों को ग्रेड दे सकता है।
- उन पुराने तरीकों की तुलना में उतना ही सटीक (या बेहतर) हो सकता है जिनके पास संदर्भ कुंजियाँ थीं।
- आसान कामों के लिए तेज़, सस्ते रेफरी का उपयोग करके और कठिन कामों के लिए विशेषज्ञों को बचाकर बहुत सारा पैसा बचा सकता है।
फिलहाल केवल यही चीज़ उन्हें रोक रही है कि सारांश कार्यों के लिए "ग्रेडिंग नियम" को बेहतर बनाने की आवश्यकता है ताकि उनके रेफरी उस काम को बेहतर तरीके से करने के लिए सीख सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।