Qworld: Question-Specific Evaluation Criteria for LLMs

यहाँ शोध पत्र "Qworld: Question-Specific Evaluation Criteria for LLMs" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ओपन-एंडेड प्रश्नों (open-ended questions) पर लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन करना एक बड़ी चुनौती है क्योंकि उत्तर की गुणवत्ता अत्यधिक संदर्भ-निर्भर (context-dependent) होती है।

• वर्तमान विधियों की सीमाएँ: मानक मेट्रिक्स (जैसे, सटीकता, BLEU) सूक्ष्म, संदर्भ-विशिष्ट आवश्यकताओं को पकड़ने में विफल रहते हैं। मौजूदा मूल्यांकन ढांचे स्थिर, कार्य-स्तरीय रूब्रिक्स (static, task-level rubrics) (जैसे, पूरे डेटासेट के लिए मानदंडों का एक ही सेट) या चेकलिस्ट के सिंगल-पास जनरेशन पर निर्भर करते हैं।
• अंतराल (The Gap): ये दृष्टिकोण मानते हैं कि एक कार्य के भीतर सभी प्रश्नों की मूल्यांकन आवश्यकताएं समान होती हैं। हालाँकि, एक चिकित्सा निदान (medical diagnosis) प्रश्न के लिए अलग जाँच (सुरक्षा, अनिश्चितता) की आवश्यकता होती है, जबकि एक वैज्ञानिक स्पष्टीकरण के लिए अलग, भले ही दोनों एक "मेडिकल" कार्य लेबल के अंतर्गत आते हों। प्रश्न-स्तरीय मानदंडों का मैन्युअल क्यूरेशन महंगा है और अक्सर सूक्ष्म, अंतर्निहित आयामों को छोड़ देता है।
• लक्ष्य: लेखक प्रश्न-विशिष्ट मूल्यांकन मानदंड (question-specific evaluation criteria) उत्पन्न करने का लक्ष्य रखते हैं जो प्रत्येक व्यक्तिगत प्रश्न के इरादे, संदर्भ और निहित बाधाओं के अनुसार गतिशील रूप से अनुकूलित होते हैं, न कि एक निश्चित रूब्रिक लागू करते हैं।

2. कार्यप्रणाली: Qworld

लेखक Qworld (One-Question-One-World) प्रस्तावित करते हैं, जो एक रिकर्सिव एक्सपेंशन ट्री (Recursive Expansion Tree - RET) एल्गोरिदम का उपयोग करके अनुकूलित मूल्यांकन मानदंड उत्पन्न करता है।

मुख्य अवधारणा: प्रश्न का "विश्व" (The "World" of a Question)

Qworld प्रत्येक प्रश्न को एक अद्वितीय "विश्व" के रूप में मानता है जो तीन पदानुक्रमित परतों (hierarchical layers) द्वारा परिभाषित होता है:

1. परिदृश्य (Scenarios): प्रासंगिक भिन्नताएं या अंतर्निहित बाधाएं (जैसे, लक्षित दर्शक, दांव/stakes, पृष्ठभूमि ज्ञान)।
2. परिप्रेक्ष्य (Perspectives): परिदृश्य से संबंधित मूल्यांकन अक्ष (जैसे, तथ्यात्मक शुद्धता, सुरक्षा, सहानुभूति, व्यावहारिकता)।
3. मानदंड (Criteria): परिप्रेक्ष्यों से प्राप्त सूक्ष्म, बाइनरी, सत्यापन योग्य कथन।

रिकर्सिव एक्सपेंशन ट्री (RET) एल्गोरिदम

सिंगल-पास प्रॉम्प्टिंग या लीनियर चेन-ऑफ-थॉट (CoT) के विपरीत, Qworld मूल्यांकन स्थान (evaluation space) को खोजने के लिए एक ट्री संरचना का निर्माण करता है:

• स्तर 1 (परिदृश्य): इनपुट प्रश्न को अलग-अलग परिदृश्यों ($U_1$) में विभाजित किया जाता है।
• स्तर 2 (परिप्रेक्ष्य): प्रत्येक परिदृश्य को विशिष्ट मूल्यांकन परिप्रेक्ष्यों ($U_2$) में विस्तारित किया जाता है।
• स्तर 3 (मानदंड): प्रत्येक परिप्रेक्ष्य को ठोस, मापने योग्य मानदंडों ($U_3$) में स्थापित किया जाता है।

एक्सपेंशन ऑपरेटर्स (Expansion Operators):
ट्री दो पूरक ऑपरेटर्स का उपयोग करके बढ़ता है जिन्हें LLMs के माध्यम से कार्यान्वित किया जाता है:

1. हाइरार्किकल एक्सपेंशन ($R_h$): स्तर $\ell$ पर एक नोड को स्तर $\ell+1$ पर चाइल्ड नोड्स में विभाजित करता है (जैसे, एक परिदृश्य को परिप्रेक्ष्यों में तोड़ना)।
2. होरिजेंटल एक्सपेंशन ($R_w$): वर्तमान स्तर पर छूटे हुए पहलुओं की पहचान करता है और कवरेज में सुधार के लिए सिब्लिंग नोड्स उत्पन्न करता है (जैसे, अनदेखे परिप्रेक्ष्यों को जोड़ना)।

प्रक्रिया कवरेज एक्सपेंशन (कवरेज बढ़ाने के लिए $w_\ell$ राउंड के लिए बार-बार होरिजेंटल एक्सपेंशन) और हाइरार्किकल डिकंपोजिशन के बीच बारी-बारी से चलती है जब तक कि मानदंड स्तर तक नहीं पहुँच जाता। यह सुनिश्चित करता है कि इसमें व्यापकता (विविध आयामों को कवर करना) और गहराई (सूक्ष्म विवरण) दोनों हों।

स्कोरिंग तंत्र (Scoring Mechanism)

एक बार मानदंड उत्पन्न हो जाने के बाद, एक इवैल्यूएटर (जैसे, LLM-as-a-Judge) एक कैंडिडेट उत्तर $A$ का मूल्यांकन प्रश्न $Q_i$ के लिए मानदंड सेट $C_i$ के विरुद्ध करता है।

• प्रत्येक मानदंड $c$ का एक महत्व भार (importance weight) $\alpha_c$ होता है।
• स्कोर बाइनरी है: यदि संतुष्ट है तो $\alpha_c$, अन्यथा $0$।
• अंतिम स्कोर मानदंड-स्तरीय स्कोर का सामान्यीकृत योग (normalized sum) है।

3. प्रमुख योगदान

1. प्रश्न-विशिष्ट मूल्यांकन ढांचा: प्रत्येक प्रश्न के लिए अद्वितीय मूल्यांकन रूब्रिक्स उत्पन्न करने की एक विधि पेश करता है, जो स्थिर, डेटासेट-स्तरीय मानदंडों से दूर ले जाता है।
2. रिकर्सिव एक्सपेंशन ट्री (RET): एक नवीन एल्गोरिद्मिक संरचना प्रस्तावित करता है जो प्रश्न द्वारा निहित "मूल्यांकन स्थान" को व्यवस्थित रूप से खोजने के लिए हाइरार्किकल डिकंपोजीशन और हॉरिजेंटल एक्सपेंशन को जोड़ता है।
3. उच्च-गुणवत्ता वाले मानदंड जनरेशन: यह प्रदर्शित करता है कि Qworld ऐसे मानदंड उत्पन्न कर सकता है जो विशेषज्ञ कवरेज से मेल खाते हैं और साथ ही उन नवीन, उच्च-मूल्य वाले आयामों को सामने लाते हैं जिन्हें विशेषज्ञ और अन्य स्वचालित विधियाँ चूक जाते हैं।
4. गहन मॉडल बेंचमार्किंग: दिखाता है कि Qworld मानदंडों का उपयोग करने से LLMs के बीच क्षमता के अंतर प्रकट होते हैं (जैसे, इक्विटी, दीर्घकालिक प्रभाव, त्रुटि प्रबंधन में), जो मोटे (coarse), मानक बेंचमार्क द्वारा दब जाते हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने HealthBench (चिकित्सा डोमेन) और Humanity's Last Exam (HLE) (अमूर्त तर्क) पर Qworld का मूल्यांकन किया।

मानदंड की गुणवत्ता (SOTA के मुकाबले)

TICK, RocketEval, OpenRubrics और EvalAgent जैसी विधियों के विरुद्ध तुलना करने पर:

• कवरेज (Coverage): Qworld ने 0.89 (विशेषज्ञ-लिखित मानदंडों के 89% को कवर करना) प्राप्त किया, जो अगले सर्वश्रेष्ठ (EvalAgent 0.83) से बेहतर है।
• विशिष्टता (Uniqueness): Qworld ने 0.79 प्राप्त किया, जिसका अर्थ है कि इसके द्वारा उत्पन्न 79% मानदंड विशेषज्ञ संदर्भों में मौजूद नहीं थे, जो दर्शाता है कि यह नवीन मूल्यांकन आयामों की खोज करता है।
• मानव विशेषज्ञ रेटिंग: विशेषज्ञों ने Qworld मानदंडों को इनसाइट (Insight) (0.83 बनाम बेसलाइन के लिए ~0.40) और ग्रैनुलैरिटी (Granularity) (0.85) में काफी अधिक रेटिंग दी, जिससे पुष्टि होती है कि मानदंड कम जेनेरिक और अधिक क्रियाशील हैं।

LLM बेंचमार्किंग पर प्रभाव

11 फ्रंटियर LLMs (GPT-5, Claude Sonnet 4.5, Qwen3 आदि सहित) पर लागू करने पर:

• रैंकिंग शिफ्ट (Ranking Shifts): Qworld ने मॉडल रैंकिंग को बदल दिया। उदाहरण के लिए, HealthBench पर, Qwen3-30B छठे से दूसरे स्थान पर आ गया, जबकि Grok-4.1-Fast नीचे गिर गया। ऐसा इसलिए हुआ क्योंकि Qwen3 उन आयामों में उत्कृष्ट था जैसे "स्पष्टता (Clarity)", "सहानुभूति (Empathy)", और "स्वास्थ्य समानता (Health Equity)", जिन्हें मोटे रूब्रिक्स ने अनदेखा कर दिया था।
• स्कोर सैचुरेशन में कमी: Qworld के स्कोर आधिकारिक बेंचमार्क स्कोर से ~20% कम थे, जो इंगित करता है कि प्रश्न-विशिष्ट मानदंड सख्त, अधिक यथार्थवादी जाँच (जैसे, छूटे हुए चेतावनियाँ, अपूर्ण जोखिम प्रबंधन) पेश करते हैं जो मॉडल्स को कृत्रिम रूप से उच्च स्कोर प्राप्त करने से रोकते हैं।
• आयामी अंतर्दृष्टि (Dimensional Insights): इस पद्धति ने विशिष्ट शक्तियों और कमजोरियों को प्रकट किया। उदाहरण के लिए, GPT-5 ने "सुरक्षा और जोखिम प्रबंधन" में ताकत दिखाई, जबकि Gemini 3 Flash HLE पर "विजुअल और ज्यामितीय तर्क" में उत्कृष्ट रहा।

5. महत्व और निष्कर्ष

• अनुकूली मूल्यांकन (Adaptive Evaluation): Qworld प्रतिमान को "एक आकार सभी के लिए" (one-size-fits-all) रूब्रिक्स से बदलकर गतिशील, प्रश्न-जागरूक मूल्यांकन की ओर ले जाता है, यह स्वीकार करते हुए कि एक "अच्छा उत्तर" की परिभाषा संदर्भ के आधार पर बदलती है।
• सुप्त आयामों की खोज (Discovery of Latent Dimensions): परिदृश्यों और परिप्रेक्ष्यों को पुनरावर्ती रूप से विस्तारित करके, Qworld उन अंतर्निहित आवश्यकताओं (जैसे, स्थिरता, समानता, विशिष्ट सुरक्षा चेतावनियाँ) को उजागर करता है जिन्हें मानक बेंचमार्क अनदेखा कर देते हैं।
• स्केलेबिलिटी (Scalability): यह विधि बड़े पैमाने पर उच्च-गुणवत्ता वाले, विशेषज्ञ-स्तरीय मानदंड बनाने की प्रक्रिया को स्वचालित करती है, जिससे मानव गुणवत्ता बनाए रखते हुए या उससे बेहतर होते हुए भी मैन्युअल क्यूरेशन की लागत और प्रयास कम हो जाता है।
• भविष्य की दिशा: शोध पत्र सुझाव देता है कि भविष्य के LLM मूल्यांकन को केवल स्केलर सटीकता स्कोर से आगे बढ़कर संरचित, बहु-आयामी मूल्यांकन की ओर बढ़ना चाहिए जो वास्तविक दुनिया के ओपन-एंडेड कार्यों की जटिलता को दर्शाते हों।

संक्षेप में, Qworld सूक्ष्म, संदर्भ-जागरूक मूल्यांकन मानदंड उत्पन्न करने के लिए एक मजबूत, स्वचालित ढांचा प्रदान करता है, जो LLM बेंचमार्क की निष्ठा (fidelity) और विभेदात्मक शक्ति में महत्वपूर्ण सुधार करता है।