तकनीकी सारांश: एम्पिरिकल इंटरैक्शन प्रोपेगेशन (EIP)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान बेंचमार्क काफी हद तक विषयगत श्रेणियों (जैसे MMLU-Pro, MATH) के भीतर समग्र सटीकता मेट्रिक्स पर निर्भर करते हैं। यह दृष्टिकोण अप्रत्यक्ष रूप से सभी मूल्यांकन मदों (items) को समान रूप से सूचनात्मक मानता है, जिससे प्रश्नों की कठिनाई के बीच अंतर करने में विफलता होती है। फलस्वरूप, बेंचमार्क रूटीन पैटर्न मैचिंग और उन्नत तर्क (advanced reasoning) के बीच प्रभावी ढंग से अंतर नहीं कर पाते हैं। एक साधारण अंकगणितीय तथ्य और एक बहु-चरणीय कैलकुलस व्युत्पत्ति (multi-step calculus derivation) को अक्सर समान भार दिया जाता है, जिससे रैंकिंग बदल सकती है यदि आसान बनाम कठिन मदों का मिश्रण बदलता है। लेखक तर्क देते हैं कि मॉडल क्षमताओं की सूक्ष्म, कठिनाई-जागरूक तुलना करने के लिए कठिनाई को मद-स्तर (item level) पर स्पष्ट रूप से मॉडल किया जाना चाहिए।

2. कार्यप्रणाली: एम्पिरिकल इंटरैक्शन प्रोपेगेशन (EIP)

EIP एक गैर-पैरामीट्रिक फ्रेमवर्क है जिसे एक पुनरावृत्ति (iterative), द्वि-दिशीय स्कोर प्रोपेगेशन प्रक्रिया के माध्यम से प्रश्न की कठिनाई और मॉडल की सक्षमता का संयुक्त रूप से अनुमान लगाने के लिए डिज़ाइन किया गया है।

मूल अंतर्ज्ञान (Core Intuition)

यह फ्रेमवर्क इस सिद्धांत पर कार्य करता है कि:

• एक मॉडल तब सक्षमता स्कोर (competency score) अर्जित करता है जब वह एक प्रश्न का सही उत्तर देता है।
• एक प्रश्न का कठिनाई स्कोर (difficulty score) तब बढ़ता है जब वह चुनौती देता है (अर्थात, मॉडल को विफल करता है)।
• एक कठिन प्रश्न को हल करना सक्षमता के लिए अधिक साक्ष्य भार (evidential weight) वहन करता है, जबकि एक आसान प्रश्न में विफल होना प्रश्न की कठिनाई के लिए अधिक भार योगदान देता है।

ग्राफ फॉर्मूलेशन

EIP एक निर्देशित द्विपक्षीय ग्राफ (directed bipartite graph) $G = (V, E)$ का निर्माण करता है जहाँ वर्टिस (vertices) मॉडल्स ($M$) और प्रश्नों ($Q$) का प्रतिनिधित्व करते हैं।

• सक्षमता किनारे (Competency Edges - $E_{Comp}$): प्रश्नों से मॉडल्स की ओर निर्देशित किनारे ($q \to m$) एक सही उत्तर को दर्शाते हैं।
• विफलता किनारे (Difficulty Edges - $E_{Fail}$): मॉडल्स से प्रश्नों की ओर निर्देशित किनारे ($m \to q$) एक विफलता को दर्शाते हैं।

स्कोर प्रोपेगेशन तंत्र

सिस्टम इंटरैक्शन को एक एर्गोडिक मार्कोव चेन (ergodic Markov chain) के रूप में मॉडल करता है। यह दो रो-स्टोकेस्टिक ट्रांजिशन मैट्रिसेस को परिभाषित करता है:

1. सक्षमता ट्रांजिशन ($P_{Q \to M}$): एक प्रश्न को हल करने वाले मॉडल्स की संख्या ($S(q)$) द्वारा सामान्यीकृत (normalized)।
2. कठिनाई ट्रांजिशन ($P_{M \to Q}$): एक मॉडल द्वारा विफल किए गए प्रश्नों की संख्या ($F(m)$) द्वारा सामान्यीकृत।

स्कोर को अभिसरण (convergence) सुनिश्चित करने के लिए एक डैम्पिंग फैक्टर $\alpha \in (0, 1)$ का उपयोग करके पुनरावृत्ति (iteratively) के माध्यम से अपडेट किया जाता है (जो पोंरो-फ्रोबेनियस प्रमेय द्वारा अद्वितीय स्थिर वितरण के लिए गारंटीकृत है)। अपडेट समीकरण हैं:
$$\pi^{(t+1)}_Q = \alpha P^\top_{M \to Q} \pi^{(t)}_M + (1 - \alpha)\frac{1_Q}{Q}$$
$$\pi^{(t+1)}_M = \alpha P^\top_{Q \to M} \pi^{(t+1)}_Q + (1 - \alpha)\frac{1_M}{M}$$
जहाँ $\pi_Q$ प्रश्न की कठिनाई को दर्शाता है और $\pi_M$ मॉडल की सक्षमता को दर्शाता है। यह प्रक्रिया अद्वितीय स्कोर तक एसिम्प्टोटिक रूप से अभिसरित होती है।

विस्तार (Extensions)

• निरंतर स्कोर (Continuous Scores): EIP आंशिक क्रेडिट वाले बेंचमार्क तक विस्तारित होता है क्योंकि यह रिस्पॉन्स मैट्रिक्स को बाइनरी $\{0, 1\}$ के बजाय $[0, 1]$ मान लेने की अनुमति देता है।
• प्रीप्रोसेसिंग: ग्राफ कनेक्टिविटी सुनिश्चित करने और निरर्थक समाधानों से बचने के लिए सार्वभौमिक रूप से हल किए गए या सार्वभौमिक रूप से विफल किए गए प्रश्नों को बाहर रखा जाता है।

3. मुख्य योगदान

यह शोध पत्र तीन प्राथमिक योगदान देता है:

1. एक नया मूल्यांकन फ्रेमवर्क: EIP एक कठिनाई-जागरूक, गैर-पैरामीट्रिक दृष्टिकोण पेश करता है जो सपाट सटीकता मेट्रिक्स से आगे बढ़कर प्रश्न की कठिनाई और मॉडल की सक्षमता का संयुक्त अनुमान लगाता है।
2. व्यापक अनुभवजन्य सत्यापन: इस फ्रेमवर्क का मूल्यांकन छह बेंचमार्क (BBH, GPQA, GSM8k, HellaSwag, MATH, MMLU-Pro) के 35,550 प्रश्नों पर 30 मॉडल्स के माध्यम से किया गया।
3. नई अंतर्दृष्टि: अध्ययन विशिष्ट डेटासेट कठिनाई प्रोफाइल, मॉडल स्केल के बीच सुसंगत फैमिली-लेवल पैटर्न, और स्थिर कठिनाई अनुमान उत्पन्न करने के लिए ओपन-वेट और मिश्रित-स्केल पूल्स की विश्वसनीयता को प्रकट करता है।

4. प्रयोगात्मक परिणाम

मानवीय निर्णय के साथ संरेखण (Alignment with Human Judgment)

• EIP ने 20 मूल्यांकनकर्ताओं के बीच प्रश्न की कठिनाई पर मानवीय निर्णयों के साथ 90% सहमति प्राप्त की।
• इसने 'सिंपल रैंक' और विभिन्न 'आइटम रिस्पॉन्स थ्योरी' (IRT) मॉडल्स (1PL, 2PL, Multi-IRT) सहित बेसलाइन्स को काफी पीछे छोड़ दिया, जिनकी सहमति 50% से 62.9% के बीच थी।
• एक विविध मॉडल पूल (मिश्रित स्केल) को महत्वपूर्ण पाया गया; होमोजेनियस पूल्स (जैसे, केवल छोटे या केवल बड़े मॉडल्स) कम सहमति (38.6%–64.3%) और उच्च पूर्वाग्रह (bias) का परिणाम देते हैं।

रैंकिंग विभेदन (Ranking Differentiation)

• जबकि EIP स्कोर सटीकता के साथ सहसंबंध रखते हैं (Kendall's $\tau = 0.8492$), यह अक्सर आसन्न मॉडल्स को पुनर्व्यवस्थित करता है।
• उदाहरण: Qwen2-0.5B (20.2% सटीकता) को DeepSeek-Chat-Lite (30.49% सटीकता) से ऊपर रैंक किया गया क्योंकि Qwen2-0.5B ने कठिन प्रश्नों का उच्च अनुपात (5.5% बनाम 2.4%) हल किया था।
• सिमुलेशन: ग्राउंड-ट्रुथ रैंकिंग के साथ एक नियंत्रित सिमुलेशन में, EIP ही एकमात्र तरीका था जिसने सही रैंकिंग क्रम को सफलतापूर्वक प्राप्त किया, जबकि सटीकता-आधारित और IRT-आधारित तरीके समान समग्र सटीकता लेकिन भिन्न कठिनाई प्रोफाइल वाले मॉडल्स के बीच अंतर करने में विफल रहे।

स्थिरता और मजबूती (Stability and Robustness)

• मॉडल व्यवधान (Model Perturbation): मॉडल पूल में से 50% (30 में से 15 मॉडल्स) को हटाने के बाद भी, पूर्ण पूल की तुलना में प्रश्न कठिनाई रैंकिंग के लिए स्पीयरमैन सहसंबंध 0.9382 और मॉडल सक्षमता रैंकिंग के लिए 0.9934 रहा।
• डेटासेट व्यवधान: रैंकिंग डेटासेट व्यवधानों के तहत भी स्थिर रही ($\rho > 0.99$)।

दक्षता और मापनीयता (Efficiency and Scalability)

• समय जटिलता (Time Complexity): $O(tQM)$, जहाँ$t$ पुनरावृत्तियों की संख्या है (आमतौर पर स्थिर)।
• प्रदर्शन: उपभोक्ता हार्डवेयर (Intel i7) पर, EIP 30 मॉडल्स और 35,550 प्रश्नों के लिए 0.00597 सेकंड में अभिसरित हुआ।
• तुलना: यह IRT बेसलाइन्स (जैसे, 1PL-IRT को ~1782 सेकंड लगे) की तुलना में कई गुना तेज़ है।
• मापनीयता: $2 \times 10^9$ इंटरैक्शन तक रैखिक स्केलिंग देखी गई।

डेटासेट और मॉडल अंतर्दृष्टि

• डेटासेट प्रोफाइल: MATH और MMLU-Pro ने उन्नत तर्क के लिए उपयुक्त व्यापक कठिनाई टेल्स (tails) दिखाए, जबकि GSM8k और HellaSwag आसान प्रश्नों की ओर झुके हुए थे।
• मॉडल परिवार: स्केलिंग मुख्य रूप से सापेक्ष कठिनाई संरचना को बदलने के बजाय पूर्ण सटीकता को स्थानांतरित करती है; एक ही फैमिली के मॉडल्स (जैसे, Llama-3 वेरिएंट) समान कठिनाई-विशिष्ट उत्तर वितरण बनाए रखते हैं।
• ओपन-वेट मॉडल्स: केवल ओपन-वेट मॉडल्स से प्राप्त कठिनाई अनुमानों ने पूर्ण-पूल परिणामों के साथ मजबूत सहसंबंध (Spearman 0.96) दिखाया, जो प्रोप्रायटरी पूल्स के बराबर है।

5. महत्व

शोध पत्र का दावा है कि EIP LLM मूल्यांकन के लिए एक व्यावहारिक, स्केलेबल और मानव-संरेखित विकल्प प्रदान करता है। प्रश्न की कठिनाई को मात्रात्मक बनाकर, यह सक्षम बनाता है:

• सूक्ष्म-स्तरीय तुलना: उन मॉडल्स के बीच अंतर करना जो पैटर्न मैचिंग पर निर्भर रहने के बजाय कठिन तर्क में उत्कृष्ट हैं।
• मजबूती: जैसे-जैसे मॉडल पूल या डेटासेट गतिशील रूप से बदलते हैं, स्थिर रैंकिंग बनाए रखना।
• दक्षता: एक हल्का कंप्यूटेशनल समाधान प्रदान करना जो IRT जैसे पैरामीट्रिक मॉडल्स की भारी कैलिब्रेशन लागत के बिना बड़े पैमाने पर निरंतर मूल्यांकन (जैसे, लीडरबोर्ड) के लिए उपयुक्त है।

लेखक इस बात पर जोर देते हैं कि EIP व्यापक संरेखण मूल्यांकन का स्थान नहीं लेता है, बल्कि यह कार्य की कठिनाई के सापेक्ष मॉडल क्षमताओं का अधिक सूक्ष्म दृष्टिकोण प्रदान करके उसका पूरक बनता है।