💬 NLP

Beyond the Mean: Within-Model Reliable Change Detection for LLM Evaluation

यह शोध पत्र नैदानिक मनोविज्ञान से 'रिलायबल चेंज इंडेक्स' (Reliable Change Index) को अनुकूलित करता है ताकि यह प्रकट किया जा सके कि समग्र एलएलएम (LLM) सटीकता में होने वाली वृद्धि अक्सर महत्वपूर्ण, द्वि-दिशीय आइटम-स्तरीय प्रदर्शन परिवर्तनों और कठिनाई स्तरों के बीच विषम चर्न (churn) को छिपा लेती है, और यह तर्क देता है कि मॉडल के विकास का अधिक विश्वसनीय मूल्यांकन प्रदान करने के लिए समग्र स्कोर के साथ चर्न दरों की रिपोर्ट करना आवश्यक है।

मूल लेखक: Jon-Paul Cacioli

प्रकाशित 2026-05-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jon-Paul Cacioli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कोच हैं जो एक विशाल ट्रिविया टूर्नामेंट में प्रतिस्पर्धा कर रहे दो अलग-अलग वर्ज़न के रोबोट एथलीटों को देख रहे हैं। पुराना रोबोट (वर्जन 1) और नया रोबोट (वर्जन 2) दोनों 2,000 सवालों के जवाब देते हैं। अंत में, स्कोरबोर्ड दिखाता है कि नए रोबोट ने कुल मिलाकर 2 या 3 अंक अधिक प्राप्त किए। समाचारों की सुर्खियां चिल्ला रही हैं: "नया रोबोट बेहतर है!"

लेकिन यह पेपर तर्क देता है कि कुल स्कोर को देखना एक धुंधली फोटो को देखने जैसा है। यह इस बात को छिपा देता है कि वास्तव में अंदर क्या हो रहा है। लेखक, जॉन-पॉल कैसीकोली ने यह देखने के लिए कि क्या रोबोट का प्रदर्शन वास्तव में सार्थक रूप से बदला है, या यह केवल रैंडम शोर (noise) था, हर एक सवाल पर ज़ूम इन करने का फैसला किया।

यहाँ अध्ययन के निष्कर्षों का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. "विश्वसनीय परिवर्तन" परीक्षण (स्वर्ण मानक)

अतीत में, यदि एक रोबोट एक सवाल सही और एक गलत करता था, तो हमें नहीं पता होता था कि यह एक वास्तविक बदलाव था या सिर्फ एक इत्तेफाक। इसे ठीक करने के लिए, लेखक ने क्लिनिकल साइकोलॉजी से एक टूल उधार लिया जिसे रिलेएबल चेंज इंडेक्स (RCI) कहा जाता है।

RCI को एक "नॉइज़ फ़िल्टर" के रूप में सोचें।

यदि रोबोट का उत्तर रैंडम चांस की वजह से थोड़ा डगमगाता है, तो फ़िल्टर कहता है, "यह सिर्फ शोर है। इसे अनदेखा करें।"
यदि रोबोट का उत्तर महत्वपूर्ण रूप से बदलता है (जैसे, "मैं 20% निश्चित हूँ" से "मैं 80% निश्चित हूँ" पर जाना), तो फ़िल्टर कहता है, "यह एक वास्तविक बदलाव है!"

2. बड़ा आश्चर्य: अधिकांश चीजें नहीं बदलीं

जब लेखक ने इस फ़िल्टर को 2,000 सवालों पर लागू किया, तो यह हेडलाइन "नया रोबोट बेहतर है" भ्रामक साबित हुई।

"रॉक सॉलिड" सवाल: लगभग 79% सवालों में कोई वास्तविक बदलाव नहीं दिखा।
- क्यों? कुछ सवाल इतने आसान थे कि रोबोट उन्हें हर बार सही बताता था (एक "सीलिंग")। अन्य इतने कठिन थे कि रोबोट उन्हें हर बार गलत बताता था (एक "फ्लोर")। आप एक परफेक्ट स्कोर पर सुधार नहीं कर सकते, और आप शून्य से बदतर नहीं हो सकते। ये सवाल एक चट्टान की तरह हैं; वे हिलते नहीं हैं।
"मूविंग" सवाल: एक बार जब आप आसान और कठिन सवालों को हटा देते हैं, तो आपके पास वे "मध्यम" सवाल बचते हैं जहाँ रोबोट वास्तव में अनुमान लगा रहा होता है। यहीं पर जादू होता है।

3. "रस्साकशी" (Tug-of-War) का प्रभाव

उन सवालों के बीच जहाँ रोबोट बदल सकता था, परिणाम एक अराजक रस्साकशी की तरह थे। यह कोई सुचारू अपग्रेड नहीं था; यह एक अस्त-व्यस्त अदला-बदली थी।

लामा (Llama) रोबोट: जिस भी सवाल में वह बेहतर हुआ, वह दूसरे सवाल में बदतर हो गया।
- "मूवेबल" सवालों में से 34% बेहतर हुए।
- 28% बदतर हुए।
- "नेट गेन" (कुल स्कोर में वृद्धि) इन दो विशाल, विरोधी ताकतों के बीच का बस एक छोटा सा बचा हुआ अंतर था।
क्वेन (Qwen) रोबोट: यह और भी नाटकीय था। 47% में सुधार हुआ, लेकिन 39% बदतर हुए।
उपमा: कल्पना कीजिए कि एक क्लासरूम में शिक्षक डेस्क बदल रहे हैं। जो छात्र पीछे बैठे थे (संघर्ष कर रहे थे) वे अचानक आगे आ गए और बहुत अच्छा करने लगे। लेकिन जो छात्र सामने बैठे थे (टॉप छात्र) उन्हें पीछे धकेल दिया गया और वे संघर्ष करने लगे। क्लास का औसत ग्रेड थोड़ा बढ़ सकता है, लेकिन किसी भी व्यक्तिगत छात्र के लिए अनुभव एक रोलरकोस्टर जैसा है।

4. "विशेषज्ञता" की समस्या

अध्ययन में पाया गया कि रोबोट केवल रैंडम तरीके से कौशल नहीं बदल रहे थे; वे विषय के आधार पर कौशल बदल रहे थे।

Llama 3.1 लॉ (Law) और इकोनॉमिक्स (Economics) में बेहतर हुआ लेकिन फिजिक्स (Physics) में बदतर हो गया।
Qwen 3 फिजिक्स और इकोनॉमिक्स में बेहतर हुआ लेकिन लॉ में बदतर हो गया।
सीख: यदि आप नया Llama मॉडल इस्तेमाल करने वाले वकील हैं, तो आप पुराने मॉडल की तुलना में वास्तव में बदतर स्थिति में हो सकते हैं, भले ही समग्र स्कोर कहता हो कि मॉडल में सुधार हुआ है। "औसत" इस तथ्य को छिपा देता है कि आपका विशिष्ट क्षेत्र बदतर हो गया है।

5. "वन-शॉट" (One-Shot) गलती

अधिकांश लोग AI का परीक्षण करके करते हैं कि वे एक सवाल पूछते हैं और देखते हैं कि वह सही है या गलत (एक "ग्रीडी" सिंगल-शॉट टेस्ट)। लेखक ने पाया कि यह तरीका वास्तविक बदलावों को पकड़ने में बहुत खराब है।

बदलाव को मिस करना: सिंगल-शॉट टेस्ट ने उन 42% सवालों को मिस कर दिया जहाँ रोबोट की समझ में वास्तव में महत्वपूर्ण बदलाव आया था। यह एक थर्मामीटर चेक करने और बुखार को मिस करने जैसा है क्योंकि आपने तब चेक किया जब मरीज को पसीना आ रहा था।
गलत अलार्म: इसने 25% सवालों को "बदला हुआ" के रूप में भी चिह्नित किया, जबकि रोबोट वास्तव में रैंडम व्यवहार कर रहा था।

सारांश

पेपर का दावा है कि जब हम कहते हैं कि एक नया AI मॉडल "बेहतर" है, तो हम अक्सर एक विशाल आंतरिक बदलाव का शुद्ध परिणाम (net result) देख रहे होते हैं।

मॉडल हर जगह स्मार्ट नहीं हुआ।
वह कुछ चीजों में काफी बेहतर हुआ और कुछ में काफी बदतर।
"औसत" स्कोर इस अराजकता को छिपा देता है।
यह जानने के लिए कि क्या कोई मॉडल आपकी जरूरतों के लिए बेहतर है, हमें केवल कुल स्कोर को देखना बंद करना होगा और यह गिनना शुरू करना होगा कि कितने सवाल बुरे से अच्छे (या इसके विपरीत) में बदले।

लेखक की सिफारिश: केवल अंतिम स्कोर न बताएं। "चर्न रेट" (Churn Rate) (कितने सवाल बदले) की रिपोर्ट करें और टेस्ट को कुछ बार (जैसे 3 से 10 बार) चलाएं ताकि रैंडम शोर को फ़िल्टर किया जा सके, जिससे असली कहानी सामने आ सके।

यहाँ शोध पत्र "Beyond the Mean: Within-Model Reliable Change Detection for LLM Evaluation" (Jon-Paul Cacioli द्वारा) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान में लार्ज लैंग्वेज मॉडल (LLM) मूल्यांकन मुख्य रूप से एकत्रित सटीकता मेट्रिक्स (जैसे, "मॉडल B, मॉडल A से 2% बेहतर है") पर निर्भर करता है। यह दृष्टिकोण मॉडल अपडेट की अंतर्निहित गतिशीलता को छिपा देता है:

"नेट रेसिडुअल" (Net Residual) की समस्या: एक एकत्रित लाभ (aggregate gain) समान छोटे सुधारों, कुछ मदों (items) में बड़े सुधारों, या महत्वपूर्ण सुधारों और महत्वपूर्ण गिरावट के मिश्रण से प्राप्त हो सकता है जो एक-दूसरे को रद्द कर देते हैं।
मापन शोर (Measurement Noise): मानक सिंगल-शॉट (greedy) मूल्यांकन मदों को बाइनरी (सही/गलत) के रूप में मानते हैं, बिना स्टोकेस्टिक प्रतिक्रिया परिवर्तनशीलता (stochastic response variability) को ध्यान में रखे। एक "फ्लिप" (बदलाव) जो सही से गलत में हुआ है, वह वास्तविक गिरावट के बजाय केवल शोर हो सकता है, जबकि एक वास्तविक संभाव्यता (probability) बदलाव शायद बाइनरी थ्रेशोल्ड को पार न कर पाए।
मद-स्तरीय कठोरता का अभाव: जबकि एकत्रित स्कोर के लिए सांख्यिकीय विधियाँ मौजूद हैं (जैसे, कॉन्फिडेंस इंटरवल), व्यक्तिगत प्रश्न स्तर पर वास्तविक मद-स्तरीय परिवर्तन को मापन त्रुटि से अलग करने के लिए कोई सिद्धांतगत ढांचा नहीं है।

2. कार्यप्रणाली (Methodology)

यह अध्ययन रिलायबल चेंज इंडेक्स (RCI) को अनुकूलित करता है, जो नैदानिक मनोविज्ञान (clinical psychology) में एक मानक उपकरण है, जिसका उपयोग यह निर्धारित करने के लिए किया जाता है कि क्या किसी रोगी के स्कोर में परिवर्तन मापन त्रुटि से अधिक है, और इसे LLM बेंचमार्किंग के संदर्भ में लागू करता है।

प्रायोगिक डिजाइन:
- डेटासेट: MMLU-Pro बेंचमार्क से 2,000 मदें (भौतिक विज्ञान, कानून, मनोविज्ञान और अर्थशास्त्र में प्रत्येक के लिए 500 मदें)।
- मॉडल जोड़े:
  1. Llama 3 (8B) बनाम Llama 3.1 (8B): एक मामूली अपडेट।
  2. Qwen 2.5 (7B) बनाम Qwen 3 (8B): एक पीढ़ीगत (generational) अपडेट।
- सैंपलिंग प्रोटोकॉल: प्रत्येक मॉडल के लिए प्रत्येक मद को T=0.7 तापमान पर K=10 बार स्वतंत्र संवाद संदर्भों के साथ जेनरेट किया गया। यह प्रत्येक मद के लिए बाइनरी परिणाम के बजाय सटीकता ( $p$ ) का एक वितरण बनाता है।
- हार्डवेयर: सभी मॉडल AMD हार्डवेयर पर Q5_K_M क्वांटाइजेशन पर चलते हैं।
सांख्यिकीय ढांचा:
1. विश्वसनीयता अनुमान ( $r_{xx}$ ): मॉडल के प्रतिक्रिया वितरण की स्थिरता निर्धारित करने के लिए 10 नमूनों में स्प्लिट-हाफ रिलायबिलिटी (Spearman-Brown सुधारात्मक) के माध्यम से गणना की गई।
2. अंतर का मानक त्रुटि ( $S_{diff}$ ): $\sqrt{SEM_{v1}^2 + SEM_{v2}^2}$ के रूप में गणना की गई, जहाँ $SEM = SD(p) \times \sqrt{1-r_{xx}}$ ।
3. रिलायबल चेंज इंडेक्स (RCI):
  $RCI(i) = \frac{p(i, v2) - p(i, v1)}{S_{diff}}$
  - विश्वसनीय सुधार (Reliable Improvement): $RCI > 1.96 $($ p < .05$)।
  - विश्वसनीय गिरावट (Reliable Deterioration): $RCI < -1.96$।
  - कोई विश्वसनीय परिवर्तन नहीं (No Reliable Change): $|RCI| \le 1.96$ ।
4. अपवर्जन मानदंड (Exclusion Criteria): फ्लोर/सीलिंग प्रभाव वाली मदों (दोनों मॉडलों में 0% या 100% सटीकता) को बाहर रखा गया क्योंकि वे स्टोकेस्टिक परिवर्तन प्रदर्शित नहीं कर सकतीं।

3. मुख्य परिणाम

A. एकत्रित बनाम मद-स्तरीय गतिशीलता

पूर्ण बेंचमार्क: पूरे 2,000-मद सेट पर, अधिकांश मदों ने कोई विश्वसनीय परिवर्तन नहीं दिखाया (Llama के लिए 79%, Qwen के लिए 72%)। यह मुख्य रूप से फ्लोर/सीलिंग मदों (तुच्छ या असंभव प्रश्न) द्वारा संचालित है।
विश्लेषणात्मक उपसमूह: उन मदों के बीच जहाँ स्टोकेस्टिक भिन्नता मौजूद है (मध्यवर्ती कठिनाई), पैटर्न नाटकीय रूप से द्विदिश मंथन (bidirectional churn) की ओर बदल गया:
- Llama: 34% में सुधार हुआ, 28% में गिरावट आई।
- Qwen: 47% में सुधार हुआ, 39% में गिरावट आई।
- प्रभाव आकार (Effect Size): विश्वसनीय रूप से बदले गए मदों के लिए माध्य पूर्ण परिवर्तन ( $|\Delta p|$ ) बड़ा था: Llama के लिए 0.50 और Qwen के लिए 0.90 (जो 10 नमूनों में से 5-9 अतिरिक्त सही उत्तरों का प्रतिनिधित्व करता है)।

B. कठिनाई के आधार पर विषमता (Regression to the Mean)

कम-सटीकता वाली मदें: मुख्य रूप से सुधरीं (उदाहरण के लिए, Llama में गिरावट प्राप्त करने वाली 100% मदें उच्च-सटीकता वाली थीं; सुधरे हुए मदों में से 100% निम्न-सटीकता वाली थीं)।
उच्च-सटीकता वाली मदें: मुख्य रूप से गिरीं।
यह "मध्य की ओर प्रतिगमन" (regression toward the middle) प्रभाव का सुझाव देता है, जहाँ प्रदर्शन फ्लोर के पास वाली मदें केवल ऊपर जा सकती हैं, और सीलिंग के पास वाली मदें केवल नीचे जा सकती हैं।

C. डोमेन-विशिष्ट उलटफेर (Domain-Specific Reversals)

एकत्रित लाभों ने विशिष्ट डोमेन गिरावट को छिपा दिया:

Llama 3.1: अर्थशास्त्र, कानून और मनोविज्ञान में लाभ हुआ लेकिन भौतिक विज्ञान में नुकसान हुआ।
Qwen 3: अर्थशास्त्र, भौतिक विज्ञान और मनोविज्ञान में लाभ हुआ लेकिन कानून में नुकसान हुआ।
गिरावट वाले विशिष्ट डोमेन मॉडल परिवारों के बीच भिन्न थे, जो यादृच्छिक शोर के बजाय संरचित, परिवार-विशिष्ट प्रशिक्षण प्रभावों को दर्शाते हैं।

D. ग्रीडी (सिंगल-शॉट) मूल्यांकन की विफलता

RCI परिणामों की तुलना मानक ग्रीडी ( $T=0$ ) सिंगल-शॉट मूल्यांकन से करने पर महत्वपूर्ण खामियां सामने आईं:

फाल्स नेगेटिव (False Negatives): ग्रीडी मूल्यांकन ने उन 42% मदों को मिस कर दिया जिन्हें RCI ने विश्वसनीय रूप से बदला हुआ पहचाना (वे संभाव्यता बदलाव जो बाइनरी थ्रेशोल्ड को पार नहीं कर पाए थे)।
फाल्स पॉजिटिव (False Positives): ग्रीडी मूल्यांकन ने उन 25% मदों को बदला हुआ चिह्नित किया जब RCI ने उन्हें अपरिवर्तित वर्गीकृत किया (शोर-संचालित फ्लिप्स)।

4. मुख्य योगदान

पद्धतिगत नवाचार: नैदानिक मनोविज्ञान से रिलायबल चेंज इंडेक्स (RCI) को सफलतापूर्वक अनुकूलित किया, जो मद स्तर पर शोर से सिग्नल को अलग करने के लिए एक सांख्यिकीय ढांचा प्रदान करता है।
एकत्रित स्कोर का अपघटन: यह प्रदर्शित किया कि एकत्रित सटीकता लाभ अक्सर सुधारों और गिरावटों के विपरीत आंदोलनों का नेट रेसिडुअल होते हैं, न कि एक समान प्रगति।
मंथन (Churn) का परिमाणीकरण: एकत्रित सटीकता के साथ एक महत्वपूर्ण मीट्रिक के रूप में "चर्न रेट" (दोनों दिशाओं में विश्वसनीय परिवर्तन वाली मदों का अनुपात) को पेश किया।
ग्रीडी मूल्यांकन की आलोचना: एकल-शॉट बाइनरी मूल्यांकन के पर्याप्त न होने के लिए अनुभवजन्य साक्ष्य प्रदान किए, और एक कम लागत वाले विकल्प के रूप में $K \ge 3$ स्टोकेस्टिक नमूनों की सिफारिश की।

5. महत्व और निहितार्थ

मॉडल डेवलपर्स के लिए: एकत्रित मेट्रिक्स अधूरे हैं। एक मॉडल अपडेट 40% कार्यों में प्रदर्शन में सुधार कर सकता है जबकि दूसरे 40% पर गंभीर गिरावट ला सकता है, जिसके परिणामस्वरूप भ्रामक "शुद्ध लाभ" (net gain) प्राप्त होता है। डेवलपर्स को यह सुनिश्चित करने के लिए द्विदिश मंथन (bidirectional churn) की निगरानी करनी चाहिए कि अपडेट विशिष्ट डोमेन में विनाशकारी गिरावट न लाएं।
मूल्यांककों के लिए: यह शोध रिपोर्टिंग मानकों में बदलाव की वकालत करता है। बेंचमार्क को एकत्रित सटीकता के साथ-साथ चर्न रेट और डोमेन-विशिष्ट रिवर्सल भी रिपोर्ट करना चाहिए।
क्षेत्र के लिए: यह कार्य इंजीनियरिंग (नेगेटिव फ्लिप्स) और साइकोमेट्रिक्स (मापन सिद्धांत) के बीच के अंतर को पाटता है, यह सुझाव देता है कि LLM मूल्यांकन को मानव मनोवैज्ञानिक परीक्षण की तरह मापन त्रुटि के संबंध में समान कठोरता की आवश्यकता है।

निष्कर्ष: शोध पत्र निष्कर्ष निकालता है कि हालांकि एकत्रित सटीकता लाभ वास्तविक हैं, वे अक्सर महत्वपूर्ण अस्थिरता को छिपाते हैं। "नेट गेन" अक्सर बड़े, विपरीत मद-स्तरीय आंदोलनों का एक छोटा रेसिडुअल होता है। मॉडल के विकास को वास्तव में समझने के लिए, समुदाय को मॉडल परिवार के भीतर परिवर्तन की संरचना का विश्लेषण करने हेतु "मीन से परे" (beyond the mean) जाना होगा।