💬 NLP

Every Wrong Answer Counts: Option-Level Psychometrics for LLM Multiple-Choice Benchmarks

यह शोध पत्र LLM नॉमिनल रिस्पॉन्स मॉडल (LLM-NRM) प्रस्तुत करता है, जो एक मनोमितीय ढांचा (psychometric framework) है जो LLM क्षमताओं और आइटम विशेषताओं का अधिक सटीक अनुमान लगाने के लिए उत्तर विकल्पों के पूर्ण वितरण—गलत विकल्पों सहित—का लाभ उठाता है, यह प्रदर्शित करते हुए कि डिस्ट्रेक्टर (distractor) प्राथमिकताएं महत्वपूर्ण मापन मूल्य प्रदान करती हैं और पारंपरिक बाइनरी स्कोरिंग की तुलना में अत्यधिक कुशल बेंचमार्किंग को सक्षम बनाती हैं।

मूल लेखक: Xiao Fei, Yang Zhang, Sarah Almeida Carneiro, Michalis Vazirgiannis

प्रकाशित 2026-08-05

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiao Fei, Yang Zhang, Sarah Almeida Carneiro, Michalis Vazirgiannis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुविकल्पीय परीक्षा (multiple-choice test) जाँचने वाले शिक्षक हैं। पारंपरिक तरीके से काम करते हुए, आपको केवल अंतिम अंक की परवाह होती है: सही के लिए एक सही का निशान, गलत के लिए एक क्रॉस। यदि कोई छात्र किसी प्रश्न का उत्तर गलत देता है, तो आप केवल एक लाल "X" देखते हैं। आपको यह नहीं पता चलता कि उसने गलत क्यों किया। क्या उसने अंदाज़े से उत्तर दिया? क्या वह थोड़े से ज्ञान के साथ किसी कठिन शब्द में उलझ गया? या क्या उसे बस अक्षर "B" का रंग पसंद नहीं था और उसने उसे चुन लिया? लंबे समय तक, आर्टिफिशियल इंटेलिजेंस (AI) का अध्ययन करने वाले वैज्ञानिकों ने बिल्कुल यही किया है। वे AI मॉडलों को बहुविकल्पीय प्रश्न पूछते हैं और केवल सही उत्तरों को गिनते हैं। यह एक शेफ (chef) को केवल इस आधार पर आंकने जैसा है कि व्यंजन खाने योग्य है या नहीं, यह नज़रअंदाज़ करते हुए कि उसने बहुत अधिक नमक डाल दिया, काली मिर्च डालना भूल गया, या गलती से काँटे के साथ सूप परोस दिया।

यह शोध पत्र साइकोमेट्रिक्स (psychometrics) की दुनिया में कदम रखता है—जो मानवीय (और अब मशीनी) क्षमताओं को मापने का विज्ञान है। यह एक चतुर विचार पर आधारित है जिसे 'आइटम रिस्पॉन्स थ्योरी' (Item Response Theory) कहा जाता है, जो मूल रूप से एक फैंसी तरीका है यह कहने का कि एक परीक्षण प्रश्न केवल "कठिन" या "आसान" नहीं होता; उसका एक व्यक्तित्व होता है। कुछ प्रश्न बुद्धिमान लोगों को भी छकाते हैं, जबकि अन्य शुरुआती लोगों को। यह शोध पत्र मुख्य सवाल पूछता है: यदि हम हर गलत उत्तर को एक साधारण विफलता के रूप में मानना बंद कर दें, तो क्या हम कुछ नया सीख सकते हैं? लेखक सुझाव देते हैं कि AI द्वारा चुना गया विशिष्ट गलत उत्तर वास्तव में सूचना का एक खजाना है, जो यह प्रकट करता है कि AI कैसे सोचता है, वह किन चीजों में भ्रमित होता है, और वह कितना आश्वस्त महसूस करता है, भले ही वह गलत हो।

शोध का बड़ा विचार: क्यों गलत उत्तर वास्तव में सही हैं

शोधकर्ताओं ने, जिनका नेतृत्व शियाओ फी (Xiao Fei) और सहयोगियों ने किया, LLM-NRM (LLM Nominal Response Model) नामक एक नया उपकरण पेश किया। इसे एक साधारण "पास/फेल" शीट से विस्तृत "फोरेंसिक रिपोर्ट" में अपग्रेड करने के रूप में सोचें।

पुराने तरीके में, यदि एक AI से पूछा जाता है, "सौर मंडल के किस पिंड की कक्षा में क्षुद्रग्रहों (asteroids) की एक बेल्ट है?" और वह सही "सूर्य" के बजाय "शनि" चुनता है, तो सिस्टम केवल एक गलती दर्ज करता है। लेकिन नया मॉडल करीब से देखता है। यह समझता है कि "शनि" चुनना "प्लूटो" या "चंद्रमा" चुनने से अलग है। शायद AI जानता है कि शनि के चारों ओर वलय (rings) हैं और वह क्षुद्रग्रह बेल्ट के साथ भ्रमित हो गया। शायद उसे बस "शनि" शब्द की ध्वनि पसंद आई। यह विश्लेषण करके कि AI ने कौन सा गलत उत्तर चुना, मॉडल AI के "मस्तिष्क" का मानचित्र बहुत अधिक सटीकता से बना सकता है, जितना कि केवल सही उत्तरों को गिनने से कभी संभव नहीं था।

टीम ने इसे बड़े पैमाने पर परखा: 189 अलग-अलग AI मॉडल और 14 विभिन्न बेंचमार्क से 31,554 प्रश्न। उन्होंने पाया कि उनका नया तरीका एक बहुत बड़ा सुधार था। जब उन्होंने यह अनुमान लगाने की कोशिश की कि एक AI उस प्रश्न का उत्तर कैसे देगा जिसे उसने पहले नहीं देखा है, तो उनका मॉडल पुराने बाइनरी (सही/गलत) तरीकों की तुलना में बहुत अधिक सटीक था।

गुप्त सूत्र: क्या चीज़ LLM-NRM को खास बनाती है?

शोध पत्र का तर्क है कि AI मॉडल केवल "स्मार्ट" या "डम्ब" नहीं होते; उनके कुछ विशिष्ट गुण होते जिन्हें पुराने परीक्षण अनदेखा कर देते हैं। नया मॉडल उन तीन अजीब व्यवहारों को ध्यान में रखता है जो तब होते हैं जब AI एक परीक्षण देता है:

आत्मविश्वास बनाम ज्ञान (कैलिब्रेशन शार्पनेस): कभी-कभी एक AI बहुत आश्वस्त होता है कि वह सही है, भले ही वह गलत हो। अन्य समय में, वह सही होने पर भी अनिश्चित होता है। पुराने परीक्षण अंतर नहीं बता पाते थे। नए मॉडल में एक "शार्पनेस" डायल है जो यह मापता है कि AI कितनी आत्मविश्वास के साथ अपने दांव उत्तरों के बीच फैलाता है।
"B" पूर्वाग्रह (पोजीशनल प्रेफरेंस): मनुष्य और AI कभी-कभी एक अजीब आदत रखते हैं कि वे पहले या आखिरी विकल्प को केवल इसलिए पसंद करते हैं क्योंकि वह पृष्ठ पर कहाँ स्थित है, न कि इसलिए कि उसमें क्या लिखा है। नया मॉडल इस पूर्वाग्रह को पहचानता है और इसे हटा देता है, ताकि यह न लगे कि AI वास्तवं में उससे कहीं अधिक स्मार्ट है।
"अनुमान" का सहारा (Guessing Fallback): जब कोई प्रश्न बहुत कठिन होता है, तो AI हार मान सकता है और एक यादृच्छिक नियम (जैसे "हमेशा सबसे लंबे शब्द को चुनें") के आधार पर उत्तर चुन सकता है। नया मॉडल इस "फालबैक" व्यवहार का पता लगाता है और इसे इसके वास्तविक ज्ञान से अलग करता है।

बड़ा खुलासा: गलत उत्तर सोना हैं

सबसे रोमांचक खोज यह है कि गलत उत्तरों में आपकी सोच से कहीं अधिक जानकारी होती है। लेखकों ने गणना की कि यह देखना कि कौन सा गलत उत्तर चुना गया, केवल यह जानने की तुलना में कि क्या वह सही था या गलत, प्रति प्रश्न लगभग 101% अधिक उपयोगी जानकारी जोड़ता है।

इसे साबित करने के लिए, उन्होंने एक दिलचस्प प्रयोग किया। उन्होंने यह अनुमान लगाने की कोशिश की कि एक AI का समग्र कौशल स्तर क्या है, केवल उन प्रश्नों का उपयोग करके जिन्हें AI ने गलत किया था। आश्चर्यजनक रूप से, केवल गलतियों के पैटर्न को देखकर, वे AI की क्षमता का 0.943 के सहसंबंध (एक बहुत उच्च स्कोर, जहाँ 1.0 पूर्ण है) के साथ अनुमान लगा सके। इसका अर्थ है कि आपको AI के कितने स्मार्ट होने को समझने के लिए सही उत्तरों को देखने की भी आवश्यकता नहीं है; गलतियाँ पूरी कहानी बताती हैं।

परीक्षणों को स्मार्ट और तेज़ बनाना

चूंकि यह नया मॉडल प्रत्येक प्रश्न से बहुत अधिक जानकारी प्राप्त करता है, इसलिए यह परीक्षण को बहुत अधिक कुशल बना सकता है।

कम प्रश्नों की आवश्यकता: आमतौर पर, AI मॉडलों को सटीक रूप से रैंक करने के लिए, आपको सैकड़ों प्रश्नों की आवश्यकता होती है। लेखकों ने पाया कि उनके नए तरीके के साथ, आप केवल 41 सबसे जानकारीपूर्ण प्रश्न चुन सकते हैं और फिर भी एक ऐसा रैंकिंग प्राप्त कर सकते हैं जो पूर्ण परीक्षण के लगभग समान हो। यह आवश्यक प्रश्नों की संख्या में 770 गुना कमी है!
कम मॉडलों की आवश्यकता: आमतौर पर, आपको एक परीक्षण को "कैलिब्रेट" करने (यह समझने कि प्रश्न कितने कठिन हैं) के लिए हजारों AI मॉडलों की आवश्यकता होती है। यह नया तरीका केवल 5 AI मॉडलों का उपयोग करके भी एक परीक्षण को कैलिब्रेट कर सकता है और अच्छे परिणाम प्राप्त कर सकता है, जबकि पुराने तरीके इतने कम मॉडलों के साथ अव्यवस्थित और अविश्वसनीय हो जाते हैं।

भविष्य के लिए इसका क्या अर्थ है

शोध पत्र निष्कर्ष निकालता है कि हम हर गलत उत्तर को एक समान मानकर भारी मात्रा में डेटा को बर्बाद कर रहे थे। यह समझकर कि AI कैसे गलतियाँ करता है, हमें यह स्पष्ट, निष्पक्ष और तेज़ चित्र मिलता है कि वह वास्तव में क्या कर सकता है। यह महसूस करने जैसा है कि एक छात्र का गलत उत्तर केवल एक विफलता नहीं है, बल्कि एक मानचित्र है जो ठीक से दिखाता है कि उसकी समझ कहाँ समाप्त होती है और उसका भ्रम कहाँ शुरू होता है। लेखकों का सुझाव है कि यह दृष्टिकोण हमें बेहतर परीक्षण बनाने और AI व्यवहार को केवल एक रिपोर्ट कार्ड के साधारण स्कोर से कहीं अधिक गहराई से समझने में मदद कर सकता है।

तकनीकी सारांश: हर गलत उत्तर मायने रखता है: LLM मल्टीपल-चॉइस बेंचमार्क के लिए ऑप्शन-लेवल साइकोमेट्रिक्स

समस्या विवरण

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) बेंचमार्किंग मुख्य रूप से मल्टीपल-चॉइस प्रश्नों (MCQs) से प्राप्त बाइनरी सटीकता स्कोर (binary accuracy scores) पर निर्भर करती है। यह दृष्टिकोण सभी गलत उत्तरों को समान मानता है, जिससे उस व्यवस्थित जानकारी को त्याग दिया जाता है जो इस बात में निहित होती है कि एक विशिष्ट 'डिस्ट्रैक्टर' (distractor) का चयन कैसे किया गया। परिणामस्वरूप, सटीकता स्कोर विशिष्ट आइटम संरचनाओं पर उनकी निर्भरता के कारण सीमित हो जाते हैं और मॉडल की क्षमता, व्यवस्थित त्रुटि पैटर्न या मापन अनिश्चितता को पकड़ने में विफल रहते हैं। जैसे-जैसे मॉडल बेंचमार्क संतृप्ति (saturation) के करीब पहुँचते हैं, बाइनरी स्कोरिंग अपनी विभेदात्मक शक्ति खो देती है। इसके अलावा, LLM के लिए मौजूदा साइकोमेट्रिक अनुप्रयोग (जैसे, आइटम रिस्पॉन्स थ्योरी - IRT) आमतौर पर प्रतिक्रियाओं को बाइनरी शुद्धता तक ही सीमित कर देते हैं, जिससे विकल्पों की पूर्ण वितरण (distribution) का लाभ उठाने में विफल रहते हैं।

कार्यप्रणाली: LLM नोमिनल रिस्पॉन्स मॉडल (LLM-NRM)

लेखक LLM नोमिनल रिस्पॉन्स मॉडल (LLM-NRM) का प्रस्ताव करते हैं, जो एक विकल्प-जागरूक (option-aware) साइकोमेट्रिक फ्रेमवर्क है और बॉक के नोमिनल रिस्पॉन्स मॉडल (NRM) को LLM मूल्यांकन के लिए अनुकूलित करता है। बाइनरी मॉडल के विपरीत, LLM-NRM सभी उत्तर विकल्पों पर पूर्ण संभाव्यता वितरण (probability distribution) को मॉडल करता है ताकि लेटेंट (latent) LLM क्षमता ( $\theta$ ) और आइटम विशेषताओं का संयुक्त रूप से अनुमान लगाया जा सके।

मुख्य सूत्र (Core Formulation)

यह मॉडल एक MCQ आइटम पर LLM की प्रतिक्रिया को एक बाइनरी लेबल के बजाय $K_i$ विकल्पों पर एक वितरण $p_{ji}$ के रूप में मानता है। यह शास्त्रीय NRM उपयोगिता फलन $u_{jik} = a_{ik}\theta_j + c_{ik}$ को तीन LLM-विशिष्ट व्यवहारिक कारकों को शामिल करके विस्तारित करता है:

रिस्पॉन्स कैलिब्रेशन शार्पनेस ( $s_j$ ): एक प्रति-LLM पैरामीटर जो एक इन्वर्स टेम्परेचर के रूप में कार्य करता है। यह विकल्पों के सापेक्ष क्रम को बदले बिना संभाव्यता वितरण के संकेंद्रण (concentration) को नियंत्रित करता है, जो यह पकड़ता है कि क्या कोई मॉडल विकल्पों के प्रति उच्च आत्मविश्वास व्यक्त करता है या उसका वितरण "फ्लैट" है, जो आइटम ज्ञान से स्वतंत्र है।
पोजीशनल बायस ( $\delta_j$ ): एक वेक्टर जो विशिष्ट उत्तर स्थितियों (जैसे, A, B, C, D) के लिए सामग्री-स्वतंत्र प्राथमिकताओं को दर्शाता है। यह व्यवस्थित पोजीशनल ह्यूरिस्टिक्स को वास्तविक विकल्प सामग्री के आकर्षण से अलग करता है।
डिफिकल्टी-गेटेड गेसिंग फॉलबैक (Difficulty-Gated Guessing Fallback): एक तंत्र जो क्षमता-संचालित प्राथमिकताओं और एक 'फॉलबैक रणनीति' के बीच इंटरपोलेशन करता है जब कोई आइटम मॉडल के लिए बहुत कठिन होता है।
- एक गेट $G_{ji} = \sigma[w_0 - \kappa(\theta_j - \tilde{b}_i)]$ फॉलबैक के भार को निर्धारित करता है, जहाँ $\tilde{b}_i$ एक अनुमानित आइटम कठिनाई सूचकांक है जो NRM मापदंडों से प्राप्त होता है।
- एक फॉलबैक लॉगिट वेक्टर $\rho_j$ अनुमानों (जैसे, लेबल प्रायर्स) के विशिष्ट वितरण को परिभाषित करता है जब गेट सक्रिय होता है।

अंतिम रिस्पॉन्स डिस्ट्रीब्यूशन एक सॉफ्टमैक्स इंटरपोलेशन है:
$p_{jik}^{LLM-NRM} = \frac{\exp[(1-G_{ji})u_{jik} + G_{ji}\rho_{jk}]}{\sum_{k'} \exp[(1-G_{ji})u_{jik'} + G_{ji}\rho_{jk'}]}$

अनुमान (Estimation)

पैरामीटर्स का अनुमान $\theta_j \sim \mathcal{N}(0,1)$ पर एक मानक सामान्य प्रायर (prior) द्वारा नियमित किए गए सॉफ्ट क्रॉस-एन्ट्रॉपी लॉस पर एडम ऑप्टिमाइज़ेशन का उपयोग करके मैक्सिमम ए पोस्टीरिओरी (MAP) के माध्यम से लगाया जाता है। मॉडल को 189 LLMs और 14 बेंचमार्क में 31,554 MCQ आइटम्स पर फिट किया गया है।

मुख्य योगदान

LLM के लिए NRM का प्रथम अनुप्रयोग: यह कार्य LLM डोमेन में नोमिनल रिस्पॉन्स मॉडल को पेश करता है, जो शुद्धता से परे मॉडल व्यवहार का एक समृद्ध दृश्य प्रदान करते हुए विकल्पों के बीच लेटेंट रिस्पॉन्स प्राथमिकताओं को प्रकट करता है।
LLM-अनुकूलित फॉर्मूलेशन: लेखक एक नया फॉर्मूलेशन प्रस्तावित करते हैं जो स्पष्ट रूप से कैलिब्रेशन शार्पनेस, पोजीशनल बायस और कठिनाई-निर्भर फॉलबैक व्यवहारों को मॉडल करता है, जो पारंपरिक आइटम-रिस्पॉन्स मॉडलिंग से आगे बढ़कर विशिष्ट LLM निर्णय प्रक्रियाओं को पकड़ता है।
डिस्ट्रैक्टर उपयोगिता का प्रदर्शन: यह पेपर स्थापित करता है कि गलत प्रतिक्रियाएं यादृच्छिक शोर (random noise) नहीं हैं, बल्कि उनमें विशिष्ट, उपयोगी माप संबंधी जानकारी निहित है।

प्रयोगात्मक परिणाम

भविष्य कहनेवाला प्रदर्शन (Predictive Performance)

होल्ड-आउट डेटा पर 5-फोल्ड क्रॉस-वैलिडेशन के माध्यम से मूल्यांकित, LLM-NRM बाइनरी IRT बेसलाइन्स (1PL–4PL), मानक NRM और पूर्व स्टेट-ऑफ-द-आर्ट दृष्टिकोणों (जैसे, Deep-IRT, PSN-IRT) को पछाड़ देता है।

बाइनरी शुद्धता: LLM-NRM सर्वोत्तम बाइनरी बेसलाइन (0.8232) की तुलना में उच्चतम सटीकता (0.839मान 0.8395) प्राप्त करता है।
विकल्प-स्तर का पूर्वानुमान: विकल्प वितरण की भविष्यवाणी करने में लाभ अधिक स्पष्ट है, जहाँ LLM-NRM 0.7070 सटीकता और 0.8181 लॉग-लॉस प्राप्त करता है, जो बाइनरी बेसलाइन्स (0.6427 सटीकता, 0.9879 लॉग-लॉस) और मानक NRM से काफी बेहतर है।

बाहरी वैधता (External Validity)

LLM-NRM से प्राप्त क्षमता अनुमान ( $\theta$ ) Arena.ai Text Elo लीडरबोर्ड (जो मानव प्राथमिकताओं पर आधारित है) के साथ सबसे मजबूत स्पीयरमैन सहसंबंध (0.920) दिखाते हैं, जो रॉ एक्यूरेसी (0.866) और अन्य लेटेंट क्षमता अनुमानों (अधिकतम 0.885) से बेहतर है। यह सुझाव देता है कि विकल्प-स्तर के पैटर्न मानव निर्णय के अनुरूप मॉडल के अंतर को कुल शुद्धता की तुलना में बेहतर तरीके से पकड़ते हैं।

गलत उत्तरों की सूचना सामग्री (Information Content of Wrong Answers)

फिशर इंफॉर्मेशन (Fisher Information): चयनित डिस्ट्रैक्टर की पहचान केवल बाइनरी शुद्धता की तुलना में प्रति आइटम औसतन +101% अतिरिक्त फिशर इंफॉर्मेशन में योगदान देती है।
त्रुटियों से रिकवरी: भले ही केवल गलत प्रतिक्रियाओं (शुद्धता संकेतों को अनदेखा करते हुए) को देखा जाए, मॉडल फुल-इंफॉर्मेशन रेफरेंस के विरुद्ध 0.9428 के स्पीयरमैन सहसंबंध के साथ क्षमता अनुमानों को पुनः प्राप्त कर सकता है। यह पुष्टि करता है कि त्रुटि संरचनाएं अत्यधिक सूचनात्मक और व्यवस्थित हैं।

बेंचमार्क दक्षता

आइटम संपीड़न (Item Compression): सबसे अधिक सूचनात्मक 41 आइटम्स चुनने के लिए LLM-NRM का उपयोग करने से, फुल-बैंक रैंकिंग को 0.85 के केंडल सहसंबंध के साथ बनाए रखते हुए, बेंचमार्क आकार में 770x की कमी आती है।
कैलिब्रेशन दक्षता: LLM-NRM केवल 5 LLMs का उपयोग करके आइटम मापदंडों को कैलिब्रेट कर सकता है और ~40 आइटम्स के साथ पूर्ण-फ्लीट प्रदर्शन के करीब पहुँच जाता है, जो बाइनरी IRT मॉडल्स की तुलना में काफी बेहतर है जिन्हें बाइनरी प्रतिक्रियाओं में सीमित जानकारी के कारण स्थिर होने के लिए बड़े फ्लोट की आवश्यकता होती है।

महत्व और दावे

पेपर यह निष्कर्ष निकालता है कि LLM बेंचमार्क में गलत उत्तर केवल समकक्ष गलतियाँ नहीं हैं, बल्कि उनमें विशिष्ट और उपयोगी माप संबंधी जानकारी होती है। विकल्प-स्तर के रिस्पॉन्स को मॉडल करके, LLM-NRM:

मूल्यांकन सटीकता में सुधार करता है: मानव प्राथमिकताओं के साथ संरेखित अधिक विश्वसनीय क्षमता अनुमान प्रदान करता है।
व्यवहारिक बारीकियों को प्रकट करता है: वास्तविक ज्ञान को कैलिब्रेशन आर्टिफैक्ट्स, पोजीशनल बायस और फॉलबैक रणनीतियों से अलग करता है।
दक्षता सक्षम करता है: कम आइटम्स और कम कैलिब्रेशन मॉडल्स के साथ उच्च-निष्ठा वाली रैंकिंग सक्षम करके बेंचमार्किंग की लागत को नाटकीय रूप से कम करता है।

लेखक दावा करते हैं कि यह दृष्टिकोण मूल्यांकन प्रतिमान को बाइनरी "सही/गलत" मीट्रिक से एक सूक्ष्म साइकोमेट्रिक विश्लेषण में बदल देता है जहाँ "हर गलत उत्तर मायने रखता है।" भविष्य के कार्यों के लिए आंशिक संभाव्यता अवलोकन (partial probability observations), बहु-आयामी क्षमताओं और फिक्स्ड-ऑप्शन प्रश्नों से परे विस्तार की खोज करने का सुझाव दिया गया है, लेकिन वर्तमान कार्य मौजूदा MCQ फ्रेमवर्क में विकल्प-स्तर के डेटा की उपयोगिता को मान्य करने पर केंद्रित है।