💬 NLP

Question Difficulty Estimation for Large Language Models via Answer Plausibility Scoring

यह शोध पत्र Q-DAPS को प्रस्तुत करता है, जो उत्तर की संभाव्यता स्कोर (answer plausibility scores) की एंट्रॉपी की गणना करके बड़े भाषा मॉडलों के लिए प्रश्न की कठिनाई का अनुमान लगाने वाली एक नवीन विधि है, जो मौजूदा दृष्टिकोणों की तुलना में कई डेटासेट पर बेहतर प्रदर्शन, मजबूती और मानवीय निर्णयों के साथ संरेखण प्रदर्शित करती है।

मूल लेखक: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Question Difficulty Estimation for Large Language Models via Answer Plausibility Scoring" (Q-DAPS) का सरल अवधारणाओं और रोज़मर्रा के उदाहरणों में दिया गया विवरण है।

मुख्य विचार: एक प्रश्न वास्तव में कितना कठिन है?

कल्पना कीजिए कि आप एक शिक्षक हैं जो यह पता लगाने की कोशिश कर रहे हैं कि आपके छात्रों के लिए एक परीक्षा का प्रश्न कितना कठिन है। पारंपरिक रूप से, आप प्रश्न को देखकर कह सकते हैं, "यह वाक्य लंबा है और इसमें बड़े शब्दों का उपयोग किया गया है, इसलिए यह कठिन होना चाहिए।" या, आप यह देख सकते हैं कि कितने लोगों ने पहले यह प्रश्न पूछा है; यदि कोई इसे नहीं पूछता है, तो यह अस्पष्ट और कठिन होना चाहिए।

लेकिन इस शोध पत्र के लेखक तर्क देते हैं कि लार्ज लैंग्वेज मॉडल्स (LLMs)—आज उपयोग किए जाने वाले सुपर-स्मार्ट AI चैटबॉट्स—के लिए पुराने तरीके ठीक से काम नहीं करते हैं। एक प्रश्न सरल शब्दों का उपयोग कर सकता है लेकिन उसमें जटिल तर्क की आवश्यकता हो सकती है, या यह बहुत लोकप्रिय हो सकता है फिर भी AI को चकमा दे सकता है।

इसलिए, उन्होंने कठिनाई मापने का एक नया तरीका बनाया जिसे Q-DAPS कहा जाता है।

मुख्य उपमा: "भ्रमित जासूस" (The Confused Detective)

एक LLM को एक जासूस के रूप में सोचें जो एक रहस्य को सुलझाने की कोशिश कर रहा है।

आसान प्रश्न: जासूस सुरागों को देखता है और तुरंत सोचता है, "यह निश्चित रूप से बॉब गेल्डॉफ है।" अन्य सभी संदिग्ध (जैसे "पोप" या "एक रैंडम बिल्ली") बेतुके लगते हैं। जासूस 100% आश्वस्त है।
कठिन प्रश्न: जासूस सुरागों को देखता है और सोचता है, "हम्म, यह रोजर केसमेंट हो सकता है, लेकिन यह माइकल कोलिन्स भी हो सकता है, या शायद एर्स्किन चिल्डर्स भी।" सभी संदिग्ध समान रूप से संदिग्ध लग रहे हैं। जासूस भ्रमित और अनिश्चित है।

Q-DAPS इसी भ्रम को मापता है।

AI से यह पूछने के बजाय कि "क्या यह प्रश्न कठिन है?", Q-DAPS AI को ऐसे गलत उत्तर उत्पन्न करने के लिए कहता है जो ऐसे दिखते हों जैसे वे सही हो सकते हैं। फिर, यह जाँचता है कि उन गलत उत्तरों के बीच AI कितना हिचकिचाता है।

यदि AI कई गलत उत्तरों के बीच भ्रमित है, तो प्रश्न कठिन है (उच्च एंट्रॉपी/High Entropy)।
यदि AI सभी गलत उत्तरों को तुरंत खारिज कर देता है, तो प्रश्न आसान है (निम्न एंट्रॉपी/Low Entropy)।

Q-DAPS कैसे काम करता है (3-चरणों वाली रेसिपी)

शोध पत्र इस प्रक्रिया को तीन सरल चरणों में बताता है, जैसे केक बनाना:

1. "नकली" उत्तर उत्पन्न करना (Candidate Generation)

सिस्टम एक AI से एक प्रश्न के संभावित उत्तरों की सूची बनाने के लिए कहता है, लेकिन वह स्पष्ट रूप से AI को निर्देश देता है: "असली उत्तर मत दो। बस मुझे 20 ऐसे अनुमान दो जो तर्कसंगत लगें।"

उदाहरण: "आधुनिक व्यवहारवाद (behaviorism) का जनक कौन है?" के लिए, AI अनुमान लगा सकता है: "बी.एफ. स्किनर," "सिगमंड फ्रायड," "इवान पावलोव," आदि।
AI प्रत्येक अनुमान को एक "प्लाउज़िबिलिटी स्कोर" (0 से 100) भी देता है, जो यह बताता है कि वह कितना मानता है कि वह अनुमान सही हो सकता है।

2. "लोकप्रियता" के पूर्वाग्रह को हटाना (Debiasing)

यहाँ एक पेचीदा हिस्सा है। AI मॉडल अक्सर लोकप्रिय चीजों की ओर झुकाव रखते हैं। यदि आप किसी प्रसिद्ध व्यक्ति के बारे में पूछते हैं, तो AI उन्हें पहले चुन सकता है क्योंकि वे प्रसिद्ध हैं, न कि इसलिए कि वे सही उत्तर हैं।

समाधान: शोधकर्ता प्रत्येक अनुमान की लोकप्रियता (विकिपीडिया पर कितने लोग उस पेज को देखते हैं) की जाँच करते हैं। यदि कोई अनुमान बहुत लोकप्रिय है, तो वे उसके स्कोर को थोड़ा कम कर देते हैं ताकि यह सुनिश्चित हो सके कि AI केवल प्रसिद्धि के आधार पर अनुमान नहीं लगा रहा है। यह परीक्षण को निष्पक्ष बनाता है।

3. "भ्रम" को मापना (Scoring)

अंत में, सिस्टम स्कोर की सूची को देखता है।

निम्न एंट्रॉपी (आसान): एक उत्तर का स्कोर बहुत बड़ा है (जैसे 90), और बाकी बहुत छोटे हैं (जैसे 5, 2, 1)। AI आश्वस्त है।
उच्च एंट्रॉपी (कठिन): सभी उत्तरों के स्कोर समान हैं (जैसे 40, 38, 35, 32)। AI विभाजित और भ्रमित है।

सिस्टम इस "भ्रम" को 0 और 1 के बीच के एकल अंक में बदल देता है, जहाँ 1 सबसे कठिन प्रश्न है।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

लेखकों ने चार अलग-अलग प्रकार के प्रश्न डेटासेट्स (साधारण ट्रिविया से लेकर जटिल विज्ञान तर्क तक) पर इस पद्धति का परीक्षण किया। उन्होंने इसकी तुलना अन्य विधियों से की जैसे:

रीडेबिलिटी फॉर्मूला (शब्दांश गिनना)।
लोकप्रियता आँकड़े (कितने लोग इसे खोजते हैं)।
रिट्रीवल स्टैट्स (डेटाबेस में उत्तर ढूँढना कितना कठिन है)।

परिणाम: Q-DAPS विजेता था। यह अन्य विधियों की तुलना में यह बताने में बहुत बेहतर था कि कौन से प्रश्न वास्तव में AI को उलझा देंगे।

मुख्य निष्कर्ष (सरल भाषा में)

यह उत्तर कुंजी (answer key) के बिना भी काम करता है: आपको Q-DAPS का उपयोग करने के लिए सही उत्तर जानने की आवश्यकता नहीं है। AI "नकली" उत्तर बना सकता है और कठिनाई का स्कोर खुद ही निर्धारित कर सकता है।
यह छोटे AI मॉडल्स के साथ भी काम करता है: आपको इस परीक्षण को चलाने के लिए सबसे महंगे, विशाल AI की आवश्यकता नहीं है। छोटे, सस्ते मॉडल भी ठीक से काम करते हैं।
यह मानवीय अंतर्ज्ञान (human intuition) से मेल खाता है: जब मनुष्यों ने उन प्रश्नों को देखा जिन्हें Q-DAPS ने "कठिन" बताया, तो वे सहमत थे कि वे कठिन थे। जब मनुष्यों ने "आसान" वाले देखे, तो वे सहमत थे कि वे आसान थे।
यह "Hallucination" (भ्रम/हैलुसिनेशन) के जोखिम को पकड़ता है: शोध पत्र सुझाव देता है कि यदि किसी प्रश्न में उच्च एंट्रॉपी (उच्च भ्रम) है, तो AI द्वारा गलत उत्तर बनाने (हैलुसिनेट करने) की संभावना अधिक होती है क्योंकि वह संभावित विकल्पों के बीच निर्णय नहीं ले पाता।

शोध पत्र क्या दावा नहीं करता

यह दावा नहीं करता कि यह रोगियों का निदान करने के लिए एक चिकित्सा उपकरण है।
यह दावा नहीं करता कि यह दुनिया की हर भाषा के लिए पूरी तरह काम करता है (अध्ययन केवल अंग्रेजी में किया गया था)।
यह दावा नहीं करता कि "कठिन" प्रश्न का अर्थ यह है कि AI उसका उत्तर नहीं दे सकता; इसका केवल यह अर्थ है कि AI वर्तमान में अनिश्चित या भ्रमित है।

सारांश

Q-DAPS एक नया पैमाना है जो यह मापता है कि AI के लिए कोई प्रश्न कितना कठिन है। पेज पर लिखे शब्दों को देखने के बजाय, यह देखता है कि AI उत्तर का अनुमान लगाते समय कितना भ्रमित होता है। यदि AI कई संभावित गलत उत्तरों के बीच फँसा हुआ है, तो प्रश्न कठिन है। यदि AI जानता है कि क्या चुनना है, तो प्रश्न आसान है। यह डेवलपर्स को यह जानने में मदद करता है कि उन्हें AI पर कब भरोसा करना चाहिए और कब अपने काम की दोबारा जाँच करनी चाहिए।

तकनीकी सारांश: Q-DAPS (उत्तर संभाव्यता स्कोर के आधार पर प्रश्न कठिनाई)

समस्या विवरण

प्रश्न कठिनाई का अनुमान लगाना प्रश्नोत्तर (QA) प्रणालियों में लार्ज लैंग्वेज मॉडल्स (LLMs) के मूल्यांकन और सुधार के लिए आवश्यक है। मौजूदा दृष्टिकोण आमतौर पर पठनीयता सूत्रों (readability formulas), रिट्रीवल-आधारित संकेतों, या लोकप्रियता सांख्यिकी पर निर्भर करते हैं। हालाँकि, ये विधियाँ आधुनिक LLMs के लिए विशिष्ट तर्क चुनौतियों (reasoning challenges) को पकड़ने में विफल रहती हैं, क्योंकि वे अक्सर मानव पठनीयता या रिट्रीवल सिस्टम मेट्रिक्स पर आधारित होती हैं, न कि मॉडल की आंतरिक अनिश्चितता पर। इसके अलावा, वर्तमान विधियाँ मतिभ्रम (hallucination) के जोखिम को स्पष्ट रूप से संबोधित नहीं करती हैं, जहाँ कठिन प्रश्न गलत उत्तरों को गढ़ने की अधिक संभावना रखते हैं। एक LLM-उन्मुख कठिनाई मीट्रिक की आवश्यकता है जो यह दर्शा सके कि गलत उत्तर मॉडल के लिए स्वयं कितने विश्वसनीय प्रतीत होते हैं।

कार्यप्रणाली: Q-DAPS

लेखक Q-DAPS प्रस्तावित करते हैं, जो संभावित उत्तरों के सेट पर संभाव्यता स्कोर (plausibility scores) की एंट्रॉपी (entropy) की गणना करके प्रश्न की कठिनाई का अनुमान लगाता है। यह विधि तीन विशिष्ट चरणों में कार्य करती है:

उम्मीदवार पीढ़ी (Candidate Generation): एक LLM को एक दिए गए प्रश्न के लिए $N$ अद्वितीय संभावित उत्तर (ग्राउंड ट्रुथ को छोड़कर) एक संभाव्यता स्कोर (0–100) और प्रत्येक के लिए एक औचित्य (justification) के साथ उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है। सिस्टम इन आउटपुट्स को यह सुनिश्चित करने के लिए मान्य करता है कि कोई डुप्लिकेट न हो, स्कोर की रेंज वैध हो, और उम्मीदवारों की संख्या सही हो। यदि सत्यापन विफल हो जाता है, तो तापमान (temperature) बढ़ाकर पुन: पीढ़ी की जाती है।
लोकप्रियता डीबायसिंग (Popularity Debiasing): लोकप्रियता पूर्वाग्रह (जहाँ LLMs अधिक लोकप्रिय संस्थाओं को उत्पन्न करने या पक्ष लेने की प्रवृत्ति रखते हैं) को कम करने के लिए, विधि विकिपीडिया पेज व्यू सांख्यिकी का उपयोग करके संभाव्यता स्कोर को समायोजित करती है। डीबायस्ड स्कोर ( $DePls_i$ ) की गणना इस प्रकार की जाती है:
$DePls_i = Pls_i \times (1 - \alpha \times Pop_i)$
जहाँ $Pls_i$ मूल संभाव्यता स्कोर है, $Pop_i$ उम्मीदवार की सामान्यीकृत लोकप्रियता है, और $\alpha$ डीबायसिंग शक्ति को नियंत्रित करने वाला एक हाइपरपैरामीटर है।
स्कोरिंग (Scoring): अंतिम कठिनाई स्कोर सामान्यीकृत, डीबायस्ड संभाव्यता स्कोर की एंट्रॉपी से प्राप्त किया जाता है।
- पहले, वितरण बनाने के लिए स्कोर को सामान्यीकृत किया जाता है।
- एंट्रॉपी ( $H(q)$ ) की गणना की जाती है: $H(q) = -\sum DePls^{norm}_i \times \log_2 DePls^{norm}_i$ ।
- एंट्रॉपी को $\log_2 N$ (जहाँ $N$ उम्मीदवारों की संख्या है) से विभाजित करके [0, 1] रेंज में सामान्यीकृत किया जाता है।
- व्याख्या: उच्च एंट्रॉपी इंगित करती है कि कई संभावित उत्तर LLM के लिए समान रूप से संभाव्य हैं, जो उच्च तर्क अनिश्चितता के साथ एक कठिन प्रश्न का संकेत देता है। निम्न एंट्रॉपी एक विषम वितरण को दर्शाती है जहाँ केवल कुछ ही उम्मीदवार संभाव्य हैं, जो एक आसान प्रश्न का संकेत देती है।

लेखक संभाव्यता स्कोर उत्पन्न करने के लिए तीन अनुमान प्रतिमानों (estimation paradigms) का मूल्यांकन करते हैं: पॉइंटवाइज (उम्मीदवारों को व्यक्तिगत रूप से स्कोर करना), पेयरवाइज (जोड़ों की तुलना करना), और लिस्टवाइज (उम्मीदवारों और स्कोर को संयुक्त रूप से उत्पन्न करना)। लिस्टवाइज दृष्टिकोण सबसे प्रभावी और कम्प्यूटेशनल रूप से कुशल ( $O(1)$ जटिलता) पाया गया।

मुख्य योगदान

नवीन मीट्रिक: उत्तर संभाव्यता स्कोर की एंट्रॉपी पर आधारित एक LLM-उन्मुख कठिनाई मीट्रिक Q-DAPS का परिचय, जो सतही पाठ गुणों से हटकर तर्क अनिश्चितता (reasoning uncertainty) पर ध्यान केंद्रित करता है।
डीबायसिंग रणनीति: उम्मीदवार उत्तर पीढ़ी में लोकप्रियता पूर्वाग्रह की पहचान और अनुमान सटीकता में सुधार के लिए विकिपीडिया व्यू काउंट का उपयोग करके एक हल्का डीबायसिंग तंत्र का परिचय।
व्यापक सत्यापन: सरल और जटिल तर्क कार्यों को कवर करने वाले चार विविध QA डेटासेट्स (TriviaQA, Natural Questions, MuSiQue, QASC) पर व्यापक प्रयोग। विधि का परीक्षण रीडेबिलिटी, लोकप्रियता, रिट्रीवर-आधारित, प्रॉम्प्ट-आधारित और अनिश्चितता-आधारित बेसलाइन्स के विरुद्ध किया गया।
मजबूती विश्लेषण (Robustness Analysis): एब्लेशन अध्ययन (ablation studies) जो दर्शाते हैं कि Q-DAPS गोल्ड आंसर तक पहुँच के बिना, लोकप्रियता डीबायसिंग के बिना, और विभिन्न अंतर्निहित LLMs (7B से 70B पैरामीटर्स तक) में भी प्रभावी रहता है।
मानव संरेखण (Human Alignment): मानव मूल्यांकन अध्ययन पुष्टि करते हैं कि Q-DAPS कठिनाई अनुमान मानव निर्णयों के साथ अच्छी तरह से संरेखित होते हैं और Q-DAPS द्वारा "कठिन" लेबल किए गए प्रश्न वास्तव में मनुष्यों के लिए उत्तर देने में कठिन होते हैं।

प्रयोगात्मक परिणाम

प्रदर्शन: Q-DAPS ने सभी चार डेटासेट्स में सभी बेसलाइन विधियों (Flesch-Kincaid, Gunning-Fog, PopQA, और अनिश्चितता-आधारित विधियों सहित) को लगातार पछाड़ दिया। इसने उच्चतम कोहेन का $d$ (आसान और कठिन प्रश्नों को अलग करने वाला) और स्पीयरमैन का $\rho$ (मॉडल प्रदर्शन के साथ सहसंबंध) स्कोर प्राप्त किया।
एंट्रॉपी बनाम औसत: एंट्रॉपी-आधारित स्कोरिंग दृष्टिकोण औसत संभाव्यता स्कोर का उपयोग करने की तुलना में काफी बेहतर रहा, जो पुष्टि करता है कि संभाव्यता का वितरण (अनिश्चितता) माध्य (mean) की तुलना में कठिनाई के लिए एक मजबूत संकेत है।
एब्लेशन निष्कर्ष:
- गोल्ड आंसर: हालांकि गोल्ड आंसर प्रदान करने से प्रदर्शन में सुधार होता है, Q-DAPS गोल्ड आंसर को हटाकर भी बेसलाइन्स से बेहतर बना रहता है, जिससे यह वास्तविक दुनिया के परिदृश्यों में लागू होने योग्य बनता है जहाँ उत्तर अज्ञात होते हैं।
- डीबायसिंग: लोकप्रियता डीबायसिंग घटक को हटाने से प्रदर्शन में कमी आई लेकिन इसने विधि को अमान्य नहीं किया, जिससे पता चलता है कि डीबायसिंग एक लाभकारी सुधार है न कि एक सख्त आवश्यकता।
- मॉडल का आकार: विधि विभिन्न मॉडल आकारों में मजबूती से कार्य करती है, हालांकि बड़े मॉडल (जैसे LLaMA 3.3 70B) थोड़े बेहतर परिणाम देते हैं।
त्रुटि विश्लेषण: लेखकों ने विशिष्ट विचलन पैटर्न की पहचान की जहाँ एंट्रॉपी-आधारित अनुमान सटीक-मैच मूल्यांकन परिणामों से भिन्न होते हैं (जैसे, कई अर्थपूर्ण रूप से संबंधित उत्तरों वाले लिस्ट-आधारित तथ्यात्मक प्रश्नों में "एंट्रॉपी-अति-अनुमानित कठिनाई")। वे तर्क देते हैं कि ये मामले मॉडल की विफलता के बजाय उत्तर-स्थान की समृद्धि (answer-space richness) को दर्शाते हैं।

महत्व और दावे

पेपर का दावा है कि Q-DAPS प्रश्न कठिनाई अनुमान के लिए एक व्याख्या योग्य, स्केलेबल और पूर्वाग्रह-प्रतिरोधी दृष्टिकोण प्रदान करता है। इसका महत्व इसके परिचालन परिप्रेक्ष्य में निहित है: यह सीधे कठिनाई को मतिभ्रम जोखिम का पता लगाने (hallucination risk detection) से जोड़ता है। यह मापने में कि गलत उत्तर LLM के लिए कितने संभाव्य दिखते हैं, Q-DAPS निम्नलिखित के लिए एक व्यावहारिक उपकरण के रूप में कार्य कर सकता है:

मॉडल चयन: उन डोमेन के लिए मजबूत LLMs चुनना जहाँ प्रश्न लगातार कठिन अनुमानित किए जाते हैं।
प्रश्न रूटिंग: ज्ञान आधारों (knowledge bases) में उच्च-कठिनाई वाले प्रश्नों को मानव समीक्षकों के पास निर्देशित करना।
सेफगार्ड ट्रिगरिंग: उन प्रश्नों के लिए साइटेशन (citations) या उपयोगकर्ता पुष्टि की आवश्यकता होना जिनका अनुमान उच्च अनिश्चितता वाला है।

लेखक इस बात पर जोर देते हैं कि Q-DAPS मॉडल के दृष्टिकोण से उत्तर स्थान की अंतर्निहित अस्पष्टता को पकड़ता है, जो पारंपरिक रीडेबिलिटी या रिट्रीवल मेट्रिक्स की तुलना में कठिनाई का अधिक सूक्ष्म दृश्य प्रदान करता है। भविष्य के कार्य के लिए बहुभाषी और मल्टीमॉडल विस्तार तलाशने का सुझाव दिया गया है।