💬 NLP

Can LLMs Refuse Questions They Do Not Know? Measuring Knowledge-Aware Refusal in Factual Tasks

यह शोध पत्र रिफ्यूज़ल इंडेक्स (RI) को प्रस्तुत करता है, जो तथ्यात्मक कार्यों में लार्ज लैंग्वेज मॉडल्स की अक्सर अविश्वसनीय ज्ञान-जागरूक इनकार क्षमताओं को प्रभावी ढंग से मापने और प्रकट करने के लिए इनकार (refusal) और त्रुटि संभावनाओं के बीच सहसंबंध पर आधारित एक नवीन मीट्रिक है।

मूल लेखक: Wenbo Pan, Jie Xu, Qiguang Chen, Junhao Dong, Libo Qin, Xinfeng Li, Haining Yu, Xiaohua Jia

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenbo Pan, Jie Xu, Qiguang Chen, Junhao Dong, Libo Qin, Xinfeng Li, Haining Yu, Xiaohua Jia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: अति-आत्मविश्वासी छात्र

कल्पना कीजिए कि एक छात्र एक बहुत ही कठिन इतिहास की परीक्षा दे रहा है। एक वास्तव में बुद्धिमान छात्र जानता है कि उसे कब उत्तर नहीं पता है और वह हाथ उठाकर कहेगा, "मुझे इसके बारे में यकीन नहीं है।" हालांकि, लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर एक ऐसे छात्र की तरह होते हैं जो अति-आत्मविश्वासी (overconfident) होता है। भले ही उन्हें पता न हो कि उत्तर क्या है, वे "मुझे नहीं पता" कहने के बजाय आत्मविश्वास के साथ एक कहानी बना लेते हैं (जिसे "हैलुसिनेशन" या भ्रम कहा जाता है)।

यह खतरनाक है क्योंकि यदि आप एआई से चिकित्सा या कानूनी सलाह मांगते हैं, तो आपको यह चाहिए कि वह अनिश्चित होने पर "मुझे नहीं पता" कहे, न कि आपको गलत जानकारी आत्मविश्वास के साथ दे।

मापने का पुराना तरीका: गलतियों को गिनना

पहले, शोधकर्ता यह मापने की कोशिश करते थे कि एक एआई इस मामले में कितना अच्छा है, इसके लिए वे दो सरल नंबरों को देखते थे:

वह कितनी बार उत्तर देने से मना करता है।
वह कितनी बार उत्तर सही देता है।

यह पेपर तर्क देता है कि ये तरीके त्रुटिपूर्ण हैं। यह एक छात्र को केवल इस आधार पर आंकने जैसा है कि उसने कितनी बार "मुझे नहीं पता" कहने के लिए हाथ उठाया।

यदि आप छात्र से कहें, "कृपया हर चीज़ के लिए 'मुझे नहीं पता' कहें," तो वह 100% बार हाथ उठाएगा। लेकिन इसका मतलब यह नहीं है कि वह बुद्धिमान है; इसका मतलब सिर्फ यह है कि वह आदेशों का पालन कर रहा है।
यदि आप उनसे कहें, "चाहे कुछ भी हो, हर चीज़ का उत्तर दें," तो वे अधिक प्रश्नों के सही उत्तर दे सकते हैं, लेकिन वे गलत उत्तर भी आत्मविश्वास के साथ देंगे।

पुराने मेट्रिक्स यह अंतर नहीं कर पाते थे कि एक छात्र जो कठिन प्रश्नों को समझदारी से मना कर रहा है और एक जो बेतरतीब ढंग से मना कर रहा है या उत्तर दे रहा है, के बीच क्या अंतर है।

नया समाधान: "रिफ्यूज़ल इंडेक्स" (RI)

लेखकों ने एक नया स्कोर बनाया जिसे रिफ्यूज़ल इंडेक्स (RI) कहा जाता है। इसे एक "सत्य बोलने वाला स्कोर" (Truth-Telling Score) के रूप में सोचें।

केवल यह गिनने के बजाय कि एआई कितनी बार "मुझे नहीं पता" कहता है, RI पूछता है: "क्या एआई विशेष रूप से तब 'मुझे नहीं पता' कहता है जब प्रश्न कठिन होता है, और क्या वह तब उत्तर देता है जब प्रश्न आसान होता है?"

उच्च RI (High RI): एआई एक बुद्धिमान लाइब्रेरियन की तरह कार्य करता है। वह अस्पष्ट और असंभव प्रश्नों को मना कर देता है लेकिन आसान प्रश्नों का खुशी-खुशी उत्तर देता है। वह अंतर जानता है।
कम RI (Low RI): एआई एक भ्रमित रोबोट की तरह कार्य करता है। वह उन आसान प्रश्नों को भी मना कर सकता है जिनका उत्तर वह दे सकता था, या वह असंभव प्रश्नों का आत्मविश्वास के साथ उत्तर दे सकता है। उसका "मना करने" का व्यवहार बेतरतीब या टूटा हुआ है।

उन्होंने इसे कैसे मापा: "टू-पास" ट्रिक (Two-Pass Trick)

इस स्कोर की गणना करने के लिए बिना एआई के आंतरिक "विचारों" (जिन्हें हम देख नहीं सकते) को जाने, शोधकर्ताओं ने एक चतुर टू-पास ट्रिक का उपयोग किया:

पास 1 (ईमानदार परीक्षण): वे एआई से कई प्रश्न पूछते हैं और उसे निर्णय लेने देते हैं: "क्या आप उत्तर देना चाहते हैं, या आप कहना चाहते हैं कि 'मुझे नहीं पता'?" वे रिकॉर्ड करते हैं कि उसने किन प्रश्नों के लिए मना किया।
पास 2 (जबरन उत्तर): वे केवल उन प्रश्नों को लेते हैं जिन्हें एआई ने पहले दौर में मना कर दिया था। वे वापस जाते हैं और कहते हैं, "ठीक है, अब आपको इन प्रश्नों का उत्तर देना ही होगा, कोई स्किप करने की अनुमति नहीं है।" वे देखते हैं कि क्या एआई वास्तव में उन्हें सही कर सकता था यदि उसने प्रयास किया होता।

इन दोनों दौरों की तुलना करके, वे देख सकते हैं कि क्या एआई उन प्रश्नों को मना करने में पर्याप्त समझदार था जिन्हें वह नहीं जानता था। यदि एआई ने कठिन प्रश्नों को पहले दौर में मना कर दिया, लेकिन दूसरे दौर में वे गलत हो गए, तो उसका रिफ्यूज़ल इंडेक्स (RI) उच्च है।

उन्होंने क्या खोजा

शोधकर्ताओं ने 16 अलग-अलग एआई मॉडल्स (जैसे GPT-4, Claude, Llama, आदि) का परीक्षण किया और कुछ आश्चर्यजनक बातें पाईं:

सटीकता बुद्धिमत्ता की गारंटी नहीं देती: केवल इसलिए कि एक एआई प्रश्नों के उत्तर देने में बहुत अच्छा है (उच्च सटीकता), इसका मतलब यह नहीं है कि उसे पता है कि कब रुकना है। कुछ बहुत स्मार्ट मॉडल अभी भी उन चीजों पर आत्मविश्वास के साथ अनुमान लगाते हैं जिनके बारे में वे नहीं जानते।
"परिवार" सबसे महत्वपूर्ण है: एआई के यह जानने का सबसे महत्वपूर्ण कारक कि उसे कब मना करना है, यह नहीं है कि वह कितना बड़ा है या वह कितने प्रश्नों के सही उत्तर देता है। यह किस कंपनी ने उसे बनाया है। कुछ एआई "परिवार" (जैसे Claude और Qwen) लगातार अन्य (जैसे Gemini या GPT-4.1) की तुलना में अधिक समझदारी से कार्य करते हैं, चाहे उनका आकार कुछ भी हो।
संदर्भ (Context) महत्वपूर्ण है: यदि आप एआई को एक दस्तावेज़ पढ़ने के लिए देते हैं और उससे ऐसा प्रश्न पूछते हैं जो उस दस्तावेज़ में नहीं है, तो एआई भ्रमित हो जाता है। वह अक्सर मना करने में विफल रहता है, और दस्तावेज़ पर टिके रहने के बजाय अपने स्वयं के प्रशिक्षण डेटा के आधार पर अनुमान लगाने की कोशिश करता है।

निष्कर्ष

यह पेपर निष्कर्ष निकालता है कि हमें एआई को आंकने के लिए एक नए तरीके की आवश्यकता है। हमें केवल यह नहीं पूछना चाहिए, "आपने कितने प्रश्नों के सही उत्तर दिए?" हमें यह भी पूछना चाहिए, "क्या आप जानते थे कि कब रुकना है और 'मुझे नहीं पता' कहना है?"

रिफ्यूज़ल इंडेक्स (Refusal Index) नया पैमाना है। यह हमें उन एआई मॉडल्स को खोजने में मदद करता है जो न केवल स्मार्ट हैं, बल्कि अपनी सीमाओं को स्वीकार करने के लिए विनम्र और विश्वसनीय भी हैं।

तकनीकी सारांश: क्या LLM उन प्रश्नों को अस्वीकार कर सकते हैं जिन्हें वे नहीं जानते? तथ्यात्मक कार्यों में ज्ञान-जागरूक इनकार (Knowledge-Aware Refusal) को मापना

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग तेजी से ज्ञान-गहन तथ्यात्मक कार्यों के लिए किया जा रहा है। हालाँकि, वे अक्सर खराब अंशांकन (poor calibration) से ग्रस्त होते हैं, जिससे वे उच्च आत्मविश्वास के साथ गलत उत्तर प्रदान करते हैं (hallucinations)। एक महत्वपूर्ण सुरक्षा तंत्र ज्ञान-जागरूक इनकार (knowledge-aware refusal) है: मॉडल की वह क्षमता जिसके तहत वह उन प्रश्नों का उत्तर देने से मना कर दे जो उसके ज्ञान की सीमाओं से बाहर हैं। जबकि हाल के कार्यों में प्रॉम्प्टिंग या फाइन-ट्यूनिंग के माध्यम से इनकार को प्रेरित करने की खोज की गई है, मौजूदा मूल्यांकन मेट्रिक्स इस क्षमता को सटीक रूप से मापने में विफल रहते हैं। पारंपरिक मेट्रिक्स, जैसे कि इनकार दर (refusal rates) या सटीकता और इनकार का संयोजन (जैसे, F-score), अक्सर ह्यूरिस्टिक (heuristic) होते हैं, प्रॉम्प्ट-प्रेरित इनकार की आवृत्ति में होने वाले परिवर्तनों के प्रति संवेदनशील होते हैं, और मॉडल के इनकार करने के निर्णय और उस वास्तविक गलतता के बीच के मौलिक सहसंबंध को पकड़ने में विफल रहते हैं जो उसने उत्तर दिया होता।

कार्यप्रणाली: रिफ्यूज़ल इंडेक्स (RI)

इन कमियों को दूर करने के लिए, लेखक रिफ्यूज़ल इंडेक्स (RI) का प्रस्ताव करते हैं, जो ज्ञान-जागरूक इनकार को मापने के लिए डिज़ाइन किया गया एक नया मेट्रिक है।

परिभाषा

RI को प्रश्नों के एक सेट में मॉडल की इनकार की संभावना ( $r_i$ ) और उसकी त्रुटि की संभावना ( $w_i$ ) के बीच स्पियरमैन रैंक सहसंबंध (Spearman rank correlation) के रूप में परिभाषित किया गया है।
$\text{RI} = \rho_S = \text{Corr}(\text{Rank}(r_i), \text{Rank}(w_i))$
1 का एक पूर्ण RI यह दर्शाता है कि एक मॉडल सबसे कठिन (त्रुटि-प्रवण) प्रश्नों को लगातार अस्वीकार करता है और आसान प्रश्नों के उत्तर देता है। 0 का RI यादृच्छिक (random) इनकार व्यवहार को दर्शाता है। अंशांकन मेट्रिक्स (जैसे कि एक्सपेक्टेड कैलिब्रेशन एरर) के विपरीत, जो पूर्ण विसंगतियों को मापते हैं, RI कठिनाई के रैंक पर ध्यान केंद्रित करता है, जो इसे समग्र इनकार दरों में बदलाव के प्रति सुदृढ़ (robust) बनाता है।

टू-पास इवैल्यूएशन फ्रेमवर्क (Two-Pass Evaluation Framework)

चूंकि इनकार की संभावनाएं लेटेंट (latent) होती हैं (एक मॉडल एक ही पास में या तो इनकार करता है या उत्तर देता है), लेखक RI का अनुमान लगाने के लिए एक हल्का टू-पास इवैल्यूएशन तरीका पेश करते हैं:

प्रथम पास (First Pass): मॉडल का एक तथ्यात्मक डेटासेट पर मूल्यांकन किया जाता है जिसमें एक सिस्टम प्रॉम्प्ट होता है जो उसे उत्तर देने या इनकार करने की अनुमति देता है। प्रतिक्रियाओं को सही (Correct), गलत (Incorrect), या अस्वीकृत (Refused) के रूप में वर्गीकृत किया जाता है। इससे इनकार दर ( $r$ ) और attempted उत्तरों की सटीकता प्राप्त होती है।
द्वितीय पास (Second Pass): प्रथम पास में अस्वीकृत किए गए प्रश्नों के लिए, सिस्टम प्रॉम्प्ट को अपडेट किया जाता है ताकि मॉडल को अनिवार्य रूप से उत्तर देने के लिए मजबूर किया जा सके (इनकार का विकल्प हटाकर)। इन मजबूर किए गए उत्तरों की शुद्धता दर्ज की जाती है।
गणना (Computation): इनकार के निर्णयों और मजबूर किए गए उत्तरों की शुद्धता के संयुक्त वितरण का उपयोग करते हुए, लेखक एक गौसियन कोप्युला (Gaussian copula) का उपयोग करके संबंध को मॉडल करते हैं। वे परिणामी $2 \times 2$ कंटिंजेंसी टेबल पर मैक्सिमम लाइकलीहुड (maximum likelihood) के माध्यम से सहसंबंध पैरामीटर ( $\rho$ ) का अनुमान लगाते हैं और मानक सूत्र $\rho_S = \frac{6}{\pi} \arcsin(\frac{\rho}{2})$ का उपयोग करके इसे स्पियरमैन रैंक सहसंबंध ( $\rho_S$ ) में परिवर्तित करते हैं।

मुख्य योगदान

रिफ्यूज़ल इंडेक्स (RI): एक सिद्धांतवादी मेट्रिक जो सीधे उत्तर की गलतता और इनकार के निर्णयों के बीच संरेखण को मापता है, जो मॉडल की समग्र सटीकता या इनकार दर से स्वतंत्र है।
हल्का मूल्यांकन (Lightweight Evaluation): एक टू-पास प्रोटोकॉल जो केवल मानक ब्लैक-बॉक्स मूल्यांकनों की आवश्यकता रखता है (कोई सहायक मॉडल, आंतरिक स्थिति तक पहुँच, या महंगी सैंपलिंग-आधारित कॉन्फिडेंस एस्टीमेशन नहीं) ताकि RI की गणना की जा सके।
अनुभवजन्य सत्यापन (Empirical Validation): 16 मॉडल्स (Qwen, Llama, Claude, GPT, और Gemini जैसे ओपन-सोर्स और प्रोप्राइटरी मॉडल्स सहित) और 5 डेटासेट्स (SimpleQA, PreciseWikiQA, FaithEval, आदि) पर व्यापक प्रयोग।
मॉडल विश्वसनीयता में अंतर्दृष्टि: अध्ययन प्रकट करता है कि उच्च तथ्यात्मक सटीकता विश्वसनीय इनकार व्यवहार की गारंटी नहीं देती है, जो वर्तमान LLM क्षमताओं में एक निरंतर अंतराल की पहचान करती है।

प्रयोगात्मक परिणाम

स्थिरता (Stability): विभिन्न सिस्टम प्रॉम्प्ट्स द्वारा प्रेरित इनकार दरों के बावजूद RI स्थिर रहता है। इसके विपरीत, ह्यूरिस्टिक मेट्रिक्स (जैसे, F-score, Weighted Score) इनकार दरों में परिवर्तन होने पर काफी उतार-चढ़ाव (70% तक भिन्नता) दिखाते हैं, जो एक सुसंगत अंतर्निहित क्षमता को पकड़ने में विफल रहते हैं।
अंशांकन के साथ सहसंबंध (Correlation with Calibration): RI, सैंपलिंग-आधारित अनिश्चितता अनुमान ( $P(\text{Answering})$ ) से प्राप्त AUROC स्कोर के साथ 85.8% का मजबूत सकारात्मक सहसंबंध दिखाता है, जो रैंक-कैलिब्रेशन के माप के रूप में इसकी निष्ठा (faithfulness) को प्रमाणित करता है।
मॉडल रैंकिंग: RI सटीकता और इनकार दरों से स्वतंत्र होकर सुसंगत मॉडल रैंकिंग प्रदान करता है। जब सटीकता और इनकार दरों के मोनोटोनिक प्रभावों को हटा दिया जाता है, तो ह्यूरिस्टिक मेट्रिक्स लगभग यादृच्छिक स्थिरता में गिर जाते हैं, जबकि RI उच्च रैंकिंग निरंतरता बनाए रखता है।
मॉडल फैमिली का प्रभाव: ज्ञान-जागरूक इनकार क्षमता का सबसे बड़ा भविष्यवक्ता मॉडल फैमिली (ट्रेनिंग पाइपलाइन और डेटा) है, न कि मॉडल स्केल या सामान्य सटीकता। उदाहरण के लिए, Claude और Qwen मॉडल RI में अन्य मॉडल्स की तुलना में लगातार बेहतर प्रदर्शन करते हैं, जबकि Gemini और GPT-4.1 वेरिएंट अक्सर रिग्रेशन लाइन से नीचे गिर जाते हैं।
संदर्भ संवेदनशीलता (Context Sensitivity): जब प्रदान किए गए संदर्भ में ग्राउंड ट्रुथ उपलब्ध नहीं होता है (जैसे, "Unanswerable" या "Inconsistent" परिदृश्यों में), तो मॉडल का इनकार प्रदर्शन खराब हो जाता है, जो आंतरिक ज्ञान अंशांकन के बजाय प्रासंगिक संकेतों (contextual cues) पर अत्यधिक निर्भरता का सुझाव देता है।

महत्व और दावे

पेपर का दावा है कि RI मॉडल विश्वसनीयता के एक आवश्यक, पहले से अनदेखे आयाम को कैप्चर करता है। जबकि वर्तमान तथ्य मूल्यांकन सटीकता या मतिभ्रम (hallucination) दरों पर ध्यान केंद्रित करते हैं, RI यह उजागर करता है कि उच्च सटीकता वाले मॉडल भी अविश्वसनीय और नाजुक इनकार व्यवहार रख सकते हैं।

लेखक तर्क देते हैं कि:

प्रॉम्प्टिंग अपर्याप्त है: मॉडल्स को अधिक "सतर्क" होने का निर्देश देने से केवल इनकार दर बढ़ती है, लेकिन यह इनकार निर्णयों की गुणवत्ता (RI स्थिर रहता है और पूर्णता से दूर रहता है) में सुधार नहीं करता है।
नए मूल्यांकन मानकों की आवश्यकता: व्यापक तथ्य मूल्यांकन में ज्ञान-जागरूक इनकार उपायों को शामिल करना आवश्यक है। केवल सटीकता या मानक अंशांकन मेट्रिक्स पर भरोसा करना मॉडल परिनियोजन (deployment) में महत्वपूर्ण जोखिमों को छिपा सकता है।
व्यावहारिक उपयोगिता: टू-पास RI मूल्यांकन, महंगे अंशांकन तरीकों के लिए एक व्यावहारिक, कम लागत वाला विकल्प प्रदान करता है, जिससे व्हाइट-बॉक्स एक्सेस या सहायक प्रशिक्षण की आवश्यकता के बिना मॉडल के आत्म-ज्ञान की अधिक विश्वसनीय तुलना संभव होती है।

कार्य इस निष्कर्ष के साथ समाप्त होता है कि हालांकि LLMs तथ्यात्मक सटीकता में सुधार कर रहे हैं, उनके अपने ज्ञान की सीमाओं को सटीक रूप से आंकने की क्षमता एक महत्वपूर्ण चुनौती बनी हुई है जिसके लिए समर्पित माप और सुधार की आवश्यकता है।