💬 NLP

What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say "I Don't Know"

यह शोध पत्र एक ज्ञान-भारित फाइन-ट्यूनिंग (knowledge-weighted fine-tuning) पद्धति प्रस्तावित करता है जो इंस्टेंस-स्तरीय ज्ञान स्कोर का उपयोग करती है ताकि बड़े भाषा मॉडलों (large language models) को ज्ञात विषयों पर सटीकता बनाए रखते हुए आउट-ऑफ-स्कोप प्रश्नों के लिए अनिश्चितता को स्पष्ट रूप से व्यक्त करने में मदद मिल सके, जिससे ज्ञान के गलत संरेखण (knowledge misalignment) के कारण होने वाले मतिभ्रम (hallucinations) को कम किया जा सके।

मूल लेखक: Joosung Lee, Hwiyeol Jo, Donghyeon Ko, Kyubyung Chae, Cheonbok Park, Jeonghoon Kim

प्रकाशित 2026-04-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joosung Lee, Hwiyeol Jo, Donghyeon Ko, Kyubyung Chae, Cheonbok Park, Jeonghoon Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान और विद्वान छात्र है जिसका नाम एलेक्स (Alex) है। एलेक्स ने लाखों किताबें पढ़ी हैं (यह "प्री-ट्रेनिंग" चरण है)। एलेक्स समझदार तो है, लेकिन कभी-कभी, जब उससे कोई कठिन सवाल पूछा जाता है, तो वह बहुत आत्मविश्वासी हो जाता है और एक ऐसा उत्तर बना देता है जो सुनने में तो बहुत अच्छा लगता है, लेकिन वास्तव में गलत होता है। हम इसे "हैलुसिनेशन" (hallucination) कहते हैं।

समस्या यह है कि जब शिक्षक एलेक्स को नई चीजें सिखाने की कोशिश करते हैं (यह "फाइन-ट्यूनिंग" है), तो वे अक्सर एलेक्स को हर चीज़ का जवाब देने के लिए मजबूर करते हैं, यहाँ तक कि उन सवालों का भी जिन्हें उसने पहले कभी नहीं देखा। अगर एलेक्स को उत्तर नहीं पता होता, तो शिक्षक कहते हैं, "बस अंदाज़ा लगाओ!" इसलिए, एलेक्स आत्मविश्वास के साथ अंदाज़े लगाने लगता है, जिससे मनगढ़ंत तथ्य अधिक पैदा होते हैं।

यह शोध पत्र एलेक्स को सिखाने का एक नया तरीका प्रस्तावित करता है, जिसे नॉलेज-वेटेड फाइन-ट्यूनिंग (KWT) कहा जाता है। यह कैसे काम करता है, इसके लिए कुछ सरल उपमाओं का उपयोग किया गया है:

1. "आत्मविश्वास की जाँच" (ज्ञान का अनुमान - Knowledge Estimation)

एलेक्स को नया पाठ सिखाने से पहले, शिक्षक यह मान नहीं लेता कि एलेक्स इसे जानता है या नहीं। इसके बजाय, शिक्षक एलेक्स से एक ही सवाल को पाँच अलग-अलग तरीकों से पूछता है (जैसे, "फ्रांस की राजधानी क्या है?" और "फ्रांस के मुख्य शहर के बारे में बताओ" और "फ्रांस की राजधानी का नाम बताओ")।

यदि एलेक्स 5/5 बार सही उत्तर देता है: तो शिक्षक को पता चलता है, "आह, एलेक्स वास्तव में यह जानता है!"
यदि एलेक्स 0/5 बार सही उत्तर देता है: तो शिक्षक को पता चलता है, "एलेक्स को इसके बारे में कोई जानकारी नहीं है।"
यदि एलेक्स 3/5 बार सही उत्तर देता है: तो शिक्षक को पता चलता है, "एलेक्स इस विषय पर थोड़ा अनिश्चित है।"

इससे हर एक सवाल के लिए एक "नॉलेज स्कोर" (Knowledge Score) बनता है। यह केवल "हाँ/नहीं" वाला स्विच नहीं है; यह एक डिमर स्विच (dimmer switch) की तरह है जो दिखाता है कि एलेक्स उस विषय को कितनी अच्छी तरह जानता है।

2. "स्मार्ट ग्रेडिंग" प्रणाली (वेटेड ट्रेनिंग - Weighted Training)

अब, शिक्षक वास्तविक प्रशिक्षण सत्र शुरू करता है। हर सवाल के साथ एक जैसा व्यवहार करने के बजाय, शिक्षक यह तय करने के लिए नॉलेज स्कोर का उपयोग करता है कि एलेक्स को कितना ज़ोर देना है।

उन चीजों के लिए जिन्हें एलेक्स अच्छी तरह जानता है: शिक्षक इन सवालों को अधिक महत्व (more weight) देता है। यह कहने जैसा है, "बहुत बढ़िया! आइए इसका थोड़ा और अभ्यास करें ताकि आप इसे कभी न भूलें।" यह उस चीज़ को पुख्ता करता है जो एलेक्स पहले से जानता है।
उन चीजों के लिए जिन्हें वह नहीं जानता: शिक्षक "अंदाज़ा लगाने" वाले हिस्से के दौरान इन सवालों को कम महत्व देता है। लेकिन यहाँ असली जादू है: शिक्षक एलेक्स से कहता है, "अगर तुम्हें उत्तर नहीं पता, तो तुम्हें 'मुझे नहीं पता' कहने की अनुमति है।"

पुराने समय में, यदि कोई छात्र कहता था "मुझे नहीं पता," तो उसे शून्य मिलता था। इस नई प्रणाली में, कहना कि "मुझे नहीं पता" (जिसे एक विशेष टोकन <IDK> द्वारा दर्शाया जाता है) उन सवालों के लिए सही उत्तर है जिन्हें एलेक्स नहीं जानता।

3. परिणाम: एक ईमानदार छात्र

इस प्रशिक्षण के बाद, एलेक्स का व्यवहार बदल जाता है:

जब एलेक्स को उत्तर पता होता है: एलेक्स आत्मविश्वास और सटीकता के साथ उत्तर देता है।
जब एलेक्स को उत्तर नहीं पता होता: मनगढ़ंत तथ्य बनाने के बजाय, एलेक्स विनम्रता से कहता है, "मुझे नहीं पता।"

यह "आत्मविश्वास के साथ झूठ बोलने" (hallsucinations) को रोकता है।

यह अन्य तरीकों से बेहतर क्यों है?

पुरानी विधि (SFT): एलेक्स को हर चीज़ का उत्तर देने के लिए मजबूर करती है। परिणाम: एलेक्स आत्मविश्वास के साथ झूठ बोलता है।
अन्य नई विधियाँ: कुछ विधियाँ एलेक्स को "मुझे नहीं पता" कहना सिखाने की कोशिश करती हैं, लेकिन इसे एक बाइनरी स्विच (जानना/न जानना) की तरह मानती हैं। लेकिन यह शोध पत्र दिखाता है कि ज्ञान एक "लाइट स्विच" की तुलना में एक "वॉल्यूम नॉब" (क्रमिक/ग्रेड) की तरह है। कुछ तथ्य "धुंधले" होते हैं, और नई विधि उस बारीकी को बेहतर ढंग से संभालती है।
टोकन-लेवल विधियाँ: कुछ विधियाँ एलेक्स को तब तक बोलने से रोकने की कोशिश करती हैं जब तक वह निश्चित न हो। इस शोध पत्र की विधि एलेक्स को बोलने देती है जब तक कि वह वास्तव में पूरी तरह अनभिज्ञ न हो, जो उत्तरों को सटीक रखते हुए भी ईमानदार बनाए रखती है।

"जादुई मीट्रिक" (nAUPC)

शोधकर्ताओं ने एलेक्स को ग्रेड देने का एक नया तरीका भी बनाया है। आमतौर पर, शिक्षक केवल इस बात की परवाह करते हैं कि उत्तर सही है या गलत। लेकिन यह शोध पत्र कहता है, "हमें ईमानदारी को भी ग्रेड देने की आवश्यकता है।"

उन्होंने एक स्कोर बनाया जिसे nAUPC कहा जाता है। यह एलेक्स को पुरस्कृत करता है:

सही उत्तर देने के लिए जब वह जानता है।
"मुझे नहीं पता" कहने के लिए जब वह नहीं जानता।
"मुझे नहीं पता" नहीं कहने के लिए जब वह वास्तव में जानता है (क्योंकि ऐसा करना बेवकूफी होगी)।

निष्कर्ष

यह शोध पत्र AI मॉडल्स को विनम्र होना सिखाता है। प्रशिक्षण से पहले यह जाँचकर कि मॉडल वास्तव में किसी तथ्य को कितनी अच्छी तरह जानता है, और मॉडल को यह स्वीकार करने के लिए पुरस्कृत करके कि वह अनभिज्ञ है, हमें एक ऐसा AI मिलता है जो पहले जितना ही स्मार्ट है, लेकिन मनगढ़ंत बातें बनाने की संभावना बहुत कम है।

संक्षेप में: यह एक ऐसे छात्र के बीच का अंतर है जो शिक्षक को खुश करने के लिए बेतहाशा अंदाज़े लगाता है, और एक ऐसे छात्र के बीच जो कहता है, "मैं पक्का नहीं हूँ, मुझे इसे देखने दें," या "मुझे नहीं पता।" दूसरा छात्र बहुत अधिक विश्वसनीय है।

यहाँ शोध पत्र "What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say 'I Don't Know'" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर हैलुसिनेशन (hallucinations) से ग्रस्त होते हैं, जहाँ वे आत्मविश्वास के साथ गलत उत्तर देते हैं। लेखक इसके एक प्राथमिक कारण के रूप में मॉडल के प्री-ट्रेनिंग (पैरामीट्रिक ज्ञान) और सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) डेटासेट्स के बीच ज्ञान के मिसअलाइनमेंट (knowledge misalignment) की पहचान करते हैं।

मुख्य मुद्दा: जब SFT डेटासेट्स में ऐसे तथ्य होते हैं जिनका मॉडल ने प्री-ट्रेनिंग के दौरान सामना नहीं किया या सीखा नहीं था, तो मॉडल उन तथ्यों के लिए लेबल किए गए टोकन उत्पन्न करने के लिए मजबूर हो जाता है जिन्हें वह स्वाभाविक रूप से "नहीं जानता"।
परिणाम: अनिश्चितता को स्पष्ट रूप से स्वीकार करने (यह कहने के बजाय कि "मुझे नहीं पता") के बजाय, मॉडल बिना उत्तर देने योग्य प्रश्नों के उत्तर देने का प्रयास करता है, जिससे हैलुसिनेशन होता है।
पूर्व कार्य की सीमाएँ: मौजूदा विधियाँ अक्सर ज्ञान को बाइनरी (ज्ञात/अज्ञात) मानती हैं या टोकन-स्तर के रिफ्यूजल मैकेनिज्म पर निर्भर करती हैं जो सटीकता (accuracy) और उत्तर देने से मना करने की क्षमता के बीच एक ट्रेड-ऑफ (संतुलन) पैदा करते हैं।

2. कार्यप्रणाली: नॉलेज-वेटेड फाइन-ट्यूनिंग (KWT)

प्रस्तावित समाधान, KWT, का लक्ष्य मॉडल के ज्ञान को सूक्ष्म स्तर पर (fine-grained, instance-level) अनुमानित करना है और इस अनुमान का उपयोग ट्रेनिंग सिग्नल को नियंत्रित करने के लिए करना है।

A. ज्ञान अनुमान (प्री-ट्रेनिंग चरण)

फाइन-ट्यूनिंग से पहले, मल्टी-सैंपल इन्फरेंस का उपयोग करके प्रत्येक ट्रेनिंग इंस्टेंस के मॉडल के ज्ञान को मापा जाता है:

मल्टी-सैंपलिंग (Multi-Sampling): प्रत्येक प्रश्न $q$ के लिए, प्री-ट्रेंड मॉडल ( $M_{base}$ ) री-सैंपल किए गए प्रदर्शनों के साथ 3-शॉट प्रॉम्प्टिंग का उपयोग करके $S$ रिस्पॉन्स (जैसे, $S=5$ ) जेनरेट करता है।
स्कोरिंग (Scoring): प्रत्येक जेनरेटेड रिस्पॉन्स की तुलना गोल्ड स्टैंडर्ड उत्तर ( $r^*$ $r^{*}$ ) से तीन मेट्रिक्स का उपयोग करके की जाती है:
- एक्जेक्ट मैच (EM): सख्त स्ट्रिंग मिलान।
- ROUGE: लेक्सिकल ओवरलैप जो सतही भिन्नता की अनुमति देता है।
- LLM-as-a-Judge: एक LLM सिमेंटिक शुद्धता का मूल्यांकन करता है। (शोध पत्र में पाया गया कि यह मेट्रिक मानवीय निर्णय के साथ सबसे अच्छा सह-संबंध रखता है)।
**नॉलेज स्कोर ($KS $):** अंतिम स्कोर$ S$ सैंपल्स में औसत शुद्धता है:
$KS(q) = \frac{1}{S} \sum_{i=1}^{S} f(\hat{r}_i, r^*)$
इसके परिणामस्वरूप 0 (कोई ज्ञान नहीं) और 1 (उच्च आत्मविश्वास वाला ज्ञान) के बीच एक निरंतर स्कोर प्राप्त होता है।

B. फाइन-ट्यूनिंग रणनीति (Fine-Tuning Strategy)

ट्रेनिंग प्रक्रिया इन स्कोर का उपयोग लॉस फंक्शन को वेट देने और टारगेट रिस्पॉन्स को संशोधित करने के लिए करती है:

वेटेड लॉस (Weighted Loss): $i$ -वें सैंपल के लिए ट्रेनिंग वेट $w_i$ मॉडल के नॉलेज स्कोर द्वारा निर्धारित होता है। लेखक एक फैमिलियारिटी (Familiarity - F) वेटिंग रणनीति प्रस्तावित करते हैं:
$w_i = \frac{S \times KS_i + 1}{S + 1}$
यह उन सैंपल्स के योगदान को बढ़ाता है जिन्हें मॉडल अच्छी तरह से जानता है, जिससे मौजूदा ज्ञान को सुदृढ़ किया जाता है, जबकि अज्ञात सैंपल्स को कम महत्व दिया जाता है।
एक्सप्लिसिट अनसर्टेन्टी टोकन (Explicit Uncertainty Token): उन सैंपल्स के लिए जहाँ $KS_i = 0$ (मॉडल के पास कोई ज्ञान नहीं है), टारगेट रिस्पॉन्स के साथ एक विशेष टोकन <IDK> ("I Don't Know") जोड़ा जाता है। यह मॉडल को हैलुसिनेट करने के बजाय स्पष्ट रूप से अनिश्चितता व्यक्त करने के लिए प्रशिक्षित करता है।

3. मुख्य योगदान (Key Contributions)

सूक्ष्म ज्ञान अनुमान (Fine-Grained Knowledge Estimation): यह प्रदर्शित किया गया कि मल्टी-सैंपल इन्फरेंस के माध्यम से एक निरंतर स्कोर के रूप में ज्ञान का अनुमान लगाना, हैलुसिनेशन को कम करने के लिए बाइनरी क्लासिफिकेशन की तुलना में अधिक प्रभावी है।
नॉलेज-वेटेड ट्रेनिंग: एक ऐसी रणनीति पेश की गई जो मॉडल के पूर्व ज्ञान के आधार पर लर्निंग सिग्नल को स्केल करती है, जिससे मॉडल को ज्ञात तथ्यों को सुदृढ़ करने और अज्ञात प्रश्नों को अस्वीकार करने के लिए सीखने पर ध्यान केंद्रित करने की अनुमति मिलती है।
नए मूल्यांकन मेट्रिक्स: प्रस्तावित nAUPC (Normalized Area Under the Product Curve), जो अनसर्टेन्टी-अवेयर एक्यूरेसी (सही ढंग से परहेज करने के लिए पुरस्कृत करना) और सर्टेन्टी-अवेयर एक्यूरेसी (अनावश्यक परहेज के लिए दंडित करना) का संयुक्त मूल्यांकन करता है। उन्होंने A-FPR (Abstain False Positive Rate) और IDK Precision भी पेश किया।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन विविध डेटासेट्स (HaluEval, MedQA, SciQ) पर किया गया और इसकी तुलना मानक SFT, FT-TOP (ज्ञात डेटा को फ़िल्टर करना), R-Tuning, और SEAL जैसे बेसलाइन्स से की गई।

अनसर्टेन्टी एक्सप्रेशन (Uncertainty Expression): KWT (विशेष रूप से LLM-as-a-judge मेट्रिक का उपयोग करके) nAUPC में बेसलाइन्स से काफी बेहतर रहा, जिससे उत्तर देने और अज्ञात प्रश्नों को अस्वीकार करने के बीच बेहतर संतुलन प्राप्त हुआ।
- उदाहरण: SciQ पर, KWT (LLM) ने R-Tuning के 9.9 की तुलना में 38.1 का nAUPC प्राप्त किया।
- इसने A-FPR (सही उत्तरों का अनावश्यक इनकार) को कम किया और IDK Precision (यह पहचानने में कि कब "मुझे नहीं पता" कहना है) को बढ़ाया।
एक्यूरेसी ट्रेड-ऑफ (Accuracy Trade-off): KWT ने उत्तर देने योग्य प्रश्नों पर मानक SFT के समान सटीकता बनाए रखी। हालांकि <IDK> टोकन जोड़ने से SFT की तुलना में मानक सटीकता में थोड़ी कमी आई, लेकिन केवल फैमिलियारिटी वेटिंग (टोकन के बिना) ने वास्तव में SFT की तुलना में सटीकता में सुधार किया, जो यह सुझाव देता है कि वेटिंग रणनीति स्वयं फायदेमंद है।
जनरलाइजेशन (Generalization): विधि ने आउट-ऑफ-डोमेन (OOD) डेटासेट्स (RefuNQ, SelfAware) पर अच्छा प्रदर्शन किया, जो प्रशिक्षण के दौरान देखे गए डेटा पर बेहतर अनसर्टेन्टी हैंडलिंग दिखाया।
डिस्ट्रीब्यूशन अलाइनमेंट (Distribution Alignment): KL डाइवर्जेंस के विश्लेषण ने दिखाया कि KWT, SFT या SEAL की तुलना में बेस मॉडल के प्रेडिक्टिव डिस्ट्रीब्यूशन को बेहतर ढंग से संरक्षित करता है, जिससे अधिक स्थिर ट्रेनिंग होती है।

5. महत्व और निहितार्थ (Significance and Implications)

हैलुसिनेशन को कम करना: KWT हैलुसिनेशन को कम करने का एक व्यवस्थित तरीका प्रदान करता है, क्योंकि यह फाइन-ट्यूनिंग प्रक्रिया को मॉडल के वास्तविक आंतरिक ज्ञान की स्थिति के साथ संरेखित करता है, बजाय इसके कि उसे उन तथ्यों को सीखने के लिए मजबूर किया जाए जिन्हें वह विश्वसनीय रूप से याद नहीं कर सकता।
विश्वसनीय AI: मॉडल को स्पष्ट रूप से "मुझे नहीं पता" कहने में सक्षम बनाकर, KWT LLMs की विश्वसनीयता बढ़ाता है, विशेष रूप से उच्च-जोखिम वाले डोमेन (जैसे चिकित्सा या वैज्ञानिक प्रश्न) में जहाँ अनुमान लगाना खतरनाक हो सकता है।
दक्षता बनाम लागत (Efficiency vs. Cost): शोध पत्र ज्ञान अनुमान के लिए आवश्यक मल्टी-सैंपल इन्फरेंस के कारण होने वाली कम्प्यूटेशनल लागत की सीमा को स्वीकार करता है। हालांकि, लेखक तर्क देते हैं कि कैलिब्रेटेड अनसर्टेन्टी प्राप्त करने के लिए यह एक आवश्यक ओवरहेड है।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि मॉडल क्या जानता है, यह जानना उतना ही महत्वपूर्ण है जितना कि उसे नई जानकारी सिखाना। मॉडल के मौजूदा ज्ञान के आधार पर प्रशिक्षण डेटा को वेट देने और उसे अज्ञात प्रश्नों को अस्वीकार करने के लिए स्पष्ट रूप से प्रशिक्षित करके, KWT सटीकता और सुरक्षा के बीच एक बेहतर संतुलन प्राप्त करता है।