Calibration of Structured Ignorance Certificates for Diagnosing Unknown Unknowns in Reasoning Models
यह शोध पत्र स्ट्रक्चर्ड इग्नोरेंस सर्टिफिकेट्स (SICs) को प्रस्तुत करता है, जो एक JSON-फॉर्मेटेड आउटपुट स्कीमा और एक नवीन क्रॉस-डोमेन "अननोन-अननोन" डेटासेट एवं GRPO फाइन-ट्यूनिंग का उपयोग करने वाली संबद्ध प्रशिक्षण पद्धति है, जो रीजनिंग मॉडल्स को उत्तरों के लिए मतिभ्रम (hallucinate) दिखाने के बजाय अपने ज्ञान के अंतराल को स्पष्ट रूप से पहचानने और उन्हें संरचित करने में सक्षम बनाता है, जिससे उच्च वैधता और बेहतर रिट्रीवल-ग्राउंडेड जनरेशन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, बहुत बातूनी रोबोट दोस्त है। इस रोबोट ने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। लेकिन समस्या यह है: जब आप इससे कोई ऐसा सवाल पूछते हैं जिसका उत्तर इसे नहीं पता होता, तो यह "मुझे नहीं पता" नहीं कहता। इसके बजाय, यह एक ऐसी कहानी आत्मविश्वास के साथ बना देता है जो सुनने में बिल्कुल सही लगती है लेकिन पूरी तरह से गलत होती है। यह बिल्कुल वैसा ही है जैसे कोई छात्र, जब उसे गणित के सवाल का जवाब नहीं पता होता, तो बस एक रैंडम नंबर लिख देता है और उम्मीद करता है कि टीचर को पता न चले।
यह शोध पत्र उस रोबोट को एक नया सुपरपावर सिखाने के बारे में है: यह बताने की क्षमता कि वह वास्तव में कब अनभिज्ञ है, और यह समझाने की क्षमता कि वह क्यों अनभिज्ञ है।
यहाँ बताया गया है कि उन्होंने इसे सरल उपमाओं (analogies) का उपयोग करके कैसे किया:
1. समस्या: "अनजान अनजाने" (Unknown Unknowns)
ज्ञान को एक मानचित्र (map) की तरह समझें।
- ज्ञात अज्ञात (Known Unknowns): आप जानते हैं कि मानचित्र में एक छेद है। आप जानते हैं कि आपको अगले शहर तक जाने का रास्ता नहीं पता है। रोबोट आमतौर पर कह सकता है, "मुझे इस बारे में यकीन नहीं है।"
- अनजान अनजाने (Unknown Unknowns): यह डरावना हिस्सा है। यह मानचित्र में एक ऐसा छेद है जिसके अस्तित्व के बारे में आपको पता भी नहीं था। रोबोट को यह एहसास ही नहीं होता कि उसकी जानकारी अधूरी है, इसलिए वह उस खाली जगह को भरने के लिए एक नकली रास्ता बना देता है।
शोधकर्ताओं ने इन "अनजान अनजानों" पर ध्यान केंद्रित किया—ऐसे सवाल जो दो अलग-अलग क्षेत्रों को मिलाते हैं (जैसे यह पूछना कि जीव विज्ञान (biology) कैसे अर्थशास्त्र (economics) को प्रभावित करता है)। ये पेचीदा होते हैं क्योंकि रोबोट ने पहले कभी इस विशिष्ट संयोजन को नहीं देखा होता, इसलिए वह एक बनावटी उत्तर देने की कोशिश करता है।
2. समाधान: "स्ट्रक्चर्ड इग्नोरेंस सर्टिफिकेट्स" (SICs)
रोबोट को अनुमान लगाने देने के बजाय, शोधकर्ताओं ने उसे एक सख्त नियम पुस्तिका दी। उन्होंने कहा: "यदि आप उत्तर नहीं जानते हैं, तो आपको एक विशिष्ट फॉर्म भरना होगा जिसे 'स्ट्रक्चर्ड इग्नोरेंस सर्टिफिकेट' (SIC) कहा जाता है।"
यह केवल "मुझे नहीं पता" कहना नहीं है। यह एक डिजिटल फॉर्म है जिसमें चार विशिष्ट बॉक्स हैं जिन्हें रोबोट को भरना होगा:
- लुप्त कड़ी (The Missing Piece): ज्ञान की कौन सी विशिष्ट कमी समस्या पैदा कर रही है? (जैसे, "मुझे नहीं पता कि अंतरिक्ष कानून भौतिकी पर कैसे लागू होता है।")
- लुप्त उपकरण (The Missing Tools): इस समस्या को हल करने के लिए मुझे किन विशिष्ट अवधारणाओं की आवश्यकता होगी? (जैसे, "मुझे 'आउटर स्पेस ट्रीटी' और 'ऑर्बिटल मैकेनिक्स' के बारे में जानने की आवश्यकता है।")
- सर्च क्वेरी (The Search Query): यदि मेरे पास एक सर्च इंजन होता, तो उत्तर खोजने के लिए मैं कौन से सटीक शब्द टाइप करता?
- आत्मविश्वास का स्तर (Confidence Level): मुझे अपनी अज्ञानता पर कितना विश्वास है?
रोबोट को यह फॉर्म भरने के लिए मजबूर करके, यह उसे कल्पना करने (hallucinating) से रोकता है और उसे एक पेशेवर लाइब्रेरियन की तरह काम करने के योग्य बनाता है जो कहता है, "मैं इसका उत्तर नहीं दे सकता, लेकिन यहाँ वह सब कुछ है जिसकी आपको उत्तर खोजने के लिए तलाश करनी चाहिए।"
3. उन्होंने रोबोट को कैसे प्रशिक्षित किया
रोबोट को यह नया व्यवहार सिखाने के लिए, शोधकर्ताओं को एक विशेष प्रशिक्षण शिविर बनाना पड़ा।
- परीक्षण प्रश्न: उन्होंने एक स्मार्ट रोबोट (Qwen3-14B) लिया और उससे 7,347 पेचीदा सवाल बनाने को कहा जो दो अलग-अलग विषयों को मिलाते थे (जैसे "एक वायरस शेयर बाजार को कैसे प्रभावित करता है?")। ये "अनजान अनजाने" वाले सवाल थे।
- रिवॉर्ड सिस्टम (पुरस्कार प्रणाली): उन्होंने GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन) नामक एक प्रशिक्षण पद्धति का उपयोग किया। एक खेल की कल्पना करें जहाँ रोबोट को अंक मिलते हैं:
- फॉर्म को सही ढंग से भरने के लिए (वैध JSON)।
- विशिष्ट, उपयोगी अवधारणाओं का नाम देने के लिए (अस्पष्ट नहीं)।
- एक ऐसी सर्च क्वेरी लिखने के लिए जो वास्तव में उत्तर ढूंढ सके।
- अंक कटते हैं यदि वह कोई बनावटी उत्तर देने की कोशिश करता है।
4. परिणाम
प्रशिक्षण के बाद, उन्होंने रोबोट का परीक्षण नए, पेचीदा सवालों पर किया जो उसने पहले कभी नहीं देखे थे। परिणाम प्रभावशाली थे:
- 99.5% सफलता दर: रोबोट लगभग हमेशा नियमों का पालन करता था और काल्पनिक उत्तर देने के बजाय फॉर्म भरता था।
- बेहतर सर्च क्वेरी: रोबोट द्वारा लिखी गई "सर्च क्वेरी" उन क्वेरीज से बहुत बेहतर थी जो अनप्रशिक्षित रोबोट ने अनुमान लगाया होता।
- "डाइवर्जेंस" टेस्ट: शोधकर्ताओं ने यह जांचने के लिए एक चतुर तरीका इस्तेमाल किया कि क्या रोबोट वास्तव में अपनी अज्ञानता के बारे में "सोच" रहा था। उन्होंने एक ही सवाल को अलग-अलग तरीकों से पूछा। यदि रोबोट केवल अनुमान लगा रहा होता, तो वह अलग-अलग उत्तर देता। यदि वह वास्तव में अज्ञानता स्वीकार कर रहा होता, तो वह लगातार कहता, "मुझे नहीं पता, यहाँ फॉर्म है।" प्रशिक्षित रोबोट इस परीक्षण में सफल रहा, जिससे पता चला कि उसने वास्तव में यह व्यवहार सीखा है।
सारांश
यह शोध पत्र दिखाता है कि हम AI को यह सिखा सकते हैं कि जब उसे कुछ नहीं पता हो, तो आत्मविश्वास के साथ झूठ बोलना बंद करे। अनुमान लगाने के बजाय, AI आपको एक "सर्टिफिकेट ऑफ इग्नोरेंस" थमा देता है जो स्पष्ट रूप से बताता है कि उसमें क्या कमी है और वास्तविक उत्तर कैसे खोजा जाए। यह एक "आत्मविश्वासी झूठे" को एक "ईमानदार, सहायक मार्गदर्शक" में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।