KbSD: Knowledge Boundary aware Self-Distillation for Behavioral Calibration in Agentic Search
यह शोध पत्र KbSD का प्रस्ताव करता है, जो एक नॉलेज बाउंड्री-अवेयर सेल्फ-डिस्टिलेशन फ्रेमवर्क है जो हिंट-ऑगमेंटेड टीचर और एक क्वाड्रेंट-एडेप्टिव डिस्टिलेशन ऑब्जेक्टिव का उपयोग करके एजेंटिक सर्च को बढ़ाता है, ताकि पैरामीट्रिक मेमोरी, रिट्रीव्ड एविडेंस और एब्स्टेंशन के बीच बेहतर निर्णय लेने के लिए डेंस टोकन-लेवल सुपरविजन प्रदान किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन थोड़ा अति-आत्मविश्वासी सहायक (AI) है जो सवालों के जवाब देने की कोशिश कर रहा है। कभी-कभी, सहायक को उत्तर अपनी याददाश्त से पता होता है। कभी-कभी, उन्हें लाइब्रेरी (सर्च) में खोजने की आवश्यकता होती है। लेकिन अक्सर, वे एक कठिन स्थिति में होते हैं: उन्हें यकीन नहीं होता कि उन्हें उत्तर पता है या नहीं, और लाइब्रेरी में भी सही किताबें मिलने की संभावना कम होती है।
बड़ी समस्या वर्तमान AI प्रशिक्षण की है जहाँ हम सहायक को बातचीत के अंत में केवल "सही" या "गलत" बताते हैं। यदि वे गलत अनुमान लगाते हैं, तो हम कहते हैं "बुरा काम किया।" लेकिन हम उन्हें यह नहीं बताते कि उन्हें समस्या के बीच में कैसे सोचना चाहिए था। यह एक छात्र की तरह है जो परीक्षा देता है, अंत में उसे "F" ग्रेड मिलता है, लेकिन उसे गणित की समस्या हल करने के लिए शिक्षक के स्टेप-बाय-स्टेप नोट्स कभी देखने को नहीं मिलते।
यह पेपर KbSD (Knowledge Boundary Self-Distillation) नामक एक नया प्रशिक्षण तरीका पेश करता है ताकि इसे ठीक किया जा सके। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. ज्ञान के चार "मिजाज" (Moods)
लेखकों ने महसूस किया कि एक AI सवाल का जवाब देते समय चार अलग-अलग स्थितियों (या मिजाजों) का सामना करता है, जो दो चीजों पर निर्भर करता है: क्या AI को उत्तर पता है? और क्या सर्च रिजल्ट अच्छा है?
वे इन चार मिजाजों को "क्वाड्रेंट" (Quadrants) कहते हैं:
- "अति-आत्मविश्वासी" मिजाज (Q1): AI को उत्तर पता है, और सर्च इसकी पुष्टि करता है। कार्रवाई: दोनों को मिलाएं और उत्तर दें।
- "लाइब्रेरी सही है" मिजाज (Q2): AI को कुछ नहीं पता, लेकिन सर्च ने उत्तर ढूंढ लिया है। कार्रवाई: सर्च पर भरोसा करें।
- "खामोशी ही बेहतर है" मिजाज (Q3): AI को नहीं पता, और सर्च में कुछ भी उपयोगी नहीं मिला। कार्रवाई: हार मान लें और कहें "मुझे नहीं पता" (Refusal)। यह AI के लिए सबसे कठिन हिस्सा है; वे आमतौर पर चीजें बना लेते हैं (Hallucination/भ्रम)।
- "याददाश्त ही राजा है" मिजाज (Q4): AI को उत्तर पता है, लेकिन सर्च के परिणाम अस्त-व्यस्त या गलत हैं। कार्रवाई: अपनी याददाश्त पर भरोसा करें और खराब सर्च परिणामों को अनदेखा करें।
2. समस्या: "स्पार्स रिवॉर्ड" (Sparse Reward) का जाल
वर्तमान प्रशिक्षण विधियाँ एक ऐसे कोच की तरह हैं जो खेल खत्म होने के बाद केवल "अच्छा काम किया!" या "बुरा काम किया!" चिल्लाता है।
- यदि AI "खामोशी ही बेहतर है" वाले मिजाज में गलत जानकारी देता है, तो कोच कहता है "बुरा।"
- लेकिन कोच यह नहीं समझाता कि AI को यह कैसे महसूस करना चाहिए था कि, "अरे, सर्च के परिणाम बेकार हैं, और मुझे भी यकीन नहीं है, इसलिए मुझे रुक जाना चाहिए और कहना चाहिए कि मुझे नहीं पता।"
क्योंकि AI को केवल एक अस्पष्ट "बुरा" संकेत मिलता है, उसे सही चुनाव करने के लिए आवश्यक जटिल तर्क प्रक्रिया (reasoning steps) सीखने में संघर्ष करना पड़ता है।
3. समाधान: "चीटिंग करने वाला" शिक्षक और "ईमानदार" छात्र
KbSD एक चालाकी भरी ट्रिक का उपयोग करता है जिसे सेल्फ-डिस्टिलेशन (Self-Distillation) कहा जाता है। कल्पना कीजिए कि एक कक्षा में दो छात्र हैं जो वास्तव में एक ही व्यक्ति हैं, लेकिन एक ने "जादुई टोपी" (शिक्षक) पहनी है और दूसरे ने नहीं (छात्र)।
- शिक्षक (जादुई टोपी): इस संस्करण वाले AI को प्रशिक्षण के दौरान उत्तर कुंजी (answer key) देखने की अनुमति मिलती है। वह देखता है: "ओह, सर्च खराब है, और AI अनिश्चित है। यह 'खामोशी ही बेहतर है' वाला मिजाज है। मुझे एक सटीक तर्क पथ लिखना चाहिए जो कहता है, 'मैंने लाइब्रेरी चेक की, वह खाली है, इसलिए मैं स्वीकार करूँगा कि मुझे नहीं पता।'"
- छात्र (बिना टोपी के): इस संस्करण को उत्तर कुंजी देखे बिना अनुमान लगाना होता है। हालाँकि, शिक्षक एक सटीक स्टेप-बाय-स्टेप तर्क (संकेत) लिखता है और छात्र उसे शब्द-दर-शब्द कॉपी करने की कोशिश करता है।
चूंकि शिक्षक को ठीक-ठीक पता है कि स्थिति क्या है, इसलिए वह हर स्थिति के लिए एक सटीक "सोचने की प्रक्रिया" (thought process) तैयार कर सकता है। छात्र इन विस्तृत विचारों की नकल करके सीखता है, न कि केवल अंतिम उत्तर का अनुमान लगाकर। यह एक अस्पष्ट "बुरा काम किया" को एक विस्तृत "यहाँ बताया गया है कि आपको इस बारे में बिल्कुल कैसे सोचना चाहिए था" में बदल देता है।
4. "रूप बदलने वाला" लेसन प्लान
पेपर ने यह भी गौर किया कि अलग-अलग "मिजाजों" के लिए अलग-अलग शिक्षण शैलियों की आवश्यकता होती है। आप सभी को एक ही तरह से नहीं पढ़ा सकते।
- "अति-आत्मविश्वासी" मिजाज के लिए: तथ्यों को मिलाने का आमतौर पर केवल एक ही सही तरीका होता है। इसलिए, प्रशिक्षण सटीकता (precision) पर केंद्रित है (एक सही उत्तर प्राप्त करना)।
- "खामोशी ही बेहतर है" मिजाज के लिए: "मुझे नहीं पता" कहने के कई तरीके हो सकते हैं। प्रशिक्षण विविधता (diversity) को प्रोत्साहित करता है ताकि AI किसी एक रोबोटिक वाक्यांश तक सीमित न रह जाए।
- मिश्रित मिजाजों के लिए: प्रशिक्षण एक विशेष "बैलेंस बीम" दृष्टिकोण का उपयोग करता है ताकि AI को यह सिखाया जा सके कि अपनी याददाश्त बनाम सर्च पर भरोसा करने के फायदे और नुकसान को कैसे तौला जाए।
परिणाम
जब उन्होंने इस पद्धति का परीक्षण किया, तो AI अपनी सीमाओं को जानने में बहुत बेहतर हो गया।
- इसने तब गलत उत्तर बनाना बंद कर दिया जब उसे पता नहीं था (Hallucinations में कमी आई)।
- यह अपनी याददाश्त पर भरोसा करने बनाम सर्च पर भरोसा करने के बीच बेहतर निर्णय लेने लगा।
- सबसे महत्वपूर्ण बात यह है कि इसमें "खामोशी ही बेहतर है" वाली स्थितियों में सबसे अधिक सुधार हुआ—सबसे कठिन मामले जहाँ अन्य विधियाँ आमतौर पर केवल अस्पष्ट "बुरा काम किया" संकेतों के कारण विफल हो जाती हैं।
संक्षेप में: KbSD AI को एक बेहतर जासूस बनना सिखाता है, उसे अभ्यास के दौरान एक "चीट शीट" (cheat sheet) देकर, ताकि वह यह सीख सके कि केवल अंतिम उत्तर क्या है, बल्कि यह भी कि सोचना कैसे है। यह इसे यह जानने में मदद करता है कि कब बोलना है और कब चुप रहना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।