KARL: Mitigating Hallucinations in LLMs via Knowledge-Boundary-Aware Reinforcement Learning
KARL एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो ज्ञान-सीमा-जागरूक पुरस्कार तंत्र (knowledge-boundary-aware reward mechanism) और एक दो-चरणीय प्रशिक्षण रणनीति का उपयोग करके LLM मतिभ्रम (hallucinations) को कम करता है, जिससे मॉडल की प्रश्नों के उत्तर देने से बचने की क्षमता को उसकी विकसित होती ज्ञान सीमाओं के साथ गतिशील रूप से संरेखित किया जाता है, जिससे सटीकता और सावधानी के बीच के संतुलन में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को उच्च-दांव वाली परीक्षा, जैसे कि मेडिकल बोर्ड परीक्षा, देने के लिए सिखा रहे हैं।
वर्तमान में, अधिकांश AI मॉडल उन छात्रों की तरह हैं जो उत्तर पुस्तिका पर खाली जगह छोड़ने से बेहद डरे हुए होते हैं। क्योंकि उन्हें प्रशिक्षित किया गया है कि "गलत उत्तर" बुरे होते हैं, वे तब भी अनुमान लगाने के लिए मजबूर महसूस करते हैं जब उन्हें पता ही नहीं होता कि प्रश्न किस बारे में है। यही "हैलुसिनेशन" (hallucinations) का कारण बनता है—जहाँ वे आत्मविश्वास के साथ आपसे कह देते हैं कि एक निश्चित दवा किसी बीमारी को ठीक करती है, जबकि वास्तव में, उन्होंने बस इसे इसलिए बना लिया क्योंकि वे यह स्वीकार नहीं करना चाहते थे कि उन्हें नहीं पता।
यह पेपर KARL पेश करता है, जो AI को प्रशिक्षित करने का एक नया तरीका है ताकि वह एक जीनियस के सबसे महत्वपूर्ण कौशल को सीख सके: यह जानना कि उसका ज्ञान ठीक कहाँ समाप्त होता है।
यहाँ बताया गया है कि KARL कैसे काम करता है, जिसे तीन सरल अवधारणाओं के माध्यम से समझाया गया है:
1. "स्मार्ट टीचर" (ज्ञान-सीमा-जागरूक पुरस्कार/Knowledge-Boundary-Aware Reward)
पारंपरिक प्रशिक्षण में, शिक्षक "स्थिर" (static) होता है। यदि छात्र गलत अनुमान लगाता है, तो उसे लाल निशान मिलता है। यदि वह कहता है "मुझे नहीं पता," तो भी उसे लाल निशान मिलता है। यह छात्र को घबराहट में अधिक अनुमान लगाने के लिए प्रेरित करता है।
KARL एक स्मार्ट टीचर पेश करता है। यह शिक्षक छात्र पर बारीकी से नज़र रखता है।
- यदि छात्र उत्तर जानने में सक्षम है (शिक्षक देखता है कि छात्र अभ्यास के दौरान कम से कम एक बार सही उत्तर देता है), तो शिक्षक कहता है: "शर्माओ मत! अगर तुम्हें पता है, तो मुझे बताओ। अगर तुम गलत अनुमान लगाते हो या चुप रहते हो, तो मैं तुम्हें दंडित करूँगा।"
- यदि छात्र स्पष्ट रूप से अपनी क्षमता से बाहर है (शिक्षक देखता है कि छात्र हर बार प्रयास करने पर विफल रहता है), तो शिक्षक कहता है: "ईमानदार होना ठीक है। यदि तुम कहते हो 'मुझे नहीं पता,' तो मैं तुम्हें गोल्ड स्टार दूँगा। लेकिन अगर तुम दिखावा करने की कोशिश करोगे, तो तुम्हें दंड मिलेगा।"
यह AI को यह अंतर करना सिखाता है कि यह "मैं बस आलसी बन रहा हूँ" है या "मेरे मस्तिष्क में वास्तव में यह जानकारी नहीं है।"
2. "दो-चरणीय प्रशिक्षण कार्यक्रम" (दो-चरणीय RL रणनीति/Two-Stage RL Strategy)
यदि आप एक छात्र को एक ही समय में "ईमानदार" और "सटीक" होना सिखाने की कोशिश करते हैं, तो वे अक्सर भ्रमित हो जाते हैं और निर्णय लेते हैं कि पास होने का सबसे सुरक्षित तरीका यह है कि किसी भी चीज़ का उत्तर न दिया जाए। इसे "एब्स्टेंशन ट्रैप" (Abstention Trap) कहा जाता है—AI गलत होने से इतना डर जाता है कि वह बेकार रूप से चुप रहने लगता है।
इससे बचने के लिए, KARL एक दो-चरणीय बूटकैंप का उपयोग करता है:
- चरण 1: आत्मविश्वास निर्माता (एक्सप्लोरेशन/Exploration)। पहले, लक्ष्य केवल तथ्यों को सही प्राप्त करना है। शिक्षक सटीकता पर भारी ध्यान केंद्रित करता है। छात्र को अपनी याददाश्त में गहराई तक जाने और सही उत्तर खोजने के लिए प्रोत्साहित किया जाता है। हम चाहते हैं कि वे पहले ज्ञान की एक मजबूत नींव बनाएं।
- चरण 2: ईमानदारी अंशांकन (कैलिब्रेशन/Calibration)। एक बार जब छात्र स्मार्ट और आत्मविश्वासी हो जाता है, तो हम "ईमानदारी" का नियम पेश करते हैं। हम उन प्रश्नों को देखते हैं जिन्हें वे इतनी पढ़ाई के बाद भी गलत करते हैं। हम उनसे कहते हैं: "अब जब तुम स्मार्ट हो गए हो, यदि तुम अभी भी इन विशिष्ट प्रश्नों को सही नहीं कर पा रहे हो, तो अनुमान लगाना बंद करो। स्वीकार करो कि तुम्हें नहीं पता।"
3. परिणाम: "विश्वसनीय विशेषज्ञ" (The Reliable Expert)
इसका परिणाम केवल एक ऐसा AI नहीं है जो "कम गलत" है। यह एक ऐसा AI है जिसमें एक बहुत बेहतर संतुलन (trade-off) है।
इसे एक GPS की तरह समझें। एक बुरा GPS आपको "झील में बाईं ओर मुड़ने" के लिए कह सकता है क्योंकि वह बहुत आत्मविश्वासी है। एक "आलसी" GPS हर बार नए शहर में प्रवेश करने पर बस "मुझे नहीं पता" कह सकता है। KARL एक ऐसा GPS बनाता है जो आपको बताता है कि सड़कें कहाँ हैं, लेकिन इसमें यह कहने की समझ होती है कि, "मुझे इस अगले मोड़ के बारे में यकीन नहीं है; कृपया एक मानचित्र देखें।"
संक्षेप में: KARL AI को "दिखावा करने" (faking it until they make it) से रोकता है और इसके बजाय उन्हें "जानना या स्वीकार करना" सिखाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।