Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions
यह शोध पत्र बहुविकल्पीय प्रश्नों पर बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के आंतरिक ज्ञान और आउटपुट व्यवहार के बीच के बेमेल होने की पहचान करता है और उसे संबोधित करता है, जो हिडन रिप्रेजेंटेशन्स (छिपे हुए निरूपणों) का ज्यामितीय विश्लेषण करता है और KAPPA को पेश करता है, जो एक हल्का इन्फरेंस-टाइम हस्तक्षेप है जो सटीकता में सुधार करने के लिए ज्ञान और प्रेडिक्शन सबस्पेस (ज्ञान और भविष्यवाणी उप-स्थानों) को संरेखित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions" पेपर की व्याख्या सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ दी गई है।
बड़ी समस्या: वह "सब कुछ जानने वाला" जो बोल नहीं पाता
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जिसने पुस्तकालय की हर किताब पढ़ ली है। यदि आप उससे सामान्य बातचीत में कोई सवाल पूछते हैं, तो वह उत्तर को पूरी तरह से समझा सकता है। लेकिन, यदि आप उसे एक बहुविकल्पीय (multiple-choice) परीक्षा में बिठाते हैं, तो वह अचानक गलत उत्तर देने लगता है, भले ही उसे सही उत्तर पता हो।
Large Language Models (LLMs) के साथ भी बिल्कुल ऐसा ही होता है। यह पेपर इसे Knowledge-Prediction Gap कहता है।
- ज्ञान (The Knowledge): मॉडल के "दिमाग" (इसके हिडन लेयर्स) के अंदर, सही उत्तर स्पष्ट रूप से लिखा हुआ है। यह वैसा ही है जैसे छात्र ने अपनी जेब में उत्तर की कुंजी (answer key) छिपा रखी हो।
- अनुमान (The Prediction): जब मॉडल वास्तव में बोलता है (टेक्स्ट जनरेट करता है), तो वह उस उत्तर की कुंजी को अनदेखा कर देता है और गलत विकल्प चुन लेता है।
शोधकर्ताओं ने पाया कि मॉडल "हैलुसिनेशन" (hallucination) इसलिए नहीं कर रहा है क्योंकि उसके पास ज्ञान की कमी है; बल्कि वह इसलिए विफल हो रहा है क्योंकि वह जो जानता है, उसे उस रूप में बदल नहीं पा रहा है जैसा वह बोलता है।
जांच: हुड के नीचे देखना (Looking Under the Hood)
यह समझने के लिए कि ऐसा क्यों होता है, शोधकर्ताओं ने केवल अंतिम उत्तर को नहीं देखा। उन्होंने सवालों के जवाब देते समय मॉडल की आंतरिक "विचार प्रक्रिया" (जिसे residual stream कहा जाता है) को देखा।
उन्होंने एक टूल का उपयोग किया जिसे Probe (एक अनुवादक या एक अनुवादक के कान की तरह समझें) कहा जाता है, ताकि मॉडल के आंतरिक संकेतों को सुना जा सके। उन्होंने दो अलग-अलग अनुवादक बनाए:
- ज्ञान अनुवादक (The Knowledge Translator): यह मॉडल के आंतरिक संकेतों को सुनता है और पूछता है, "यहाँ वास्तविक सही उत्तर क्या है?"
- अनुमान अनुवादक (The Prediction Translator): यह उन्हीं संकेतों को सुनता है और पूछता है, "मॉडल अब कौन सा उत्तर बोलने वाला है?"
खोज:
कई मामलों में, ज्ञान अनुवादक कहता है, "उत्तर निश्चित रूप से 'गर्मी' (Summer) है!" जबकि अनुमान अनुवादक कहता है, "मॉडल 'सर्दी' (Winter) कहने वाला है!"
शोधकर्ताओं ने महसूस किया कि मॉडल का दिमाग दो अलग-अलग "कमरों" या subspaces में विभाजित है:
- ज्ञान का कमरा (The Knowledge Room): जहाँ सत्य निवास करता है।
- अनुमान का कमरा (The Prediction Room): जहाँ अंतिम निर्णय लिया जाता है।
समस्या यह है कि ये दोनों कमरे misaligned (एक सीध में नहीं) हैं। यह ऐसा है जैसे एक कमरे में नक्शा हो और दूसरे में दिशा-सूचक यंत्र (compass), लेकिन दिशा-सूचक यंत्र उस दिशा में नहीं है जहाँ नक्शा इशारा कर रहा है। मॉडल के पास नक्शा (ज्ञान) तो है, लेकिन उसका दिशा-सूचक यंत्र (अनुमान) गलत दिशा में घूम रहा है, जिससे वह भटक जाता है।
समाधान: KAPPA (एलाइनमेंट टूल)
इसे ठीक करने के लिए, लेखकों ने KAPPA नामक एक विधि बनाई।
कल्पना कीजिए कि आप कार चला रहे हैं। आप जानते हैं कि आपको कहाँ जाना है (ज्ञान), लेकिन आपका स्टीयरिंग व्हील थोड़ा गलत है, इसलिए आप बार-बार गलत लेन में चले जाते हैं (अनुमान)।
KAPPA एक स्मार्ट, ऑटोमैटिक स्टीयरिंग सुधार की तरह काम करता है।
- यह नक्शे को दोबारा नहीं लिखता और न ही कार को पीछे चलाने के लिए मजबूर करता है।
- इसके बजाय, ठीक उसी क्षण जब मॉडल कोई विकल्प चुनने वाला होता है, KAPPA स्टीयरिंग को धीरे से सही दिशा में मोड़ देता है।
- यह "अनुमान के कमरे" को "ज्ञान के कमरे" के साथ संरेखित (align) कर देता है।
यह प्रक्रिया मॉडल के सोचने के दौरान ("inference time" पर) तुरंत होती है। इसके लिए मॉडल को फिर से प्रशिक्षित (retrain) करने या उसे नए तथ्य सिखाने की आवश्यकता नहीं होती। यह बस इस बात को ठीक करता है कि मॉडल अपने मौजूदा तथ्यों का उपयोग कैसे करता है।
जब उन्होंने इसे आज़माया तो क्या हुआ?
शोधकर्ताओं ने कई प्रकार के सवालों पर इसका परीक्षण किया, जिनमें शामिल थे:
- तर्क पहेलियाँ (जैसे गणित के सवाल)।
- सत्यता परीक्षण (यह पूछना कि कोई कथन झूठ है या तथ्य)।
- पूर्वाग्रह परीक्षण (रूढ़िवादिता की जाँच करना)।
परिणाम:
- KAPPA से पहले: मॉडल अक्सर आंतरिक रूप से सही उत्तर जानता था लेकिन गलत बहुविकल्पीय विकल्प चुन लेता था।
- KAPPA के बाद: मॉडल बहुत अधिक बार सही विकल्प चुनने लगा।
कुछ मामलों में, मॉडल का प्रदर्शन बढ़कर "ज्ञान अनुवादक" की सटीकता के बराबर पहुँच गया। इसने साबित कर दिया कि मॉडल "मूर्ख" नहीं था; उसे बस अपने आंतरिक दिशा-सूचक यंत्र को फिर से संरेखित करने की आवश्यकता थी।
मुख्य बातें (Key Takeaways)
- मॉडल जितना कहता है, उससे कहीं अधिक जानता है: LLMs अक्सर अपने आंतरिक "दिमाग" में सही उत्तर रखते हैं, भले ही वे गलत उत्तर आउटपुट करें।
- यह एक ज्यामिति (Geometry) की समस्या है: समस्या डेटा की कमी नहीं है; बल्कि यह है कि जिस "स्पेस" में ज्ञान रहता है और जिस "स्पेस" में भविष्यवाणियाँ होती हैं, वे आपस में मेल नहीं खाते।
- एक सरल समाधान काम करता है: मॉडल के आंतरिक स्टेट पर एक छोटा, गणित-आधारित सुधार (KAPPA) लागू करके, हम उस अंतर को पाट सकते हैं और मॉडल को अधिक भरोसेमंद बना सकते हैं, और इसके लिए मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है।
संक्षेप में, यह पेपर दिखाता है कि हम AI मॉडल्स को उन्हें नई चीजें सिखाकर नहीं, बल्कि उन्हें पहले से मौजूद चीजों का बेहतर उपयोग करने में मदद करके अधिक ईमानदार और सटीक बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।