What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization
यह शोध पत्र LoID को प्रस्तुत करता है, जो एक नियतात्मक (deterministic) विधि है जो लार्ज लैंग्वेज मॉडल्स के भीतर विपरीत अर्थ संबंधी दिशाओं में टोकन-स्तरीय आत्मविश्वास का विश्लेषण करके बायेशियन लॉजिस्टिक रिग्रेशन के लिए सूचनात्मक पूर्व वितरणों (prior distributions) को निकालती है, जिससे मौजूदा टेक्स्ट-जनरेशन आधारित दृष्टिकोणों की तुलना में छोटे, आउट-ऑफ-डिस्ट्रीब्यूशन टैबुलर डेटासेट पर सामान्यीकरण (generalization) में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "What LLMs Know but Don't Say" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
बड़ी समस्या: "छोटा क्लास" (Small Class) की दुविधा
कल्पना कीजिए कि आप एक छात्र को मौसम का पूर्वानुमान लगाना सिखाने की कोशिश कर रहे हैं।
- आदर्श परिदृश्य: आप छात्र को हर महाद्वीप से 10 साल का मौसम का डेटा देते हैं। वह पैटर्न को पूरी तरह से सीख जाता है।
- वास्तविक दुनिया की समस्या: चिकित्सा या वित्त जैसे क्षेत्रों में, आपके पास अक्सर केवल एक छोटे शहर या एक विशिष्ट अस्पताल का डेटा होता है। हो सकता है कि आपके डेटा में केवल वे मरीज़ शामिल हों जो युवा और स्वस्थ हैं।
यदि आप इस "छोटे क्लास" वाले डेटा पर एक मॉडल को प्रशिक्षित करते हैं, तो वह उस एक शहर के लिए मौसम की भविष्यवाणी करने में तो जीनियस बन जाता है, लेकिन जब वह किसी दूसरे शहर (जैसे किसी ठंडे, बर्फीले शहर) के लिए भविष्यवाणी करने की कोशिश करता है, तो बुरी तरह विफल हो जाता है। इसे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) समस्या कहा जाता है। मॉडल "भंगुर" (brittle) है क्योंकि उसने पर्याप्त विविधता नहीं देखी है।
समाधान: "ज्ञान का पुस्तकालय" (Library of Wisdom)
यहाँ लार्ज लैंग्वेज मॉडल्स (LLMs) आते हैं, जैसे कि वह जिससे आप अभी बात कर रहे हैं। इन मॉडल्स ने इंटरनेट पर लगभग सब कुछ पढ़ा है, जिसमें लाखों मेडिकल टेक्स्टबुक्स, फाइनेंस रिपोर्ट्स और वैज्ञानिक शोध पत्र शामिल हैं। उनके पास दुनिया कैसे काम करती है, इसके बारे में एक विशाल "ज्ञान का पुस्तकालय" है।
- पुराना तरीका: शोधकर्ताओं ने LLM से पूछने की कोशिश की, "हे, इस मरीज के बारे में तुम्हारा क्या विचार है?" और उम्मीद की कि LLM भविष्यवाणी देते हुए एक पैराग्राफ लिखेगा। लेकिन LLMs बहुत बातें करते हैं और असंगत होते हैं; कभी-कभी वे एक बात कहते हैं, और कभी दूसरी, सिर्फ इसलिए क्योंकि सवाल पूछने का तरीका अलग था।
- नया तरीका (LoID): इस पेपर के लेखकों ने महसूस किया कि उन्हें LLM से उत्तर लिखवाने की आवश्यकता नहीं है। उन्हें बस यह देखने की आवश्यकता है कि बोलने से पहले LLM क्या सोच रहा है।
विधि: LoID (लॉगिट-इन्फॉर्म्ड डिस्ट्रीब्यूशन्स)
LLM को एक बहुत ही बुद्धिमान, लेकिन शर्मीले लाइब्रेरियन (Librarian) के रूप में सोचें। आप लाइब्रेरियन से यह नहीं चाहेंगे कि वे "क्या धूम्रपान से कैंसर होता है?" पर एक पूरा निबंध लिखें, क्योंकि वे इधर-उधर की बातें करने लगेंगे। इसके बजाय, आप जानना चाहते हैं: "आप कितने आश्वस्त हैं कि धूम्रपान से कैंसर होता है?"
लेखकों ने ठीक इसी काम के लिए LoID (लॉगिट-इन्फॉर्म्ड डिस्ट्रीब्यूशन्स) नामक एक टूल बनाया है। यह इस प्रकार काम करता है:
1. "हाँ बनाम ना" का परीक्षण
डेटासेट की प्रत्येक विशेषता (जैसे, "आयु," "धूम्रपान की स्थिति," "आय") के लिए, शोधकर्ता LLM से दो अलग-अलग तरीकों से एक सरल प्रश्न पूछते हैं:
- "क्या आयु का स्ट्रोक के जोखिम पर सकारात्मक प्रभाव पड़ता है?"
- "क्या आयु का स्ट्रोक के जोखिम पर नकारात्मक प्रभाव पड़ता है?"
2. "विचारों" को पढ़ना (Logits)
LLM के यह लिखने का इंतज़ार करने के बजाय कि "हाँ, उम्र जोखिम बढ़ाती है," LoID उस आंतरिक गणित (internal math) को देखता है जिसका उपयोग LLM अगले शब्द को चुनने के लिए करता है।
- यह देखता है कि LLM "Positive" शब्द को "Negative" शब्द की तुलना में कितनी संभावना (probability) देता है।
- यदि LLM 99% आश्वस्त है कि शब्द "Positive" होना चाहिए, तो यह एक उच्च स्कोर देता है।
- यदि LLM भ्रमित है (50/50), तो यह कम स्कोर देता है।
3. एक "मानसिक मानचित्र" बनाना (The Prior)
शोधकर्ता इन स्कोर को लेकर उसे एक प्रायर (Prior) में बदल देते हैं।
- उपमा: कल्पना कीजिए कि आप एक केक बना रहे हैं, लेकिन आपने पहले कभी केक नहीं बनाया है। आपके पास एक रेसिपी (आपका डेटा) है, लेकिन इसमें कुछ सामग्रियां गायब हैं।
- प्रायर (The Prior): यह "दादी के गुप्त नोट" की तरह है जो कहता है, "आमतौर पर, आपको 2 कप मैदा चाहिए होता है।"
- LoID का प्रायर: यह कहता है, "दुनिया में जो कुछ भी मैंने पढ़ा है, उसके आधार पर, आयु आमतौर पर स्ट्रोक के जोखिम को बढ़ाती है।"
यह "दादी का नोट" मॉडल की मदद करता है जब डेटा कम या अजीब होता है। यह एक सुरक्षा जाल (safety net) के रूप में कार्य करता है, मॉडल को उस ओर निर्देशित करता है जो दुनिया में सामान्य रूप से सत्य है, भले ही विशिष्ट डेटा पक्षपाती (biased) हो।
यह केवल LLM से पूछने से बेहतर क्यों है?
- निरंतरता (Consistency): यदि आप एक LLM को कहानी लिखने के लिए कहते हैं, तो वह हर बार अपना मन बदल सकता है। लेकिन यदि आप उसके आंतरिक गणित (logits) की जांच करते हैं, तो उत्तर डिटरमिनिस्टिक (deterministic) होता है। यह एक व्यक्ति से "क्या गर्मी है?" पूछने बनाम थर्मामीटर चेक करने जैसा है। थर्मामीटर हर बार एक सुसंगत संख्या देता है।
- कोई मतिभ्रम नहीं (No Hallucinations): LLM तथ्य मनगढ़ंत नहीं बना रहा है; वह उन सांख्यिकीय संबंधों को प्रकट कर रहा है जो उसने अपने प्रशिक्षण के दौरान सीखे हैं।
परिणाम: यह कब काम करता है और कब विफल होता है
लेखकों ने इसका परीक्षण 15 अलग-अलग डेटासेट्स (मेडिकल, फाइनेंस, इंजीनियरिंग) पर किया।
✅ जब LoID चमकता है:
- परिदृश्य: कंक्रीट की मजबूती (Concrete Strength) का पूर्वानुमान लगाना।
- क्यों: भौतिकी (Physics) सार्वभौमिक है। सीमेंट + पानी + समय = मजबूत कंक्रीट। यह हर जगह सच है।
- परिणाम: LoID ने भौतिकी के बारे में LLM के ज्ञान का उपयोग करके मॉडल को ठीक किया, जिससे खोए हुए प्रदर्शन का 94% वापस मिल गया। LLM भौतिकी के नियमों को जानता था, भले ही डेटा किसी अजीब फैक्ट्री का हो।
❌ जब LoID लड़खड़ाता है:
- परिदृश्य: बैंक मार्केटिंग (क्या ग्राहक टर्म डिपॉजिट खरीदेगा?)।
- क्यों: यह विशिष्ट मानवीय व्यवहार, स्थानीय अभियानों और समय पर निर्भर करता है। पुर्तगाल का एक बैंक अमेरिका के बैंक से अलग व्यवहार करता है।
- परिणाम: LLM का "सामान्य ज्ञान" इस विशिष्ट संदर्भ के लिए बहुत अस्पष्ट या गलत था। इसने एक विशिष्ट स्थिति पर एक सामान्य नियम लागू करने की कोशिश की, जिससे चीजें और खराब हो गईं।
मुख्य निष्कर्ष (The Takeaway)
यह पेपर हमें सिखाता है कि AI की "रचनात्मक लेखन" पर निर्भर हुए बिना उसकी "कॉमन सेंस" (सामान्य समझ) का उपयोग कैसे किया जाए।
- पुराना दृष्टिकोण: AI से उत्तर का अनुमान लगाने के लिए कहना (अविश्वसनीय)।
- नया दृष्टिकोण (LoID): AI से चरों (variables) के बीच के संबंध में उसके आत्मविश्वास को दिखाने के लिए कहना, फिर उस आत्मविश्वास का उपयोग एक मानक सांख्यिकीय मॉडल को गाइड करने के लिए करना।
यह एक विश्व-स्तरीय विशेषज्ञ (LLM) के बगल में खड़े एक जूनियर डेटा साइंटिस्ट (मॉडल) की तरह है। विशेषज्ञ को पूरा काम संभालने देने के बजाय, आप बस विशेषज्ञ को यह फुसफुसाने देते हैं, "हे, आमतौर पर, वृद्ध लोग अधिक जोखिम पर होते हैं," और जूनियर साइंटिस्ट उस फुसफुसाहट का उपयोग अपने गणनाओं को ठीक करने के लिए करता है जब डेटा गायब या पक्षपाती होता है।
संक्षेप में: LoID हमें AI के विशाल ज्ञान का उपयोग करके छोटे, अपूर्ण डेटासेट्स को बड़े, पूर्ण डेटासेट्स की तरह व्यवहार करने में मदद करता है, लेकिन केवल तभी जब दुनिया के नियम इतने सुसंगत हों कि AI उन्हें जान सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।