← नवीनतम पेपर
💬 NLP

Semantic Self-Distillation for Language Model Uncertainty

यह शोध पत्र सिमेंटिक सेल्फ-डिस्टिलेशन (SSD) को प्रस्तुत करता है, जो एक ऐसी तकनीक है जो हल्के स्टूडेंट मॉडल्स को बड़े लैंग्वेज मॉडल्स के लिए सिमेंटिक डिस्ट्रीब्यूशन की भविष्यवाणी करने और अनिश्चितता का अनुमान लगाने के लिए प्रशिक्षित करती है, जो प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए और नए अनसर्टेन्टी प्रिमिटिव्स को सक्षम करते हुए, महंगी सैंपलिंग-आधारित विधियों के लिए एक गणनात्मक रूप से कुशल विकल्प प्रदान करती है।

मूल लेखक: Edward Phillips, Sean Wu, Fredrik K. Gustafsson, Boyan Gao, David A. Clifton

प्रकाशित 2026-03-24
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Edward Phillips, Sean Wu, Fredrik K. Gustafsson, Boyan Gao, David A. Clifton

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, लेकिन कभी-कभी अति-आत्मविश्वासी, एक भविष्यवक्ता (Oracle) है जिसे "द ओरैकल" (The Oracle) कहा जाता है (यह आपका लार्ज लैंग्वेज मॉडल, या LLM है)। जब आप इससे कोई प्रश्न पूछते हैं, तो यह एक उत्तर देता है। लेकिन समस्या यह है: आप कैसे जानेंगे कि ओरैकल सच बोल रहा है या बस मनगढ़ंत बातें बना रहा है (हैलुसिनेशन/hallucination)?

पारंपरिक रूप से, ओरैकल की जांच करने के लिए, आपको उससे एक ही प्रश्न 32 बार पूछना होगा। यदि यह 32 बिल्कुल अलग उत्तर देता है, तो आप जान जाएंगे कि यह भ्रमित है। यदि यह 32 बार एक ही उत्तर देता है, तो आप अधिक आश्वस्त महसूस करेंगे।

  • समस्या: 32 बार पूछना धीमा और महंगा है। यह किसी से रास्ता पूछने जैसा है, फिर उसी से दोबारा, और फिर से, और फिर से पूछना ताकि आप देख सकें कि क्या वह अपना विचार बदलता है। वास्तविक समय की बातचीत में, इसमें बहुत समय लगता है।

यह पेपर एक नई तकनीक पेश करता है जिसे सेमेंटिक सेल्फ-डिस्टिलेशन (Semantic Self-Distillation - SSD) कहा जाता है। इसे एक नन्हे, अत्यंत तेज़ "शैडो ओरैकल" (Shadow Oracle) को प्रशिक्षित करने के रूप में समझें जो ओरैकल के बोलने से पहले ही उसके भ्रम को भांप लेता है।

मुख्य विचार: द शैडो ओरैकल

ओरलकल को हर बार एक सवाल पूछने पर खुद को 32 बार दोहराने के लिए कहने के बजाय, आप एक छोटे, हल्के छात्र मॉडल (शैडो ओरैकल) को प्रशिक्षित करते हैं जो ओरैकल को देखते हुए उसकी "व्यक्तित्व" (personality) को सीखता है।

  1. प्रशिक्षण चरण (The Training Phase): आप ओरैकल से एक प्रश्न पूछते हैं और उसे 32 बार उत्तर देने देते हैं। आप उन उत्तरों पर ध्यान देते हैं।

    • परिदृश्य A: ओरैकल कहता है "पेरिस," "लंदन," "टोक्यो," "बर्लिन।" (यह भ्रमित है)।
    • परिदृश्य B: ओरैकल कहता है "फ्रांस की राजधानी पेरिस है," "पेरिस," "पेरिस राजधानी है।" (यह आश्वस्त है)।
    • शैडो ओरैकल इस प्रक्रिया को देखता है। वह सीखता है: "जब उपयोगकर्ता फ्रांस की राजधानी के बारे में पूछता है, तो ओरैकल आमतौर पर केंद्रित रहता है। जब वे किसी काल्पनिक तथ्य के बारे में पूछते हैं, तो ओरकल अनियंत्रित हो जाता है।"
  2. अनुमान चरण (The Inference Phase - जादू): अब, जब आप एक नया प्रश्न पूछते हैं, तो आप ओरकल को खुद को दोहराने के लिए नहीं कहते। आप बस शैडो ओरैकल से पूछते हैं।

    • शैडो ओरकल उस प्रश्न को देखता है और तुरंत भविष्यवाणी करता है: "जो मैंने सीखा है, उसके आधार पर, ओरकल इस बारे में बहुत भ्रमित होने वाला है।"
    • यह एक ही, बिजली की तरह तेज़ कदम में यह करता है।

रचनात्मक उपमा: मौसम विज्ञानी (The Weather Forecaster)

कल्पना कीजिए कि आप जानना चाहते हैं कि क्या बारिश होगी।

  • पुराना तरीका (सैंपलिंग): आप बाहर जाते हैं, आसमान देखते हैं, 5 मिनट प्रतीक्षा करते हैं, फिर देखते हैं, फिर 5 मिनट प्रतीक्षा करते हैं, और यह देखने के लिए इसे 32 बार दोहराते हैं कि क्या बादल बदलते हैं। यह सटीक है लेकिन इसमें बहुत समय लगता है।
  • नया तरीका (SSD): आपके पास एक स्मार्ट, छोटा रोबोट (शैडो ओरैकल) है जिसने वर्षों तक आसमान को देखा है। जब आप पूछते हैं, "क्या बारिश होगी?", तो रोबोट तुरंत बादलों का विश्लेषण करता है और कहता है, "बारिश होने की 90% संभावना है, और यहाँ तूफान के बादल का सटीक आकार है।"

रोबोट ने बारिश का इंतज़ार नहीं किया; उसने बारिश के पैटर्न को सीखा।

यह पेपर इतना महत्वपूर्ण क्यों है

लेखक दिखाते हैं कि यह शैडो ओरकल केवल एक साधारण "हाँ/ना" वाला अलार्म नहीं है। यह बहुत अधिक स्मार्ट है।

1. यह एक "कॉन्फिडेंस मीटर" है (Pre-generation)
इससे पहले कि बड़ा ओरकल एक भी अक्षर टाइप करे, शैडो ओरकल आपको बता सकता है: "हे, मुझे इस उत्तर के बारे में यकीन नहीं है। ओरकल पूरी तरह से भटकने वाला है।" इसे एन्ट्रॉपी (Entropy) (अव्यवस्था के लिए एक तकनीकी शब्द) द्वारा मापा जाता है। उच्च अव्यवस्था = झूठ बोलने का उच्च जोखिम।

2. यह एक "सत्य डिटेक्टर" है (Post-generation)
यदि ओरकल वास्तव में आपको कोई उत्तर देता है, तो शैडो ओरकल तुरंत इसकी जांच कर सकता है। वह पूछता है: "क्या यह उत्तर उस पैटर्न में फिट बैठता है जो ओरकल आमतौर पर देता है?"

  • यदि ओरकल कहता है "चंद्रमा पनीर से बना है," तो शैडो ओरकल कहता है, "यह पैटर्न में फिट नहीं बैठता। यह एक हेलुसिनेशन (hallucination) है।"
  • यह एक क्लब के बाहर खड़े बाउंसर जैसा है जो यह जांचता है कि क्या आपका आईडी कार्ड अतिथि सूची के नाम से मेल खाता है।

3. यह एक "विकल्प सहायक" है (Multiple Choice)
यदि आपके पास बहुविकल्पीय प्रश्न है, तो शैडो ओरकल विकल्पों A, B, C और D को देख सकता है और तुरंत बता सकता है कि ओरकल सबसे अधिक संभावना किसकी ओर झुकेगा, बिना ओरकल के सोचे।

"सीक्रेट सॉस": यह दूसरों से बेहतर क्यों है

  • गति (Speed): यह एक नज़र देखने जितना तेज़ है (एक फॉरवर्ड पास)। 32 उत्तरों की प्रतीक्षा करने की आवश्यकता नहीं है।
  • समृद्धता (Richness): अन्य विधियाँ केवल एक संख्या देती हैं (जैसे, "80% आत्मविश्वास")। यह विधि एक मैप (नक्शा) देती है। यह समझती है कि संभावित उत्तरों का आकार क्या है। यह जानता है कि ओरकल क्यों भ्रमित है, न कि केवल यह कि वह भ्रमित है।
  • बहुमुखी प्रतिभा (Versatility): यह विभिन्न प्रकार के प्रश्नों पर काम करता है, सामान्य ज्ञान (वर्ल्ड कप किसने जीता?) से लेकर जटिल तर्क (सबसे अच्छा चिकित्सा उपचार क्या है?) तक।

सरल अंग्रेजी में सारांश

समस्या: AI मॉडल बेहतरीन होते हैं लेकिन कभी-कभी झूठ बोलते हैं। यह जांचना कि वे झूठ बोल रहे हैं या नहीं, आमतौर पर उन्हें एक ही प्रश्न कई बार पूछने की आवश्यकता होती है, जो वास्तविक समय के उपयोग के लिए बहुत धीमा है।

समाधान: एक छोटे, तेज़ "शैडो AI" को प्रशिक्षित करें जो बड़े AI को देखे और उसके भ्रम के पैटर्न को सीखे।

परिणाम: शैडो AI तुरंत बता सकता है कि बड़ा AI झूठ बोलने वाला है, या जो उत्तर उसने अभी दिया है वह निरर्थक है, बिना बड़े AI को खुद को दोहराने के लिए कहे। यह एक ऐसे झूठ पकड़ने वाले यंत्र (lie detector) की तरह है जो बैकग्राउंड में चलता है, तुरंत और मुफ्त में।

यह तकनीक, सेमेंटिक सेल्फ-डिस्टिलेशन, एक धीमी, महंगी प्रक्रिया को एक तेज़, स्मार्ट और विश्वसनीय सुरक्षा जाल में बदल देती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →