💬 NLP

Improving Topic Modeling by Distilling Soft Labels from Language Models

यह शोध पत्र डिस्टिलिंग सॉफ्ट लेबल्स (DSL) नामक एक नवीन टॉपिक मॉडलिंग फ्रेमवर्क प्रस्तावित करता है जो प्रशिक्षण के लिए संदर्भपूर्ण रूप से समृद्ध सॉफ्ट लेबल्स उत्पन्न करने हेतु लैंग्वेज मॉडल्स का लाभ उठाता है, जिससे पारंपरिक विधियों की तुलना में टॉपिक कोहेरेंस (विषय सुसंगतता), असाइनमेंट सटीकता और डॉक्यूमेंट रिट्रीवल प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Raymond Li, Amirhossein Abaskohi, Chuyuan Li, Gabriel Murray, Giuseppe Carenini

प्रकाशित 2026-06-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Raymond Li, Amirhossein Abaskohi, Chuyuan Li, Gabriel Murray, Giuseppe Carenini

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किताबों के एक विशाल पुस्तकालय को व्यवस्थित करने की कोशिश कर रहे हैं, लेकिन पूरी कहानी पढ़ने के बजाय, आप केवल कवर पर दिखने वाले शब्दों की सूची देखते हैं। पारंपरिक कंप्यूटर प्रोग्राम बिल्कुल यही करते हैं: वे गिनते हैं कि "डॉक्टर," "दर्द," या "उपचार" जैसे शब्द कितनी बार एक साथ आते हैं। यदि कोई पुस्तक "दर्द" और "डॉक्टर" का अक्सर उल्लेख करती है, तो कंप्यूटर उन्हें "स्वास्थ्य" विषय के अंतर्गत समूहित करता है।

समस्या क्या है? यह तरीका ऐसा है जैसे आप केवल कलाकारों की सूची पढ़कर किसी फिल्म को समझने की कोशिश कर रहे हों। यह कहानी, संदर्भ और गहरे अर्थ को छोड़ देता है। यदि कोई छोटा टेक्स्ट "टूटी हुई हड्डी" के बारे में बात करता है लेकिन कभी "डॉक्टर" शब्द का उपयोग नहीं करता है, तो पुराना कंप्यूटर चिकित्सा विषय को पूरी तरह से समझने में चूक सकता है।

नया दृष्टिकोण: "स्मार्ट असिस्टेंट" शिक्षक

इस शोध पत्र के लेखक, रेमंड ली और उनकी टीम, कंप्यूटर को विषय समझने के लिए सिखाने का एक चतुर नया तरीका प्रस्तावित करते हैं। केवल शब्दों को गिनने के बजाय, वे एक "स्मार्ट असिस्टेंट" (एक स्मॉल लैंग्वेज मॉडल या SLM) का उपयोग एक शिक्षक के रूप में करते हैं।

यहाँ उनका तरीका, जिसे DSL (डिस्टिलिंग सॉफ्ट लेबल्स) कहा जाता है, एक सरल उपमा का उपयोग करके बताया गया है:

1. "थीम पहचानो" खेल

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वत सहायक को एक छोटा, भ्रमित करने वाला नोट देते हैं और कहते हैं, "इस नोट का मुख्य विषय क्या है?"

पुराना तरीका: कंप्यूटर नोट को देखता है और कहता है, "इसमें 'हॉकी' शब्द है, इसलिए विषय हॉकी है।"
नया तरीका (DSL): स्मार्ट असिस्टेंट नोट को पढ़ता है और सोचता है, "यह स्पोर्ट्स टीमों के बीच एक ट्रेड (व्यापार) के बारे में है। भले ही यहाँ 'हॉकी' शब्द नहीं लिखा है, लेकिन संदर्भ 'खेल' और 'टीम प्रबंधन' की ओर इशारा कर रहा है।"

2. "सॉफ्ट" उत्तर (असली जादू)

स्मार्ट असिस्टेंट केवल "हॉकी" जैसा एक शब्द चिल्लाकर नहीं देता। इसके बजाय, यह संभावनाओं की एक सॉफ्ट, धुंधली सूची देता है।

यह कहता है: "इस बात की 40% संभावना है कि यह हॉकी के बारे में है, 30% संभावना है कि यह खेल के बारे में है, 20% संभावना है कि यह ट्रेड्स के बारे में है, और 10% संभावना है कि यह समाचार के बारे में है।"
इसे सॉफ्ट लेबल कहा जाता है। यह टेक्स्ट के भाव और छिपे हुए विषयों को पकड़ लेता है, भले ही विशिष्ट शब्द वहां मौजूद न हों।

3. छात्र शिक्षक से सीखता है

शोधकर्ता फिर इस स्मार्ट असिस्टेंट से मिली इस "धुंधली सूची" का उपयोग एक सरल, तेज़ कंप्यूटर प्रोग्राम (टॉपिक मॉडल) को प्रशिक्षित करने के लिए करते हैं।

प्रशिक्षण: वे सरल प्रोग्राम को बताते हैं: "केवल उन शब्दों का अनुमान न लगाएं जो आप देखते हैं। उस पूरे विषयों की सूची का अनुमान लगाने की कोशिश करें जो स्मार्ट असिस्टेंट ने आपको दी है।"
परिणाम: सरल प्रोग्राम गहराई से देखना सीख जाता है। वह समझ जाता है कि भले ही "हॉकी" शब्द गायब हो, लेकिन "ट्रेड," "खिलाड़ी," और "ड्राफ्ट" की उपस्थिति दृढ़ता से हॉकी के विषय का सुझाव देती है।

यह क्यों महत्वपूर्ण है (परिणाम)

इस पेपर का परीक्षण तीन अलग-अलग प्रकार के टेक्स्ट संग्रहों पर किया गया:

20Newsgroups: पुराने इंटरनेट फोरम पोस्ट।
TweetTopic: छोटे ट्वीट्स।
StackOverflow: छोटे कोडिंग प्रश्न।

निष्कर्ष:

बेहतर समझ: नए तरीके ने ऐसे विषय बनाए जो मनुष्यों के लिए बहुत अधिक सार्थक थे। उदाहरण के लिए, खेल चर्चा में, इसने सही ढंग से "हॉकी" को एक थीम के रूप में पहचाना, भले ही टेक्स्ट में "हॉकी" शब्द का उल्लेख नहीं हुआ था, क्योंकि संदर्भ बहुत स्पष्ट था।
समान दस्तावेज़ खोजना: यदि आप सिस्टम से किसी विशिष्ट दस्तावेज़ के समान दस्तावेज़ खोजने के लिए कहते हैं, तो यह पिछले तरीकों की तुलना में सही मिलान खोजने में बहुत बेहतर था। यह एक ऐसे लाइब्रेरियन की तरह था जो किताब के केवल इंडेक्स शब्दों को नहीं, बल्कि उसके कथानक को समझता है।
छोटे टेक्स्ट: यह विशेष रूप से छोटे टेक्स्ट (जैसे ट्वीट्स) के लिए अच्छा काम करता है, जहाँ शब्दों को गिनने के लिए बहुत कम शब्द होते हैं, जिससे पुराने तरीके विफल हो जाते हैं।

"शिक्षक" को विशाल होने की आवश्यकता नहीं है

इस पेपर का एक सबसे शानदार हिस्सा यह है कि उन्हें शिक्षक के रूप में उपयोग करने के लिए किसी विशाल, अत्यधिक महंगे AI की आवश्यकता नहीं थी। उन्होंने स्मॉल लैंग्वेज मॉडल्स (SLMs) का उपयोग किया—जो विशाल AI मॉडल के संक्षिप्त, कुशल संस्करण हैं। ये छोटे मॉडल तेज़ थे, चलाने में सस्ते थे, और संदर्भ को समझने के लिए पर्याप्त स्मार्ट भी थे।

संक्षेप में

यह पेपर कंप्यूटर को टेक्स्ट के पीछे के अर्थ को समझने के लिए सिखाने का एक तरीका पेश करता है, न कि केवल पृष्ठ पर मौजूद शब्दों को। एक स्मार्ट AI शिक्षक का उपयोग करके "धुंधले संकेत" देने से, उन्होंने एक सरल प्रणाली को प्रशिक्षित किया जो दस्तावेजों को बहुत अधिक सटीकता से व्यवस्थित करती है। यह शब्दों को गिनने वाले कंप्यूटर से समझ के लिए पढ़ने वाले कंप्यूटर में अपग्रेड करने जैसा है।

तकनीकी सारांश: लैंग्वेज मॉडल्स से सॉफ्ट लेबल्स को डिस्टिल करके टॉपिक मॉडलिंग में सुधार करना

समस्या विवरण
पारंपरिक न्यूरल टॉपिक मॉडल्स (NTMs) आमतौर पर एक दस्तावेज़ के बैग-ऑफ-वर्ड्स (BoW) प्रतिनिधित्व के पुनर्निर्माण (reconstruction) द्वारा अनुकूलित होते हैं। हालांकि यह सांख्यिकीय शब्द सह-उपस्थिति (word co-occurrences) को पकड़ने में प्रभावी है, लेकिन यह समृद्ध प्रासंगिक जानकारी (contextual information) की अनदेखी करता है और डेटा की विरलता (data sparsity), विशेष रूप से लघु-पाठ कॉर्पोरा (short-text corpora) में, काफी संघर्ष करता है। इसके विपरीत, जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) में गहरा सिमेंटिक (semantic) बोध होता है, वे संदर्भ-लंबाई की बाधाओं और कम्प्यूटेशनल लागतों के कारण बड़े कॉर्पोरा को मॉडल करने में सीमाओं का सामना करते हैं। टॉपिक मॉडलिंग के लिए LLMs का उपयोग करने के मौजूदा प्रयास अक्सर जटिल, महंगी पाइपलाइनों या प्रॉम्प्ट-आधारित जनरेशन पर निर्भर करते हैं जो डाउनस्ट्रीम अनुप्रयोगों जैसे कि अनिश्चितता-जागरूक रिट्रीवल (uncertainty-aware retrieval) के लिए आवश्यक संभावabilistic टॉपिक वितरण (probabilistic topic distributions) उत्पन्न करने में विफल रहते हैं।

कार्यप्रणाली: सॉफ्ट लेबल्स का डिस्टिलेशन (Distilling Soft Labels - DSL)
लेखक एक नवीन प्रशिक्षण ढांचा, डिस्टिलिंग सॉफ्ट लेबल्स (DSL) प्रस्तावित करते हैं, जो स्मॉल लैंग्वेज मॉडल्स (SLMs) की सिमेंटिक क्षमताओं और संभावabilistic टॉपिक मॉडल्स की संरचनात्मक दक्षता के बीच के अंतर को पाटता है। यह ढांचा तीन प्राथमिक घटकों के माध्यम से कार्य करता है:

सिमेंटिक रिकंस्ट्रक्शन टारगेट्स: स्पार्स BoW टारगेट्स के बजाय, DSL सघन (dense), प्रासंगिक रूप से समृद्ध रिकंस्ट्रक्शन सिग्नल बनाता है। एक इनपुट दस्तावेज़ $x$ और एक विषयगत निर्देश प्रॉम्प्ट $\pi$ (जैसे, "दस्तावेज़ के विषय को पकड़ने वाला एक एकल-शब्द लेबल उत्पन्न करें") दिए जाने पर, SLM अगले टोकन का वितरण (next-token distribution) भविष्यवाणी करता है। अगले टोकन के लॉजिट्स (logits) को एक पूर्व-निर्धारित शब्दावली $V$ पर प्रोजेक्ट किया जाता है और टेम्परेचर-स्केल्ड सॉफ्टमैक्स वितरण में परिवर्तित किया जाता है, जिसे $y_{DSL}(x, \pi)$ द्वारा दर्शाया गया है। BoW के विपरीत, जो केवल उन शब्दों को द्रव्यमान (mass) सौंपता है जो दस्तावेज़ में स्पष्ट रूप से मौजूद हैं, $y_{DSL}$ विषयगत रूप से प्रासंगिक शब्दों को भी संभाव्यता द्रव्यमान (probability mass) सौंपता है, भले ही वे टेक्स्ट में मौजूद न हों।
कॉन्टेक्स्टुअलाइज्ड इनपुट्स: टॉपिक मॉडल प्रॉम्प्ट-कंडीशन्ड इनपुट के अंतिम हिडन स्टेट रिप्रेजेंटेशन (अंतिम स्थिति पर) का उपयोग दस्तावेज़ एम्बेडिंग के रूप में करता है। यह सुनिश्चित करता है कि इनपुट स्वाभाविक रूप से मॉडल द्वारा उत्पन्न सिमेंटिक वितरण के साथ संरेखित (aligned) हो।
प्रशिक्षण उद्देश्य: न्यूरल टॉपिक मॉडल को स्पार्स BoW लक्ष्य के बजाय सघन $y_{DSL}$ लक्ष्य को पुनर्निर्मित करने के लिए प्रशिक्षित किया जाता है। ऑब्जेक्टिव फंक्शन प्रेडिक्टेड शब्दावली वितरण $\hat{y}_\psi(x)$ और SLM-प्रेरित लक्ष्य $y_{DSL}(x, \pi)$ के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करता है, साथ ही मॉडल-विशिष्ट रेगुलाइजेशन टर्म्स (जैसे, वेरिएशनल प्रायर्स या एम्बेडिंग क्लस्टरिंग) को भी शामिल करता है:
$L_{DSL}(x) = \lambda D_{KL}(y_{DSL}(x, \pi) \parallel \hat{y}_\psi(x)) + R_M(x; \psi)$

बायेसियन व्याख्या (Bayesian Interpretation)
लेखक DSL को 'इम्प्लिसिट बायेसियन इन्फरेंस' के लेंस से देखते हैं। वे तर्क देते हैं कि SLM एक लेटेंट कॉन्सेप्ट्स (latent concepts) पर एक इम्प्लिसिट बायेसियन प्रेडिक्टर के रूप में कार्य करता है। प्रोजेक्टेड नेक्स्ट-टोकन डिस्ट्रीब्यूशन $y_{DSL}$ , थीम-प्रासंगिक शब्दावली पर एक इम्प्लिसिट पोस्टीरियर प्रेडिक्टिव डिस्ट्रीब्यूशन का प्रतिनिधित्व करता है। DSL ढांचा प्रभावी रूप से इस अनस्ट्रक्चर्ड, इम्प्लिसिट सिग्नल को एक स्पष्ट, स्ट्रक्चर्ड संभावabilistic टॉपिक मॉडल में डिस्टिल करता है, जिससे व्याख्या योग्य (interpretable) डॉक्यूमेंट-टॉपिक और टॉपिक-वर्ड वितरण प्राप्त होते हैं।

प्रमुख योगदान

नवीन प्रशिक्षण प्रतिमान: एक प्रशिक्षण उद्देश्य का परिचय जो न्यूरल टॉपिक मॉडल्स के रिकंस्ट्रक्शन टारगेट के रूप में SLMs से प्राप्त सिमेंटिक रूप से ग्राउंडेड सॉफ्ट लेबल डिस्ट्रीबशंस का उपयोग करता है।
प्रदर्शन में सुधार: व्यापक प्रयोगों से पता चलता है कि DSL, तीन डेटासेट्स (20NewsGroup, StackOverflow, TweetTopic) में टॉपिक कोहेरेंस (coherence), विविधता और असाइनमेंट सटीकता में मौजूदा बेसलाइन्स (LDA, ProdLDA, BERTopic, ECRTM, और FASTopic सहित) की तुलना में पर्याप्त सुधार करता है।
रिट्रीवल-आधारित मूल्यांकन: लेखक टॉपिक डिस्ट्रीबशंस की सिमेंटिक रूप से समान दस्तावेज़ों को खोजने की उपयोगिता का मूल्यांकन करने के लिए एक रिट्रीवल-आधारित मेट्रिक पेश करते हैं। परिणाम संकेत देते हैं कि DSL रिट्रीवल प्रिसिजन (precision) में बेसलाइन्स से काफी बेहतर प्रदर्शन करता है, विशेष रूप से लघु-टेक्स्ट डेटासेट्स के लिए जहाँ डेटा विरलता एक बड़ी चुनौती है।

प्रायोगिक परिणाम

टॉपिक क्वालिटी: विभिन्न बैकबोन आर्किटेक्चर (ProdLDA, ECRTM, FASTopic) और SLM टीचर्स (Llama, Phi, Qwen, ERNIE) के माध्यम से, DSL लगातार बेसलाइन्स से बेहतर प्रदर्शन करता है। उदाहरण के लिए, StackOverflow डेटासेट पर, जब ProdLDA को DSL के साथ बढ़ाया गया, तो इसकी प्योरिटी (Purity) स्कोर 0.265 से बढ़कर 0.803 हो गई।
मजबूती (Robustness): यह विधि विशिष्ट SLM टीचर के बावजूद प्रभावी रहती है, बशर्ते कि SLM निर्देशों का सही ढंग से पालन करे।
रिट्रीवल प्रदर्शन: रिट्रीवल कार्यों में, DSL-आधारित मॉडल बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करते हैं। StackOverflow पर, सर्वश्रेष्ठ DSL वेरिएंट ने 5 पर बेसलाइन प्रिसिजन (P@5) को लगभग तीन गुना कर दिया, जो 0.306 से बढ़कर 0.867 हो गया।
एब्लेशन स्टडीज (Ablation Studies): लेखक पुष्टि करते हैं कि प्रदर्शन का प्राथमिक चालक सिमेंटिक रूप से ग्राउंडेड सॉफ्ट टारगेट है; KL लॉस को मानक NLL से बदलने या BoW टारगेट्स पर वापस जाने से प्रदर्शन में महत्वपूर्ण गिरावट आती है। SLM हिडन स्टेट्स का उपयोग करना विशेष रूप से सॉफ्ट टारगेट्स के पुनर्निर्माण के लिए फायदेमंद पाया गया है, न कि मानक BoW पुनर्निर्माण के लिए।

महत्व और दावे
पेपर का दावा है कि DSL, पूर्ण LLM इन्फरेंस पाइपलाइनों के कम्प्यूटेशनल ओवरहेड या स्पार्स BoW रिप्रेजेंटेशन की सीमाओं के बिना, न्यूरल टॉपिक मॉडलिंग को बढ़ाने के लिए एक सरल, कुशल और प्रभावी प्रतिमान प्रदान करता है। एक SLM के "थीमैटिक पोस्टीरियर प्रेडिक्टिव सिग्नल" को संभावabilistic टॉपिक मॉडल में डिस्टिल करके, यह दृष्टिकोण पारंपरिक टॉपिक मॉडल्स की व्याख्यात्मकता और अनिश्चितता-जागरूकता को बनाए रखता है, जबकि उनके अंतर्निहित विषयगत संरचनाओं को पकड़ने की क्षमता में उल्लेखनीय सुधार करता है। लेखक इस कार्य को रिट्रीवल-ओरिएंटेड अनुप्रयोगों के लिए SLMs का बेहतर लाभ उठाने की दिशा में एक कदम के रूप में देखते हैं, यह नोट करते हुए कि परिणामी लो-डायमेंशनल टॉपिक रिप्रेजेंटेशन, हाई-डायमेंशनल डेंस एम्बेडिंग्स की तुलना में कम्प्यूटेशनल और स्टोरेज लाभ प्रदान करते हैं।

लेखक भविष्य की दिशाओं के संबंध में विनम्र बने हुए हैं, यह सुझाव देते हुए कि भविष्य के कार्य विभिन्न प्रॉम्प्टिंग रणनीतियों (जैसे, फ्यू-शॉट लर्निंग, चेन-ऑफ-थॉट) और मल्टी-मोडल अनुप्रयोगों की खोज कर सकते हैं, लेकिन वे यह दावा नहीं करते हैं कि यह विधि टॉपिक मॉडलिंग की सभी चुनौतियों को हल करती है या सभी डाउनस्ट्रीम कार्यों के लिए एक निश्चित समाधान है। वे डिस्टिल्ड लैंग्वेज मॉडल्स से विरासत में मिले संभावित पूर्वाग्रह (bias) से संबंधित सामाजिक जोखिमों को भी स्वीकार करते हैं।