💬 NLP

LUMI: Unsupervised Intent Clustering with Multiple Pseudo-Labels

यह शोध पत्र LUMI का प्रस्ताव करता है, जो संवादात्मक खोज (conversational search) में अनसुपरवाइज्ड इंटेंट क्लस्टरिंग के लिए एक ट्रेनिंग-फ्री और लेबल-फ्री विधि है, जो कई साझा स्यूडो-लेबल्स (pseudo-labels) का लाभ उठाकर टेक्स्ट के बीच समानता के निरंतर स्तरों को पकड़ने के माध्यम से मौजूदा दृष्टिकोणों में सुधार करता है, जिससे क्लस्टर संख्या के अनुमान की आवश्यकता के बिना अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: I-Fan Lin, Faegheh Hasibi, Suzan Verberne

प्रकाशित 2026-02-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: I-Fan Lin, Faegheh Hasibi, Suzan Verberne

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय में कदम रखते हैं जहाँ हजारों लोगों ने एक मेज पर छोटी-छोटी जिज्ञासाएं या अनुरोध लिखे हुए स्टिकी नोट्स छोड़ दिए हैं। कुछ कहते हैं, "मैं एक किताब खरीदना चाहता हूँ," कुछ कहते हैं, "मैं उपन्यास कैसे वापस करूँ?" और कुछ कहते हैं, "क्या मुझे फटी हुई प्रति के लिए रिफंड मिल सकता है?"

आपका काम इन स्टिकी नोट्स को इस आधार पर ढेर (piles) में छाँटना है कि व्यक्ति का वास्तव में इरादा क्या है। इसे इंटेंट क्लस्टरिंग (Intent Clustering) कहा जाता है।

समस्या क्या है? आपके पास लाइब्रेरियन की गाइड (लेबल) नहीं है, और आप लोगों से यह नहीं पूछ सकते कि उनका मतलब क्या था। आपके पास केवल नोट्स हैं।

पुराना तरीका: "एक-लेबल" वाला अनुमान

पिछले तरीकों ने एक बहुत ही स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल, या LLM) से प्रत्येक नोट को देखने और उसे एक लेबल देने के लिए कहने की कोशिश की।

दोष: यदि AI किसी नोट के लिए "किताब वापसी" का अनुमान लगाता है जो वास्तव में "क्षतिग्रस्त पुस्तक रिफंड" के बारे में है, तो पूरा सिस्टम भ्रमित हो जाता है। यह लाल और नारंगी गेंदों के मिश्रित बैग को केवल "लाल" कहकर छाँटने की कोशिश करने जैसा है। यदि आप एक गेंद को केवल एक रंग का होने के लिए मजबूर करते हैं, तो आप उसकी बारीकियों को खो देते हैं। साथ ही, यदि AI उस एकल अनुमान में गलती करता है, तो पूरा ढेर अस्त-व्यस्त हो जाता है।

नया तरीका: LUMI (एक "ग्रुप चैट" दृष्टिकोण)

लेखक LUMI नामक एक नई विधि प्रस्तावित करते हैं। प्रत्येक नोट के लिए केवल एक लेबल मांगने के बजाय, LUMI AI से कई संभावित लेबल उत्पन्न करने के लिए कहता है, जैसे कि एक ग्रुप चैट में विचार-मंथन (brainstorming) चल रहा हो।

LUMI कैसे काम करता है, यहाँ सरल उपमाओं (analogies) का उपयोग किया गया है:

1. "विचार-मंथन" चरण (Multiple Pseudo-Labels)

"यह नोट किस बारे में है?" पूछने के बजाय, LUMI पूछता है, "हम इस नोट का वर्णन करने के 5 अलग-अलग तरीके क्या हो सकते हैं?"

उपमा: कल्पना कीजिए कि आपके पास एक कुत्ते की फोटो है। केवल "कुत्ता" कहने के बजाय, AI सुझाव देता है: "पालतू," "जानवर," "रोएंदार दोस्त," "कैनिन (Canine)," और "वफादार साथी।"
यह क्यों मदद करता है: भले ही एक सुझाव थोड़ा गलत हो, अन्य सही हो सकते हैं। उन सभी को बनाए रखकर, आप पूरी तस्वीर को कैप्चर करते हैं।

2. "औसत" चरण (Label-Level Pooling)

LUMI उन 5 सुझावों को लेता है और उन्हें मिलाकर एक "सुपर-सुझाव" बनाता है।

उपमा: उन 5 सुझावों को 5 अलग-अलग मौसम पूर्वानुमानकर्ताओं (weather forecasters) के रूप में सोचें। एक कहता है "बारिश," दूसरा "बूंदाबांदी," तीसरा "बादल छाए रहना," चौथा "गीला," और पांचवा "तूफान।" केवल एक को चुनने के बजाय, LUMI उन सभी के विचारों का औसत (average) लेता है।
जादू: यादृच्छिक गलतियाँ (शोर/noise) एक-दूसरे को रद्द कर देती हैं। यदि एक पूर्वानुमानकर्ता गलत है, तो अन्य उसे सत्य की ओर वापस खींच लेते हैं। यह नोट का एक अधिक स्थिर और सटीक विवरण बनाता है।

3. "समानता" चरण (Text-Level Pooling)

अब, जब हर नोट के साथ एक "सुपर-सुझाव" जुड़ा हुआ है, LUMI उन नोट्स को ढूंढता है जो समान सुझाव साझा करते हैं।

उपमा: कल्पना कीजिए कि आप एक पार्टी में हैं। आप केवल यह नहीं देखते कि कौन ठीक वही शर्ट पहने हुए है (हाँ/ना का निर्णय)। इसके बजाय, आप उन लोगों को देखते हैं जिनके कुछ हित (interests) समान हैं। यदि नोट A और नोट B दोनों की विचार-मंथन सूची में "रिफंड" और "पैसा" है, तो वे 80% समान हैं। यदि उनमें केवल "पैसा" है, तो वे 40% समान हैं।
क्रिया: LUMI धीरे से समान नोट्स को एक-दूसरे के करीब लाता है, लेकिन खिंचाव की शक्ति इस बात पर निर्भर करती है कि वे कितने लेबल साझा करते हैं। यह एक "सॉफ्ट" समूहीकरण है, न कि एक कठोर "सब कुछ या कुछ नहीं" वाला स्विच।

यह एक बड़ी बात क्यों है?

कोई जादुई संख्या की आवश्यकता नहीं: अधिकांश पुराने तरीकों के लिए आपको कंप्यूटर को बताना पड़ता था कि, "वहाँ ठीक 50 ढेर हैं।" LUMI को इसकी आवश्यकता नहीं है। यह ढेरों को स्वाभाविक रूप से समझ लेता है, जैसे पक्षियों का झुंड बिना किसी नेता द्वारा गिनती किए एक साथ उड़ना जानता है।
कोई प्रशिक्षण आवश्यक नहीं: आपको AI को हजारों उदाहरणों के साथ सिखाने की आवश्यकता नहीं है। यह बस अपने मौजूदा ज्ञान का उपयोग करके ये कई लेबल बनाता है।
स्थिरता: क्योंकि यह AI की गलतियों का औसत निकालता है, इसलिए यह तब क्रैश नहीं होता जब AI का "बुरा दिन" होता है और वह एक लेबल का गलत अनुमान लगा देता है।

परिणाम

शोधकर्ताओं ने LUMI का परीक्षण चार अलग-अलग डेटासेट्स (जैसे बैंकिंग प्रश्न, ग्राहक सेवा चैट आदि) पर किया। उन्होंने पाया कि LUMI ने पिछले "स्टेट-ऑफ-द-आर्ट" तरीकों की तुलना में बेहतर ढंग से नोट्स को छाँटा, यहाँ तक कि छोटे और सस्ते AI मॉडल का उपयोग करते हुए भी।

संक्षेप में: LUMI एक जटिल समस्या पर एक एकल, पूर्ण उत्तर थोपने की कोशिश करना बंद कर देता है। इसके बजाय, यह विचारों के समूह को इकट्ठा करता है, शोर को औसत करता है, और चीजों को इस आधार पर समूहित करता है कि उनमें कितनी समानता है। यह मानवीय बातचीत की अराजकता को व्यवस्थित करने का एक स्मार्ट और अधिक लचीला तरीका है।

यहाँ शोध पत्र "LUMI: Unsupervised Intent Clustering with Multiple Pseudo-Labels" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र संवादात्मक खोज प्रणालियों (conversational search systems) में अनसुपरवाइज्ड इंटेंट क्लस्टरिंग (unsupervised intent clustering) की चुनौती को संबोधित करता है। इसका लक्ष्य बिना किसी ग्राउंड-ट्रुथ लेबल या पूर्व-निर्धारित क्लस्टर्स की संख्या ( $K$ ) के, बिना लेबल वाले यूजर उत्तरोत्तर (utterances) को समान इरादों (intents) के समूहों में वर्गीकृत करना है।

वर्तमान दृष्टिकोणों की सीमाएँ:
मौजूदा विधियाँ अक्सर छद्म-लेबल (pseudo-labels) उत्पन्न करने या समान टेक्स्ट युग्मों की पहचान करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) पर निर्भर करती हैं। वे दो मुख्य समस्याओं से ग्रस्त हैं:

सिंगल-लेबल अस्थिरता (Single-Label Instability): वर्तमान दृष्टिकोण प्रत्येक टेक्स्ट के लिए केवल एक ही छद्म-लेबल आवंटित करते हैं। एक एकल, संभावित रूप से शोर युक्त (noisy) लेबल की ओर टेक्स्ट रिप्रेजेंटेशन को परिष्कृत करना अस्थिर हो सकता है।
बाइनरी समानता (Binary Similarity): टेक्स्ट समानता को अक्सर एक बाइनरी निर्णय (समान या समान नहीं) के रूप में माना जाता है, जो निरंतरता (continuous degrees) के स्तरों को समझने में विफल रहता है।
$K$ पर निर्भरता (Dependency on $K$ ): कई स्टेट-ऑफ-द-आर्ट (SOTA) विधियों को एम्बेडिंग रिफाइनमेंट चरण के दौरान क्लस्टर्स की संख्या ( $K$ ) जानने की आवश्यकता होती है, जो वास्तविक दुनिया के परिदृश्यों में अव्यावहारिक है जहाँ $K$ अज्ञात होता है।

2. कार्यप्रणाली: LUMI (Methodology: LUMI)

LUMI (Multiple Pseudo-Labels के साथ Unsupervised Intent Clustering) एक ट्रेनिंग-फ्री और लेबल-फ्री विधि है जो बहु-छद्म-लेबलों (multiple pseudo-labels) का लाभ उठाकर टेक्स्ट रिप्रेजेंटेशन को बेहतर बनाती है। यह विधि तीन मुख्य चरणों में कार्य करती है:

A. छद्म-लेबल पीढ़ी (Pseudo-Label Generation)

प्रारंभिक लेबलिंग: प्रत्येक टेक्स्ट $x_i$ के लिए, एक LLM को एक एकल प्रारंभिक छद्म-लेबल उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है। सिमेंटिक प्रासंगिकता सुनिश्चित करने के लिए, LLM को एक प्री-ट्रेन्ड एम्बेडर के आधार पर $x_i$ के शीर्ष- $b$ (जैसे, $b=10$ ) निकटतम पड़ोसियों (nearest neighbors) के साथ प्रॉम्प्ट दिया जाता है।
मल्टी-लेबल वर्गीकरण: इसके बाद LLM को मल्टी-लेबल वर्गीकरण करने के लिए प्रॉम्प्ट किया जाता है। इसे टेक्स्ट और उसके शीर्ष- $b$ पड़ोसी (प्रत्येक के साथ एक अलग प्रारंभिक छद्म-लेबल) दिए जाते हैं और इसे टेक्स्ट के लिए प्रासंगिक छद्म-लेबलों का एक सेट ( $O_i$ ) चुनने के लिए कहा जाता है।
अंतिम लेबल सेट: टेक्स्ट $x_i$ के लिए अंतिम छद्म-लेबल सेट $L_i$ , प्रारंभिक लेबल और मल्टी-लेबल चरण से चयनित लेबलों का संयोजन है।

B. लेबल-स्तरीय पूलिंग (Label-Level Pooling)

प्रत्येक टेक्स्ट के लिए एक स्थिर रिप्रेजेंटेशन बनाने के लिए:

औसत निकालना (Averaging): सेट $L_i$ $L_{i}$ के सभी छद्म-लेबलों के एम्बेडिंग्स का औसत निकालकर एक एकल "औसत छद्म-लेबल एम्बेडिंग" ( $\bar{z}$ $\overset{z}{ˉ}$ ) बनाया जाता है।
- सैद्धांतिक औचित्य (Theoretical Justification): लेखक सिद्ध करते हैं कि कई छद्म-लेबलों का औसत लेने से एकल लेबल की तुलना में लेबल जनरेशन प्रक्रिया की भिन्नता (variance/noise) कम हो जाती है, जिससे रिप्रेजेंटेशन वास्तविक क्लस्टर सेंट्रॉइड के करीब आ जाता है।
टेक्स्ट-लेबल फ्यूजन (Text-Label Fusion): अंतिम परिष्कृत एम्बेडिंग ( $z'$ ) मूल टेक्स्ट एम्बेडिंग और औसत छद्म-लेबल एम्बेडिंग का औसत लेकर कंप्यूट की जाती है:
$z' = \frac{f(x) + \bar{z}}{2}$

C. टेक्स्ट-स्तरीय पूलिंग (Text-Level Pooling)

निरंतर समानता के आधार पर रिप्रेजेंटेशन को और अधिक परिष्कृत करने के लिए:

समानता वेटिंग (Similarity Weighting): बाइनरी चयन के बजाय, LUMI दो टेक्स्ट्स ( $L_i$ और $L_j$ ) के छद्म-लेबल सेट्स के बीच जैकर्ड समानता (Jaccard similarity) का उपयोग करके उनके समानता भार ( $w_{ij}$ ) को निर्धारित करता है:
$w_{ij} = \frac{|L_i \cap L_j|}{|L_i \cup L_j|}$
वेटेड एग्रीगेशन (Weighted Aggregation): एक टेक्स्ट के लिए अंतिम परिष्कृत एम्बेडिंग ( $\tilde{z}'$ ), उसके अपने एम्बेडिंग और समान टेक्स्ट्स के एम्बेडिंग्स का एक वेटेड एवरेज है, जिसे उनके साझा लेबल विस्तार द्वारा भारित (weighted) किया जाता है।
$\tilde{z}'_i = \frac{\sum_{x_j \in D} w_{ij} z'_j}{\sum_{x_j \in D} w_{ij}}$

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक औचित्य: शोध पत्र एक गणितीय प्रमाण प्रदान करता है जो दर्शाता है कि कई छद्म-लेबलों का औसत लेने से शोर और भिन्नता कम होती है, जो सैद्धांतिक रूप से एकल-लेबल दृष्टिकोण की तुलना में क्लस्टर सेंट्रॉइड के करीब रिप्रेजेंटेशन की गारंटी देता है।
नवल हाइब्रिड दृष्टिकोण: LUMI "LLM-as-a-matcher" (समान उम्मीदवारों का चयन करना) और "LLM-as-a-labeler" (लेबल उत्पन्न करना) के बीच के अंतर को दोनों उद्देश्यों—रिप्रेजेंटेशन एनरिचमेंट और समानता वेटिंग—के लिए कई छद्म-लेबलों का उपयोग करके पाटता है।
ट्रेनिंग-फ्री और $K$ -फ्री: इस विधि के लिए न तो किसी लेबल वाले ट्रेनिंग डेटा की आवश्यकता है और न ही एम्बेडिंग रिफाइनमेंट चरण के दौरान क्लस्टर्स की संख्या ( $K$ ) को जानने की आवश्यकता है, जो इसे वास्तविक दुनिया में तैनाती के लिए अत्यधिक व्यावहारिक बनाता है।
मजबूती (Robustness): यह दृष्टिकोण विभिन्न LLMs (Gemma, Llama) और एम्बेडर्स (MiniLM, Instructor) पर स्थिर दिखाया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार बेंचमार्क डेटासेट्स: Bank77, CLINC150, Mtop, और Massive पर LUMI का मूल्यांकन किया।

प्रदर्शन: LUMI ने अधिकांश डेटासेट्स और कॉन्फ़िगरेशन में SOTA बेसलाइन्स (IDAS, SPILL, ClusterLLM, और LLMEdgeRefine सहित) को लगातार पछाड़ दिया।
- इसने उच्च नॉर्मलाइज्ड म्यूचुअल इंफॉर्मेशन (NMI) और क्लस्टरिंग एक्यूरेसी (Acc) स्कोर प्राप्त किए।
- इसने GPT-3.5 आधारित विधियों की तुलना में औसतन 10–13 प्रतिशत अंक और GPT-4 आधारित विधियों की तुलना में 0–3 अंक अधिक सुधार किया, जबकि छोटे, ओपन-सोर्स LLMs (Gemma/Llama) का उपयोग किया गया।
एब्लेशन स्टडीज (Ablation Studies):
- लेबल-स्तरीय पूलिंग जोड़ने से प्री-ट्रेन्ड एम्बेडिंग्स की तुलना में प्रदर्शन में महत्वपूर्ण सुधार हुआ।
- टेक्स्ट-स्तरीय पूलिंग (जैकर्ड वेट्स का उपयोग करके) जोड़ने से चार में से तीन डेटासेट्स पर और लाभ प्राप्त हुआ।
मजबूती (Robustness): विधि ने कैंडिडेट काउंट पैरामीटर ( $b$ ) के प्रति कम संवेदनशीलता दिखाई, जिससे विविधताओं के बावजूद स्थिर प्रदर्शन बना रहा।
त्रुटि विश्लेषण (Error Analysis): एकमात्र डेटासेट जहाँ LUMI पूरी तरह से हावी नहीं रहा, वह था Bank77। लेखक इसका कारण बैंकिंग इंटेंट्स की सूक्ष्म प्रकृति (जैसे, "pending top-up" और "automatic top-up" के बीच अंतर करना) को बताते हैं, जहाँ LLM-जेनरेटेड छद्म-लेबल कभी-कभी बहुत व्यापक (noisy) थे, जो कई अलग-अलग ग्राउंड-ट्रुथ इंटेंट्स को कवर कर रहे थे।

5. महत्व (Significance)

LUMI संक्षिप्त-टेक्स्ट क्लस्टरिंग (short-text clustering) में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है:

ग्राउंड-ट्रुथ $K$ की आवश्यकता को समाप्त करना: यह डायनेमिक कन्वर्सेशनल एजेंट्स के लिए क्लस्टरिंग सिस्टम को तैनात करने में एक बड़ी बाधा को दूर करता है।
विशाल मॉडल्स पर निर्भरता कम करना: यह छोटे, ओपन-सोर्स LLMs का उपयोग करके SOTA प्रदर्शन प्राप्त करता है, जिससे यह अधिक लागत प्रभावी और सुलभ बनता है।
स्थिरता में सुधार: कई छद्म-लेबलों और निरंतर समानता वेटिंग का लाभ उठाकर, यह सिंगल-शॉट LLM लेबलिंग में निहित शोर को कम करता है, जिससे इंटेंट डिस्कवरी के लिए अधिक मजबूत आधार मिलता है।

सोर्स कोड सार्वजनिक रूप से उपलब्ध है, जो पुनरुत्पादकता (reproducibility) और आगे के अनुसंधान को सुगम बनाता है।