💬 NLP

LLM-Augmented Semantic Steering of Text Embedding Projection Spaces

यह शोध पत्र LLM-संवर्धित सिमेंटिक स्टीयरिंग (LLM-augmented semantic steering) प्रस्तुत करता है, जो एक ऐसी विधि है जो विश्लेषकों को उदाहरण दस्तावेजों को समूहित करके और संबंधित ग्रंथों तक सिमेंटिक इरादे (semantic intent) का विस्तार करने के लिए एक लार्ज लैंग्वेज मॉडल का लाभ उठाकर निम्न-आयामी टेक्स्ट एम्बेडिंग प्रोजेक्शन को नया आकार देने की अनुमति देता है, जिससे अंतर्निहित मॉडलों को पुन: प्रशिक्षित किए बिना व्याख्या योग्य, इरादा-निर्भर वर्कस्पेस का निर्माण होता है।

मूल लेखक: Wei Liu, Eric Krokos, Kirsten Whitley, Rebecca Faust, Chris North

प्रकाशित 2026-05-06

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wei Liu, Eric Krokos, Kirsten Whitley, Rebecca Faust, Chris North

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय है (या इस मामले में, हजारों डिजिटल दस्तावेज़)। इन्हें समझने के लिए, आप एक विशेष मानचित्र का उपयोग करते हैं जो इस विशाल पुस्तकालय को एक एकल, सपाट कमरे में सिकोड़ देता है। इस मानचित्र पर, समान किताबें एक साथ करीब होती हैं, और अलग किताबें दूर होती हैं।

आमतौर पर, यह मानचित्र एक कंप्यूटर एल्गोरिदम द्वारा बनाया जाता है जो शब्दों के आधार पर तय करता है कि "समानता" क्या है। लेकिन यहाँ एक समस्या है: कंप्यूटर की समानता की समझ, आपकी (एक मानव विश्लेषक की) खोज से मेल नहीं खा सकती है।

उदाहरण के लिए, कंप्यूटर "रनिंग शूज" (दौड़ने के जूते) के बारे में एक किताब को "मैराथन" के बारे में एक किताब के पास रख सकता है क्योंकि दोनों में गति (speed) की बात होती है। लेकिन यदि आप एक जूता डिजाइनर हैं, तो आप चाहते होंगे कि सभी "रनिंग शूज" एक साथ समूह में हों, चाहे वे मैराथन का उल्लेख करें या न करें। या, आप चाहते होंगे कि सभी "गुस्से भरी समीक्षाएं" (angry reviews) एक साथ समूह में हों, भले ही वे पूरी तरह से अलग उत्पादों के बारे में हों।

यह शोध पत्र इस मानचित्र को ठीक करने का एक नया तरीका पेश करता है, बिना पूरे पुस्तकालय को फिर से बनाए या एक नया लाइब्रेरियन नियुक्त किए। वे इसे "LLM-Augmented Semantic Steering" कहते हैं।

यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करके यहाँ दिया गया है:

1. समस्या: मानचित्र आपके लक्ष्य से मेल नहीं खाता

मान लीजिए कि मानक मानचित्र एक सामान्य जीपीएस (GPS) की तरह है। यह आपको सड़कें दिखाता है, लेकिन इसे यह नहीं पता कि आप "सुंदर रास्ते" देखना चाहते हैं या "सबसे तेज़ रास्ते"। यदि आप सुंदर रास्ते देखना चाहते हैं, तो जीपीएस केवल मानक सड़कें दिखाता है, और आपको उन्हें अपने दिमाग में मानसिक रूप से पुनर्व्यवस्थित करना पड़ता है। लेखक कहते हैं, "आइए हम उपयोगकर्ता को वास्तव में कमरे में फर्नीचर को उस तरह से हिलाने दें जैसा वे देखना चाहते हैं।"

2. समाधान: "जादुई नोट" प्रणाली

कंप्यूटर को सब कुछ फिर से सिखाने के बजाय (जो धीमा और महंगा है), लेखक एक लार्ज लैंग्वेज मॉडल (LLM) का उपयोग करते हैं—जो एक बहुत ही बुद्धिमान AI है जो मानवीय भाषा को समझता है—एक अनुवादक के रूप में।

यहाँ चरण-दर-चरण प्रक्रिया दी गई है:

चरण 1: आप इशारा करते हैं और समूह बनाते हैं ("दिखाओ मुझे" चरण)
आप मानचित्र को देखते हैं और कुछ दस्तावेजों को एक छोटा समूह बनाने के लिए बस एक साथ खींचते हैं। आपको उन्हें लेबल करने या लंबे विवरण लिखने की आवश्यकता नहीं है। आप बस कहते हैं, "ये तीन दस्तावेज़ मेरे दिमाग में एक साथ हैं।"
- उपमा: कल्पना कीजिए कि आप कपड़ों के एक बिखरे हुए ढेर को देख रहे हैं। आप एक लाल शर्ट और एक लाल स्कार्फ उठाते हैं और उन्हें एक ढेर में रखते हैं। आपने उन्हें "लाल" लेबल नहीं किया है, आपने बस ढेर दिखाया है।
चरण 2: AI आपके इरादे का अनुवाद करता है ("आपका क्या मतलब था?" चरण)
AI आपके द्वारा बनाए गए छोटे समूह को देखता है और यह समझाने के लिए एक "जादुई नोट" लिखता है कि वे एक साथ क्यों हैं।
- उपमा: AI आपके लाल शर्ट और स्कार्फ के ढेर को देखता है और एक स्टिकी नोट लिखता है जिसमें लिखा होता है: "ये आइटम इसलिए समूह में हैं क्योंकि ये लाल हैं और कपड़े (fabric) के बने हैं।" वह ऐसा हर समूह के लिए करता है जो आप बनाते हैं।
- महत्वपूर्ण रूप से, AI समूह के प्रत्येक व्यक्तिगत आइटम के लिए भी एक नोट लिखता है, यह समझाते हुए कि वह विशिष्ट आइटम उस थीम में कैसे फिट बैठता है।
चरण 3: AI शब्द फैलाता है ("चयनात्मक विस्तार" चरण)
अब, AI बाकी पुस्तकालय को देखता है। वह पूछता है, "क्या यह अन्य दस्तावेज़ भी 'लाल और कपड़े' की थीम में फिट बैठता है?"
- यदि उत्तर स्पष्ट "हाँ" है, तो AI उस दस्तावेज़ के साथ एक समान "जादुई नोट" जोड़ देता है।
- यदि उत्तर "शायद" या "नहीं" है, तो वह दस्तावेज़ को अकेला छोड़ देता है।
- उपमा: AI कमरे में मौजूद हर एक चीज़ को लाल बनाने के लिए मजबूर नहीं करता है। वह केवल अन्य लाल वस्तुओं को टैग करता है जो उसे मिलती हैं। वह उन वस्तुओं पर अनुमान लगाने से बचता है जो संदिग्ध (ambiguous) हैं।
चरण 4: मानचित्र पुनर्गठित होता है ("स्टीयरिंग" चरण)
कंप्यूटर इन नए "जादुई नोट्स" को लेता है और उन्हें मूल दस्तावेजों के साथ मिला देता है। इसके बाद, वह मानचित्र को फिर से बनाता है।
- उपमा: क्योंकि अब दस्तावेजों के पास ये नए "लाल" टैग हैं, मानचित्र स्वतः ही बदल जाता है। लाल वस्तुएं एक-दूसरे के करीब आती हैं, और गैर-लाल वस्तुएं दूर चली जाती हैं। कमरा आपके इरादे के अनुसार "स्टीयर (steer)" हो गया है।

3. यह क्यों विशेष है

यह शोध पत्र इस दृष्टिकोण के तीन मुख्य लाभों पर प्रकाश डालता है:

पुनर्निर्माण की आवश्यकता नहीं: आपको एक नया कंप्यूटर मॉडल प्रशिक्षित करने या उसके अंतर्निहित गणित को बदलने की आवश्यकता नहीं है। यह फर्श के लिए नया कंक्रीट डालने के बजाय एक कमरे में फर्नीचर को पुनर्व्यवस्थित करने जैसा है।
यह पारदर्शी है: क्योंकि AI अपने तर्क को सरल अंग्रेजी (या भाषा) में लिखता है (वे "जादुई नोट्स"), आप इसे पढ़ सकते हैं और कह सकते हैं, "ओह, मैं समझ गया कि इसने इन्हें क्यों समूह में रखा," या "रुको, वह नोट गलत है, मुझे इसे ठीक करने दो।" आप एक "ब्लैक बॉक्स" के साथ नहीं जूझ रहे हैं जहाँ आप नहीं जानते कि चीजें क्यों बदलीं।
यह लचीला है: आप दस्तावेज़ों के एक ही पुस्तकालय को अलग-अलग दृष्टिकोणों से देख सकते हैं।
- शोध पत्र से उदाहरण: यदि आप दस्तावेजों को उत्पाद प्रकार (जैसे, "इलेक्ट्रॉनिक्स" बनाम "कपड़े") के आधार पर समूहबद्ध करते हैं, तो मानचित्र उन श्रेणियों को स्पष्ट रूप से दिखाने के लिए पुनर्गठित होता है। यदि आप समूहों को हटा देते हैं और इसके बजाय भावना (Sentiment) (जैसे, "खुश" बनाम "गुस्सा") के आधार पर समूह बनाते हैं, तो मानचित्र भावनाओं को स्पष्ट रूप से दिखाने के लिए फिर से पुनर्गठित होता है। समान डेटा, दो अलग-अलग मानचित्र, तुरंत निर्मित।

4. परीक्षणों ने क्या दिखाया

शोधकर्ताओं ने वास्तविक डेटा (जैसे उत्पाद समीक्षाएं और शैक्षणिक पेपर) के साथ परीक्षण किया। उन्होंने पाया:

कम काम: पूरे मानचित्र को सही ढंग से पुनर्गठित करने के लिए आपको केवल बहुत कम दस्तावेजों को समूहबद्ध करने की आवश्यकता होती है (लगभग 5 उदाहरण प्रति समूह)।
बेहतर सटीकता: नए मानचित्र मूल, बिना स्टीयर किए गए मानचित्रों की तुलना में उन "वास्तविक" श्रेणियों के साथ बहुत बेहतर ढंग से संरेखित (align) थे जिन्हें शोधकर्ता देख रहे थे।
नियंत्रण: उन्होंने एक "डायल" (जिसे $\alpha$ कहा जाता है) पाया जो आपको यह नियंत्रित करने की अनुमति देता है कि स्टीयरिंग कितनी मजबूत है। आप मानचित्र में एक छोटा सा बदलाव कर सकते हैं या एक बड़ा बदलाव, यह इस पर निर्भर करता है कि आप कितना बदलाव चाहते हैं।

सारांश

संक्षेप में, यह शोध पत्र एक तरीका प्रस्तावित करता है जिससे मनुष्य केवल कुछ उदाहरणों को समूहबद्ध करके कंप्यूटर द्वारा उत्पन्न मानचित्रों को "स्टीयर" कर सकते हैं। एक AI उन समूहों को भाषा में अनुवाद करता है, उस समझ को समान दस्तावेजों तक फैलाता है, और मानचित्र को तुरंत अपडेट करता है। यह एक स्थिर, कंप्यूटर-जनित दृश्य को एक लचीले कार्यक्षेत्र में बदल देता है जो विश्लेषक की विशिष्ट आवश्यकताओं के अनुसार झुकता है, और साथ ही इसकी तर्क प्रक्रिया को स्पष्ट और समझने योग्य रखता है।

तकनीकी सारांश: LLM-संवर्धित सिमेंटिक स्टीयरिंग ऑफ टेक्स्ट एम्बेडिंग प्रोजेक्शन स्पेसेस

समस्या विवरण
टेक्स्ट एम्बेडिंग के लो-डायमेंशनल प्रोजेक्शन विजुअल टेक्स्ट एनालिटिक्स के मानक उपकरण हैं, जो दस्तावेज़ संग्रहों के स्थानिक अवलोकन (spatial overviews) को सक्षम करते हैं। हालाँकि, ये प्रोजेक्शन अक्सर उन विशिष्ट सिमेंटिक संबंधों को प्रतिबिंबित करने में विफल रहते हैं जिनका विश्लेषण एक विश्लेषक करना चाहता है। दस्तावेज़ जो स्थानिक रूप से करीब दिखाई देते हैं, वे किसी विशेष कार्य के लिए वैचारिक रूप से असंबंधित हो सकते हैं, जबकि सिमेंटिक रूप से सुसंगत दस्तावेज़ बिखरे हुए हो सकते हैं। फलस्वरूप, विश्लेषकों को अक्सर मॉडल के आउटपुट के अनुसार अपनी तर्क प्रक्रिया को अनुकूलित करने के लिए मजबूर होना पड़ता है, बजाय इसके कि वे अपने विशिष्ट विश्लेषिक लक्ष्यों को दर्शाने के लिए प्रोजेक्शन को नया आकार दें।

सिमेंटिक इंटरैक्शन के मौजूदा दृष्टिकोण आमतौर पर ज्यामितीय बाधाओं (जैसे, बिंदुओं को खींचना, समूहीकरण) या मॉडल मापदंडों को अपडेट करके अप्रत्यक्ष रूप से इरादे (intent) को एनकोड करते हैं। इन विधियों की महत्वपूर्ण सीमाएँ हैं: उन्हें अक्सर कम्प्यूटेशनल रूप से महंगे रिट्रेनिंग या एम्बेडिंग मॉडल्स के संशोधन की आवश्यकता होती है, वे कठिन व्याख्या योग्य होते हैं (विशेष रूप से ब्लैक-बॉक्स एम्बेडिंग्स के मामले में), और वे पूर्वनिर्धारित स्कीमा या संपूर्ण डेटासेट-व्यापी एनोटेशन पर निर्भर करते हैं। एक ऐसे तंत्र की आवश्यकता है जो विश्लेषकों को उनके मूल एम्बेडिंग या डाइमेंशनलिटी रिडक्शन (DR) मॉडल को बदले बिना, एक व्याख्या योग्य रूप में सीधे सिमेंटिक इरादे को व्यक्त करने की अनुमति दे सके।

कार्यप्रणाली: LLM-संवर्धित सिमेंटिक स्टीयरिंग
लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो प्रोजेक्शन स्पेस को "इरादा-निर्भर सिमेंटिक वर्कस्पेस" (intent-dependent semantic workspaces) के रूप में मानता है। यह दृष्टिकोण चार चरणों से मिलकर बना है:

सिमेंटिक इरादे की अभिव्यक्ति (Expressing Semantic Intent): विश्लेषक संबंधित दस्तावेजों के एक छोटे समूह को ग्रुप करके प्रोजेक्शन के साथ इंटरैक्ट करते हैं। यह समूहीकरण (grouping) एक स्पष्ट अभिव्यक्ति के रूप में कार्य करता है (जैसे, साझा विषय, भावना, या कार्यात्मक भूमिका), जिसमें कोई निश्चित लेबल या वैश्विक श्रेणियां परिभाषित नहीं की जाती हैं।
LLM के माध्यम से इरादे का बाह्यीकरण (Externalizing Intent via LLM): एक लार्ज लैंग्वेज मॉडल (LLM) समूहीकृत उदाहरणों को संसाधित करता है ताकि निहित इरादे को संरचित प्राकृतिक भाषा प्रतिनिधित्व में बाहरीकृत किया जा सके:
- क्लस्टर-स्तरीय विवरण (Cluster-level descriptions): एक "क्लस्टर कार्ड" जो साझा अर्थ का सारांश देता है, जिसमें एक नाम, विवरण, और समावेशन/अपवर्जन (inclusion/exclusion) मानदंड शामिल हैं।
- दस्तावेज़-स्तरीय संवर्धन (Document-level augmentations): विशिष्ट औचित्य कि प्रत्येक समूहीकृत दस्तावेज़ उस इरादे का उदाहरण कैसे प्रस्तुत करता है, जिसमें अन्य समूहों के साथ विरोधाभास और कीवर्ड शामिल हैं।
चयनात्मक विस्तार (Selective Extension): यह ढांचा इस इरादे को दस्तावेज़ संग्रह के शेष भाग तक विस्तारित करता है। LLM गैर-इंटरैक्टेड दस्तावेज़ों की तुलना उत्पन्न क्लस्टर सिमेंटिक्स से करता है। यदि कोई दस्तावेज़ समूह के साथ पर्याप्त रूप से संरेखित होता है, तो उसे एक संगत दस्तावेज़-स्तरीय संवर्धन प्राप्त होता है। यदि साक्ष्य कमजोर या अस्पष्ट है, तो दस्तावेज़ अपरिवर्तित रहता है। यह पूर्ण असाइनमेंट के बजाय एक रूढ़िवादी, चयनात्मक विस्तार सुनिश्चित करता है।
प्रतिनिधित्व में समावेश (Incorporation into Representations): सिमेंटिक जानकारी को दस्तावेज़ों के प्रतिनिधित्व में एकीकृत किया जाता है ताकि एम्बेडिंग मॉडल को रिट्रेन किए बिना प्रोजेक्शन को अपडेट किया जा सके। दो समावेश रणनीतियों का उपयोग किया जाता है:
- टेक्स्ट-आधारित संवर्धन (Text-based augmentation): मूल दस्तावेज़ टेक्स्ट के साथ प्राकृतिक भाषा संवर्धन को जोड़ा या पहले लगाया जाता है।
- एम्बेडिंग-स्तरीय सम्मिश्रण (Embedding-level blending): मूल एम्बेडिंग ( $E_{base}$ ) को सिमेंटिक संवर्धन के एम्बेडिंग ( $E_{aug}$ ) के साथ एक भारित सूत्र का उपयोग करके मिश्रित किया जाता है: $E' = (1 - \alpha)E_{base} + \alpha E_{aug}$ । पैरामीटर $\alpha$ स्टीयरिंग की शक्ति को नियंत्रित करता है, जिससे प्रोजेक्शन लेआउट का निरंतर और नियंत्रणीय समायोजन संभव होता है।

प्रमुख योगदान

भाषा-मध्यस्थ इंटरैक्शन (Language-Mediated Interaction): टेक्स्ट एम्बेडिंग प्रोजेक्शन को स्टीयर करने का एक अभिनव दृष्टिकोण जहाँ सिमेंटिक इरादे को हल्के समूहीकरण के माध्यम से व्यक्त किया जाता है और LLMs के माध्यम से व्याख्या योग्य प्राकृतिक भाषा में बाहरीकृत किया जाता है, न कि ज्यामितीय बाधाओं के माध्यम से।
मॉडल-अज्ञेयवादी तंत्र (Model-Agnostic Mechanism): एक विधि जो प्रतिनिधित्व को बढ़ाकर या एम्बेडिंग को मिश्रित करके प्रोजेक्शन को अपडेट करती है, जिससे मूल एम्बेडिंग या DR मॉडल्स को रिट्रेन या संशोधित करने की आवश्यकता नहीं होती।
गुणात्मक केस स्टडी (Qualitative Case Study): एक प्रदर्शन जो दिखाता है कि कैसे एक ही कॉर्पस (Amazon उत्पाद समीक्षाएं) को विश्लेषक के इरादे के आधार पर विभिन्न सिमेंटिक परिप्रेक्ष्यों (जैसे, उत्पाद श्रेणी बनाम भावना) के तहत पुनर्गठित किया जा सकता है।
सिमुलेशन-आधारित मूल्यांकन (Simulation-Based Evaluation): IEEE VIS प्रोसीडिंग्स डेटा का उपयोग करके संरेखण (alignment), इंटरैक्शन दक्षता और विस्तार व्यवहार का एक व्यवस्थित मूल्यांकन।

परिणाम
नियंत्रित इंटरैक्शन साइज के साथ सिमुलेशन के माध्यम से किए गए मूल्यांकन से निम्नलिखित निष्कर्ष प्राप्त हुए:

बेहतर संरेखण (Improved Alignment): सिमेंटिक स्टीयरिंग ने अनस्टीयर्ड बेसलाइन की तुलना में वैश्विक संरेखण (स्केल्ड सिलुएट स्कोर द्वारा मापा गया) और स्थानीय संरेखण (पड़ोस निरंतरता) दोनों में महत्वपूर्ण सुधार किया। रैंडम टेक्स्ट ऑगमेंटेशन कंट्रोल्स ने प्रदर्शन को कम कर दिया, जिससे पुष्टि होती है कि लाभ सिमेंटिक सामग्री से आते हैं।
न्यूनतम इंटरैक्शन की आवश्यकता (Minimal Interaction Required): प्रभावी स्टीयरिंग उदाहरण दस्तावेजों की एक छोटी संख्या (प्रत्येक समूह के लिए लगभग पांच) के साथ प्राप्त की गई। इसके बाद संरेखण में सुधार स्थिर (plateaued) हो गया, जो दर्शाता है कि सिमेंटिक इरादे को पकड़ने के लिए न्यूनतम इंटरैक्शन पर्याप्त है।
चयनात्मक विस्तार (Selective Extension): सिस्टम ने सिमेंटिक साक्ष्य के आधार पर गैर-इंटरैक्टेड दस्तावेज़ों तक इरादे को सफलतापूर्वक विस्तारित किया। विस्तार सटीकता पांच उदाहरणों के बाद स्थिर हो गई, और सिस्टम ने अस्पष्ट दस्तावेज़ों को बिना किसी जबरदस्ती वर्गीकरण के रूढ़िवादी तरीके से अपरिवर्तित छोड़ दिया।
नियंत्रणीय स्टीयरिंग (Controllable Steering): एम्बेडिंग-स्तरीय सम्मिश्रण ने प्रोजेक्शन पर निरंतर नियंत्रण की अनुमति दी। ब्लेंडिंग वेट ( $\alpha$ ) को बढ़ाने से स्थानीय पड़ोस स्थिरता बनाए रखते हुए वैश्विक पृथक्करण में क्रमिक सुधार हुआ, जो बेसलाइन से इरादा-संरेखित लेआउट तक एक सहज संक्रमण को प्रदर्शित करता है।

महत्व और दावे
यह शोध पत्र प्रोजेक्शन स्पेस को एक "सत्य" सिमेंटिक संरचना के निश्चित सन्निकटन के रूप में नहीं, बल्कि विकसित होते विश्लेषिक लक्ष्यों को प्रतिबिंबित करने के लिए लचीले वर्कस्पेस के रूप में स्थापित करता है। प्राथमिक महत्व प्रत्यक्ष, व्याख्या योग्य प्राकृतिक भाषा के माध्यम से तर्क को व्यक्त करके सिमेंटिक इंटरैक्शन को अप्रत्यक्ष पैरामीटर हेरफेर से सीधे, व्याख्या योग्य अभिव्यक्ति की ओर स्थानांतरित करने में निहित है।

इरादे को निरीक्षण योग्य भाषा के रूप में बाहरीकृत करके, यह दृष्टिकोण विश्लेषक के विश्वास और नियंत्रण को बढ़ावा देता है, जिससे उपयोगकर्ता यह समझ पाते हैं कि प्रोजेक्शन क्यों बदल रहा है। यह पद्धति एक ही डेटासेट के लिए कई वैध स्थानिक संगठनों का समर्थन करती है, जो मॉडल रिट्रेनिंग की आवश्यकता के बिना अलग-अलग विश्लेषिक दृष्टिकोणों पर आधारित हो सकती है। लेखक दावा करते हैं कि यह इंटरैक्टिव विजुअल एनालिसिस सिस्टम में मानव सिमेंटिक रीजनिंग को रिप्रेजेंटेशन लर्निंग के साथ एकीकृत करने की दिशा में एक कदम है, जो इरादा-संचालित विश्लेषण के लिए एक व्यावहारिक, हल्का तंत्र प्रदान करता है।

1. समस्या: मानचित्र आपके लक्ष्य से मेल नहीं खाता

2. समाधान: "जादुई नोट" प्रणाली

3. यह क्यों विशेष है

4. परीक्षणों ने क्या दिखाया

सारांश

इसी तरह के और पेपर