💬 NLP

LLM2Vec-Gen: Generative Embeddings from Large Language Models

LLM2Vec-Gen एक नवीन स्व-पर्यवेक्षित (self-supervised) ढांचे को पेश करता है जो विशेष टोकन को एक LLM की संभावित प्रतिक्रियाओं का प्रतिनिधित्व करने के लिए प्रशिक्षित करके उच्च-गुणवत्ता वाले, व्याख्या योग्य टेक्स्ट एम्बेडिंग उत्पन्न करता है, जिससे बिना किसी लेबल वाले डेटा या फ्रोजन बैकबोन की आवश्यकता के सुरक्षा और तर्क क्षमताओं को स्थानांतरित करते हुए MTEB पर अत्याधुनिक प्रदर्शन प्राप्त किया जाता है।

मूल लेखक: Parishad BehnamGhader, Vaibhav Adlakha, Fabian David Schmidt, Nicolas Chapados, Marius Mosbach, Siva Reddy

प्रकाशित 2026-03-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Parishad BehnamGhader, Vaibhav Adlakha, Fabian David Schmidt, Nicolas Chapados, Marius Mosbach, Siva Reddy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ LLM2VEC-GEN पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी समस्या: "शाब्दिक" (Literal) अनुवादक

कल्पना कीजिए कि आपके पास एक पुस्तकालय है जहाँ आप ऐसी किताबें खोजना चाहते हैं जो "समान" हों।

पुराना तरीका: यदि आप लाइब्रेरियन से पूछते हैं, "मैं टपकते नल को कैसे ठीक करूँ?" और दूसरा व्यक्ति पूछता है, "मेरा सिंक टपक रहा है," तो पुराना सिस्टम (पारंपरिक एम्बेडिंग मॉडल) सवाल के शब्दों को देखता है। वह "लीक," "सिंक," और "ड्रिप" को देखता है और उन्हें एक साथ समूह में रखता है। लेकिन अगर आप पूछते हैं, "मैं बाढ़ को कैसे रोकूँ?" तो उसे लग सकता है कि यह बिल्कुल अलग है क्योंकि शब्द अलग हैं, भले ही इरादा (intent) एक ही हो।
LLM की समस्या: लार्ज लैंग्वेज मॉडल्स (LLMs) बुद्धिमान, बातूनी दिग्गजों की तरह हैं। वे सवालों के जवाब देने में बहुत अच्छे हैं। लेकिन जब हम उन्हें "लाइब्रेरियन" (एम्बेडिंग मॉडल) बनाने की कोशिश करते हैं ताकि वे समान चीजें ढूंढ सकें, तो वे बहुत शाब्दिक होने के कारण अटक जाते हैं। वे सवाल पर ध्यान केंद्रित करते हैं बजाय जवाब के।

अंतराल (The Gap): पेपर इसे "इनपुट-आउटपुट गैप" कहता है। दो बहुत अलग सवाल (जैसे, "मुझे गुस्सा आ रहा है" बनाम "मैं बहुत क्रोधित हूँ") को एक ही जवाब (एक शांत करने वाला जवाब) की आवश्यकता हो सकती है। लेकिन एक मानक मॉडल "गुस्सा" और "क्रोधित" शब्दों को अलग देखता है और उन्हें अपनी मेमोरी में दूर रखता है।

समाधान: LLM2VEC-GEN (द "क्रिस्टल बॉल" लाइब्रेरियन)

लेखक इन मॉडल्स को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं। मॉडल को सवाल याद रखने के लिए कहने के बजाय, वे उसे सिखाते हैं कि वह वह जवाब याद रखे जो वह देगा।

इसे इस तरह सोचें:

पुराना मॉडल: सवाल पढ़ता है और कहता है, "मैं 'गुस्सा' शब्द देख रहा हूँ।"
LLM2VEC-GEN: सवाल पढ़ता है, अपने "क्रिस्टल बॉल" में झाँकता है, देखता है कि वह क्या जवाब देता ("मैं समझता हूँ कि आप परेशान हैं, चलिए इस बारे में बात करते हैं"), और उस जवाब को याद रखता है।

यह कैसे काम करता है? (जादुई ट्रिक)

शोधकर्ता पूरे विशाल दिमाग (LLM) को फिर से प्रशिक्षित नहीं करना चाहते थे क्योंकि इसमें बहुत अधिक ऊर्जा और पैसा लगता है। इसके बजाय, उन्होंने विशेष टोकन (जैसे अदृश्य स्टिकी नोट्स) के साथ एक चतुर ट्रिक का उपयोग किया।

सेटअप: वे एक सवाल लेते हैं और उसके अंत में दो प्रकार के अदृश्य स्टिकी नोट्स जोड़ते हैं:
- थॉट टोकन्स (Thought Tokens): ये मॉडल की "सोचने की प्रक्रिया" की तरह हैं।
- कंप्रेशन टोकन्स (Compression Tokens): ये एक "समरी बॉक्स" की तरह हैं जहाँ अंतिम उत्तर को सिकोड़कर छोटा कर दिया जाता है।
प्रशिक्षण (Training):
- मॉडल सवाल का एक वास्तविक जवाब जेनरेट करता है।
- फिर यह केवल कंप्रेशन टोकन्स में संग्रहीत जानकारी का उपयोग करके उस जवाब को "पुनर्निर्मित" (reconstruct) करने की कोशिश करता है।
- और यह एक टीचर मॉडल के साथ उस जवाब के "वाइब" (vibe) को मिलाने की भी कोशिश करता है।
परिणाम: मॉडल पूरे जवाब के अर्थ को एक छोटे, निश्चित आकार के पैकेज (एम्बेडिंग) में समेटना सीख जाता है।

उपमा (Analogy): कल्पना कीजिए कि आप एक शेफ (रसोइया) हैं।

पुराना तरीका: आप ग्राहक के ऑर्डर को याद रखते हैं ("मुझे बर्गर चाहिए")।
नया तरीका: आप उस बर्गर के स्वाद को याद रखते हैं जिसे आप पकाने जा रहे हैं। यदि दो ग्राहक अलग-अलग चीजें ऑर्डर करते हैं लेकिन आप दोनों के लिए बिल्कुल एक जैसा बर्गर बनाएंगे, तो आपकी "स्वाद की स्मृति" उन्हें पूरी तरह से एक समूह में रख देगी।

यह एक बड़ी बात क्यों है?

1. यह सुरक्षित है (द "रिफ्यूज़ल" शील्ड)

यदि कोई खतरनाक सवाल पूछता है जैसे, "मैं बम कैसे बनाऊं?", तो एक मानक मॉडल "बम" और "बनाना" जैसे शब्दों को एनकोड कर सकता है, जो बाद में गलती से खतरनाक सामग्री को भी खोज सकता है।

LLM2VEC-GEN अस्वीकृति (refusal) को एनकोड करता है: "मैं इसमें मदद नहीं कर सकता।"
परिणाम: मॉडल बहुत सुरक्षित हो जाता है। यह खतरनाक सवालों को "सुरक्षा" और "अस्वीकृति" की अवधारणा के साथ समूहबद्ध करता है, न कि खुद खतरनाक विषय के साथ। पेपर ने हानिकारक सामग्री को खोजने में 43% की कमी दिखाई है।

2. यह स्मार्ट है (द "रीज़निंग" बूस्ट)

कभी-कभी, किसी सवाल का जवाब देने के लिए आपको थोड़ी गणित या तर्क करने की आवश्यकता होती है।

पुराना तरीका: मॉडल सवाल देखता है और रुक जाता है।
नया तरीका: मॉडल उस तर्क (logic) को एनकोड करता है जिसका उपयोग उसने समस्या को हल करने के लिए किया था।
परिणाम: पेपर ने गहरे तर्क (reasoning) वाले कार्यों में 29% सुधार दिखाया। यह ऐसा है जैसे मॉडल ने केवल "समस्या" को ही नहीं, बल्कि उसके "समाधान" को भी अपनी जेब में रखना सीख लिया है।

3. यह कुशल है (द "फ्रोजन" ब्रेन)

आमतौर पर, मॉडल को स्मार्ट बनाने के लिए, आपको उसके पूरे दिमाग को फिर से प्रशिक्षित करना पड़ता है (जो बहुत बड़ा और महंगा है)।

LLM2VEC-GEN विशाल दिमाग को फ्रोजन (स्थिर/लॉक) रखता है। यह केवल छोटे "स्टिकी नोट्स" (विशेष टोकन) और एक छोटे कनेक्टर को प्रशिक्षित करता है।
लाभ: इसे प्रशिक्षित करना अविश्वसनीय रूप से सस्ता और तेज़ है, इसके लिए किसी लेबल किए गए डेटा (इंसानों द्वारा जवाबों को ग्रेड करने की ज़रूरत नहीं) की आवश्यकता नहीं है।

"डिकोडिंग" का सरप्राइज

सबसे दिलचस्प हिस्सों में से एक यह है कि ये छोटे "स्टिकी नोट्स" केवल अमूर्त संख्याएँ नहीं हैं। क्योंकि मॉडल को जवाब को पुनर्निर्मित करने के लिए प्रशिक्षित किया गया था, आप वास्तव में एम्बेडिंग को वापस टेक्स्ट में डिकोड कर सकते हैं!

यदि आप "ध्रुवीय भालू" (polar bears) के बारे में सवाल का एम्बेडिंग लेते हैं, तो आप इसे डिकोड कर सकते हैं और यह "आर्कटिक," "बर्फ," और "आवास" जैसे शब्द फुसफुसाएगा।
इसका मतलब है कि मॉडल व्याख्या योग्य (interpretable) है। हम इसके अंदर झाँक सकते हैं और देख सकते हैं कि इसने वास्तव में सवाल के बारे में क्या "सोचा"।

सारांश

LLM2VEC-GEN एक नया तरीका है जो एक बातूनी AI को एक स्मार्ट लाइब्रेरियन में बदल देता है। लोगों द्वारा पूछे जाने वाले सवालों को याद रखने के बजाय, यह वह जवाब याद रखता है जो वह देगा।

बेहतर सुरक्षा: यह खतरनाक सवालों को "नहीं" के साथ समूहबद्ध करता है।
बेहतर तर्क: यह जटिल सवालों को उनके समाधान के लिए उपयोग किए गए तर्क के साथ समूहबद्ध करता है।
सस्ता: इसे पूरे AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं है, बस कुछ छोटे टोकन ही काफी हैं।

यह एक छात्र को केवल परीक्षा के प्रश्न को पढ़ने के लिए नहीं, बल्कि समाधान को इतनी अच्छी तरह समझने के लिए सिखाने जैसा है कि वह केवल उत्तर से ही प्रश्न को पहचान सके।

यहाँ शोध पत्र "LLM2VEC-GEN: Generative Embeddings from Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

पारंपरिक टेक्स्ट एम्बेडिंग मॉडल, जिनमें लार्ज लैंग्वेज मॉडल्स (LLMs) पर आधारित मॉडल भी शामिल हैं, आमतौर पर एक इनपुट-केंद्रित प्रतिमान (input-centric paradigm) का पालन करते हैं। उन्हें स्वयं इनपुट टेक्स्ट की अर्थपूर्ण सामग्री को एनकोड करने के लिए प्रशिक्षित किया जाता है। यह दृष्टिकोण एम्बेडिंग कार्यों में एक मौलिक चुनौती का सामना करता है: विविध इनपुट (जैसे, एक ही घटना पर विभिन्न दृष्टिकोणों से समाचार लेख, या एक हानिकारक क्वेरी और उसका सुरक्षित इनकार/refusal) को अक्सर एक साझा एम्बेडिंग स्पेस में समान आउटपुट पर मैप करने की आवश्यकता होती है।

इस "इनपुट-आउटपुट अंतराल" (input-output gap) को पाटने के लिए वर्तमान समाधान बड़े पैमाने पर, क्यूरेटेड, लेबल किए गए युग्मित (paired) डेटासेट के साथ कंट्रास्टिव लर्निंग (contrastive learning) पर बहुत अधिक निर्भर करते हैं। हालाँकि, यह दो प्रमुख बाधाएँ उत्पन्न करता है:

डेटा की कमी (Data Scarcity): उच्च गुणवत्ता वाला लेबल किया गया डेटा प्राप्त करना महंगा और कठिन है।
क्षमता का बेमेल होना (Capability Mismatch): इनपुट-केंद्रित एनकोडर अक्सर उस इरादे (intent) या तर्क (reasoning) को पकड़ने में विफल रहते हैं जो एक LLM की संभावित प्रतिक्रिया में निहित होता है। उदाहरण के लिए, एक इनपुट-केंद्रित मॉडल एक हानिकारक क्वेरी के दुर्भावनापूर्ण इरादे को एनकोड कर सकता है, जबकि सुरक्षा अनुप्रयोगों के लिए वांछित एम्बेडिंग मॉडल के सुरक्षित इनकार (safe refusal) को प्रतिबिंबित करनी चाहिए।

2. कार्यप्रणाली: LLM2VEC-GEN (Methodology)

लेखक LLM2VEC-GEN का प्रस्ताव करते हैं, जो एक नवीन स्व-पर्यवेक्षित ढांचा (self-supervised framework) है जो प्रतिमान को इनपुट को एनकोड करने से बदलकर मॉडल की संभावित प्रतिक्रिया को एनकोड करने में स्थानांतरित करता है। मूल विचार यह है कि एम्बेडिंग को यह प्रतिनिधित्व करना चाहिए कि LLM किसी क्वेरी के जवाब में क्या कहेगा, न कि केवल क्वेरी को ही।

मुख्य घटक:

फ्रोजन बैकबोन (Frozen Backbone): अंतर्निध LLM (जैसे, Llama-3, Qwen) प्रशिक्षण के दौरान फ्रोजन (स्थिर) रहता है। केवल हल्के घटकों को प्रशिक्षित किया जाता है, जिससे पैरामीटर दक्षता सुनिश्चित होती है।
विशेष टोकन (Special Tokens): शब्दावली (vocabulary) में दो प्रकार के प्रशिक्षित टोकन जोड़े गए हैं:
- थॉट टोकन (Thought Tokens - $t_1 \dots t_m$ ): एक मध्यवर्ती कम्प्यूटेशनल बफर के रूप में कार्य करते हैं।
- कंप्रेशन टोकन (Compression Tokens - $c_1 \dots c_n$ ): प्रतिक्रिया की अर्थपूर्ण सामग्री को एक निश्चित-लंबाई वाले अनुक्रम में कैप्चर करने के लिए डिज़ाइन किए गए हैं।
प्रशिक्षण प्रक्रिया (Training Process):
1. प्रतिक्रिया पीढ़ी (Response Generation): एक अलेबल (unlabeled) क्वेरी $q$ के दिए जाने पर, फ्रोजन LLM एक प्रतिक्रिया $r$ उत्पन्न करता है।
2. टीचर डिस्टिलेशन (Teacher Distillation): एक अनसुपरवाइज्ड एम्बेडिंग टीचर (जैसे, LLM2Vec) उत्पन्न प्रतिक्रिया $r$ को एनकोड करके एक लक्ष्य एम्बेडिंग $e_{teacher}$ बनाता है।
3. टोकन अनुकूलन (Token Optimization): विशेष टोकन को क्वेरी के साथ जोड़ा जाता है। कंप्रेशन टोकन के हिडन स्टेट्स को दो पूरक उद्देश्यों के माध्यम से प्रोजेक्ट और ऑप्टिमाइज़ किया जाता है:
  - पुनर्निर्माण उद्देश्य ( $L_{recon}$ ): कंप्रेशन टोकन "सॉफ्ट प्रॉम्प्ट्स" के रूप में कार्य करते हैं जिन्हें मूल प्रतिक्रिया $r$ को पुनर्गठित करने के लिए वापस LLM में फीड किया जाता है। यह सुनिश्चित करता है कि एम्बेडिंग्स प्राकृतिक भाषा में आधारित हों और व्याख्या योग्य (interpretable) बनी रहें।
  - एम्बेडिंग संरेखण उद्देश्य ( $L_{align}$ ): प्रोजेक्ट किए गए कंप्रेशन टोकन को प्रतिक्रिया के टीचर एम्बेडिंग ( $e_{teacher}$ ) के विरुद्ध मिनिमाइज किया जाता है। यह छात्र (student) के प्रतिनिधित्व को प्रतिक्रिया के अर्थपूर्ण लक्ष्य के साथ संरेखित करता है।

अनुमान (Inference):

अनुमान (inference) के समय, मॉडल एक सिंगल फॉरवर्ड पास करता है। विशेष टोकन को इनपुट के साथ जोड़ा जाता है, और अंतिम एम्बेडिंग उत्पन्न करने के लिए कंप्रेशन टोकनों के हिडन स्टेट्स को निकाला और प्रोजेक्ट किया जाता है। रिट्रीवल के दौरान कोई वास्तविक टेक्स्ट जनरेशन नहीं होता है।

3. मुख्य योगदान (Key Contributions)

प्रतिमान परिवर्तन (Paradigm Shift): एक "प्रतिक्रिया-केंद्रित" (response-centric) एम्बेडिंग प्रतिमान पेश करता है जो इनपुट क्वेरी और विविध आउटपुट के बीच के अंतर को पाटता है, प्रभावी रूप से LLM क्षमताओं (सुरक्षा, तर्क) को एम्बेडिंग स्पेस में स्थानांतरित करता है।
स्व-पर्यवेक्षित SOTA (Self-Supervised SOTA): बिना किसी लेबल किए गए युग्मित डेटा के, मैसिव टेक्स्ट एम्बेडिंग बेंचमार्क (MTEB) पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है, जो मौजूदा अनसुपरवाइज्ड और सेल्फ-सुपरवाइज्ड बेसलाइन्स से बेहतर है।
क्षमता हस्तांतरण (Capability Transfer):
- सुरक्षा (Safety): हानिकारक क्वेरी के बजाय मॉडल के इनकार (refusal) को एनकोड करके, यह हानिकारक सामग्री की रिट्रीवल को काफी कम कर देता है।
- तर्क (Reasoning): एम्बेडिंग्स LLM की प्रतिक्रिया में पाए जाने वाले तार्किक निष्कर्षों को कैप्चर करते हैं, जिससे तर्क-गहन रिट्रीवल कार्यों में प्रदर्शन में सुधार होता है।
व्याख्यात्मकता (Interpretability): मानक ब्लैक-बॉक्स एम्बेडिंग्स के विपरीत, LLM2VEC-GEN एम्बेडिंग्स डिकोडेबल (decodable) हैं। कंप्रेशन टोकन को वापस टेक्स्ट में डिकोड किया जा सकता है या उनके द्वारा प्रतिनिधित्व की जाने वाली अर्थपूर्ण सामग्री (जैसे, "illegal," "safety," "Arctic") को प्रकट करने के लिए 'लॉगिट लेंस' (Logit Lens) के माध्यम से विश्लेषण किया जा सकता है।
दक्षता (Efficiency): इस विधि के लिए केवल ~13M पैरामीटर्स को प्रशिक्षित करने की आवश्यकता होती है (8B मॉडल के लिए) और यह बैकबोन को फ्रोजन रखता है, जो इसे फुल फाइन-ट्यूनिंग या LoRA-आधारित दृष्टिकोणों की तुलना में अत्यधिक कुशल बनाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस फ्रेमवर्क का मूल्यांकन Qwen-3, Qwen-2.5, और Llama-3 मॉडल परिवारों में तीन अक्षों पर किया गया:

सामान्य टेक्स्ट एम्बेडिंग (MTEB):
- LLM2VEC-GEN ने Qwen-3-8B का उपयोग करके MTEB (eng, v2) पर 62.1 के स्कोर के साथ सेल्फ-सुपरवाइज्ड तरीकों के लिए एक नया SOTA हासिल किया।
- इसने सर्वश्रेष्ठ अनसुपरवाइज्ड टीचर से 9.3% का सुधार किया और सुपरवाइज्ड तरीकों के साथ 60% से अधिक के अंतर को पाट दिया।
- क्लस्टरिंग (+23.9%), वर्गीकरण (+9.2%), और सिमेंटिक टेक्स्टुअल सिमिलरिटी (+10.5%) में महत्वपूर्ण लाभ देखे गए।
सुरक्षा (AdvBench-IR):
- इस पद्धति ने बेहतर सुरक्षा संरेखण प्रदर्शित किया। Qwen-3-1.7B के लिए, इसने टीचर मॉडल की तुलना में हानिकारक सामग्री की रिट्रीवल को 43.2% कम कर दिया।
- यह पुष्टि करता है कि एम्बेडिंग्स इनपुट के दुर्भावनापूर्ण इरादे के बजाय "इनकार" (refusal) के अर्थ को सफलतापूर्वक एनकोड करते हैं।
तर्क (BRIGHT):
- BRIGHT बेंचमार्क (तर्क-गहन रिट्रीवल) पर, LLM2VEC-GEN ने इनपुट-केंद्रित बेसलाइन्स की तुलना में 29.3% तक का सुधार दिखाया।
- प्रदर्शन मॉडल के आकार के साथ बढ़ता है, जो दर्शाता है कि बड़े LLMs की तर्क क्षमताओं को प्रभावी ढंग से एम्बेडिंग स्पेस में स्थानांतरित किया गया है।

5. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

महत्व:
LLM2VEC-GEN यह सिद्ध करता है कि जेनरेटिव एम्बेडिंग्स (generative embeddings) पारंपरिक डिस्क्रिमिनेटिव या कंट्रास्टिव दृष्टिकोणों के लिए एक शक्तिशाली विकल्प हैं। यह साबित करता है कि LLMs को केवल अनलेबल डेटा का उपयोग करके, उनकी अपनी जेनेरेटिव क्षमताओं को एक टीचर के रूप में उपयोग करके, उच्च-प्रदर्शन वाले एनकोडर में बदला जा सकता है। यह विशेष रूप से उन डोमेन के लिए महत्वपूर्ण है जहाँ लेबल किया गया डेटा दुर्लभ है या जहाँ सुरक्षा और तर्क सर्वोपरि हैं।

भविष्य की दिशाएं (Open Frontiers):

पूर्ण JEPA मोड (Full JEPA Mode): लेखक एक भविष्य के संस्करण का प्रस्ताव करते हैं जहाँ टीचर और स्टूडेंट एक ही फ्रोजन LLM होंगे, जिससे बाहरी टीचर एनकोडर की आवश्यकता समाप्त हो जाएगी और संभावित रूप से पुनर्निर्माण (reconstruction) उद्देश्य को पूरी तरह से हटाया जा सकेगा।
लेटेंट चेनिंग (Latent Chaining): एक संपीड़ित लेटेंट स्पेस में कई तर्क चरणों को चेन करने के लिए डिकोडेबल कंप्रेशन टोकन का उपयोग करना, जो तेज़ इन्फरेंस के लिए ऑटोरेग्रेसिव बॉटलनेक को बायपास करता है।
एजेंट संचार (Agent Communication): मल्टी-एजेंट सिस्टम में इंटर-एजेंट संचार के लिए इन सघन (dense), निश्चित-लंबाई वाले, और डिकोडेबल एम्बेडिंग्स का उपयोग करना, जो टोकन-आधारित संचार के लिए अधिक कुशल और पारदर्शी विकल्प प्रदान करता है।

निष्कर्षतः, LLM2VEC-GEN टेक्स्ट रिप्रेजेंटेशन के लिए LLMs के उपयोग को फिर से परिभाषित करता है, जो स्टैटिक इनपुट एनकोडिंग से डायनेमिक रिस्पॉन्स मॉडलिंग की ओर बढ़ता है, जिससे रिट्रीवल सिस्टम में प्रदर्शन, सुरक्षा और व्याख्यात्मकता के नए स्तर अनलॉक होते हैं।