Choosing a Text Embedding Model: A Practical Benchmarking and Decision Framework

कल्पना कीजिए कि आप एक विशाल, अराजक घास के ढेर (haystack) में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं। लेकिन यहाँ एक मोड़ है: सुई धातु की नहीं, बल्कि शुद्ध अर्थ (meaning) से बनी है, और घास का ढेर अलग-अलग शैलियों में लिखे गए लाखों दस्तावेज़ों से बना है। यह आधुनिक कंप्यूटर विज्ञान की दैनिक चुनौती है जिसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) कहा जाता है। इसे हल करने के लिए, कंप्यूटर एक जादुई उपकरण का उपयोग करते हैं जिसे टेक्स्ट एम्बेडिंग मॉडल (Text Embedding Model) कहते हैं। एम्बेडिंग मॉडल को एक सुपर-स्मार्ट अनुवादक के रूप में समझें जो हर वाक्य, पैराग्राफ या किताब को एक अद्वितीय "फ्लेवर कोड" (संख्याओं की एक सूची) में बदल देता है। यदि दो ग्रंथों के अर्थ समान हैं, तो उनके फ्लेवर कोड का स्वाद एक जैसा होगा और वे एक विशाल डिजिटल मानचित्र पर एक-दूसरे के करीब स्थित होंगे। यदि वे अलग हैं, तो उनके कोड दूर होंगे।

लेकिन ठीक वैसे ही जैसे अनुवादकों के कई अलग-अलग प्रकार होते हैं—कुछ कविता के लिए बेहतरीन होते हैं, कुछ कानूनी अनुबंधों के लिए, और कुछ जो केवल एक भाषा बोलते हैं—एम्बेडिंग मॉडल के भी कई अलग-अलग प्रकार होते हैं। इन खोज प्रणालियों को बनाने वाले किसी भी व्यक्ति के लिए बड़ा सवाल यह है: "आपको किस अनुवादक को काम पर रखना चाहिए?" क्या आप एक महंगे, प्रसिद्ध सेलिब्रिटी अनुवादक के लिए भारी कीमत चुकाएं जो शायद सबसे अच्छा हो, या आप एक प्रतिभाशाली स्थानीय फ्रीलांसर को काम पर रखें जो लगभग उतना ही अच्छा है लेकिन बहुत तेज़ और मुफ्त है? यह वही पहेली है जिसे भारतीय प्रौद्योगिकी संस्थान (BHU) वाराणसी के माधव एस बैद्या का एक नया अध्ययन हल करने का प्रयास कर रहा है।

द ग्रेट ट्रांसलेटर शोडाउन (महान अनुवादक मुकाबला)

इस रिपोर्ट में, लेखक एक नए, महंगे, व्यावसायिक अनुवादक T3EM (टेक्स्ट 3 एम्बेडिंग मॉडल) को कई ओपन-सोर्स, मुफ्त विकल्पों के सामने खड़ा करता है। लक्ष्य यह देखना था कि क्या उच्च कीमत और धीमी गति वाला व्यावसायिक मॉडल वास्तव में इसके लायक है, या क्या मुफ्त मॉडल भी काम को उतनी ही अच्छी तरह से कर सकते हैं।

अध्ययन में पाया गया कि T3EM वास्तव में रिट्रीवल (खोज) का चैंपियन है। चार विशिष्ट अंग्रेजी खोज कार्यों पर परीक्षण किए जाने पर, इसने उच्चतम स्कोर (औसत nDCG@10 का 0.638) प्राप्त किया, जिसका अर्थ है कि यह सही उत्तर खोजने में सबसे अच्छा था। हालाँकि, एक पेच है: T3EM धीमा है। एक क्वेरी को प्रोसेस करने में इसे लगभग 231.6 मिलीसेकंड (मिडियन) लगते हैं, जो कि सबसे तेज़ ओपन-सोर्स मॉडलों की तुलना में लगभग 7 से 14 गुना धीमा है। इसके अलावा, इसका उपयोग करने के लिए पैसे खर्च होते हैं (लगभग $0.025 प्रति 1 मिलियन टोकन), जबकि ओपन-सोर्स मॉडल आपके अपने कंप्यूटर पर चलाने के लिए मुफ्त होते हैं।

चौंकाने वाला अंडरडॉग: mE5-L

यहाँ कहानी दिलचस्प हो जाती है। अध्ययन ने पाया कि आपको हमेशा महंगे सेलिब्रिटी की आवश्यकता नहीं होती है। ओपन-सोर्स मॉडल mE5-L (मल्टीलिंगुअल-E5-लार्ज) मुफ्त विकल्पों में स्पष्ट विजेता था। इसने 0.546 का स्कोर किया, जो T3EM के शीर्ष स्कोर के अविश्वसनीय रूप से करीब है, लेकिन यह तुलना में मात्र 31.0 मिलीसेकंड में चलता है—जो व्यावहारिक रूप से तत्काल है।

लेखक की मुख्य सिफारिश सरल है: यदि आप सुनिश्चित नहीं हैं कि आपको क्या चाहिए, तो mE5-L के साथ शुरुआत करें। यह उच्च गुणवत्ता और गति का सबसे अच्छा संतुलन प्रदान करता है। आपको केवल तभी महंगे T3EM पर स्विच करना चाहिए जब आपको वास्तव में उच्चतम गुणवत्ता की आवश्यकता हो, यदि आपके दस्तावेज़ अविश्वसनीय रूप से लंबे हों (मानक सीमाओं से अधिक), या यदि आप सेवा के लिए भुगतान करने और थोड़ा इंतज़ार करने के लिए तैयार हों।

"ट्रेनिंग" आकार से अधिक महत्वपूर्ण है

इस पेपर का एक सबसे महत्वपूर्ण सबक यह है कि बड़ा होना हमेशा बेहतर नहीं होता, और मॉडल की ट्रेनिंग उसके आकार से अधिक मायने रखती है।

अध्ययन में उन मॉडलों का परीक्षण किया गया जिन्हें "सेंटेंस सिमिलैरिटी" (यह जांचना कि क्या दो वाक्यों का अर्थ एक ही है) के लिए प्रशिक्षित किया गया था और उन्हें "रिट्रीवल" (एक प्रश्न का उत्तर खोजना) के लिए उपयोग करने की कोशिश की गई। परिणाम निराशाजनक रहे। LaBSE और mMPNet जैसे मॉडल, जो समान वाक्यों को पहचानने में माहिर हैं, रिट्रीवल कार्यों पर बहुत खराब प्रदर्शन करते हैं (औसत 0.188 और 0.243 के साथ)।

क्यों? क्योंकि एक प्रश्न का उत्तर खोजना दो समान वाक्यों को पहचानने से अलग है। एक प्रश्न आमतौर पर छोटा और सीधा होता है, जबकि उत्तर लंबा और विस्तृत होता है। एक मॉडल जो दो छोटे वाक्यों की तुलना करने के लिए प्रशिक्षित है, वह इस अंतर को पाटने के बारे में नहीं जानता। यह पेपर साबित करता है कि विशेष रूप से रिट्रीवल के लिए प्रशिक्षित मॉडल (जैसे T3EM या mE5-L) हमेशा सिमिलैरिटी के लिए प्रशिक्षित मॉडल को हरा देगा, भले ही सिमिलैरिटी मॉडल कितना भी बड़ा क्यों न हो।

"चंकिंग" की पहेली

पेपर ने यह भी देखा कि कंप्यूटर को खिलाने से पहले लंबे दस्तावेज़ों को हम कैसे काटते हैं। कल्पना कीजिए कि आप केवल एक सिंगल फ्रेम देखकर पूरी फिल्म का वर्णन करने की कोशिश कर रहे हैं। यदि फ्रेम बहुत छोटा है, तो आप कहानी खो देंगे। यदि यह बहुत बड़ा है, तो कंप्यूटर भ्रमित हो जाएगा।

अध्यका ने इस काटने की प्रक्रिया के लिए एक "स्वीट स्पॉट" खोजा, जिसे चंकिंग (chunking) कहा जाता है:

• बहुत छोटा (16 टोकन से कम): अर्थ ढह जाता है। कंप्यूटर समझ नहीं पाता कि टेक्स्ट किस बारे में है।
• बिल्कुल सही (लगभग 32 टोकन): यहाँ गुणवत्ता चरम पर होती है। इससे बड़े चंक्स बनाना (64 या 128 टोकन) अब वास्तव में मदद नहीं करता है।
• आप इसे कैसे काटते हैं: प्राकृतिक विषय सीमाओं (सिमेंटिक चंकिंग) पर काटना, यादृच्छिक शब्द गणनाओं पर काटने की तुलना में बेहतर है, लेकिन केवल तभी जब चंक्स बहुत छोटे हों।

अंतिम निर्णय

यह पेपर केवल स्कोर की सूची नहीं देता है; यह एक निर्णय ढांचा (decision framework) देता है। यह हमें बताता है कि हर चीज़ के लिए एक ही "सर्वश्रेष्ठ" मॉडल नहीं होता है।

• सामान्य खोज और चैटबॉट्स के लिए: mE5-L का उपयोग करें। यह तेज़, मुफ्त और लगभग उतना ही अच्छा है।
• विशाल, जटिल दस्तावेज़ों में उत्तर खोजने के लिए: T3EM पर विचार करें यदि आपके पास बजट है और आप थोड़ा इंतज़ार कर सकते हैं।
• समान दस्तावेज़ों को समूहबद्ध करने (clustering) के लिए: MPNet का उपयोग करें।
• यह जांचने के लिए कि क्या दो वाक्यों का अर्थ एक ही है: ST5 का उपयोग करें।

लेखक लीडरबोर्ड पर उच्चतम समग्र स्कोर वाले मॉडल को बिना सोचे-समझे चुनने की सामान्य गलती के प्रति आगाह करते हैं। यदि आप खोज के लिए सिमिलैरिटी मॉडल का उपयोग करते हैं, या ग्रुपिंग के लिए सर्च मॉडल का उपयोग करते हैं, तो आप विफल होंगे, चाहे वह मॉडल कितना भी प्रसिद्ध क्यों न हो। कुंजी उपकरण को काम के अनुसार, गति को उपयोगकर्ता के धैर्य के अनुसार, और लागत को आपकी जेब के अनुसार मिलाने में है।