💬 NLP

SEA-Embedding: Open and Reproducible Text Embeddings for Southeast Asia

यह शोध पत्र SEA-Embedding को प्रस्तुत करता है, जो पूरी तरह से खुला और पुनरुत्पादक (reproducible) टेक्स्ट-एम्बेडिंग पाइपलाइन है जिसे विशेष रूप से सार्वजनिक रूप से उपलब्ध डेटा पर प्रशिक्षित किया गया है ताकि दक्षिण-पूर्व एशियाई भाषा मॉडलों में मजबूती और पुनरुत्पादकता की कमी को दूर किया जा सके, और साथ ही SEA-BED बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए प्रमुख डिजाइन कारकों का व्यवस्थित रूप से विश्लेषण किया जा सके।

मूल लेखक: Peerat Limkonchotiwat, Raymond Ng, Sarana Nutanong, Jian Gang Ngui

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peerat Limkonchotiwat, Raymond Ng, Sarana Nutanong, Jian Gang Ngui

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल पुस्तकालय है जहाँ हर किताब दक्षिण-पूर्व एशिया की एक अलग भाषा में लिखी गई है। अब, कल्पना कीजिए कि आप एक सुपर-स्मार्ट लाइब्रेरियन (पुस्तकालयाध्यक्ष) बनाना चाहते हैं जो तुरंत समझ सके कि थाई भाषा में "बारिश" (rain) के बारे में एक कहानी का मतलब वियतनामी में "बारिश" के समान ही है, भले ही वे शब्द दिखने में पूरी तरह से अलग क्यों न हों। इस लाइब्रेरियन को टेक्स्ट एम्बेडिंग (Text Embedding) कहा जाता है।

लंबे समय तक, दुनिया के सबसे अच्छे लाइब्रेरियन बड़ी तकनीकी कंपनियों द्वारा गुप्त रेसिपी और निजी डेटा का उपयोग करके बनाए गए थे। आप देख नहीं सकते थे कि वे कैसे काम करते थे, और वे दक्षिण-पूर्व एशियाई भाषाओं को समझने में अक्सर संघर्ष करते थे, जिससे इन भाषाओं के साथ ऐसा व्यवहार किया जाता था जैसे वे अंग्रेजी या चीनी की तुलना में दूसरी श्रेणी की हों।

आपके द्वारा साझा किया गया पेपर SEA-Embedding पेश करता है, जो विशेष रूप से दक्षिण-पूर्व एशिया के लिए बनाया गया एक नया, पूरी तरह से ओपन-सोर्स लाइब्रेरियन है। उन्होंने इसे कैसे बनाया और यह क्यों काम करता है, यहाँ सरल भाषा में समझाया गया है:

1. समस्या: "ब्लैक बॉक्स" लाइब्रेरियन

आज के अधिकांश शीर्ष-स्तरीय लाइब्रेरियन "ब्लैक बॉक्स" हैं। हम जानते हैं कि वे स्मार्ट हैं, लेकिन हमें ठीक से पता नहीं है कि उन्होंने कौन सी किताबें पढ़ीं या उन्होंने कैसे सीखा। क्योंकि उनका प्रशिक्षण डेटा गुप्त है, इसलिए यदि वे गलतियाँ करते हैं तो हम उन्हें ठीक नहीं कर सकते, और वे दक्षिण-पूर्व एशिया की विविध बोलियों और भाषाओं को समझने में अक्सर विफल हो जाते हैं।

2. समाधान: एक पारदर्शी, खुला किचन

लेखकों ने SEA-Embedding को एक रेसिपी बुक की तरह बनाया है जिसे कोई भी उपयोग कर सकता है। उन्होंने किसी गुप्त सामग्री का उपयोग नहीं किया। उन्होंने केवल उसी डेटा का उपयोग किया जो इंटरनेट पर पहले से ही सार्वजनिक और मुफ्त है।

लक्ष्य: एक ऐसा लाइब्रेरियन बनाना जो न केवल स्मार्ट हो बल्कि पुनरुत्पादनीय (reproducible) भी हो। यदि आप अपना स्वयं का संस्करण बनाना चाहते हैं, तो आप उनके सटीक चरणों का पालन कर सकते हैं और वही परिणाम प्राप्त कर सकते हैं।

3. तीन गुप्त सामग्रियां (द "रेसिपी")

शोधकर्ताओं ने यह परीक्षण करने के लिए तीन मुख्य चीजों का परीक्षण किया कि इस क्षेत्र के लिए एक लाइब्रेरियन को वास्तव में मजबूत क्या बनाता है। इन्हें उनके निर्माण के तीन स्तंभों के रूप में सोचें:

A. पढ़ने की सूची (डेटा संरचना - Data Composition)

एक अच्छा लाइब्रेरियन होने के लिए, आपको बहुत सी अलग-अलग चीजें पढ़नी पड़ती हैं।

मिश्रण: उन्होंने केवल एक प्रकार की किताब नहीं पढ़ी। उन्होंने 245 मिलियन सामान्य टेक्स्ट पेयर्स (जैसे समाचार और कहानियाँ ताकि भाषाओं को व्यापक रूप से समझा जा सके) को 14 मिलियन इंस्ट्रक्शन टेक्स्ट्स (जैसे प्रश्न-उत्तर जोड़े ताकि यह समझा जा सके कि कार्य कैसे करने हैं) के साथ मिलाया।
उपमा: कल्पना कीजिए कि एक शेफ को प्रशिक्षित कर रहे हैं। यदि आप उन्हें केवल एक कुकबुक देते हैं, तो वे रेसिपी जानते हैं लेकिन वे सुधार (improvise) नहीं कर सकते। यदि आप उन्हें केवल आदेशों की सूची देते हैं, तो वे जानते हैं कि लोगों को क्या चाहिए लेकिन वे खाना बनाना नहीं जानते। SEA-Embedding मॉडल को दोनों देता है—कुकबुक और आदेश—ताकि वह भाषा को भी समझे और उसका उपयोग करना भी सीखे।

B. प्रशिक्षण अभ्यास (ऑब्जेक्टिव डिज़ाइन - Objective Design)

आप लाइब्रेरियन को सुसंगत (consistent) कैसे सिखाते हैं?

सिमेट्रिक कॉन्ट्रास्टिव लर्निंग (Symmetric Contrastive Learning - SCL): यह "मैच ढूँढने" के खेल जैसा है। मॉडल को दो वाक्य दिखाए जाते हैं जिनका अर्थ एक ही होता है और उससे कहा जाता है, "ये जुड़वां हैं!" उसे ऐसे वाक्य भी दिखाए जाते हैं जो अलग हैं और उससे कहा जाता है, "ये अजनबी हैं!" उन्होंने इसमें "फोकल रीवेटिंग" (focal reweighting) नामक एक विशेष मोड़ जोड़ा, जो कि शिक्षक द्वारा उन छात्रों पर अतिरिक्त ध्यान देने जैसा है जो संघर्ष कर रहे हैं, बजाय केवल आसान वाले छात्रों पर ध्यान देने के।
सिमिलरिटी डिस्ट्रीब्यूशन मैचिंग (Similarity Distribution Matching - SDM): यह एक "मास्टर क्लास" है। मॉडल (छात्र) एक बहुत ही मजबूत, पूर्व-मौजूद विशेषज्ञ मॉडल (शिक्षक) के व्यवहार की नकल करने की कोशिश करता है। छात्र केवल उत्तरों की नकल नहीं करता; वह इस बात की नकल करने की कोशिश करता है कि शिक्षक दो चीजों के बीच समानता के बारे में कैसे सोचता है।
परिणाम: यह संयोजन मॉडल को एक बहुत ही व्यवस्थित मानसिक मानचित्र बनाने के लिए मजबूर करता जहाँ समान विचार हमेशा एक साथ होते हैं, चाहे वे किसी भी भाषा में क्यों न हों।

C. शुरुआती बिंदु (बेस एनकोडर - Base Encoder)

आप एक स्मार्ट छात्र या कम अनुभवी छात्र से शुरुआत कर सकते हैं।

टीम ने अपने रेसिपी का परीक्षण विभिन्न "बेस" मॉडलों (कुछ छोटे, कुछ बड़े) पर किया।
निष्कर्ष: जिस भी छात्र के साथ उन्होंने शुरुआत की, चाहे वह कोई भी हो, रेसिपी ने काम किया। इसने हर एक को बेहतर बनाया। हालाँकि, एक थोड़े बड़े, स्मार्ट छात्र (E5-Large मॉडल) के साथ शुरुआत करने से सबसे अच्छे अंतिम परिणाम मिले।

4. परिणाम: एक नया चैंपियन

जब उन्होंने अपने नए लाइब्रेरियन का वर्तमान चैंपियनों ("ब्लैक बॉक्स" मॉडल) के खिलाफ परीक्षण किया:

SEA-Embedding जीत गया। इसने एक कठिन टेस्ट SEA-BED पर उच्चतम औसत स्कोर प्राप्त किया, जो 10 दक्षिण-पूर्व एशियाई भाषाओं और 9 विभिन्न प्रकार के कार्यों को कवर करता है।
यह कठिन चीजों में विशेष रूप से अच्छा है: इसने इंडोनेशियाई या थाई जैसी बड़ी भाषाओं को प्राथमिकता देने वाले अन्य मॉडलों की तुलना में कम-संसाधन वाली भाषाओं (जैसे लाओ और खमेर) के लिए काफी बेहतर प्रदर्शन किया।
यह खुला (Open) है: अतीत के विजेताओं के विपरीत, आप उनके कोड को देख सकते हैं, उनके डेटा को डाउनलोड कर सकते हैं और स्वयं प्रयोग चला सकते हैं।

सारांश

पेपर का दावा है कि पारदर्शी होकर, सामान्य और इंस्ट्रक्शन डेटा के मिश्रण का उपयोग करके, और एक विशिष्ट दो-चरणीय प्रशिक्षण पद्धति (मैच से सीखना और एक मास्टर टीचर की नकल करना) का उपयोग करके, उन्होंने अब तक का सर्वश्रेष्ठ दक्षिण-पूर्व एशिया के लिए टेक्स्ट एम्बेडिंग मॉडल बनाया है। यह एक ऐसा मॉडल है जो बेहतर काम करता है, छोटी भाषाओं के लिए अधिक निष्पक्ष है, और सभी के निरीक्षण और सुधार के लिए खुला है।

तकनीकी सारांश: SEA-Embedding

समस्या विवरण

टेक्स्ट एम्बेडिंग (Text embeddings) डाउनस्ट्रीम नेचुरल लैंग्वेज प्रोसेसिंग (NLP) अनुप्रयोगों के लिए महत्वपूर्ण हैं, फिर भी वर्तमान अत्याधुनिक मॉडल दक्षिण-पूर्व एशियाई (SEA) भाषाओं के संबंध में दो महत्वपूर्ण सीमाओं का सामना करते हैं:

पुनरुत्पादकता (Reproducibility) का अभाव: अधिकांश उच्च-प्रदर्शन वाले मॉडल बंद या अनिर्दिष्ट प्रशिक्षण डेटा पर निर्भर करते हैं, जो व्यवस्थित विश्लेषण और पुन: प्रशिक्षण को रोकता है।
अपर्याप्त सुदृढ़ता (Robustness): जो मॉडल वैश्विक बेंचमार्क (जैसे, MMTEB) पर उत्कृष्ट प्रदर्शन करते हैं, वे अक्सर SEA-विशिष्ट मूल्यांकनों (जैसे, SEA-BED) पर खराब प्रदर्शन करते हैं। इस क्षेत्र में भाषाई विविधता उच्च है, और उच्च-संसाधन सेटिंग्स से प्राप्त प्रदर्शन लाभ हमेशा SEA भाषाओं में प्रभावी ढंग से स्थानांतरित नहीं होते हैं।

कार्यप्रणाली (Methodology)

लेखक SEA-Embedding पेश करते हैं, जो एक पूरी तरह से खुला और पुनरुत्पादक टेक्स्ट-एम्बेडिंग पाइपलाइन है जिसे विशेष रूप से सार्वजनिक रूप से उपलब्ध डेटा पर प्रशिक्षित किया गया है। पाइपलाइन को व्यवस्थित रूप से तीन मुख्य कारकों की जांच करने के लिए डिज़ाइन किया गया है: डेटा संरचना (Data Composition), प्रशिक्षण उद्देश्य (Training Objective), और बेस एनकोडर इनिशियलाइजेशन (Base Encoder Initialization)।

1. डेटा संरचना (RQ1)

पाइपलाइन एक दोहरी श्रेणी वाले डेटासेट का उपयोग करती है जिसमें कुल 259 मिलियन नमूने हैं:

सामान्य डेटासेट (245M नमूने): SEA भाषाओं में व्यापक क्षेत्रीय कवरेज सुनिश्चित करने के लिए FineTranslations और CCMatrix जैसे संसाधनों से प्राप्त।
निर्देश डेटासेट (14M नमूने): कार्य-विशिष्ट निर्देशों के साथ बहुभाषी डाउनस्ट्रीम डेटासेट (जैसे, MIRACL, SEA-Instruct) से प्राप्त, ताकि कार्य जागरूकता और सामान्यीकरण को बढ़ाया जा सके।
फॉर्मेट: डेटा को ट्रिपलेट्स (anchor, positive, negative) या टेक्स्ट पेयर्स (anchor, positive) के रूप में फॉर्मेट किया गया है।

2. प्रशिक्षण उद्देश्य डिजाइन (RQ2)

लेखक स्थानीय भेदभाव (local discrimination) और वैश्विक निरंतरता के बीच संतुलन बनाने के लिए एक दो-चरणीय उद्देश्य प्रस्तावित करते हैं:

सिमेट्रिक कॉन्ट्रास्टिव लर्निंग (Symmetric Contrastive Learning - SCL): मानक कॉन्ट्रास्टिव लर्निंग के विपरीत, यह चरण फोकल रीवेटिंग (focal reweighting) के साथ सिमेट्रिक इन्फोNCE (Symmetric InfoNCE) का उपयोग करता है। यह एंकर-पॉजिटिव और पॉजिटिव-एंकर पेयर्स को सममित (symmetrically) रूप से मानता है और कठिन उदाहरणों (hard examples) पर जोर देने के लिए एक फोकल वेट ( $w_i = (1 - j_i)^\gamma$ ) का उपयोग करता है।
सिमिलरिटी डिस्ट्रीब्यूशन मैचिंग (Similarity Distribution Matching - SDM): यह चरण एक बड़े मेमोरी क्यू (65,536 प्रविष्टियाँ) पर एक शिक्षक मॉडल के वितरण के विरुद्ध छात्र मॉडल के सिमिलरिटी डिस्ट्रीब्यूशन को मिलाने के लिए नॉलेज डिस्टिलेशन (knowledge distillation) करता है।
- शिक्षक मॉडल (Teacher Model): एक मजबूत प्री-ट्रेंड एनकोडर (Wang et al., 2024c)।
- तंत्र (Mechanism): छात्र मॉडल KL डाइवर्जेंस ( $L_{sdm} = KL(D_t \parallel D_s)$ ) का उपयोग करके शिक्षक के सिमिलरिटी डिस्ट्रीब्यूशन की नकल करता है।
- तापमान डिजाइन (Temperature Design): छात्र का तापमान ( $\tau_s$ ) शिक्षक ( $\tau_t$ ) की तुलना में कम रखा गया है ताकि एक शार्प छात्र वितरण बनाया जा सके, जो छात्र को अधिक सटीक एम्बेडिंग स्पेस सीखने के लिए मजबूर करता है।

3. बेस एनकोडर इनिशियलाइजेशन (RQ3)

पाइपलाइन को ट्रांसफर क्षमता और दक्षता-प्रदर्शन ट्रेड-ऑफ का परीक्षण करने के लिए विभिन्न बेस एनकोडर्स पर स्थापित किया गया है:

लघु स्तर (Small Scale): SEA-LION-ModernBERT-300M।
बड़े स्तर (Large Scale): E5-Large (600M पैरामीटर्स)।
एब्लेशन (Ablation): अध्ययन यह सत्यापित करने के लिए XLMR-Large, mmBERT-base, और SEA-LION-ModernBERT-base का भी परीक्षण करता है कि क्या पाइपलाइन के लाभ विशिष्ट इनिशियलाइजेशन से परे सामान्य होते हैं।

मुख्य परिणाम

मॉडल का मूल्यांकन SEA-BED पर किया गया, जो 10 दक्षिण-पूर्व एशियाई भाषाओं, 9 कार्य प्रकारों और 169 डेटासेट्स को कवर करने वाला एक आउट-ऑफ-डोमेन बेंचमार्क है।

अत्याधुनिक प्रदर्शन (State-of-the-Art Performance):
- SEA-Embedding-E5-Large-600M ने SEA-BED पर 0.800 का भाषा-औसत स्कोर प्राप्त किया, जिसने पिछले सर्वश्रेष्ठ ओपन मॉडल (multilingual-e5-large-instruct जो 0.789 था) को पछाड़ दिया और बहुत बड़े Qwen3-Embedding-8B (0.773) को काफी पीछे छोड़ दिया।
- SEA-Embedding-ModernBERT-300M ने 0.760 का स्कोर प्राप्त किया, जिसने अन्य छोटे मॉडलों जैसे harrier-oss-v1-270m (0.753) और embeddinggemma-300m (0.704) को पछाड़ दिया।
कम-संसाधन वाली भाषाओं में लाभ: मॉडल ने उच्च-संसाधन वाली SEA भाषाओं (इंडोनेशियाई, थाई, वियतनामी) पर प्रशिक्षित मॉडलों की तुलना में कम-संसाधन वाली भाषाओं जैसे लाओ, खमेर और म्यांमार पर विशेष रूप से मजबूत सुधार दिखाया।
एब्लेशन अंतर्दृष्टि (Ablation Insights):
- डेटा: सामान्य या निर्देश डेटा में से किसी एक को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई। महत्वपूर्ण रूप से, गैर-SEA निर्देश डेटा (जैसे, अरबी, थाई MIRACL) को हटाने से स्कोर 0.800 से घटकर 0.755 हो गया, जो बहुभाषी कार्य विविधता के महत्व को दर्शाता है।
- उद्देश्य: SDM लॉस को हटाने से स्कोर 0.800 से घटकर 0.776 हो गया। SDM को मानक नॉलेज डिस्टिलेशन (L2-KD) या CKD से बदलने पर और अधिक गिरावट देखी गई। तापमान डिजाइन ( $\tau_s < \tau_t$ ) भी महत्वपूर्ण था।
- बेस मॉडल: पाइपलाइन ने विविध बेस एनकोडर्स (MLM और कॉन्ट्रास्टिव प्री-ट्रेंड) को लगातार बेहतर बनाया, जिसमें भाषा-औसत स्कोर में +0.294 से +0.366 तक की वृद्धि देखी गई, जो सुझाव देता है कि यह रेसिपी किसी एक इनिशियलाइजेशन तक सीमित नहीं है।

महत्व और योगदान

पेपर तीन प्राथमिक योगदानों का दावा करता है:

पुनरुत्पादक ढांचा (Reproducible Framework): SEA-Embedding एक पारदर्शी पाइपलाइन प्रदान करता है जिसमें ओपन कोड, ओपन डेटा (केवल सार्वजनिक रूप से उपलब्ध) और एक पूरी तरह से पुनरुत्पादक वातावरण है, जो नियंत्रित तुलना और विफलता विश्लेषण को सक्षम बनाता है जो वर्तमान में क्लोज्ड मॉडल्स के साथ असंभव है।
अनुभवजन्य अंतर्दृष्टि (Empirical Insights): अध्ययन SEA सुदृढ़ता (robustness) पर डेटा संरचना, उद्देश्य डिजाइन और बेस-एनकोडर इनिशियलाइजेशन के विशिष्ट प्रभावों को अलग करता है, जो भविष्य के मॉडलों के लिए एक "डिज़ाइन रेसिपी" प्रदान करता है।
मजबूत प्रदर्शन: यह SEA टेक्स्ट एम्बेडिंग्स के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है और साथ ही यह प्रदर्शित करता है कि अनधिकृत मालिकाना डेटा पर भरोसा करने के बजाय ओपन डेटा और उद्देश्यों के व्यवस्थित इंजीनियरिंग के माध्यम से उच्च प्रदर्शन प्राप्त किया जा सकता है।

लेखक नोट करते हैं कि हालांकि पाइपलाइन क्षेत्र-तटस्थ (region-agnostic) और अनुकूलनीय है, वर्तमान अध्ययन प्रत्येक बोली या डोमेन-विशिष्ट अनुप्रयोग (जैसे, वित्तीय पाठ) को व्यापक रूप से कवर करने के बजाय एक मजबूत आधार बनाने पर केंद्रित है, जिसे भविष्य के कार्य के लिए छोड़ दिया गया है।