← नवीनतम पेपर
💬 NLP

RexBERT: Context Specialized Bidirectional Encoders for E-commerce

यह शोध पत्र RexBERT को प्रस्तुत करता है, जो एक विशाल 350-बिलियन-टोकन वाले ई-कॉमर्स कॉर्पस पर तीन-चरणीय प्रीट्रेनिंग रेसिपी का उपयोग करके प्रशिक्षित विशेषीकृत BERT-शैली के एनकोडर्स का एक परिवार है, जो काफी कम पैरामीटर्स होने के बावजूद डोमेन-विशिष्ट कार्यों पर बड़े सामान्य-उद्देश्य वाले मॉडलों से बेहतर प्रदर्शन करता है।

मूल लेखक: Rahul Bajaj, Anuj Garg

प्रकाशित 2026-02-05
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Rahul Bajaj, Anuj Garg

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ RexBERT पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवाद दिया गया है।

मुख्य विचार: विशिष्ट बनाम सामान्य ज्ञान (Specialized vs. General Knowledge)

कल्पना कीजिए कि आपके पास दो प्रकार के लाइब्रेरियन (पुस्तकालयाध्यक्ष) हैं।

  1. सामान्य लाइब्रेरियन (सामान्य उद्देश्य वाला AI): उन्होंने दुनिया की लगभग हर किताब पढ़ी है। उन्हें हर चीज़ के बारे में थोड़ा-थोड़ा पता है—इतिहास, खाना बनाना, विज्ञान और फिल्में। वे सामान्य बातचीत में बहुत अच्छे हैं।
  2. विशिष्ट लाइब्रेरियन (RexBERT): इस लाइब्रेरियन ने केवल खरीदारी, उत्पादों और रिटेल (खुदरा व्यापार) से जुड़ी किताबें पढ़ी हैं। उन्हें शायद क्वांटम भौतिकी के बारे में ज़्यादा न पता हो, लेकिन वे "लाल ड्रेस" और "लाल शर्ट" के बीच के अंतर को समझने में या यह जानने में माहिर हैं कि एक "चार्जर" फोन का एक पूरक (complement) है, न कि उसका विकल्प (substitute)।

यह पेपर तर्क देता है कि ई-कॉमर्स (ऑनलाइन शॉपिंग) के लिए, विशिष्ट लाइब्रेरियन वास्तव में सामान्य लाइब्रेरियन से बेहतर है, भले ही वह सामान्य लाइब्रेरियन बहुत बड़ा हो और उसने कुल मिलाकर अधिक किताबें पढ़ी हों।

समस्या: "सामान्य" लाइब्रेरियन भ्रमित हो जाता है

आज के अधिकांश AI मॉडल पूरे इंटरनेट पर प्रशिक्षित (train) होते हैं। हालाँकि यह उन्हें स्मार्ट बनाता है, लेकिन वे अक्सर खरीदारी के सूक्ष्म विवरणों को मिस कर देते हैं।

  • समस्या: यदि आप एक सामान्य AI से पूछें, "क्या बैटरी एक फोन का विकल्प (substitute) है?" तो वह भ्रमित हो सकता है। खरीदारी में, बैटरी एक पूरक (complement) है (आपको दोनों की आवश्यकता होती है), न कि एक विकल्प (आप एक के बजाय दूसरे का उपयोग नहीं करते हैं)।
  • परिणाम: सामान्य मॉडल उन उत्पादों के बीच अंतर करने में संघर्ष करते हैं जो समान हैं, जो एक साथ चलते हैं, और जिनका आपस में कोई संबंध नहीं है।

समाधान: RexBERT

लेखकों ने RexBERT बनाया है, जो विशेष रूप से खरीदारी के लिए डिज़ाइन किए गए AI मॉडलों का एक परिवार है। उन्होंने केवल एक बड़ा मॉडल नहीं बनाया; उन्होंने तीन मुख्य चरणों का उपयोग करके एक स्मार्ट और अधिक केंद्रित मॉडल बनाया:

1. "Ecom-niverse" (विशेष पुस्तकालय)

अपने मॉडल को प्रशिक्षित करने के लिए, वे केवल पूरे इंटरनेट का उपयोग नहीं कर सकते थे। उन्हें खरीदारी के डेटा से भरा एक पुस्तकालय चाहिए था।

  • उपमा (Analogy): कल्पना कीजिए कि एक विशाल कचरे के ढेर (पूरे इंटरनेट) से केवल सोने के सिक्कों (शॉपिंग डेटा) को छानकर निकालना।
  • उन्होंने क्या किया: उन्होंने Ecom-niverse नामक एक विशाल डेटासेट बनाया जिसमें 350 बिलियन शब्द थे। उन्होंने FineFineWeb नामक एक विशाल वेब डेटासेट से केवल फैशन, ब्यूटी, कारों और इलेक्ट्रॉनिक्स से संबंधित सामग्री निकालने के लिए एक स्मार्ट फ़िल्टरिंग प्रक्रिया (एक हाई-टेक छलनी की तरह) का उपयोग किया। उन्होंने यह सुनिश्चित करने के लिए अन्य AI मॉडलों का भी उपयोग किया कि डेटा वास्तव में खरीदारी के बारे में है न कि केवल रैंडम विज्ञापन या समाचार।

2. "तीन-चरणों वाली कुकिंग रेसिपी" (प्रशिक्षण पाठ्यक्रम)

आप मॉडल को सीधे शॉपिंग डेटा में नहीं डाल सकते; उसे पहले बुनियादी बातें सीखने की आवश्यकता होती है। लेखकों ने तीन-चरणीय प्रशिक्षण रेसिपी का उपयोग किया:

  • चरण 1: सामान्य शिक्षा। सबसे पहले, उन्होंने मॉडल को सब कुछ (किताबें, कोड, समाचार, वेब टेक्स्ट) के मिश्रण पर सिखाया। इसने इसे भाषा कैसे काम करती है, इसका एक ठोस आधार दिया।
  • चरण 2: पैर फैलाना (Stretching the Legs)। शॉपिंग पेज बहुत लंबे हो सकते हैं (सोचिए एक प्रोडक्ट पेज जिसमें शीर्षक, एक लंबा विवरण और 20 विशेषताओं की सूची हो)। उन्होंने मॉडल को बहुत लंबे टेक्स्ट (8,192 शब्दों तक) को संभालने के लिए प्रशिक्षित किया ताकि उसे महत्वपूर्ण विवरणों को बीच में ही न छोड़ना पड़े।
  • चरण 3: "शॉपिंग बूट कैंप" (Annealing)। अंत में, उन्होंने प्रशिक्षण को धीरे-धीरे लगभग पूरी तरह से Ecom-niverse शॉपिंग डेटा पर केंद्रित कर दिया। उन्होंने Guided MLM नामक एक विशेष तकनीक का उपयोग किया, जो एक शिक्षक की तरह है जो वाक्य के सबसे महत्वपूर्ण शब्दों (जैसे "वॉटरप्रूफ" या "साइज 10") की ओर इशारा करता है और कहता है, "इन पर विशेष ध्यान दें!" यह मॉडल को उत्पादों की विशिष्ट भाषा सीखने में मदद करता है।

3. परिणाम: छोटा लेकिन शक्तिशाली

लेखकों ने विभिन्न आकार के RexBERT मॉडल बनाए, जो बहुत छोटे (17 मिलियन पैरामीटर्स) से लेकर बड़े (400 मिलियन पैरामीटर्स) तक हैं।

  • आश्चर्य: भले ही उनके मॉडल प्रसिद्ध सामान्य मॉडलों की तुलना में 2 से 3 गुना छोटे थे, फिर भी वे खरीदारी के कार्यों में बेहतर प्रदर्शन करते थे।
  • प्रमाण: जब इन पर निम्नलिखित कार्यों के लिए परीक्षण किया गया:
    • खाली स्थान भरना: उत्पाद के शीर्षक में गायब शब्दों का अनुमान लगाना।
    • उत्पादों का मिलान करना: यह तय करना कि क्या दो वस्तुएं एक ही हैं, समान हैं, या असंबंधित हैं।
    • सामान्य बुद्धिमत्ता: गैर-शॉपिंग परीक्षणों (जैसे चुटकुले या व्याकरण को समझना) पर भी, ये छोटे शॉपिंग विशेषज्ञ आश्चर्यजनक रूप से अच्छे थे, और अक्सर बड़े सामान्य मॉडलों को पछाड़ते थे।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

पेपर का दावा है कि गुणवत्तापूर्ण डेटा + एक अच्छी प्रशिक्षण योजना केवल मॉडल को विशाल बनाने से अधिक महत्वपूर्ण है।

  • उपमा: एक खेल के विशिष्ट नियमों को जानने वाले एक छोटे, अत्यधिक प्रशिक्षित विशेषज्ञ का होना, एक विशाल अप्रशिक्षित भीड़ से बेहतर है जो सब कुछ थोड़ा-थोड़ा जानता है।
  • निष्कर्ष: यदि आप किसी विशिष्ट कार्य (जैसे स्वास्थ्य सेवा, कानून या खरीदारी) के लिए AI चाहते हैं, तो आपको एक विशाल "ईश्वर जैसा" AI बनाने की आवश्यकता नहीं है। आपको बस उसे सही, विशिष्ट डेटा खिलाने और सावधानी से सिखाने की आवश्यकता है।

सारांश

RexBERT ऑनलाइन शॉपिंग के लिए एक नया AI टूल है। इसे बनाया गया था:

  1. खरीदारी के टेक्स्ट का एक विशाल, साफ पुस्तकालय एकत्र करके।
  2. तीन चरणों में प्रशिक्षण देकर: सामान्य सीखना →\rightarrow लंबे-टेक्स्ट सीखना →\rightarrow विशिष्ट खरीदारी सीखना।
  3. यह सिद्ध करके कि एक छोटा, विशिष्ट मॉडल उत्पादों, खोज प्रश्नों (search queries) और ग्राहकों के इरादे को समझने में बड़े, सामान्य मॉडलों को हरा सकता है।

लेखकों ने अपना डेटा और तरीके जारी किए हैं ताकि कोई भी न केवल खरीदारी, बल्कि अन्य क्षेत्रों के लिए भी इसी तरह के "विशिष्ट लाइब्रेरियन" बना सके।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →