💬 NLP

RexBERT: Context Specialized Bidirectional Encoders for E-commerce

تقدم الورقة البحثية RexBERT، وهي عائلة من مشفرات نمط BERT المتخصصة التي تم تدريبها على مجموعة بيانات ضخمة للتجارة الإلكترونية مكونة من 350 مليار رمز باستخدام وصفة تدريب مسبق ثلاثية المراحل، والتي تتفوق على النماذج العامة الأكبر حجمًا في المهام الخاصة بالمجال رغم امتلاكها عددًا أقل بكثير من المعلمات.

المؤلفون الأصليون: Rahul Bajaj, Anuj Garg

نُشر 2026-02-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rahul Bajaj, Anuj Garg

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث RexBERT، مترجم إلى لغة بسيطة باستخدام تشبيهات من الحياة اليومية.

الفكرة الكبرى: المعرفة المتخصصة مقابل المعرفة العامة

تخيل أن لديك نوعين من أمناء المكتبات:

أمين المكتبة العام (الذكاء الاصطناعي للأغراض العامة): لقد قرأ كل كتاب تقريبًا في العالم. هو يعرف القليل عن كل شيء—التاريخ، الطبخ، العلوم، والأفلام. إنه بارع في المحادثات العامة.
أمين المكتبة المتخصص (RexBERT): هذا الأمين لم يقرأ سوى الكتب المتعلقة بـ التسوق، والمنتجات، والتجزئة. قد لا يعرف الكثير عن الفيزياء الكمية، لكنه خبير مطلق في فهم الفرق بين "فستان أحمر" و"قميص أحمر"، أو معرفة أن "الشاحن" هو مُكمل للهاتف وليس بديلاً له.

تجادل الورقة البحثية بأنه بالنسبة للتجارة الإلكترونية (التسوق عبر الإنترنت)، فإن أمين المكتبة المتخصص هو في الواقع أفضل من العام، حتى لو كان العام أكبر بكثير وقد قرأ كتبًا أكثر بشكل عام.

المشكلة: أمين المكتبة "العام" يصاب بالارتباك

معظم نماذج الذكاء الاصطناعي اليوم يتم تدريبها على الإنترنت بأكم، ورغم أن هذا يجعلها ذكية، إلا أنها غالبًا ما تغفل عن التفاصيل الدقيقة للتسوق.

المشكلة: إذا سألت ذكاءً اصطناعيًا عامًا: "هل البطارية بديل لـ الهاتف؟"، فقد يرتبك. في التسوق، البطارية هي مُكمل (تحتاج لكليهما)، وليست بديلًا (لا تستخدم أحدهما مكان الآخر).
النتيجة: تعاني النماذج العامة في التمييز بين المنتجات المتشابهة، والمنتجات التي تتماشى مع بعضها البعض، والمنتجات التي لا علاقة لها ببعضها البعض.

الحل: RexBERT

قام المؤلفون ببناء RexBERT، وهي عائلة من نماذج الذكاء الاصطناعي المصممة خصيصًا للتسوق. لم يقوموا فقط بجعل النموذج أكبر؛ بل جعلوا منه نموذجًا أذكى وأكثر تركيزًا باستخدام ثلاث خطوات رئيسية:

1. "Ecom-niverse" (المكتبة المتخصصة)

لتدريب نموذجهم، لم يستطيعوا استخدام الإنترنت بأكمله. كانوا بحاجة إلى مكتبة مليئة ببيانات التسوق.

التشبيه: تخيل البحث في جبل هائل من النفايات (الإنترنت بأكره) للعثور فقط على العملات الذهبية (بيانات التسوق).
ماذا فعلوا: أنشأوا مجموعة بيانات ضخمة تسمى Ecom-niverse تحتوي على 350 مليار كلمة. استخدموا عملية تصفية ذكية (مثل المنخل عالي التقنية) لاستخراج المحتوى المتعلق بالأزياء، والجمال، والسيارات، والإلكترونيات فقط من مجموعة بيانات ويب ضخمة تسمى FineFineWeb. حتى أنهم استخدموا نماذج ذكاء اصطناعي أخرى للتحقق من أن البيانات تتعلق بالتسوق بالفعل وليس مجرد إعلانات أو أخبار عشوائية.

2. "وصفة الطهي ذات الثلاث مراحل" (منهج التدريب)

لا يمكنك إلقاء نموذج في مجموعة بيانات التسوق مباشرة؛ يجب أن يتعلم الأساسيات أولًا. استخدم المؤلفون وصفة تدريب مكونة من ثلاث خطوات:

المرحلة 1: التعليم العام. أولاً، علموا النموذج مزيجًا من كل شيء (الكتب، البرمجة، الأخبار، ونصوص الويب). منحهم هذا أساسًا متينًا في كيفية عمل اللغة.
المرحلة 2: تمديد الأرجل. صفحات التسوق يمكن أن تكون طويلة جدًا (فكر في صفحة منتج تحتوي على عنوان، ووصف طويل، وقائمة تضم 20 ميزة). علموا النموذج التعامل مع النصوص الطويلة جدًا (حتى 8,192 كلمة) حتى لا يضطر لقطع التفاصيل المهمة.
المرحلة 3: "معسكر تدريب التسوق" (التسخين/Annealing). أخيرًا، قاموا بتحويل التدريب تدريجيًا للتركيز بالكامل تقريبًا على بيانات التسوق من Ecom-niverse. استخدموا تقنية خاصة تسمى Guided MLM، وهي تشبه معلمًا يشير إلى أهم الكلمات في الجملة (مثل "مقاوم للماء" أو "مقاس 10") ويقول: "انتبه جيدًا لهذه الكلمات!". يساعد هذا النموذج على تعلم لغة المنتجات المحددة.

3. النتيجة: صغير ولكن قوي

بنى المؤلفون نماذج RexBERT بأحجام مختلفة، من الصغير جدًا (17 مليون معلمة) إلى الكبير (400 مليون معلمة).

المفاجأة: على الرغم من أن نماذجهم كانت أصغر بمقدار 2 إلى 3 مرات من النماذج العامة الشهيرة والكبيرة، إلا أنها حققت أداءً أفضل في مهام التسوق.
الدليل: عند اختبارهم في مهام مثل:
- ملء الفراغات: تخمين الكلمات المفقودة في عنوان المنتج.
- مطابقة المنتجات: تحديد ما إذا كان عنصران هما نفس الشيء، أو متشابهان، أو غير مرتبطين.
- الذكاء العام: حتى في الاختبارات غير المتعلقة بالتسوق (مثل فهم النكات أو القواعد)، كانت هذه الخبراء الصغار في مجال التسوق جيدين بشكل مفاجئ، وغالبًا ما تفوقوا على النماذج العامة الأكبر حجمًا.

لماذا هذا مهم (وفقًا للورقة البحثية)

تدعي الورقة أن جودة البيانات + خطة تدريب جيدة هي أكثر أهمية من مجرد جعل النموذج ضخمًا.

التشبيه: من الأفضل أن يكون لديك خبير مدرب تدريبًا عاليًا يعرف القواعد المحددة للعبة، من أن يكون لديك حشد ضخم غير مدرب يعرف القليل عن كل شيء.
الخلاصة: إذا كنت تريد ذكاءً اصطناعيًا لوظيفة محددة (مثل الرعاية الصحية، أو القانون، أو التسوق)، فلا تحتاج إلى بناء ذكاء اصطناعي ضخم "شبه إلهي". أنت فقط بحاجة إلى تغذيته بالبيانات الصحيحة والمتخصصة وتعليمه بعناية.

الملخص

RexBERT هو أداة ذكاء اصطناعي جديدة للتسوق عبر الإنترنت. تم بناؤه من خلال:

جمع مكتبة ضخمة ونظيفة من نصوص التسوق.
التدريب في ثلاث خطوات: التعلم العام $\leftarrow$ تعلم النصوص الطويلة $\leftarrow$ تعلم التسوق المتخصص.
إثبات أن نموذجًا أصغر ومتخصصًا يمكنه التغلب على النماذج العامة الأكبر في فهم المنتجات، واستعلامات البحث، ونوايا العملاء.

لقد نشر المؤلفون بياناتهم وطرقهم لكي يتمكن أي شخص من بناء "أمناء مكتبة متخصصين" مماثلين للمجالات الأخرى، وليس فقط للتسوق.

ملخص تقني: RexBERT – مشفرات ثنائية الاتجاه متخصصة للتجارة الإلكترونية

بيان المشكلة

بينما تظل نماذج المحولات المعتمدة على المشفر فقط (مثل BERT وModernBERT) لا غنى عنها في عمليات الاسترجاع، والتصنيف، والترتيب نظرًا لمزاياها من حيث التكلفة وزمن الاستجابة، فإن معظم النماذج العامة تُدرب على مجموعات بيانات عامة ذات تغطية محدودة للمجالات المتخصصة. في التجارة الإلكترونية، غالبًا ما تفشل النماذج العامة في استيعاب الفروق الدقيقة بين علاقات المنتجات (مثل البدائل مقابل المكملات) أو التعرف على السمات الدقيقة بسبب الطبيعة الفريدة للنصوص في قطاع التجزئة التي تتسم بكثافة الكيانات وهيكليتها شبه المنظمة. علاوة على ذلك، ركز مجتمع الأبحاث بشكل متزايد على النماذج المعتمدة على فك التشفول (decoder-only) لغرض التوليد، مما ترك أبحاث المشفرات (encoder research) أقل تطورًا بالمقارنة رغم التقدم المعماري الأخير.

المنهجية

1. تنسيق المجموعة النصية: Ecom-niverse

قدم المؤلفون Ecom-niverse، وهي مجموعة نصية مكونة من 350 مليار توكن (token) تم تنسيقها خصيصًا لدلالات التجارة الإلكترونية.

المصدر: مستمد من FineFineWeb، وهي مجموعة بيانات FineWeb المكونة من 4.4 تريليون توكن والمستندة إلى CommonCrawl.
استراتيجية الاختيار: تم فحص المجالات يدويًا وتجميعها في فئتين: مجالات تتطلب التصفية (مثل الهوايات، الأخبار) ومجالات ذات تداخل شبه كامل (مثل الموضة، التجميل، السيارات).
خط المعالجة (Pipeline): تم استخدام خط معالجة معياري يتضمن:
- اختيار المجال: التركيز على المجالات عالية التداخل لتقليل مساحة البحث.
- التوسيم باستخدام النماذج اللغوية الكبيرة (LLM Labeling): استخدام نموذج مضبوط للتعليمات (Phi-4) لتعيين تسميات صلة ثنائية (ذات صلة مقابل غير ذات صلة) للعناصر المختارة.
- تدقيق الجودة (QA Auditing): قام نموذج أقوى (Llama3-70B) بتدقيق مجموعة فرعية من التسميات لتنقيح الإرشادات وضمان الاتساق.
- التقطير (Distillation): تم تقطير تسميات الـ LLM إلى مصنفات fastText قابلة للتوسع لضمان تصفية عالية الإنتاجية لتقسيمات المجالات بأكملها.
- التنظيف: الاحتفاظ باللغة الإنجليزية فقط، إزالة النصوص الزائدة (boilerplate/ad)، إزالة التكرار (MinHash)، وتصفية الألفاظ النابية.

2. منهج التدريب (Training Curriculum)

يتبع التدريب المسبق منهجًا ثلاثي المراحل مقتبسًا من ModernBERT ولكن تم تكييفه مع الخصائص الإحصائية للتجارة الإلكترونية:

المرحلة 1: التدريب المسبق العام: التدريب على 1.7 تريليون توكن من بيانات متنوعة (ويب، كتب، كود، أوراق تقنية) مع تسلسلات بطول 512 توكن، ونسبة قناع (masking ratio) تبلغ 30%، ودرجة إسقاط (dropout) عالية لإنشاء تمثيلات توكن قوية.
المرحلة 2: تمديد السياق: تم تمديد طول التسلسل إلى 8,192 توكن لـ 250 مليار توكن. استخدمت هذه المرحلة تضمينات الموضع الدوارة (RoPE) مع توسيع NTK-aware وانتباه عالمي/محلي متبادل لنمذجة صفحات المنتجات الطويلة وكتل السمات.
المرحلة 3: التخصص المجالي الملدن (Annealed Domain Specialization): تم تخصيص النموذج على مجموعة Ecom-niverse المكونة من 350 مليار توكن.
- اللدونة (Annealing): تم تغيير أوزام العينات تدريجيًا نحو بيانات التجارة الإلكترونية لمنع النسيان الكارثي.
- التعلم الموجه بالقناع (Guided MLM): تم تقديم استراتيجية قناع مستهدفة حيث تعطي حوالي 5% من التسلسلات لكل دفعة (batch) الأولوية للأجزاء ذات الصلة بالمجال (الكيانات والسمات) التي تم تحديدها بواسطة خط معالجة خفيف الوزن. هدف هذا إلى تعزيز تمثيلات التوكنات عالية القيمة مع الحفاظ على القدرة على التعميم عبر القناع العشوائي القياسي.

3. بنية النموذج

يتبنى RexBERT بنية مشفر بأسلوب BERT الحديث بناءً على مبادئ ModernBERT:

البنية: طبقات خالية من الانحياز (Biasless)، تطبيع مسبق (pre-normalization)، تنشيطات GeGLU، وانتباه عالمي/محلي متبادل لتقليل التعقيد التربيعي.
التقطيع (Tokenization): مقطع BPE حديث (قاموس بحجم 50,368) مشتق من OLMo.
ম التحسين: مُحسن StableAdamW مع جدول معدل تعلم شبه منحرف (Warmup-Stable-Decay).
الأحجام: تم تدريب أربعة أحجام من النماذج: Micro (17 مليون)، Mini (68 مليون)، Base (150 مليون)، و Large (400 مليون) بارامتر.

المساهمات الرئيسية

Ecom-niverse: إصدار مجموعة نصية مكونة من 350 مليار توكن، منسقة عبر خط معالجة معياري وقابل للتكرار من موارد الويب المفتوحة.
وصفة التدريب المسبق: منهجية تدريب ثلاثية المراحل (عام $\leftarrow$ تمديد السياق $\leftarrow$ تخصص ملدن) تتضمن التعلم الموجه بالقناع (Guided MLM) لتعزيز تعلم دلالات التجارة الإلكترونية.
نماذج RexBERT: تدريب وتقييم أربعة أحجام من النماذج التي تظهر أداءً فائقًا في المهام الخاصة بالمجال مقارنة بالمشفرات العامة الأكبر حجمًا.

النتائج

تصنيف التوكن (استعادة التوكن المقنع)

تم التقييم على عناوين المنتجات والأوصاف (المقتطعة إلى 128، 256، 512 توكن) باستخدام دقة top-k حيث ( $k \in \{1, 3, 5\}$ ).

الأداء: تفوقت نماذج RexBERT باستمرار على النماذج المرجعية العامة (ModernBERT, DistilBERT, BERT-mini) عبر جميع الأحجام.
نتيجة ملحو-ظة: تفوق نموذج RexBERT-mini (68 مليون بارامتر) على ModernBERT-large (أكثر من 400 مليون بارامتر) في دقة top-1 على عناوين المنتات عند 128 توكن (65.58% مقابل 60.5%).
التوسع: حقق RexBERT-base (150 مليون) دقة أعلى من ModernBERT-base عبر جميع أحجام الكتل وإعدادات top-k.

التشابه الدلالي (اختبار ESCI)

تم التقييم على مجموعة بيانات Amazon ESCI (استعلامات التسوق) لقياس القدرة على التمييز بين علاقات: دقيق (Exact)، بديل (Substitute)، مكمل (Complement)، وغير ذي صلة (Irrelevant).

المقياس: معامل ارتباط سبيرمان (Spearman's rank correlation) بين تشابه جيب التمام المتوقع ودرجات الصلة المستهدفة.
الأداء: حققت سلسلة RexBERT (من Micro إلى Large) ارتباطًا أعلى من ModernBERT وEttin وEmbeddingGemma.
كفاءة التوسع: كانت المكاسب أكثر وضوحًا من Micro $\leftarrow$ Mini $\leftarrow$ Base، مما يشير إلى أن تصميم المنهج الخاص بالمجال يلتقط الإشارات ذات الصلة بالمهمة بشكل أكثر فعالية من مجرد زيادة عدد البارامترات.

فهم اللغة العام (GLUE)

على الرغم من التخصص، ظلت نماذج RexBERT تنافسية في مهام فهم اللغة الطبيعية (NLU) العامة (SST-2, QNLI, QQP, MNLI, STS-B).

القابلية للنقل: تفوق RexBERT-mini على DistilBERT في جميع مهام GLable الخمس. كما تفوق RexBERT-micro (17 مليون) باستمرار على Ettin-17m.
ملاحظة: أظهرت النماذج أن التخصص المجالي عبر منهج تدريبي تدريجي لا يضحي بقدرات فهم اللغة الواسعة.

الأهمية والادعاءات

تفترض الورقة أن البيانات عالية الجودة داخل المجال، جنباً إلى جنب مع نهج تدريب مبدئي، توفر أساسًا أقوى لتطبيقات التجارة الإلكترونية من التوسع العشوائي وحده.

الكفاءة: تحقق نماذج RexBERT أداءً يضاهى (SOTA) في الاختبارات الخاصة بالمجال باستخدام 2–3 أضعاف أقل من البارامترات مقارنة بالمشفرات العامة المماثلة.
قابلية التكرار: يعد هذا العمل دراسة حالة لبناء مشفرات متخصصة في مجال معين من البيانات المفتوحة. ويدعي المؤلفون أن خط المعالجة معياري ويمكن تطبيقه على مجالات أخرى (الرعاية الصحية، القانون، العلوم) عن طريق استبدال المجموعة النصية.
الأثر العملي: تشير النتائج إلى تحسين التمثيلات لاستخراج السمات، وإكمال الكتالوج، وترتيب الاسترجاع، خاصة في التمييز بين علاقات المنتجات الدقيقة (البدائل مقابل المكملات) التي غالبًا ما تخلط النماذج العامة بينها. كما أن القدرة على التعامل مع السياق الطويل (8k توكن) تعالج الحاجة لمعالجة صفحات التجار الكاملة دون الحاجة للاقتطاع التجريبي.