💬 NLP

MixLM: High-Throughput and Effective LLM Ranking via Text-Embedding Mix-Interaction

يُعد MixLM إطار عمل جديد لترتيب النماذج اللغوية الكبيرة يعزز إنتاجية النظام بشكل كبير عبر استبدال المدخلات النصية الطويلة برموز تضمين مدمجة من خلال آلية تفاعل مختلطة، مما يتيح نشر حركة المرور الكاملة بكفاءة في تطبيقات البحث الواقعية مع الحفاظ على مستوى عالٍ من الصلة.

المؤلفون الأصليون: Guoyao Li, Ran He, Shusen Jing, Kayhan Behdin, Yubo Wang, Sundara Raman Ramachandran, Chanh Nguyen, Jian Sheng, Xiaojing Ma, Chuanrui Zhu, Sriram Vasudevan, Muchen Wu, Sayan Ghosh, Lin Su, Qingquan So

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guoyao Li, Ran He, Shusen Jing, Kayhan Behdin, Yubo Wang, Sundara Raman Ramachandran, Chanh Nguyen, Jian Sheng, Xiaojing Ma, Chuanrui Zhu, Sriram Vasudevan, Muchen Wu, Sayan Ghosh, Lin Su, Qingquan Song, Xiaoqing Wang, Zhipeng Wang, Qing Lan, Yanning Chen, Jingwei Wu, Luke Simon, Wenjing Zhang, Qi Guo, Fedor Borisyuk

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مكتبة ضخمة حيث يطلب ملايين الأشخاص توصيات بالكتب في كل ثانية. لديك أمين مكتبة عبقري وذكي للغاية (وهو النموذج اللغوي الكبير، أو LLM)، يمكنه قراءة وصف الكتاب بأك edge وفهم سؤال المستخدم، ومعرفة ما إذا كان هناك تطابق مثالي في لمح البصر.

المشكلة هي؟ أن أمين المكتبة هذا دقيق للغاية. لتقديم إجابة جيدة، يحتاج إلى قراءة وصف الكتاب بالكامل لكل كتاب مرشح. إذا كان للكتاب 2,000 كلمة، ولديك 1,000 كتاب للتحقق منها، فسيتعين على أمين المكتبة قراءة مليوني كلمة من أجل طلب واحد فقط. في عالم خوادم الكمبيوتر الحقيقي، يستغرق هذا وقتاً طويلاً ويكلف الكثير من المال. تصبح المكتبة مزدحمة، وينتظر الناس طويلاً.

إليك MixLM: أمين المكتبة الذي يستخدم "ورقة الغش".

ابتكر الباحثون في LinkedIn طريقة جديدة للعمل تسمى MixLM. بدلاً من جعل أمين المكتبة يقرأ وصف الكتاب بالكامل في كل مرة، أنشأوا نظاماً يتم فيه معالجة وصف الكتاب مسبقاً ليصبح "ورقة غش" صغيرة ومكثفة للغاية (وهي مجموعة من الأرقام تسمى رموز التضمين - embedding tokens) قبل أن يراها أمين المكتبة حتى.

إليك كيف يعمل الأمر، مقسماً إلى خطوات بسيطة:

1. "القراءة المسبقة" (مرحلة عدم الاتصال - Offline Stage)

تخيل أنه قبل افتتاح المكتبة في ذلك اليوم، يقوم فريق من المساعدين بقراءة كل كتاب في المكتبة. وبدلاً من كتابة ملخص، يقومون بتلخيص الكتاب بأكمله في "بطاقة جوهر" واحدة مثالية.

ما تقوله الورقة البحثية: إنهم يستخدمون "نموذج ترميز لغوي" (Encoder LLM) لتحويل آلاف الكلمات من نص العنصر إلى مجموعة صغيرة من رموز التضمين المتعلمة.
التشبيه: يتم تخزين "بطاقات الجوهر" هذه في خزانة خاصة سريعة الوصول (تسمى nearline cache) بجوار مكتب أمين المكتبة مباشرة.

2. "الخلط" (مرحلة الاتصال - Online Stage)

عندما يسأل مستخدم: "أريد وظيفة في مجال علم البيانات"، لا يحتاج أمين المكتبة لقراءة أوصاف الوظائف الكاملة مرة أخرى.

يأخذ سؤال المستخدم (النص).
يجلب "بطاقات الجوهر" (التضمينات) لأفضل المرشحين للوظائف من الخزانة.
يخلط سؤال المستخدم مع هذه البطاقات الصغيرة.
ما تقوله الورقة البحثية: هذا يخلق "تمثيلاً تفاعلياً مختلطاً" يجمع بين الرموز النصية ورموز التضمين.
التشبيه: الأمر يشبه قراءة أمين المكتبة لملاحظة قصيرة تقول: "المستخدم يريد علم بيانات" + [بطاقة للوظيفة أ] + [بطاقة للوظيفة ب]. يمكن لأمين المكتبة أن "يشعر" فوراً بالارتباط بين المستخدم والوظيفة دون الحاجة لخوض غمار آلاف الكلمات.

3. النتيجة: السرعة والذكاء

لأن أمين المكتبة يقرأ فقط بضع "بطاقات" بدلاً من كتب كاملة، يمكنه معالجة الطلبات بسرعة أكبر بـ 75 مرة من ذي قبل، مع بقائه ذكياً بقدر النسخة البطيئة والدقيقة تقريباً.

تدعي الورقة البحثية: يحسن MixLM معدل الإنتاجية بمقدار 10.0 أضعاف مقارنة بنهج "التلخيص"، وبمقدار 75.9 ضعفاً مقارنة بقراءة النص الكامل.
التشبيه: إنه الفرق بين أمين مكتبة يمكنه فحص 290 كتاباً في الساعة (الطريقة القديمة) مقابل واحد يمكنه فحص 22,000 كتاب في الساعة (MixLM)، مع نفس مستوى الدقة.

كيف علموا أمين المكتبة؟

قد تتساءل، "كيف يعرف أمين المكتبة كيفية قراءة هذه البطاقات الصغيرة؟"
استخدم الباحثون طريقة تدريب ذكية:

المعلم: أولاً، قاموا بتدريب "أمين مكتبة خارق" يقرأ الكتب الكاملة وهو دقيق جداً.
الطالب: ثم، قاموا بتدريب "أمين مكتبة MixLM" ليحاكي قرارات "أمين المكتبة الخارق"، ولكن باستخدام البطاقات الصغيرة بدلاً من الكتب الكاملة.
المحاذاة: أضافوا قواعد خاصة (دوال الخسارة - loss functions) للتأكد من أن "بطاقات الجوهر" تتناسب تماماً مع عقل أمين المكتبة، بحيث يبدو مزيج النص والبطاقات طبيعياً.

التأثير في العالم الحقيقي

عندما وضعت LinkedIn هذا النظام للعمل في ميزة "البحث عن الوظائف" الخاصة بها:

تمكنوا أخيراً من استخدام هذا الذكاء الاصطناعي الفائق للجميع (حركة المرور الكاملة)، وليس فقط لعدد قليل من المستخدمين المحظوظين.
ولأن البحث كان أسرع وأذكى، وجد المزيد من الناس الوظائف التي يحبونها.
تدعي الورقة البحثية: أدى ذلك إلى زيادة بنسبة 0.47% في عدد المستخدمين النشطين يومياً (DAU). وفي عالم المنصات التي تضم ملايين المستخدمين، تمثل هذه النسبة الصغيرة عدداً هائلاً من الأشخاص الذين حصلوا على تجربة أفضل.

باختاً مختصراً: MixLM يشبه إعطاء ذكاء اصطناعي فائق الذكاء "قلم تحديد" (Highlighter) يلخص المستندات الطويلة إلى ملاحظات صغيرة وقوية. هذا يسمح للذكاء الاصطناعي بالقراءة بشكل أسرع دون فقدان ذكائه، مما يجعل محركات البحث عن الوظائف (وأشياء أخرى) سريعة للغاية ودقيقة للغاية في آن واحد.

ملخص تقني: MixLM

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات فائقة في ترتيب الصلة (relevance ranking) في أنظمة البحث والتوصية من خلال التقاط إشارات دلالية دقيقة تفتقدها الطرق المعجمية التقليدية. ومع ذلك، يواجه نشر النماذج اللغوية الكبيرة كمرتبات عبر-مشفرة (cross-encoder rankers) في البيئات الصناعية عقبة حرجة: التكلفة الحسابية.

تقوم نهج المشفرات عبر-النماذج (cross-encoder) القياسية ببناء مطالبات (prompts) تجمع بين استعلامات المستخدم وأوصاف العناصر المرشحة الطويلة (التي تتكون غالباً من آلاف الرموز/tokens). يؤدي هذا إلى:

استدلال مرحلة التعبئة المسبقة (Prefill Inference) الثقيلة: تهيمن تكلفة مرحلة التعبئة المسبقة على العملية، وهي تتوسع بشكل تربيعي مع طول السياق بسبب آليات الانتباه (attention mechanisms).
قيود الإنتاجية (Throughput Constraints): تحت ميزانيات زمن استجابة صارمة (على سبيل المثال، 500 مللي ثانية)، تُضطر الأنظمة إما لاستخدام نماذج أصغر وأقل قدرة، أو التخلي عن الميزات المعلوماتية الغنية (مثل التلخيص النصي أو التقليم)، مما يضحي بجودة الترتيب.

التحدي الجوهري هو تقليل طول سياق المدخلات بشكل كبير مع الحفاظ على التفاعل الدلالي الغني بين الاستعلام والمستند الكامل.

المنهجية: إطار عمل MixLM

يقترح المؤلفون MixLM، وهو إطار عمل للترتيب يعتمد على النماذج اللغوية الكبيرة، يستبدل نص العنصر الطويل بمجموعة مدمجة من رموز التضمين (embedding tokens) المتعلمة. هذه البنية "تفاعل مزيج النص-التضمين" تفصل عملية معالجة أوصاف العناصر عن مرحلة الترتيب عبر الإنترنت (online ranking).

1. البنية (Architecture)

يتكون MixLM من مكونين أساسيين:

النموذج اللغوي المشفر (Encoder LLM): يعالج وصف العنصر الكامل في وضع عدم الاتصال (offline) أو قريب الاتصال (nearline) لإنشاء تمثيل مدمج. وبدلاً من إخراج متجه واحد، فإنه ينتج تسلسلاً من رموز التضمين. في بيئة الإنتاج، يستخدم المؤلفون أخذ عينات آخر-N (last-N sampling) لاختيار عدد صغير من الرموز (على سبيل المثال، $T_S=1$ ) من الحالات الخفية للمشفر لتمثيل العنصر.
النموذج اللغوي المرتب (Ranker LLM): يعمل في وضع الاتصال (online). يتلقى استعلام المستخدم، والنص المساعد، ورموز التضمين المُعالجة مسبقاً من المشفر. يتم دمج هذه العناصر لتشكيل مطالبات "مدخلات مختلطة" (mixed input)، وهي أقصر بكثير من مطالبات النص الكامل.

يتنبأ المرتب بالصلة ( $p_{yes}$ ) بناءً على هذه المدخلات المختلطة. ولأن تضمينات العناصر مُعالجة مسبقاً ومخزنة مؤقتاً، فإن الاستدلال عبر الإنترنت يعالج فقط بادئة الاستعلام وعدد قليل من رموز التضمين، مما يقلل طول التسلسل بشكل جذري.

2. مسار التدريب (Training Pipeline)

يستخدم المؤلفون وصفة تدريب ثلاثية المراحل لمواءمة المشفر والمرتب:

المرحلة الأولى (ضبط التفكير في المجال - Domain Reasoning Fine-Tuning): يتم ضبط نموذج لغوي مسبق التدريب بحجم 0.6 مليار معلمة (0.6B) على مجموعة بيانات استدلال خاصة بالمجال (180 ألف عينة) باستخدام آثار "سلسلة الأفكام" (chain-of-thought) من نموذج حكم صلة بحجم 7 مليار معلمة (7B). وهذا يؤسس نموذجاً قاعدياً قادراً على فهم مبررات الصلة.
المرحلة الثانية (تدريب معلم الترتيب - Ranking Teacher Training): يتم ضبط نموذج المرحلة الأولى كـ مرتب نصي خالص باستخدام أوصاف العناصر الكاملة (10.9 مليون عينة). يعمل هذا النموذج كـ "معلم" عالي الجودة، لكنه مكلف للغاية للخدمة عبر الإنترنت.
المرحلة الثالثة (التدريب المشترك للمشفر والمرتب - Joint Encoder-Ranker Training): يتم تدريب المشفر والمرتب معاً باستخدام بنية المدخلات المختلطة. يجمع هدف التدريب بين:
- خسارة الضبط الدقيق للعلامات الناعمة (Soft-Label SFT Loss): لمواءمة التنبؤات مع العلامات الحقيقية.
- خسارة التقطير (Distillation Loss): لمواءمة توزيع مخرجات نموذج المدخلات المختلطة مع نموذج المعلم ذو النص الخالص (المرحلة الثانية).
- خسارة المحاذاة الذاتية (Self-Alignment Loss): لضمان توافق تضمينات مخرجات المشفر مع الحالات الخفية الداخلية للمرتب. ويتضمن ذلك محاذاة الحالة الخفية (مطابقة الحالة الخفية الأخيرة للمدخلات المختلطة مع مدخلات النص الكامل) ومحاذاة التنبؤ.

يُستخدم استراتيجية التعلم المنهجي (Curriculum Learning Strategy) في المرحلة الثالثة، حيث تعطي الأولوية في البداية لمحاذاة الفضاء (التوافق بين المشفر والمرتب) قبل الانتقال إلى التركيز على التقطير (دقة التنبؤ بالصلة).

3. تحسينات الخدمة (Serving Optimizations)

لتعظيم الإنتاجية، نفذ المؤلفون عدة تحسينات على مستوى النظام:

التعبئة المسبقة للبادئة المشتركة (Shared-Prefix Prefill): بما أن بادئة الاستعلام متطابقة لجميع العناصر في قائمة الترتيب، يتم حساب ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache) للبادئة مرة واحدة وإعادة استخدامها عبر جميع العناصر في الدفعة (batch).
تخزين البادئة في الدفعة (In-Batch Prefix Caching): تم تعديل محرك الاستدلال (SGLang) لدمج حسابات الانتباه، مما يسمح لرموز اللاحقة (الـ embeddings) بالانتباه إلى البادئة المشتركة في تمريرة أمامية واحدة.
بنية متعددة العمليات (Multi-Process Architecture): تفصل بنية الخدمة بين واجهة gRPC ومحرك الاستدلال باستخدام تعدد العمليات لتجاوز اختناقات "قفل المفسر العام" (GIL) الخاص بلغة بايثون.
إدارة ذاكرة التخزين المؤقت KV: يتم التخلص من عمليات التخزين المؤقت الزائدة لتقليل العبء على المعالج المركزي وزيادة سعة ذاكرة وحدة معالجة الرسومات الفعلية.

المساهمات الرئيسية

إطار عمل MixLM: بنية ترتيب ذات مدخلات مختلطة مبتكرة تستبدل مستندات النص الطويلة برموز تضمين مدمجة، مما يقلل طول المطالبة بعدة مراتب عشرية مع الحفاظ على التعبير الدلالي.
مسار تدريب شامل (End-to-End): استراتيجية تدريب مشتركة مع خسائر تقطير ومحاذاة ذاتية مخصصة تنقل المعرفة بنجاح من معلم نصي كامل عالي الجودة إلى نموذج طالب ذي مدخلات مختلطة.
بنية خدمة إنتاجية (Production Serving Stack): تحسين شامل لمحرك الاستدلال (بما في ذلك تخزين البادئة المشتركة والتعامل متعدد العمليات) مما يتيح خدمة النماذج اللغوية الكبيرة بإنتاجية عالية.
النشر الصناعي: أول نشر كامل لحركة المرور لنظام ترتيب دلالي يعتمد على النماذج اللغوية الكبيرة في بحث الوظائف في LinkedIn، والذي تم التحقق منه من خلال اختبارات A/B واسعة النطاق.

النتائج التجريبية

التقييم في وضع عدم الاتصال (Offline Evaluation)

جودة الصلة: حقق MixLM قيمة NDCG@10 بلغت 0.9239، وهي مقاربة لنموذج المعلم ذي النص الخالص (0.9432) وتتفوق بشكل كبير على الاسترجاع القائم على التضمين فقط (0.8380) وعلى نماذج النص الملخص (0.9218).
الإنتاجية (Throughput): تحت ميزانية زمن استجابة ثابتة قدرها 500 مللي ثانية:
- سجل MixLM 22,000 عنصر/ثانية/وحدة معالجة رسومات (GPU).
- يمثل هذا تحسناً بمقدار 10.0 أضعاف مقارنة بترتيب LLM للنصوص الملخصة (2,200 عنصر/ثانية/GPU).
- يمثل هذا تحسناً بمقدار 75.9 ضعفاً مقارنة بترتيب LLM للنصوص الكاملة (290 عنصر/ثانية/GPU).

اختبار A/B عبر الإنترنت (Online A/B Testing)

تم نشر MixLM لـ 100% من حركة المرور في بحث الوظائف المدعوم بالذكاء الاصطناعي في LinkedIn.
حافظ النظام على مقاييس الصلة على قدم المساواة مع خط الأساس الإنتاجي الحالي محدود النطاق.
سمحت زيادة الإنتاجية بالنشر الكامل للترتيب القائم على LLM، مما أدى إلى زيادة بنسبة 0.47% في المستخدمين النشطين يومياً (DAU).

الأهمية والادعاءات

يزعم البحث أن MixLM يوفر مساراً عملياً وقابلاً للتوسع لنشر أنظمة الترتيب القائمة على LLM في البيئات الواقعية. من خلال سد الفجوة بين الثراء الدلالي لنصوص LLM الكاملة ومتطلبات الكفاءة في البحث الصناعي، يثبت MixLM أن:

ضغط السياق عبر التضمينات: من الممكن ضغط آلاف الرموز في بضعة رموز تضمين دون فقدان كبير في جودة الترتيب.
التصميم المشترك بين النظام والنموذج (System-Model Co-Design): يتم تحقيق إنتاجية عالية ليس فقط من خلال تغييرات بنية النموذج، ولكن من خلال التكامل الوثيق بين تصميم النموذج (المدخلات المختلطة) وتحسينات البنية التحتية (تخزين KV مؤقتاً، والدفعات).
الأثر التجاري: تمكن مكاسب الكفاءة من الانتقال من التجارب محدودة النطاق أو المعتمدة على النصوص الملخصة إلى النشر الكامل للنماذج اللغوية الكبيرة في حركة المرور الكاملة، مما يدفع مباشرة مقاييس تفاعل المستخدمين (DAU).

يضع المؤلفون هذا العمل كحل لمعضلة "زمن الاستجابة مقابل الإنتاجية" التي منعت سابقاً الاعتماد الواسع لنماذج Cross-encoder LLM في أنظمة البحث الإنتاجية.