💬 NLP

UEmbed: Unified Sparse and Dense Multimodal Embeddings

يقدم UEmbed نموذج تضمين متعدد الوسائط موحداً يعتمد على فك التشفير فقط (decoder-only)، يقوم بتوليد كل من التمثيلات المعجمية المتفرقة والتمثيلات الكثيفة في تمريرة أمامية سببية واحدة، محققاً أداءً رائداً في المعايير المرجعية متعددة الوسائط مع تمكين التطبيقات الوكيلية الفعالة.

المؤلفون الأصليون: Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

نُشر 2026-08-04

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على كتاب معين في مكتبة ضخمة وفوضوية. لفترة طويلة، استخدم أمناء المكتبات حيلة بسيطة: كانوا يبحثون عن كلمات محددة. إذا سألت عن "قطة"، فسيجدون فقط الكتب التي تحتوي على كلمة "قطة". هذا سريع وسهل، لكنه يفتقر للذكاء؛ فهو يفوت الكتب التي تتحدث عن "السنوريات" أو "الهريرة" التي لم تستخدم كلمة "قطة" قط. ولإصلاح ذلك، اخترع العلماء محركات بحث "ذكية" تفهم المعنى. تقوم هذه المحركات بتحويل سؤالك والكتب إلى قوائم طويلة من الأرقام (تسمى المتجهات الكثيفة - dense vectors). الأمر يشبه إعطاء كل كتاب بصمة فريدة بناءً على طابعه وقصته. هذا رائع للفهم، ولكنه ثقيل، وبطيء، وأحياناً يصعب شرح لماذا تم اختيار كتاب معين.

الآن، تخيل أمين مكتبة من نوع جديد يمكنه القيام بالوظيفتين معاً. يمكنه منحك "بصمة الطابع" وأيضاً قائمة بأهم الكلمات المفتاحية، كل ذلك في نظرة واحدة خاطفة وفائقة السرعة. هذا هو عالم استرجاع المعلومات، وهو علم البحث عن الإبر في أكوام القش الرقمية. السؤال الكبير الذي طرحه الباحثون هو: هل يمكننا بناء عقل واحد فائق الذكاء يتعامل مع كل من البحث عن "الكلمة الدقيقة" والبحث القائم على "المعنى" دون الحاجة إلى نظامين مختلفين ومعقدين؟ وهل يمكن لهذا العقل أن يفهم ليس النصوص فحسب، بل الصور والفيديوهات والمستندات أيضاً في آن واحد؟ هنا تبدأ قصة اختراع جديد يسمى UEmbed.

الحل ذو العقل الواحد: UEmbed

تعرف على UEmbed (التضمين الموحد - Unified Embedding)، وهو نوع جديد من عقول الكمبيوتر صممه باحثون من شركة علي بابا، والأكاديمية الصينية للعلوم، وجامعة ييل. فكر في UEmbed كبطل خارق متعدد المهام يرفض الاختيار بين أن يكون "ساحر كلمات" أو "سيد معانٍ". في الماضي، إذا كنت تريد محرك بحث يفهم المعاني العميقة، كان عليك استخدام نظام ثقيل وبطيء. وإذا كنت تريد واحداً سريعاً يستخدم الكلمات المفتاحية، كان عليك استخدام نظام أبسط وأقل ذكاءً. عادةً، لم يكن بإمكانك الحصول على كليهما في حزمة واحدة، خاصة عند التعامل مع الصور والفيديوهات.

يغير UEmbed قواعد اللعبة باستخدام بنية "المُفكك فقط" (decoder-only). لاستخدام تشبيه بسيط، تخيل أن محرك البحث القياسي يشبه شخصاً يقرأ كتاباً من البداية إلى النهاية، وينظر ذهاباً وإياباً لفهم القصة بأكملها (وهذا ما يسمى "ثنائي الاتجاه" - bidirectional). أما UEmbed، فهو مثل الحكواتي الذي يستمع للقصة بأكملها ثم، في النهاية تماماً، يلخصها فوراً بطريقتين: أولاً، بإعطائك "درجة الطابع" (الجزء الكثيف)، وثانياً، بالصراخ بأهم 10 إلى 20 كلمة خطرت بباله (الجزء المتناثر/الخفيف). يقوم بكل هذا في تمريرة واحدة، مثل قلب مفتاح التشغيل.

كيف يعمل: سحر الرموز الخاصة

إذاً، كيف يدير هذا العقل الصراخ بالكلمات المفتاحية بينما يفهم أيضاً القصة بأكملها؟ السر يكمن في حيلة ذكية تتضمن "الرموز الخاصة" (special tokens).

تخيل أنك تكتب قصة، وفي نهايتها تماماً، تضع بعض الملاحظات اللاصقة السحرية وغير المرئية. في حالة UEmbed، يضيف الباحثون 16 من هذه الملاحظات الخاصة (التي تسمى الرموز) في نهاية المدخلات. قبل أن يبدأ الكمبيوتر في القراءة، يقسم قاموس الكلمات الكامل (المفردات) إلى 16 مجموعة مختلفة، مثل فرز صندوق ضخم من قطع الليغو إلى 16 حاوية ملونة مختلفة.

بينما يقرأ الكمبيوتر صورتك أو الفيديو أو النص الخاص بك، فإنه يعالج القصة. وعندما يصل إلى تلك الـ 16 ملاحظة لاصقة السحرية في النهاية، يتم تعيين وظيفة محددة لكل ملاحظة: "أنت مسؤول عن حاوية الكلمات الحمراء"، "أنت تتعامل مع الحاوية الزرقاء"، وهكذا. تنظر كل ملاحظة إلى القصة الكاملة التي سمعتها للتو وتقرر: "بناءً على ما سمعته، هذه هي أهم الكلمات من حاونتي اللونية".

بحلول الوقت الذي ينتهي فيه الكمبيوتر، يكون قد أنشأ 16 قائمة صغيرة من الكلمات المهمة. يقوم بربطها جميعاً لإنشاء قائمة ضخمة وفائقة التفصيل من الكلمات المفتاحية (المتجه المتناثر). وفي الوقت نفسه، يأخذ "طابع" القصة بأكملها لإنشاء البصمة الكثيفة. هذا التقسيم الذكي يحل مشكلة رئيسية: فعادةً، يمكن لعقل الكمبيوتر استخدام رمز "ملخص" واحد فقط لوصف قصة كاملة، وهو ما لا يكفي لحمل جميع الكلمات المفتاحية. وباستخدام 16 رمزاً مختلفاً، يوزع UEmbed العمل، مما يسمح له بأن يكون غنياً بالكلمات وغنياً بالمعاني في آن واحد.

ماذا تقول الأرقام

اختبر الباحثون UEmbed في بعض أصعب التحديات في عالم البحث. لم يكتفوا بالنصوص فقط؛ بل ألقوا في وجهه صوراً وفيديوهات ومستندات معقدة.

الدرجة الكبرى: في اختبار ضخم يسمى MMEB-v2، والذي يختبر مدى فهم النماذج لأنواع الوسائط المختلفة، حقق أكبر إصدار من UEmbed (نموذج 9B، الذي يحتوي على 9 مليارات معلمة) درجة 71.8 للبحث عن "الطابع" (vibe) و 71.0 للبحث عن "الكلمات المفتاحية".
المقارنة: هذا أمر مذهل. عادةً ما يتخلف البحث القائم على الكلمات المفتاحية عن بحث "الطابع". هنا، يكاد وضع الكلمات المفتاحية في UEmbed أن يضاهي وضع "الطابع"، وهو يتفوق على معظم النماذج الأخرى التي تم تدريبها على بيانات عامة. على سبيل المثال، تفوق على نموذج RzenEmbed-V2-7B (الذي سجل 71.1) ونموذج Embed-RL-4B (الذي سجل 68.1).
الكفاءة: نظرًا لأن UEMbed مبني كنموذج "مفكك فقط" (نفس النوع المستخدم في روبوتات الدردشة الشهيرة)، فإنه يتوافق جيداً مع الخوادم عالية السرعة. يمكنه توليد هذه النتائج المزدوجة بسرعة فائقة، مما يجعله عملياً للاستخدام في العالم الحقيقي.

لماذا هذا مهم: ميزة "الوكيل" (Agent)

يشير البحث إلى أن هذا النهج مزدوج القوة ليس مجرد حيلة ذكية؛ بل هو ضرورة عملية لمستقبل وكلاء الذكاء الاصطناعي (AI agents) – وهي برامج ذكية تتصفح الويب وتنجز لك المهام.

عندما يحاول وكيل الذكاء الاصطناعي حل مشكلة ما، فإنه غالباً ما يطرح أسئلة قصيرة تعتمد بكثافة على الكلمات المفتاحية مثل "أفضل بيتزا بالقرب مني" أو "كيف أصلح تسرباً". البحث الكثيف القائم على "الطابع" قد يخطئ أحياناً لأنه يبحث عن المعنى العميق، بينما البحث بالكلمات المفتاحية سريع ولكنه بسيط. يوفر UEmbed أفضل ما في العالمين. في الاختبارات على معيار يسمى BrowseComp-Plus، وجد الباحثون أن استخدام وضع الكلمات المفتاحية في UEmbed ساعد الوكيل الذكي في العثور على المعلومات الصحيحة بعدد أقل من محاولات البحث، مما وفر الوقت وقدرة الحوسبة.

الحدود والمستقبل

يشير المؤلفون بحذر إلى أن UEmbed ليس مثالياً بعد. فقد لاحظوا أن النموذج قد يرتبك أحياناً مع اللغات الأخرى غير الإنجليزية والصينية، ويرجع ذلك على الأرجح إلى أنه تم تدريبه بشكل أساسي على هاتين اللغتين. كما لاحظوا أن "الملاحظات اللاصقة السحرية" قد تصرخ أحياناً بكلمات غريبة أو غير قياسية (مثل "_alt" أو "_perm")، وهي آثار ناتجة عن قاموس الكمبيوتر الداخلي.

ومع ذلك، فإن الفكرة الجوهرية متينة: يثبت UEmbed أنك لست مضطراً للاختيار بين السرعة والذكاء، أو بين الكلمات والمعنى. ومن خلال توحيد هذين العالمين في نموذج واحد "مفكك فقط"، فإنه يفتح الباب أمام محركات بحث أسرع وأذكى وقادرة على فهم العالم الرقمي بأكمبله – من جملة واحدة إلى فيديو كامل – في خطوة واحدة. إنه نموذج جديد حيث لا يبحث محرك البحث عن الكلمات فقط أو يشعر بالطابع فقط؛ بل يفعل الاثنين معاً، فوراً.

ملخص تقني: UEmbed

بيان المشكلة

تعتمد أنظمة استرجاع المعلومات الحديثة بشكل متزايد على الاسترجاع المتناثر المتعلم (Learned Sparse Retrieval - LSR) للانتقال من المطابقة المعجمية الدقيقة نحو فهم دلالي أغنى. ومع ذلك، تواجه طرق LSR الحالية ثلاث قيود حرجة:

القيود الهيكلية: تُبنى معظم نماذج LSR الحالية على بنيات المشفر ثنائي الاتجاه (مثل BERT). وهي لا تستطيع الاستفيد فطرياً من آليات الانتباه السببي (Causal Attention) لنماذج اللغات الكبيرة (LLMs) القائمة على فك التشفير (Decoder-only) ونماذج اللغات الكبيرة متعددة الوسائط (MLLMs) دون تحويل العمود الفقري إلى سلوك ثنائي الاتجاه أو اعتماد مناهج تدريب معقدة، مما يزيد التكاليف ويكسر التوافق مع أطر الخدمة المحسنة مثل vLLM.
محدودية الوسائط: معظم مقاربات LSR مقتصرة على النصوص فقط. أما الامتدادات متعددة الوسائط فتعتمد عادةً على وحدات مساعدة عابرة للوسائط بدلاً من اشتقاق التمثيلات المتناثرة مباشرة من عمود فقري موحد متعدد الوسائط، مما يجعل من الصعب توسيعها لتشمل وسائط جديدة.
المنفعة غير المستكشفة: لا تزال المزايا العملية للاسترجاع المتناثر (مثل الكفاءة، والقابلية للتفسير، وفائدة البحث الوكيل/العميل) غير مدروسة بعمق بعيداً عن معايير الدقة القياسية.

يتمثل التحدي التقني المحدد في تكييف الاسترجاع المتناثر مع النماذج السببية في عنق زجاجة المعلومات (Information Bottleneck): حيث إن الاعتماد على رمز واحد (مثل EOS) لعمل إسقاط في مساحة مفردات ضخمة يحد بشدة من القدرة التمثيلية.

المنهجية: UEmbed

يقترح المؤلفون UEmbed (التضمين الموحد)، وهو نموذج تضمين متعدد الوسائط يعتمد على فك التشفح (Decoder-only)، ينتج فطرياً كلاً من التمثيلات المعجمية المتناثرة والكثيفة في تمريرة أمامية سببية واحدة.

الهيكل الأساسي

يقوم UEmbed بتعديل نموذج MLLM قياسي يعتمد على فك التشفير عبر إضافة $N$ من الرموز الخاصة القابلة للتعلم ( $\langle s_1 \rangle, \dots, \langle s_N \rangle$ ) إلى تسلسل المدخلات.

تقسيم المفردات: يتم تقسيم المفردات $V$ إلى $N$ من المجموعات الفرعية المنفصلة ( $V_1, \dots, V_N$ ) باستخدام تجميع $k$ -means. وهذا يشجع كل رمز خاص على العمل كـ "متخصص موضوع ناعم" (Soft Topic Specialist) لمساحة دلالية فرعية متميزة.
رؤوس متناثرة مقسمة: يقوم كل رمز خاص $\langle s_k \rangle$ بتلخيص المدخلات السابقة عبر الانتباه السببي ويتنبأ بالأوزان المتناثرة على مجموعة المفردات المخصصة له $V_k$ باستخدام إسقاط خطي:
$w^{(k)}_t = \log(1 + \text{ReLU}(W^{(k)\top}_t h_{s_k} + b^{(k)}_t))$
والناقل المتناثر النهائي هو عملية دمج (Concatenation) لجميع المتجهات الفرعية.
التمثيل الكثيف: يُشتق التضمين الكثيف من الحالة المخفية لرمز EOS الذي يسبق الرموز الخاصة مباشرة. إذا كان المطلوب هو الاسترجاع الكثيف فقط، يمكن حذف الرموز الخاصة تماماً، مما لا يترتب عليه أي تكلفة حسابية إضافية.

استراتيجية التدريب

البيانات: تم التدريب على مزيج من 3.94 مليون عينة عامة تغطي النصوص والصور والفيديوهات والوثائق الغنية بصرياً (المصادر تشمل Echo-embedding وMLDR وMMEB).
استخراج السلبيات الصعبة (Hard Negative Mining): بالنسبة للبيانات متعددة الوسائط التي تفتقر إلى السلبيات، يُستخدم نموذج معلم (Qwen3-VL-Embedding-8B) لاستخراج السلبيات الصعبة.
الهدف الموحد: يتم تدريب النموذج باستخدام خسارة مشتركة:
$L = L^{\text{dense}}_{\text{InfoNCE}} + \lambda L^{\text{sparse}}_{\text{InfoNCE}} + \alpha_q L^q_{\text{FLOPS}} + \alpha_d L^d_{\text{FLOPS}}$
تعمل منظمات FLOPS على تشجيع التناثر من خلال معاقبة وزن متوسط المربع.

المساهمات الرئيسية

استرجاع موحد بفك التشفح: يعد UEmbed أول نموذج ينتج تمثيلات استرجاع كثيفة ومتناثرة من عمود فقري موحد يعتمد على فك التشفح، مما يلغي الحاجة إلى مشفرات ثنائية الاتجاه أو وحدات مساعدة عابرة للوسائط.
أداء رائد في الاسترجاع متعدد الوسائط المتناثر: حسب علم المؤلفين، يعد UEmbed أول نموذج متناثر يتم تقييمه على MMEB-v2، محققاً مستوى جديداً (SOTA) في الاسترجاع متعدد الوسائط المتناثر.
إثبات المنفعة العملية: يوضح البحث أن وضع التناثر في UEmbed يحسن الكفاءة (التوافق الأصلي مع الفهرس المعكوس)، والفعالية (عبر التقييم الهجين)، والمنفعة في البحث الوكيل (تقليل تكالٍ استدعاء الأدوات).

النتائج التجريبية

تم تقييم UEmbed عند مقاييس 2 مليار، 4 مليار، و9 مليارات معلمة.

اختبارات الوسائط المتعددة (MMEB-v2):
- يحقق UEmbed-9B نتيجة 71.8 (كثيف) و71.0 (متناثر)، متفوقاً على جميع النماذج المدربة على البيانات العامة.
- الفجوة بين أداء التمثيل الكثيف والمتناثر ضئيلة (أقل من 1.0 نقطة عبر جميع المقاييس)، مما يثبت أن التضمينات المتناثرة هي بديل قابل للتطبيق في المجال متعدد الوسائط.
- يتفوق Uembed-4B (متناثر، 69.7) على النموذج الكثيف Ops-MM-Embed-7B (67.1).
اختبارات النصوص (BEIR):
- يحقق Uembed-9B متوسط nDCG@10 يبلغ 56.3 في الوضع الكثيف و55.2 في الوضع المتناثر.
- في الوضع المتناثر، يضاهي UEmbed-9B أداء النموذج المتخصص Echo-Mistral-SPLLEE (55.2) بينما يدعم في الوقت نفسه الاسترجاع الكثيف والمدخلات متعددة الوسائط.
البحث الوكيل (BrowseComp-Plus):
- يتطلب الوضع المتناثر باستمرار جولات بحث أقل (استدعاءات أدوات) من نظيره الكثيف مع الحفاظ على استدعاء (Recall) مماثل أو أعلى، مما يؤكد فعاليته من حيث التكلفة في التفكير التكراري.

الأهمية والادعاءات

يضع البحث نموذج UEmbed كتحول جذري يوحد التضمينات الكثيفة والمتناثرة داخل نموذج واحد، ويمدد الاسترجاع المتناثر لتوحيد المدخلات النصية ومتعددة الوسائط.

الكفاءة الهيكلية: من خلال العمل طبيعياً تحت نظام الانتباه السببي، يحافظ UEmbed على التوافق مع أطقم الخدمة عالية الإنتاجية (مثل vLLM) والبحث بالفهرس المعكوس القياسي، مما يوفر مزايا في النشر مقارنة بنماذج LSR ثنائية الاتجاه.
la الفعالية: يثبت النموذج أن الاسترجاع المتناثر يمكن أن يحقق تكافؤاً في الأداء مع الاسترجاع الكثيف في البيئات متعددة الوسائط، مما يتحدى الافتراض بأن المتجهات الكثيفة هي الأفضل قطعياً للمواد المعقدة.
القابلية للتفسير: يوفر الوضع المتناثر تفسيراً متأصلاً من خلال إظهار مصطلحات المفردات المفعلة، مما يساعد في تدقيق التحيز وفهم قرارات النموذج.

يقر المؤلفون بوجود قيود، بما في ذلك التحيز اللغوي (الإنجليزية/الصينية بشكل أساسي)، والتوليد العرضي لرموز شاذة بسبب أحجام المفردات الكبيرة، وفجوات أداء طفيفة في استرجاع الفيديو مقارنة بالوثائق الثابتة. ومع ذلك، يخلصون إلى أن UEmbed نجح في تحويل الاسترجاع المتناثر من وحدة مستقلة قديمة إلى نتاج طبيعي لنماذج MLLM.