💬 NLP

LLM2Vec-Gen: Generative Embeddings from Large Language Models

يقدم LLM2Vec-Gen إطار عمل جديد للتعلم الذاتي يولد تضمينات نصية عالية الجودة وقابلة للتفسير من خلال تدريب رموز خاصة لتمثيل استجابات النموذج اللغوي الكبير المحتملة، مما يحقق أداءً هو الأفضل في اختبار MTEB مع نقل قدرات السلامة والاستدلال دون الحاجة إلى بيانات مصنفة أو نموذج أساسي مجمد.

المؤلفون الأصليون: Parishad BehnamGhader, Vaibhav Adlakha, Fabian David Schmidt, Nicolas Chapados, Marius Mosbach, Siva Reddy

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Parishad BehnamGhader, Vaibhav Adlakha, Fabian David Schmidt, Nicolas Chapados, Marius Mosbach, Siva Reddy

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث LLM2VEC-GEN، مترجم إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

المشكلة الكبرى: المترجم "الحرفي"

تخيل أن لديك مكتبة وتريد العثور على كتب "متشابهة".

الطريقة القديمة: إذا سألت أمين المكتبة: "كيف أصلح صنبوراً يسرب الماء؟" وسأل شخص آخر: "حوضي يقطر"، فإن النظام القديم (نماذج التضمين التقليدية) ينظر إلى الكلمات في السؤال. يرى كلمات مثل "تسريب"، "حوض"، و"تقطير" ويجمعها معاً. لكن إذا سألت: "كيف أوقف فيضاناً؟"، فقد يعتقد أن هذا مختلف تماماً لأن الكلمات مختلفة، رغم أن النية هي نفسها.
مشكلة نماذج اللغات الكبيرة (LLMs): نماذج اللغات الكبيرة مثل عباقرة بارعين ومحبين للدردشة؛ فهم رائعون في الإجابة على الأسئلة. ولكن عندما نحاول تحويلهم إلى "أمناء مكتبة" (نماذج تضمين) للبحث عن أشياء متشابهة، فإنهم يعلقون في كونهم حرفيين للغاية. إنهم يركزون على السؤال بدلاً من التركاليز على الإجابة.

الفجوة: تطلق الورقة البحثية على هذا اسم "فجوة المدخلات والمخرجات" (Input-Output Gap). سؤالان مختلفان تماماً (مثل: "أشعر بالغضب" مقابل "أنا مستشيط غضباً") قد يتطلبان نفس الإجابة (رد مهدئ). لكن النموذج القياسي يرى أن كلمتي "غضب" و"مستشيط غضباً" مختلفتان ويبقي كل منهما بعيداً عن الآخر في ذاكرته.

الحل: LLM2VEC-GEN (أمين المكتبة صاحب "البلورة السحرية")

يقترح المؤلفون طريقة جديدة لتدريب هذه النماذج. بدلاً من مطالبة النموذج بحفظ السؤال، يعلمونه حفظ الإجابة التي سيعطيها.

فكر في الأمر كالتالي:

النموذج القديم: يقرأ السؤال ويقول: "أرى كلمة 'غضب'".
LLM2VEC-GEN: يقرأ السؤال، وينظر في "بلورته السحرية"، ويرى الإجابة التي سيولدها ("أنا أتفهم أنك منزعج، دعنا نتحدث عن ذلك")، ثم يحفظ تلك الإجابة.

كيف يعمل؟ (الخدعة السحرية)

لم يرغب الباحثون في إعادة تدريب الدماغ العملاق بأكبره (النموذج اللغوي الكبير) لأن ذلك يستهلك الكثير من الطاقة والمال. بدلاً من ذلك، استخدموا خدعة ذكية باستخدام رموز خاصة (مثل الملاحظات اللاصقة غير المرئية).

الإعداد: يأخذون سؤالاً ويلصقون في نهايته نوعين من الملاحظات اللاصقة غير المرئية:
- رموز التفكير (Thought Tokens): وهي تشبه "عملية التفكير" لدى النموذج.
- رموز الضغط (Compression Tokens): وهي تشبه "صندوق ملخص" حيث يتم ضغط الإجابة النهائية فيه.
التدريب:
- يقوم النموذج بتوليد إجابة حقيقية للسؤال.
- ثم يحاول "إعادة بناء" تلك الإجابة باستخدام المعلومات المخزنة في رموز الضغط فقط.
- كما يحاول مطابقة "روح" أو "جوهر" تلك الإجابة مع نموذج معلم (Teacher Model).
النتيجة: يتعلم النموذج ضغط المعنى الكامل لاستجابته المحتملة في حزمة صغيرة ثابتة الحجم (التضمين/Embedding).

التشبيه: تخيل أنك طباخ.

الطريقة القديمة: تحفظ طلب الزبون ("أريد برجر").
الطريقة الجديدة: تحفظ مذاق البرجر الذي ستطبخه للتو. إذا طلب زبونان شيئين مختلفين ولكنك ستطبخ نفس البرجر لكليهما، فإن "ذاكرة المذاق" لديك ستجمعهما معاً بشكل مثالي.

لماذا يعد هذا أمراً مهماً؟

1. إنه أكثر أماناً (درع "الرفض")

إذا سأل شخص سؤالاً خطيراً مثل "كيف أصنع قنبلة؟"، فقد يقوم النموذج القياسي بتشفير كلمتي "قنبلة" و"أصنع"، مما قد يؤدي بالخطأ إلى استرجاع محتوى خطير لاحقاً.

LLM2VEC-GEN يشفر عملية الرفض: "لا يمكنني المساعدة في ذلك".
النتيجة: يصبح النموذج أكثر أماناً بكثير. فهو يربط الأسئلة الخطيرة بمفهوم "الأمان" و"الرفض"، بدلاً من الموضوع الخطير نفسه. أظهرت الورقة البحثية انخفاضاً بنسبة 43% في استرجاع المحتوى الضار.

2. إنه أكثر ذكاءً (دفعة "الاستنتاج")

أحياناً، للإجابة على سؤال، عليك القيام ببعض العمليات الحسابية أو المنطقية.

الطريقة القديمة: يرى النموذج السؤال ويتوقف.
الطريقة الجديدة: يشفر النموذج المنطق الذي استخدمه لحل المشكلة.
النتيجة: أظهرت الورقة البحثية تحسناً بنسبة 29% في المهام التي تتطلب استنتاجاً عميقاً. الأمر يشبه تعلم النموذج أن يحمل "الحل" في جيبه، وليس مجرد "المشكلة".

3. إنه فعال (الدماغ "المجمد")

عادةً، لجعل النموذج أكثر ذكاءً، يجب عليك إعادة تدريب دماغه بالكامل (وهو أمر ضخم ومكلف).

LLM2VEC-GEN يبقي الدماغ العملاق مجمداً (ثابتاً في مكانه). هو يدرب فقط "الملاحظات اللاصقة الصغيرة" (الرموز الخاصة) ووصلة صغيرة.
الفائدة: من الرخيص والسريع جداً تدريبه، ولا يتطلب أي بيانات مصنفة (لا حاجة لبشر لتقييم الإجابات).

مفاجأة "فك التشفير"

أحد أروع الأجزاء هو أن هذه "الملاحظات اللاصقة الصغيرة" ليست مجرد أرقام مجردة. ولأن النموذج تم تدريبه على إعادة بناء الإجابة، يمكنك بالفعل فك تشفير التضمين وتحويله إلى نص!

إذا أخذت تضمين سؤال حول "الدببة القطبية"، يمكنك فك تشفيره وسوف يهمس بكلمات مثل "القطب الشمالي"، "الجليد"، و"الموطن".
هذا يعني أن النموذج قابل للتفسير. يمكننا النظر في الداخل ورؤية ما "فكر" فيه حقاً بشأن السؤال.

الملخص

LLM2VEC-GEN هو طريقة جديدة تحول الذكاء الاصطناعي الثرثار إلى أمين مكتبة ذكي. بدلاً من حفظ الأسئلة التي يطرحها الناس، فإنه يحفظ الإجابات التي سيقدمها.

أمان أفضل: يربط الأسئلة الخطيرة بكلمة "لا".
منطق أفضل: يربط الأسئلة المعقدة بالمنطق المستخدم لحلها.
أقل تكلفة: لا يتطلب إعادة تدريب الذكاء الاصطنا_ي بالكامل، بل فقط بعض الرموز الصغيرة.

إنه يشبه تعليم الطالب ليس فقط قراءة سؤال الاختبار، بل فهم الحل جيداً بحيث يمكنه التعرف على السؤال من خلال الإجابة وحدها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LLM2VEC-GEN: التضمينات التوليدية من النماذج اللغوية الكبيرة".

1. بيان المشكلة

تتبع نماذج تضمين النصوص التقليدية، بما في ذلك تلك القائمة على النماذج اللغوية الكبيرة (LLMs)، عادةً نموذجاً متمحوراً حول المدخلات (input-centric paradigm). فهي تُدرب على تشفير المحتوى الدلالي للنص المدخل نفسه. ويواجه هذا النهج تحدياً جوهرياً في مهام التضمين: حيث غالباً ما تحتاج المدخلات المتنوعة (مثل مقالات إخبارية عن نفس الحدث من وجهات نظر مختلفة، أو استعلام ضار ورد رفض آمن) إلى رسم خرائط لمخرجات متشابهة في مساحة تضمين مشتركة.

تعتمد الحلول الحالية لسد هذه "الفجوة بين المدخل والمخرج" بشكل كبير على التعلم التبايني (contrastive learning) باستخدام مجموعات بيانات ضخمة ومنسقة ومزدوجة وموسومة. ومع ذلك، يؤدي هذا إلى معوقتين رئيسيتين:

ندرة البيانات: الحصول على بيانات موسومة عالية الجودة أمر مكلف وصعب.
عدم تطابق القدرات: غالباً ما تفشل المشفرات المتمحورة حول المدخلات في التقاط القصد أو الاستنتاج المتأصل في استجابة النموذج المحتملة. فعلى سبيل المثال، قد يشفر نموذج متمحور حول المدخلات القصد الخبيث لاستعلام ضار، بينما يجب أن يعكس التضمين المطلوب لتطبيقات السلامة "الرفض الآمن" للنموذج.

2. المنهجية: LLM2VEC-GEN

يقترح المؤلفون LLM2VEC-GEN، وهو إطار عمل ذاتي الإشراف (self-supervised framework) مبتكر ينقل النموذج من تشفير المدخل إلى تشفير استجابة النموذج المحتملة. الفكرة الجوهرية هي أن التضمين يجب أن يمثل ما سيقوله النموذج اللغوي الكبير استجابةً لاستعلام ما، بدلاً من تمثيل الاستعلام نفسه.

المكونات الرئيسية:

العمود الفقري المجمد (Frozen Backbone): يظل النموذج اللغوي الأساسي (مثل Llama-3 أو Qwen) مجمداً طوال عملية التدريب. يتم تدريب المكونات خفيفة الوزن فقط، مما يضمن كفاءة المعلمات.
الرموز الخاصة (Special Tokens): تمت إضافة نوعين من الرموز القابلة للتدريب إلى المفردات:
- رموز التفكير ( $t_1 \dots t_m$ ): تعمل كعازل حسابي وسيط.
- رموز الضغط ( $c_1 \dots c_n$ ): مصممة لالتقاط المحتوى الدلالي للاستجابة في تسلسل ثابت الطول.
عملية التدريب:
1. توليد الاستجابة: بالنظر إلى استعلام غير موسوم $q$ ، يقوم النموذج اللغيدي المجمد بتوليد استجابة $r$ .
2. تقطير المعلم (Teacher Distillation): يقوم معلم تضمين غير مُشرف (مثل LLM2Vec) بتشفيد الاستجابة المولدة $r$ لإنشاء تضمين مستهدف $e_{teacher}$ .
3. تحسين الرموز: يتم إلحاق الرموز الخاصة بالاستعلام. يتم إسقاط وتطوير الحالات الخفية لرموز الضغط عبر هدفين متكاملين:
  - هدف إعادة البناء ( $L_{recon}$ ): تعمل رموز الضغط كـ "مطالبات ناعمة" (soft prompts) تُغذى مرة أخرى إلى النموذج اللغيدي لإعادة بناء الاستجابة الأصلية $r$ . وهذا يضمن أن تكون التضمينات راسخة في اللغة الطبيعية وتظل قابلة للتفسير.
  - هدف محاذاة التضمين ( $L_{align}$ ): يتم تقليل رموز الضغط المسقطة مقابل تضمين المعلم للاستجابة ( $e_{teacher}$ ). وهذا يحاذي تمثيل الطالب مع الهدف الدلالي للاستجابة.

الاستدلال (Inference):

في وقت الاستدلال، يقوم النموذج بـ تمريرة أمامية واحدة (single forward pass). يتم إلحاق الرموز الخاصة بالمدخل، ويتم استخراج الحالات الخفية لرموز الضغط وإسقاطها لإنتاج التضمين النهائي. لا يحدث توليد فعلي للنصوص أثناء عملية الاسترجاع.

3. المساهمات الرئيسية

تحول النموذج (Paradigm Shift): يقدم نموذج تضمين "متمحور حول الاستجابة"، مما يسد الفجوة بين استعلامات المدخلات والمخرجات المتنوعة، وينقل قدرات النموذج اللغيدي (السلامة، الاستنتاج) بفعالية إلى مساحة التضمين.
الأداء الأفضل في التعلم الذاتي (Self-Supervised SOTA): يحقق أداءً هو الأفضل حالياً (SOTA) في اختبار تقييم تضمين النصوص الضخم (MTEB) دون الحاجة إلى بيانات مزدوجة موسومة، متفوقاً على النماذج المرجعية غير المشرفة وذاتية الإشراف الموجودة.
نقل القدرات:
- السلامة: من خلال تشفير "الرفض" الخاص بالنموذج بدلاً من الاستعلام الضار، يقلل التضمين بشكل كبير من استرجاع المحتوى الضار.
- الاستنتاج: تلتقط التضمينات الاستنتاج المنطقي الموجود في استجابة النموذج اللغيدي، مما يحسن الأداء في مهام الاسترجاع كثيفة الاستنتاج.
القابلية للتفسير: على عكس التضمينات القياسية "الصندوق الأسود"، فإن تضمينات LLM2VEC-GEN قابلة لفك التشفير. يمكن فك تشفير رموز الضغط وإعادتها إلى نص أو تحليلها عبر "عدسة اللوغاريتم" (Logit Lens) للكشف عن المحتوى الدلالي (مثل "غير قانوني"، "سلامة"، "القطب الشمالي") الذي تمثله.
الكفاءة: تتطلب الطريقة تدريب حوالي 13 مليون معلمة فقط (لنموذج 8B) مع إبقاء العمود الفقري مجمداً، مما يجعلها عالية الكفاءة مقارنة بطرق الضبط الدقيق الكامل أو طرق LoRA.

4. النتائج التجريبية

تم تقييم الإطار عبر عائلات نماذج Qwen-3 وQwen-2.5 وLlama-3 عبر ثلاثة محاور:

تضمين النصوص العام (MTEB):
- حقق LLM2VEC-GEN مستوى جديداً (SOTA) للطرق ذاتية الإشراف بنتيجة 62.1 على MTEB (eng, v2) باستخدام Qwen-3-8B.
- تحسن عن أفضل معلم غير مُشرف بنسبة 9.3% وسد أكثر من 60% من الفجوة مع الطرق المُشرفة.
- لوحظت مكاسب كبيرة في التجميع (+23.9%)، والتصنيف (+9.2%)، والتشابه النصي الدلالي (+10.5%).
السلامة (AdvBench-IR):
- أظهرت الطريقة محاذاة فائقة للسلامة. بالنسبة لـ Qwen-3-1.7B، قللت من استرجاع المحتوى الضار بنسبة 43.2% مقارنة بالنموذج المعلم.
- يؤكد هذا أن التضمينات تنجح في تشفير دلالات "الرفض" بدلاً من القصد الخبيث للمدخل.
الاستنتاج (BRIGHT):
- في اختبار BRIGHT (الاسترجاع كثيف الاستنتاج)، أظهر LLM2VEC-GEN تحسناً يصل إلى 29.3% مقارنة بالنماذج المرجعية المتمحورة حول المدخلات.
- تصاعد الأداء مع حجم النموذج، مما يشير إلى أن قدرات الاستنتاج في النماذج اللغوية الكبيرة الأكبر حجماً تُنقل بفعالية إلى مساحة التضمين.

5. الأهمية والتوجهات المستقبلية

الأهمية:
يثبت LLM2VEC-GEN أن التضمينات التوليدية هي بديل قوي للنهج التمييزية أو التباينية التقليدية. كما يثبت أنه يمكن تكييف النماذج اللغوية الكبيرة لتصبح مشفرات عالية الأداء باستخدام البيانات غير الموسومة فقط، وذلك عبر الاستفادة من قدراتها التوليدية كمعلم. وهذا أمر بالغ الأهمية خاصة في المجالات التي تندر فيها البيانات الموسومة أو حيث تكون السلامة والاستنتاج من الأولويات القصوى.

التوجهات المستقبلية (الآفاق المفتوحة):

وضع JEPA الكامل: يقترح المؤلفون نسخة مستقبلية يكون فيها المعلم والطالب هما نفس النموذج اللغيدي المجمد، مما يلغي الحاجة إلى مشفر معلم خارجي وقد يلغي تماماً هدف إعادة البناء.
التسلسل الكامن (Latent Chaining): استخدام رموز الضغط القابلة لفك التشفير لربط خطوات استنتاج متعددة في مساحة كامنة مضغوطة، لتجاوز عقبة التوليد الذاتي (autoregressive) من أجل استدلال أسرع.
التواصل بين الوكلاء (Agent Communication): استخدام هذه التضمينات الكثيفة، وثابتة الطول، والقابلة لفك التشفير للتواصل بين الوكلاء في الأنظمة متعددة الوكلاء، مما يوفر بديلاً أكثر كفاءة وشفافية للتواصل القائم على الرموز (tokens).

في الختام، يعيد LLM2VEC-GEN تعريف كيفية استخدام النماذج اللغوية الكبيرة لتمثيل النصوص، من خلال الانتقال من التشفيد الساكن للمدخلات إلى نمذجة الاستجابة الديناميكية، مما يفتح آفاقاً جديدة من الأداء والسلامة والقابلية للتفسير في أنظمة الاسترجاع.