ملخص تقني: PromptEmbedder

بيان المشكلة

يعتمد النموذج الحالي لتكييف النماذج اللغوية الكبيرة (LLMs) لمهام تضمين النصوص (text embedding) بشكل كبير على تقنيات الضبط الدقيق الفعال للمعلمات (PEFT)، مثل التكيف منخفض الرتبة (LoRA). ورغم فعاليتها، إلا أن هذه الطرق تربط معرفة التضمين المتعلمة جوهرياً بأوزان الظهر (backbone) المستهدفة. ونتيجة لذلك، كلما ظهرت بنية جديدة للنماذج اللغوية الكبيرة (مثل الأجيال الجديدة من Qwen أو Llama أو Mistral)، يجب إعادة تشغيل خط أنابيب الضبط الدقيق بالكامل من البداية. وتعد هذه العملية مكلفة حوسبياً، حيث تتطلب ملايين الدولارات من القدرة الحوسبية ومجموعات بيانات ضخمة (على سبيل المثال، 150 مليون عينة للنماذج المتطورة)، مما يخلق عائقاً كبيراً أمام قابلية النقل عبر البنى المختلفة.

في المقابل، توفر طرق التلقين الخالية من التدريب (مثل PromptEOL و Echo) قابلية نقل عالية باستخدام تعليمات مصاغة يدوياً على نماذج مجمدة، لكنها تعاني من جودة تضمين أقل بكثير مقارنة بالنماذج التي خضعت للضبط الدقيق. يواجه المجال مقايضة جوهرية: الأداء العالي يتطلب إعادة تدريب مكلفة لكل نموذج ظهر جديد، بينما تؤدي قابلية النقل العالية إلى أداء ضعيف.

المنهجية

يقترح المؤلفون PromptEmbedder، وهو إطار عمل ثنائي النماذج اللغبية الكبيرة مصمم لفصل معرفة التضمين عن أوزان الظهر المحددة، محققاً بذلك كلاً من الأداء العالي وقابلية النقل الفعالة. يتكون الهيكل من مكونين رئيسيين:

1. النموذج اللغبي للتلقين ($M_{prompt}$): نموذج مساعد قابل للتدريب مسؤول عن توليد تلقينات ناعمة (soft prompts) مدركة للمهمة.
2. النموذج اللغبي المدرب مسبقاً ($M_{pretrained}$): نموذج ظهر مجمد يقوم بتوليد تضمينات النصوص النهائية.

الآليات التقنية الأساسية

1. التوليد الناعم القابل للتفاضل
على عكس التوليد التلقائي القياسي الذي يتضمن أخذ عينات من الرموز المنفصلة (مما يقطع تدفق التدرج)، يقوم PromptEmbedder بتوليد تلقينات ناعمة عبر استرخاء مستمر فوق المفردات.

• بالنظر إلى تعليمات المهمة $t$، يقوم $M_{prompt}$ بتوليد $k$ من ناقلات التلقين الناعمة $P = [p_1, \dots, p_k]$ بشكل تلقائي.
• في كل خطوة، يتم حساب توزيع المفردات $\alpha_i$ عبر رأس نمذجة اللغة، ويتم تشكيل رمز ناعم $e_i$ كتركيبة محدبة لمصفوفة التضمين: $e_i = \alpha_i^\top E_p$.
• تضمن هذه العملية قابلية التفاضل الكاملة، مما يسمح للتدرجات من فقدان التباين (contrastive loss) بالانتشار عائدة إلى $M_{prompt}$ للتحسين النهائي دون أخذ عينات منفصلة.

2. محاذاة التلقين عبر النماذج
بما أن $M_{prompt}$ و $M_{pretrained}$ قد يمتلكان أبعاداً مخفية وهياكل فضاء تضمين مختلفة، فإن مصفوفة إسقاط خطية قابلة للتعلم $W_{proj}$ تقوم بخرائط التلقينات الناعمة المولدة إلى فضاء التضمين الخاص بالنموذج المجمد. يتم إدراج التلقينات المحاذية كبادئة (prefix) بين تعليمات المهمة والنص المدخل.

3. النقل الفعال عبر المهايئات خفيفة الوزن
يكمن الابتكار الجوهري لقابلية النقل في تركيز جميع المعرفة الخاصة بالمهمة داخل $M_{prompt}$ وطبقة الإسقاط. عند التكيف مع نموذج ظهر جديد وغير مرئي ($M'_{pretrained}$):

• يظل $M_{prompt}$ ومصفوفة الإسقاط الأصلية $W_{proj}$ مجمدين.
• يتم تدريب مصفوفة محاذا خطية جديدة وخفيفة الوزن فقط ($W_{adp}$) لخرائط التلقينات الناعمة الموجودة إلى فضاء التضمين الخاص بالنموذج الجديد.
• يتجنب هذا الحاجة إلى إعادة تدريب نموذج التلقين أو خط أنابيب الضبط الدقيق بالكامل.

4. هدف التدريب
يتم تدريب النظام باستخدام فقدان InfoNCE التبايني على ثلاثيات من (الاستعلام، الوثيقة ذات الصلة، والسلبي الصعب). تقوم التدرجات بتحديث معاملات LoRA الخاصة بـ $M_{prompt}$ ومصفوفات الإسقاط فقط، بينما يظل $M_{pretrained}$ مجمداً تماماً.

المساهمات الرئيسية

• هيكل ثنائي النماذج اللغبية الكبيرة: إطار عمل مبتكر يفصل بين توليد التلقينات الناعمة المدركة للمهمة وبين تنفيذ استخراج التضمين.
• التوليد القابل للتفاضل: آلية لتوليد الرموز الناعمة عبر الاسترخاء المستمر، مما يتيح التدريب النهائي لنموذج التلقين من خلال نموذج الظهر المجمد.
• النقل غير المرتبط بالبنية: طريقة لنقل قدرات التضمين إلى نماذج ظهر جديدة عبر تدريب مصفوفة محاذا خطية خفيفة الوزن فقط، بدلاً من إعادة تدريب النموذج بالكامل.
• توازن الأداء والكفاءة: يحقق أداءً مقارباً للضبط الدقيق باستخدام LoRA مع الحفاظ على قابلية النقل التي توفرها طرق التلقين.

النتائج التجريبية

أُجريت التقييمات على معيار MTEB (الإنجليزية، الإصدار الثاني) عبر نماذج ظهر مختلفة (Llama-3.2، Mistral-7B، Qwen-2.5).

• الأداء مقابل الطرق المجمدة: يتفوق PromptEmbedder بشكل كبير على طرق التلقين الحالية الخالية من التدريب (مثل PromptEOL و Echo) وعلى التلقين الناعم الثابت (Prompt-Tuning). في Llama-3.2-1B، حقق متوسط درجة قدره 61.18 مقارنة بـ 44.88 لـ PromptEOL.
• الأداء مقابل LoRA: يحقق PromptEmbedder ما بين 96.0% إلى 99.8% من أداء الضبط الدقيق الكامل لـ LoRA. على سبيل المثال، في Llama-3.2-3B، تتقلص الفجوة إلى 0.1 درجة متوسطة فقط مقارنة بـ LoRA.
• كفاءة النقل:
  • سرعة التقارب: عند النقل إلى نموذج ظهر جديد، يتقارب PromptEmbedder بسرعة 3.8 ضعفاً أسرع من تدريب LoRA من البداية (الوصول إلى أداء مماثل في 11 ساعة مقابل 43 ساعة).
  • وقت التدريب: يوفر تسريعاً قدره 3.7 ضعفاً في وقت التدريب الفعلي لكل حقبة (epoch) مقارنة بـ LoRA.
  • استخدام الذاكرة: من خلال إبقاء نموذج الظهر مجمداً، يقلل PromptEmbedder من ذروة استخدام ذاكرة وحدة معالجة الرسومات بمقدار 36% إلى 40% عبر مختلف نماذج الظهر.
• النقل عبر البنى المختلفة: عند النقل من نموذج مصدر (مثل Llama-3.1) إلى نموذج هدف (مثل Mistral-7B)، يحافظ PromptEmbedder على الأداء ضمن نطاق 1.5% من LoRA المدرب من البداية، متفوقاً بشكل كبير على نماذج التلقين الناعم (Prompt-Tuning) المنقولة.

الأهمية والادعاءات

يزعم البحث أن PromptEmbedder يؤسس نموذجاً قابلاً للتوسع وغير مرتبط ببنية محددة لتعلم التمثيل الفعال القائم على النماذج اللغبية الكبيرة. فهو يعالج الاختناق الحرج المتمثل في "الأداء العالي + تكلفة النقل العالية" من خلال إثبات أن معرفة التضمين يمكن حصرها في وحدة تلقين خفيفة الوزن.

يؤكد المؤلفون أن هذا النهج يسمح للمجتمع بالتكيف مع نماذج الظهر المتطورة بسرعة (التي تتحدث كل 6-9 أشهر) دون التكاليف الباهظة لإعادة التدريب. ومن خلال تقليل العبء الحوسبي وتمكين النقل السريع إلى البنى غير المرئية، يقدم PromptEmbedder بديلاً عملياً للضبط الدقيق التقليدي، مما يجعل التضمين النصي عالي الجودة أكثر سهولة وكفاءة. ويقر البحث بتواضع بفجوة أداء صغيرة (تصل إلى 2.6 درجة متوسطة) مقارنة بـ LoRA في بعض نماذج الظهر، ويعزو ذلك إلى الخيار التصميمي المتعمد لإبقاء نموذج الظهر مجمداً بالكامل لتمكين قابلية النقل.