ملخص تقني: ناقلات مهام المطالبات (Task Prompt Vectors)

بيان المشكلة

يُعد ضبط المطالبات (Prompt tuning) طريقة لضبط المعلمات بكفاءة (PEFT) للنماذج اللغوية الكبيرة (LLMs)، حيث يتم تدريب مجموعة صغيرة فقط من أوزان المطالبات الناعمة المستمرة بينما يظل النموذج المدرب مسبقاً ثابتاً. ومع ذلك، تفتقر طرق المطالبات الناعمة الحالية غالباً إلى النمطية متعددة المهام (multi-task modularity) الكافية. فعادةً ما يتطلب تدريب مطالبة ناعمة لمهمة جديدة عملية إعادة تدريب كاملة أو جزئية، كما أن دمج المطالبات لمهام متعددة غالباً ما يؤدي إلى تدهور الأداء أو يستلزم مزيدًا من الضبط الدقيق. وعلى الرغم من أن "ناقلات المهام" (العمليات الحسابية على أوزان النموذج الكاملة) قد أظهرت نتائج واعدة في الرؤية الحاسوبية ونماذج معالجة اللغات الطبيعية القديمة لتحقيق أداء متعدد المهام، إلا أن هذا المفهوم لم يُمدد بفعالية إلى مجال ضبط المطالبات الناعمة. علاوة على ذلك، تعتمد طرق استيفاء أوزان الـ PEFT الحالية بشكل كبير على عمليات تهيئة عشوائية محددة، مما يحد من قابليتها لإعادة الاستخدام.

المنهجية

يقدم المؤلفون ناقلات مهام المطالبات (TPVs)، وهو مفهوم مبتكر يكيف مبادئ حساب ناقلات المهام لتناسب فضاء المطالبات الناعمة.

التعريف

يُعرف ناقل مهمة المطالبة ($\tau_{P}^{t}$) بأنه الفرق العنصري بين أوزان المطالبة الناعمة بعد الضبط الدقيق لمهمة معينة ($\theta_{P_{ft}}^{t}$) وبين تهيئتها العشوائية الأصلية ($\theta_{P_{pre}}$):
$$\tau_{P}^{t} = \theta_{P_{ft}}^{t} - \theta_{P_{pre}}$$
يمثل هذا الناقل اتجاهاً في فضاء التضمين ينقل المطالبة من حالة عشوائية إلى فضاء فرعي خاص بالمهمة.

العمليات الحسابية

تتضمن الآلية الجوهرية حسابات المطالبات، وتحديداً إضافة ناقلات مهام المطالبات لدمج المعرفة من مهام مختلفة:
$$\tau_{P_{new}} = \tau_{P_{a}} + \tau_{P_{b}}$$
يمكن تطبيق هذا الناقل المدمج على تهيئة مطالبات ناعمة جديدة ($\theta_{P}$) لتهيئتها لمهمة مستهدفة دون مزيد من التدريب:
$$\theta_{P_{new}} = \theta_{P} + \lambda \tau_{P_{new}}$$
حيث $\lambda$ هو عامل إعادة القياس.

الإعداد التجريبي

قام المؤلفون بتقييم TPVs على 19 مجموعة بيانات تغطي 8 أنواع من المهام (بما في ذلك الاستدلال اللغوي الطبيعي NLI، تصنيف المواضيع، تحليل المشاعر، وحل المسائل الرياضية) باستخدام نماذج T5-base و LLaMA-3.1-8B-Instruct و DeepSeek-LLM-7B-Chat. شملت الأهداف التجريبية الرئيسية ما يلي:

1. الاستقلال عن التهيئة العشوائية: اختبار ما إذا كانت TPVs تعمل بغض النظر عن التهيئة العشوائية للمطالبة الناعمة المستهدفة.
2. تشابه الناقلات: تحليل تشابه جيب التمام (cosine similarities) بين الناقلات للمهام ذات الصلة والمهام غير المرتبطة.
3. النقل متعدد المهام: تقييم أداء الناقلات المدمجة على المهام المصدرية وكتهيئات للتعلم من الصفر (zero-shot) ومن أمثلة قليلة (few-shot) على المهام المستهدفة.

المساهمات والنتائج الرئيسية

1. الاستقلال عن التهيئة العشوائية

تُظهر الدراسة أن ناقلات مهام المطالبات مستقلة إلى حد كبير عن التهيئة العشوائية للمطالبة الناعمة. فعند تطبيق TPV تم تدريبه على تهيئة عشوائية واحدة على تهيئة عشوائية مختلفة، يظل الأداء اللاحلي مقارباً للإعداد الأصلي لمعظم المهام. هذه الخاصية حاسمة لأنها تسمح بمشاركة واستخدام TPVs عبر عمليات تدريب مختلفة دون الحاجة إلى نفس البذور (seeds).

2. نمطية المهام وحساب الناقلات

أظهر المؤلفون أن إضافة ناقلات مهام المطالبات من مهام متشابهة (مثل MNLI + RTE) يحافظ على أداء المهمة الواحدة أو يحسنه قليلاً في كلتا المهمتين. يشير هذا إلى أن TPVs يمكنها ترميز معرفة خاصة بالمهمة بطريقة نمطية فعالة. وقد وُجد أن تشابه جيب التمام للـ TPVs هو مؤشر أفضل لقابلية النقل من تشابه المطالبات الخام نفسها.

3. التهيئة في ظل الموارد المنخفضة

في إعدادات التعلم من الصفر ومن أمثلة قليلة (0–100 مثال)، غالباً ما يتفوق تهيئة ضبط المطالبات باستخدام مزيج من TPVs المدربة مسبقاً على أو يضاهي الحلول المرجعية المتطورة مثل SPoT (نقل المطالبات الناعمة) و ATTEMPT. وتحديداً:

• أدت تركيبات TPV أداءً أفضل من مطالبات المهمة الواحدة المصدرية في SciTail و IMDB.
• ساوت أداء SPoT في AG News و Yahoo Answers.
• تفوقت بشكل كبير على ATTEMT في عدة سيناريوهات، لا سيما عندما كان عدد المطالبات المصدرية المدربة مسبقاً محدوداً.

4. المقارنة مع الطرق الموجودة

على عكس SPoT، الذي يتطلب إعادة تدريب المطالبة المصدرية عند تغير مجموعة المهام المصدرية، و ATTEMP، الذي يعتمد بشدة على جودة وكمية المطالبات المصدرية، توفر TPVs نمطية عالية واستقلالاً عن المطالبة المصدرية. وهذا يسمح بإنشاء "مركز للناقلات" (vector hub) حيث يمكن إعادة استخدام الناقلات المدربة مسبقاً لمهام جديدة دون تدريب إضافي.

الأهمية والادعاءات

يزعم البحث أن ناقلات مهام المطالبات توفر بديلاً فعالاً حوسبياً للحلول متعددة المهام المتطورة. فمن خلال الاستفاء من العمليات الحسابية البسيطة على الناقلات المدربة مسبقاً، تحقق الطريقة نمطية عالية متعددة المهام دون التكلفة الحسابية لإعادة التدريب.

ويرى المؤلفون أن نجاح هذه الطريقة يشير إلى أن الفضاء الفرعي الأمثل للمطالبات الناعمة قد يكون ذا شكل محدب، مما يسمح للتقريبات الخطية (جمع الناقلات) بالعمل بفعالية حتى في الفضاءات غير الخطية. علاوة على ذلك، فإن الاستقلال عن التهيئة العشوائية يفتح المجال لإمكانية إنشاء مستودع مجتمعي لناقلات المهام.

القيود التي لاحظها المؤلفون:

• أُجريت التجارب بشكل أساسي على النماذج ومجموعات البيانات أحادية اللغة (الإنجليزية).
• ركزت الدراسة على نموذج T5-base كنموذج ممثل، رغم التحقق من النتائج على نماذج أكبر مثل LLaMA و DeepSeek.
• تُرِك التحليل النظري للخصائص الهندسية لفضاء المطالبة الناعمة للعمل المستقبلي.
• تركز الطريقة حالياً على مهام فهم اللغة الطبيعية (NLU) وتوليد اللغة الطبيعية (NLG) ولم تُختبر على نطاق واسع في الإعدادات متعددة اللغات.

في الختام، يثبت هذا العمل أن ناقلات مهام المطالبات يمكن استخدامها لتهيئة ضبط المطالبات بفعالية في بيئات الموارد المنخفضة، مما يوفر نهجاً قوياً ونمطياً وغير مكلف للتدريب للتكيف متعدد المهام.