Language Steering for Multilingual In-Context Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان "توجيه اللغة للتعلم داخل السياق متعدد اللغات" (Language Steering for Multilingual In-Context Learning).

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) فجوة أداء كبيرة بين اللغات ذات الموارد العالية (مثل الإنجليزية) واللغات ذات الموارد المنخفضة، لا سيما في التعلم داخل السياق متعدد اللغات (Multilingual ICL). في إعداد نموذجي للتعلم داخل السياق عبر اللغات، يتم تزويد النموذج بأمثلة توضيحية قليلة (few-shot) باللغة الإنجليزية (اللغة المصدر)، ولكن يجب عليه الإجابة على استعلام بلغة مستهدفة. وعلى الرغم من المعرفة الداخلية للنموذج باللغة المستهدفة، إلا أن الأداء غالباً ما يتدهور لأن النموذج يفشل في "التحول" بفعالية في نمط التفكير الداخلي من الإنجليزية إلى اللغة المستهدفة.

يفترض المؤلفون أن هذه الفجوة ليست ناتجة عن نقص في المعرفة الداخلية، بل بسبب أن هوية اللغة مشفرة كاتجاه منفصل ومنظم في مساحة تنشيط النموذج. وإذا كان هذا صحيحاً، فإن تحويل التمثيلات الداخلية للنموذج نحو اللغة المستهدفة عبر إزاحة بسيطة في التنشيط (activation offset) من شأنه أن يسد فجوة الأداء دون الحاجة لإعادة التدريب أو بيانات إضافية.

2. المنهجية: نواقل اللغة (Language Vectors)

يقترح المؤلفون نواقل اللغة، وهي طريقة توجيه أثناء الاستدلال لا تتطلب تدريباً. تتكون هذه الطريقة من ثلاث خطوات رئيسية:

أ. حساب المتجه (خارج الخط - Offline)

1. إعداد البيانات: يقوم المؤلفون ببناء مجموعة حوسبة ($D_{compute}$) مكونة من $N$ من العينات المتوازية. تتكون كل عينة من $k$ من أزواج (سؤال-إجابة) (بتنسيق few-shot) بكل من اللغة المصدر ($L_s$، الإنجليزية) واللغة المستهدفة ($L_t$).
2. استخراج التنشيط: يقوم النموذج بمعالجة هذه العينات المتوازية. بالنسبة لطبقة محددة $t$، يتم إجراء متوسط تجميع (mean-pooling) للحالات الخفية لجميع الرموز (tokens) في العينة للحصول على تمثيل متجه واحد ($h^s_i(t)$ للمصدر، و $h^t_i(t)$ للهدف).
3. حساب المتجه: يتم حساب متجه توجيه اللغة $v(t)$ كمتوسط الفرق بين تمثيلات الهدف والمصدر عبر جميع العينات $N$:
   $$v(t) = \frac{1}{N} \sum_{i=1}^{N} (h^t_i(t) - h^s_i(t))$$
   يمثل هذا المتجه "الاتجاه" في مساحة التنشيط الذي ينقل معالجة النموذج من أنماط اللغة الإنجليزية إلى أنماط اللغة المستهدفة.

ب. التوجيه أثناء الاستدلال (Inference-Time Steering)

أثناء الاستدلال، يتلقى النموذج أمثلة توضيحية باللغة الإنجليزية متبوعة باستعلام باللغة المستهدفة.

1. التعديل: عند طبقة محددة $t$ ومواضع الرموز $P$ (على سبيل المثال، على رموز الأمثلة التوضيحية، أو السؤال، أو المطالبة بأكملها)، يتم تعديل الحالة الخفية $h_p(t)$:
   $$h'_p(t) = h_p(t) + \alpha \cdot v(t)$$
   حيث أن $\alpha$ هو معامل توسيع (hyperparameter) يتحكم في قوة التوجيه.
2. التنفيذ: يتم تحقيق ذلك عبر "خطافات أمامية" (forward hooks)، مما لا يتطلب أي تحديث للمعلمات أو حسابات تدرج.

3. المساهمات الرئيسية

1. نهج توجيه مبتكر: تقديم "نواكل اللغة" خصيصاً لـ التعلم داخل السياق متعدد اللغات، وتوسيع أعمال توجيه التنشيط السابقة (التي ركزت على دقة المخرجات أو المهام صفرية المحتوى) لتحسين دقة المهام اللاحقة في إعدادات few-shot.
2. تقييم شامل: تم التقييم عبر ثلاث مجموعات بيانات (MGSM للاستدلال الرياضي، MSVAMP للحساب، XNLI للاستدلال اللغوي الطبيعي)، و 19 لغة، و ثلاثة نماذج (Llama-3.1-8B، Qwen2.5-7B، Qwen2.5-14B).
3. اكتشاف البنية اللغوية: إثبات أن نواقل اللغة المحسوبة تشفر هندسة لغوية ذات معنى. فاللغات المتقاربة (مثل الكتالونية-الجاليكية، الهندية-الأردية) تشكل عناقيد متماسكة في مساحة المتجهات، كما ترتبط معايير المتجهات (vector norms) بالمسافة النمطية عن الإنجليزية.
4. نقل المهام (Cross-Task Transfer): إظهار أن نواقل اللغة المحسوبة على مهمة واحدة (مثل الرياضيات) يمكنها توجيه الأداء بفعالية في مهمة أخرى (مثل NLI)، مما يشير إلى أن النواقل تلتقط هوية اللغة العامة بدلاً من ميزات المهمة المحددة.

4. النتائج التجريبية

تمت مقارنة الطريقة مع نموذجين مرجعيين (baselines):

• المرجع المصدر (B): مطالبات باللغة الإنجليزية (few-shot) (النقل عبر اللغات القياسي).
• المتعدد اللغات (MFS): أمثلة توضيحية مستمدة من لغات متعددة (مطالبات متنوعة).
• النموذج المثالي (Oracle): مطالبات باللغة المستهدفة (الحد الأعلى للأداء).

النتائج الرئيسية:

• تحسن مستمر: تفوقت الطريقة المقترحة ("Ours") باستمرار على مرجع المصدر عبر جميع المهام واللغات.
  • MGSM (الاستدلال الرياضي): أظهرت أكبر المكاسب (على سبيل المثال، +2.9% إلى +5.4% عن المرجع)، مما يشير إلى أن الاستدلال المهيكل يستفيد بشدة من توجيه اللغة.
  • XNLI & MSVAMP: أظهرت تحسينات متوسطة ولكن مستمرة، رغم أن مرجع MFS ظل منافساً في بعض سيناريوهات الحساب.
• استقلالية النموذج: لوحظت التحسينات عبر عائلات Llama-3.1 و Qwen2.5 بأحجام متفاوتة (من 7B إلى 14B).
• حساسية الطبقات: كان التوجيه أكثر فعالية في الطبقات المبكرة إلى المتوسطة (على سبيل المثال، الطبقات 5-10 للاستدلال، والطبقة 10 لـ NLI)، مما يشير إلى أن هذه الطبقات تشفر التحولات الجوهرية في هوية اللغة.
• نقل المهام: نجحت النواقل المحسوبة على MGSM في تحسين الأداء في XNLI و MSVAMP (باستثناء حالة MSVMP $\to$ XNLI، التي فشلت، مما يشير إلى أن نواقل MSVMP قد تشفر أنماطاً رياضية مرتبطة بالمهمة بشكل مفرط).

5. الأهمية والآثار المترتبة

• الكفاءة: تتطلب الطريقة صفراً من التدريب، ولا تحتاج لضبط دقيق (fine-tuning)، ولا بيانات موازية إضافية سوى مجموعة حوسبة صغيرة لحساب المتجه. وهي عملية للغاية في بيئات الموارد المنخفضة.
• القابلية للتفسير: توفر النتائج دليلاً قوياً على أن النماذج اللغوية تعمل في "مساحة دلالية عالمية" حيث تكون هوية اللغة اتجاهاً خطياً وقابلاً للفصل. وهذا يدعم "فرضية التمثيل الخطي" في التفسير الآلي.
• العدالة: من خلال تمكين النماذج من الاستفادة من الأمثلة التوضيحية عالية الجودة باللغة الإنجليزية للغات ذات الموارد المنخفضة دون تدهور في الأداء، يوفر هذا النهج مساراً للوصه العادل لتقنيات اللغة.
• القيود: تتطلب الطريقة مجموعة تحقق (validation set) معزولة لضبط المعاملات الفائقة ($\alpha$، $t$، $P$) لكل لغة، وهي تعتمد حالياً على وجود بيانات موازية لحساب متجه التوجيه.

في الختام، تثبت الورقة أن إزاحة بسيطة في التنشيط يمكن أن توجه بفعالية "نمط اللغة" الداخلي للنموذج، مما يحسن بشكل كبير قدرات الاستدلال والاستدلال عبر اللغات دون تعديل أوزان النموذج.