Exploring Language-Agnosticity in Function Vectors: A Case Study in Machine Translation

إليك ملخص تقني مفصل للورقة البحثية المسبقة بعنوان "استكشاف الحياد اللغوي في ناقلات الوظيفة: دراسة حالة في الترجمة الآلية."

1. بيان المشكلة

بينما أثبتت الأبحاث السابقة أن التمثيلات الداخلية في النماذج اللغوية الكبيرة (LLMs) متعددة اللغات غالبًا ما تكون محايدة لغويًا (أي تشفر المفاهيم الدلالية بشكل مستقل عن لغات محددة)، إلا أنه لا يزال من غير الواضح ما إذا كانت هذه الخاصية تمتد إلى ناقلات الوظيفة (Function Vectors - FVs).

• ناقلات الوظيفة: هي تمثيلات مهام مدمجة يتم استخراجها من نماذج التعلم داخل السياق (ICL) والتي يمكن إضافتها إلى التدفق المتبقي (residual stream) للنموذج لاستحثاث سلوكيات محددة.
• الفجوة: من غير المعروف ما إذا كان ناقل الوظيفة المستخرج لاتجاه ترجمة معين (مثل الإنجليزية $\leftarrow$ الفرنسية) يشفر عملية ربط خاصة بلغة معينة، أم أنه يمثل آلية ترجمة عامة ومحايدة لغويًا يمكنها الانتقال إلى لغات مستهدفة أخرى (مثل الإنجليزية $\leftarrow$ الألمانية، أو الإنجليزية $\leftarrow$ الهندية) دون الحاجة لإعادة تدريب أو إعادة استخراج.

2. المنهجية

يتقصى المؤلفون هذا السؤال باستخدام الترجمة الآلية (MT) كمنصة اختبار عبر ثلاثة نماذج لغوية كبيرة (decoder-only) متعددة اللغات وهي: Gemma-2-2B، و Llama-3.2-3B، و Tiny Aya.

أ. استخراج ناقل الوظيفة

1. بناء المطالبات (Prompts): قاموا بإنشاء مطالبات تتكون من $N$ من أزواج العروض التوضيحية (كلمة المصدر $\leftarrow$ الكلمة المستهدفة) متبوعة بكلمة استعلام.
2. مخطط الإفساد (Corruption Scheme): لاستخراج الناقل، قاموا بإنشاء مطالبات "مفسدة" عن طريق خلط الكلمات المستهدفة في العروض التوضيحية، مما يؤدي إلى كسر الربط بين المصدر والهدف.
3. اختيار الرأس (Head Selection): باستخدام الترقيع بالتنشيط (activation patching)، حددوا رؤوس الانتباه التي يؤدي فيها ترقيع متوسط المخرجات من العروض التوضيحية "النظيفة" إلى المطالبات "المفسدة" إلى تعظيم احتمالية ظهور رمز الإجابة الصحيح.
4. تكوين الناقل: ناقل الوظيفة هو مجموع متوسط مخرجات رؤوس الانتباه الأعلى ترتيبًا. يتم إضافة هذا الناقل إلى التدفق المتبقي أثناء الاستنتاج.

ب. الإعداد التجريبي

• الاستخراج: يتم استخراج ناقلات الوظيفة من اتجاه واحد فقط (مثل الإنجليزية $\leftarrow$ الإسبانية).
• التقييم: يتم تطبيق ناقل الوظيفة المستخرج على النموذج لترجمة الكلمات الإنجليزية إلى لغات مستهدفة متعددة غير مرئية (بما في ذلك الفرنسية، الألمانية، الإيطالية، البرتغالية، الروسية، العربية، الصينية، اليابانية، والهندية).
• المقاييس:
  • $\Delta$Rank: التغير في رتبة رمز الترجمة الذهبي في توزيع الرمز التالي (القيم الموجبة تشير إلى التحسن).
  • الاستئصال (Ablation): إزالة مكون ناقل الوظيفة من التدفق المتبقي لقياس مدى التدهور في الأداء.
  • التعميم: اختبار الانتقال من النماذج الأساسية (base models) إلى النسخ المضبوطة للتعليمات (instruction-tuned) ومن مستوى الكلمة إلى مستوى الجملة.

3. المساهمات الرئيسية

1. إثبات حيادية اللغة في ناقلات الوظيفة: تثبت الدراسة أن ناقلات وظيفة الترجمة المستخرجة من زوج لغوي واحد (الإنجليزية $\leftarrow$ X) تعزز بنجاح الترجمات الصحيحة عبر لغات مستهدفة أخرى متعددة، مما يشير إلى أن الحوسبة الأساسية مشتركة.
2. الدليل الميكانيكي: حدد المؤلفون أن تأثير ناقل الوظيفة يتركز في نطاق محدد من الطبقات المتوسطة ويعتمد على مجموعة من رؤوس الانتباه التي هي مشتركة عبر اتجاهات ترجمة مختلفة.
3. التحقق من المتانة: يستمر التأثير عند نقل ناقلات الوظيفة من النماذج الأساسية إلى النماذج المضبوطة للتعليمات، ويظهر تعميماً جزئيًا على مهام الترجمة على مستوى الجملة.

4. النتائج الرئيسية

أ. الانتقال عبر اللغات (على مستوى الرمز/Token)

• التحسن الشامل: تطبيق ناقل وظيفة مستخرج من (الإنجليزية $\leftarrow$ الإسبانية) أدى باستمرار إلى تحسين رتبة رموز الترجمة الصحيحة للغات مثل (الإنجليزية $\leftarrow$ الفرنسية، الألمانية، الإيطالية، الروسية، العربية، الصينية، إلخ).
• خصوصية الطبقة: لم تكن المكاسب موحدة؛ بل تركزت في الطبقات الوسطى من نموذج الـ Transformer، وهو ما يتوافق مع النتيات السابقة حول دوائر الترجمة.
• تداخل الرؤوس: كشف تحليل أفضل 10 رؤوس انتباه تم اختيارها لاتجاهات ترجمة مختلفة (مثل EN-ES، EN-FR، EN-DE) عن تداخل كبير (6-8 رؤوس مشتركة من أصل 10)، مما يؤكد وجود أساس ميكانيكي مشترك.

ب. دراسات الاستئصال (Ablation)

• التدهور المحدد: تسبب إزالة (استئصال) مكون ناقل الوظيفة في انخفاض ثابت في جودة الترجمة عبر جميع اللغات المستهدفة المختبرة، وليس فقط اللغة المستخدمة في الاستخراج.
• خصوصية المهمة: من المهم ملاحظة أن هذا الاستئصال لم يؤدِ إلى تدهور الأداء في اختبارات معالجة اللغات الطبيعية غير المرتبطة بالمهمة (مثل ARC-Easy، BoolQ، MMLU). وهذا يؤكد أن ناقل الوظيفة يلتقط فضاءً فرعيًا خاصًا بالترجمة بدلاً من القدرة العامة للنموذج.

ج. الانتقال والتعميم

• من النموذج الأساسي إلى المضبوط للتعليمات: انتقلت ناقلات الوظيفة المستخرجة من النماذج الأساسية بنجاح إلى نظيراتها المضبوطة للتعليمات (مثل Llama-3.2-3B $\leftarrow$ Llama-3.2-3B-Instruct)، وإن كان حجم التأثير قد انخفض قليلاً.
• من الكلمة إلى الجملة: عند التطبيق على ترجمة مستوى الجملة (باستخدام FLORES-200)، أظهر ناقل الوظيفة تعميماً جزئيًا. فبينما حسن الكفاية الدلالية (المقاسة بـ XCOMET)، كان أقل اتساقًا من التوجيه الصريح بالتعليمات وعانى من صعوبة في محاذاة الشكل السطحي (المقاسة بـ BLEU)، ويرجع ذلك على الأرجح إلى تعقيد الطلاقة وإعادة الترتيب في الجمل الكاملة.

5. الأهمية

يوسع هذا العمل مفهوم الحياد اللغوي من التمثيلات الساكنة والدوائر القواعدية إلى ناقلات الوظيفة على مستوى المهمة.

• الآثار النظرية: يشير هذا إلى أن النماذج اللغوية الكبيرة متعددة اللغات تمتلك "محرك ترجمة" موحداً ومحايداً لغوياً داخل تدفقها المتبقي، يمكن توجيهه عبر ناقل واحد، بغض النظر عن اللغة المستهدفة.
• الآثار العملية: يفتح هذا الباب أمام التحكم متعدد اللغات الفعال والخالي من المعلمات (parameter-free). حيث يمكن لناقل وظيفة واحد أن يوجه النموذج للترجمة إلى عشرات اللغات دون الحاجة إلى ناقلات محددة لكل زوج لغوي، مما يقلل من التكاليف التشغيلية لإدارة التدخلات الخاصة بالمهام في الأنظمة متعددة اللغات.