Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation

ملخص تقني: ما وراء الترجمة متعددة الأمثلة: توسيع نطاق الأمثلة في سياق التعلم للترجمة الآلية منخفضة الموارد

بيان المشكلة
تتعرض الترجمة الآلية (MT) للغات منخفضة الموارد لقيود جوهرية ناتجة عن ندرة البيانات المتوازية عالية الجودة. وبينما حسنت النماذج اللغوية الكبيرة (LLMs) أداء الترجمة الآلية بشكل عام، إلا أن تكييفها مع اللغات الأقل تمثيلاً لا يزال أمراً صعباً. تتطلب الأساليب التقليدية مثل الضبط الدقيق الخاضع للإشراف كميات كبيرة من الإشراف التي غالباً ما تكون غير متوفرة. وعلى الرغم من أن التعلم في السياق (ICL) يقدم بديلاً خالياً من المعلمات عبر تكييف النماذج بناءً على أمثلة توضيحية وقت الاستدلال، إلا أن سلوك التوسع في التعلم في السياق ضمن إعدادات الموارد المنخفضة لا يزال غير مفهوم تماماً. وتحديداً، ليس من الواضح ما إذا كان الأداء يستمر في التحسن مع نمو عدد الأمثلة في السياق نحو حدود نماذج السياق الطويل الحديثة (التي تصل إلى مليون رمز/token)، أو ما إذا كانت العوائد المتناقصة وتدهور الأداء يحدثان. علاوة على ذلك، يظل تأثير أنواع البيانات المختلفة (أحادية اللغة مقابل المتوازية) على سلوك التوسع هذا سؤالاً مفتوحاً.

المنهجية
تتقصى الدراسة توسع التعلم في السياق (ICal) متعدد الأمثلة للترجمة الآلية منخفضة الموارد من خلال تغيير عدد الأمثلة في السياق ونوع مجموعة البيانات بشكل منهجي.

• النماذج: قيم المؤلفون نموذجين من نماذج Transformer (فك التشفير فقط) يدعمان السياق فائق الطول (حتى مليون رمز): Qwen2.5-7B-Instruct-1M و Nemotron-8B-UltraLong-1M-Instruct.
• اللغات المستهدفة: ركزت التجارب على الجاوية والسوندية، وهما لغتان من عائلة اللغات الأسترونيزية منخفضة الموارد.
• أنواع المجموعات النصية: تم اختبار ثلاثة أنواع متميزة من الأمثلة التوضيحية في السياق:
  1. البيانات أحادية اللغة غير الخاضعة للإشراف: نصوص تم جمعها من الويب باللغات المستهدفة (الجاوية/السوندية) دون أزواج ترجمة.
  2. البيانات بأسلوب التعليمات: أمثلة موجهة للمهام (مثل مجموعة بيانات Alpaca) مترجمة إلى اللغات المستهدفة، ومنسقة في شكل ثلاثيات (تعليمات-مدخل-مخرج).
  3. البيانات المتوازية: مجموعات بيانات متوازية اصطناعية تم إنشاؤها عن طريق ترجمة جمل من اللغات المستهدفة إلى الإنجليزية والإندونيسية. وقد أُدرجت الإندونيسية كلغة مرجعية نظراً لتقاربها النوعي مع اللغات المستهدفة.
• الإعداد التجريبي: تم توسيع ميزانية السياق من 27 رمزاً وصولاً إلى حوالي مليون رمز ($2^{20}$). استخدمت الدراسة مجموعة بيانات FLORES+ للتقييم. تم قياس الأداء باستخدام COMET-22 (مقياس يعتمد على الشبكات العصبية) و ChrF++ (تداخل n-gram للحروف). قارن المؤلفون بين أخذ العينات "الأول-k" (أخذ أول $k$ من الأمثلة) مقابل أخذ العينات العشوائي لاختبار الحساسية للترتيب.
• بناء البيانات الاصطناعية: لمعالجة نقص البيانات المتوازية، قام المؤلفون ببناء مجموعات بيانات متوازية اصطناعية عن طريق استخراج جمل من مجموعة بيانات Aya وترجمتها إلى الإنجليزية والإندونيسية باستخدام نموذج OpenAI GPT-5.

المساهمات الرئيسية

1. توصيف التوسع حتى مليون رمز: تقدم الورقة أول توصيف تجريبي للتعلم في السياق متعدد الأمثلة للترجمة الآلية منخفضة الموارد عند مقياس مليون رمز. وهي تثبت أن أحجام السياق الفعالة غالباً ما تكون أصغر بكert من نافذة السياق القصوى المدعومة.
2. تحليل الحساسية لنوع البيانات: تُظهر الدراسة أن نوع مجموعة البيانات في السياق يؤثر بشكل حاسم على كل من حجم مكاسب الأداء ومسار التوسع. والجدير بالذكر أنها وجدت أن البيانات أحادية اللغة بأسلوب التعليمات يمكن أن تكون منافسة للبيانات المتوازية في بعض التكوينات.
3. إتاحة الموارد: قام المؤلفون ببناء وإطلاق مجموعات بيانات متوازية اصطناعية لثلاثيات (الإنجليزية-الإندونيسية-الجاوية) و(الإنجليزية-الإندونيسية-السوندية) لتسهيل الأبحاث المستقبلية.

النتائج

• التوسع غير الخطي والتشبع: لا يتوسع الأداء خطياً مع حجم السياق. فالمكاسب من السياق الإضافي تتشبع بسرعة، عادةً حول $2^{14}$ إلى $2^{16}$ رمزاً (16 ألف إلى 64 ألف رمز). بعد هذه النقطة، يؤدي إضافة المزيد من الأمثلة إلى عوائد متناقصة.
• انهيار الأداء: مع اقتراب نافذة السياق من حدها الأقصى (بالقرب من مليون رمز)، غالباً ما يتدهور الأداء، وأحياناً ينخفض إلى ما دون مستويات الأساس (zero-shot). ويُعزى هذا "الانهيار" إلى عوامل مثل آليات الانتباه المشتتة وظاهرة "الضياع في المنتصف" (lost-in-the-middle). أظهر نموذج Qwen تدهوراً أكثر وضوحاً وعدم استقرار في طول المخرجات بالقرب من الحد الأقصى مقارنة بـ Nemotron.
• تأثيرات نوع المجموعة النصية:
  • البيانات المتوازية: قدمت عموماً أعلى مكاسب في الأداء، لا سيما للترجمة من الإنجليزية إلى اللغات المستهدفة.
  • بيانات التعليمات: من المثير للدهشة أن البيانات أحادية اللغة بأسلوب التعليمات حققت أداءً مماثلاً للبيانات المتوازية في عدة سيناريوهات، مما يشير إلى أن إشارات اتباع المهام والتنسيق فعالة للغاية.
  • البيانات أحادية اللغة غير الخاضعة للإشراف: سجلت باستمرار أدنى الدرجات.
  • اللغة المرجعية: أظهر اختيار اللغة المرجعية (الإنجليزية مقابل الإندونيسية) تأثيرات محددة الاتجاه. كانت الأمثلة المتوازية مع الإندونيسية أكثر فائدة للترجمة من اللغة المستهدفة إلى الإنجليزية، بينما استفادت الترجمة من الإنجليزية إلى اللغة المستهدفة من الأمثلة المتوازية مع الإنجليزية.
• متانة أخذ العينات: لم تظهر التجارب التي قارنت بين أخذ العينات "الأول-k" والعشوائي أي فروق ذات دلالة إحصائية في الأداء، مما يشير إلى أن اتجاهات التوسع الملحوظة قوية تجاه الاختيار المحدد للأمثلة، رغم أن التأثيرات الموضعية تظل عاملاً محتملاً.

الأهمية والادعاءات
تدعي الورقة أن مجرد تعظيم حجم نافذة السياق لا يحقق مكاسب متناسبة في جودة الترجمة الآلية منخفضة الموارد. بدلاً من ذلك، يوجد "حد سياق فعال" أقل بكثير من السعة القصوى للنموذج، والذي قد يتدهور الأداء بعده. وتؤكد الدراسة أن نوع البيانات وبنية النموذج هما محددان حاسمان لسلوك التوسع.

يؤكد المؤلفون أنه بالنسبة للغات منخفضة الموارد حيث تندر البيانات المتوازية عالية الجودة، فإن البيانات أحادية اللغة بأسلوب التعليمات توفر بديلاً قابلاً للتطبيق وتنافسياً للإشراف المتوازي. تشير هذه النتيجة إلى أن هيكل وتعريف المهمة في الأمثلة داخل السياق قد يكونان بنفس أهمية المحاذاة التي توفرها الأزواج المتوازية. وأخيراً، تحذر النتائج من التوسع الأعمى في نوافذ السياق إلى الحد الأقصى دون مراعاة نوع المجموعة النصية وبنية النموذج، لأن القيام بذلك قد يؤدي إلى نتائج عكسية. ويشدد العمل على الحاجة إلى استراتيجيات أخذ عينات دقيقة بدلاً من التوسع القسري في السياق.