ملخص تقني: الضبط الدقيق للتعلم التعزيزي الخالي من المراجع للترجمة الآلية

بيان المشكلة

تهيمن نماذج الترجمة الآلية (MT) القائمة على التسلسل إلى تسلسل (Seq2Seq) من نوع المشفر-المفكك (encoder-decoder) على الإنتاج نظراً لكفاءتها وقدراتها في المحاذاة. ومع ذلك، فإن التطورات الأخيرة في التعلم التعزيزي (RL) للضبط الدقيق، وتحديداً خوارزمية تحسين المجموعة النسبي (GRPO)، قد طُبقت بشكل حصري تقريباً على النماذج اللغوية الكبيرة (LLMs) القائمة على فك التشفير فقط والتي تبلغ بارامتراتها $\ge$ 7 مليار. وغالباً ما تكون هذه النماذج غير عملية للنشر الإنتاجي عبر "الذيل الطويل" من أزواج اللغات بسبب القيود الحسابية. علاوة على ذلك، تعتمد مناهج التعلم التعزيزي الحالية للترجمة الآلية عادةً على البيانات المتوازية أو مراجع اللغة الهدف لإشارات المكافأة، مما يحد من قابليتها للتطبيق في سيناريوهات الموارد المنخفضة. هناك نقص في الدراسة المنهجية لمدى فعالية GRPO على بنى المشفر-المفكك الفعالة باستخدام إشارات مكافأة خالية من المراجع.

المنهجية

يقترح المؤلفون خط معالجة للضبط الدقيق بالتعلم التعزيزي الخالي من المراجع لنموذج NLLB-200 (المشفر-المفكك) بحجم (600 مليون و1.3 مليار بارامتر) باستخدام تحسين المجموعة النسبي (GRPO).

1. السياسة والتحسين:

• النموذج: النموذج الأساسي هو NLLB-200. يستخدم التدريب التكميم بـ 4 بت (NF4) والتكيف منخفض الرتبة (LoRA) المطبق على إسقاطات الاستعلام والقيمة، مما يسمح بالتدريب على وحدة معالجة رسومات واحدة من نوع NVIDIA A10G.
• الخوارزمية: تم استخدام GRPO لإلغاء الحاجة إلى نموذج قيمة منفصل، مما يقلل من عبء الذاكرة. يتم تقدير الميزة $A_i$ لكل فرضية من التباين داخل المجموعة:
  $$A_i = \frac{r_i - \text{mean}(r)}{\text{std}(r) + \epsilon}$$
  حيث $\epsilon = 10^{-4}$ لمنع تضخيم الضوضاء. يتم تحديث السياسة عبر هدف بديل مقيد بـ PPO مع عقوبة KL لمنع الانحراف عن النموذج المرجعي. يتم الحصول على النموذج المرجعي ($\pi_{ref}$) عن طريق تعطيل ملصقات LoRA على نفس النموذج، مما يتجنب الحاجة إلى نموذج مرجعي منفصل.

2. مكافأة هجينة خالية من المراجع:
لا تتطلب إشارة المكافأة بيانات متوازية وقت الضبط الدقيق، بل تعتمد بدلاً من ذلك على النص المصدر أحادي اللغة. وهي تجمع بين مقدري جودة مدربين مسبقاً:

• LaBSE: يوفر كفاية دلالية عابرة للغات عبر تشابه جيب التمام بين تضمينات المصدر والفرضية.
• COMET-Kiwi: يوفر تقديراً متعلمًا للجودة بناءً على تعليقات التقييم المباشر.
• المكافأة الهجينة: المكافأة النهائية هي متوسط موزون بالتساوي (0.5/0.5) لدرجات LaBSE وCOMET-Kiwi. صُمم هذا الجمع لموازنة الطلاقة والأمانة مع التخفيف من قيود المقدرات الفردية على اللغات غير الممثلة كفاية.

3. التصميم التجريبي:

• التجربة (أ) (التقييم المنهجي): تم التدريب على تقسيمات التطوير لـ FLORES-200 (من جانب المصدر فقط) عبر 13 لغة متنوعة نمطياً. تم التقييم مقابل خط أساس غير مضبوط بدقة وأساسات الضبط الدقيق الخاضع للإشراف (SFT) (دورة واحدة و3 دورات).
• التجربة (ب) (عبر النطاقات): تم التدريب على 10,000 جملة إنجليزية أحادية اللغة من CCNews. تم التقييم على FLORES-200 (خارج النطاق) وNTREX-128 (نطاق الأخبار).
• الدراسات الاستقصائية (Ablations): تم استقصاء قوة تنظيم KL (الرمز $\beta$) وحجم بيانات التدريب ($N$).

النتائج الرئيسية

1. مكاسب ثابتة خالية من المراجع:
حققت GRPO تحسينات ثابتة مقارنة بخط الأساس في جميع اللغات الـ 13 وكلا حجمي النماذج (600 مليون و1.3 مليار) دون أي بيانات للغة الهدف.

• الحد الأقصى للمكسب: أظهرت اللغة الصينية التقليدية أكبر تحسن (+5.03 chrF++ على نموذج 1.3B).
• التنافسية مع SFT: في اللغات ذات البنية الصرفية المعقدة ذات الخطوط الأساسية الضعيفة (مثل الباسكية، البنغالية، السواحيلية)، تفوقت GRPO على أو ساوت SFT ذي الدورة الواحدة وظلت تنافسية مع SFT ذي الـ 3 دورات، رغم أن الأخيرة تمتلك الوصول إلى بيانات الهدف المتوازية أثناء التدريب.

2. نمط المكسب التجريبي:
حدد البحث نمطاً ثابتاً حيث يكون حجم المكاسب أكبر عندما:

• يكون أداء خط الأساس هو الأضعف.
• تكون قدرة تمييز المكافأة (قدرة نموذج المكافأة على تمييز فروق الجودة) هي الأعلى.
  ثبت هذا النمط عبر كل من اللغات المصدر الإنجليزية والإسبانية، مما يشير إلى أن المكاسب مدفوعة بخصائص اللغة الهدف وليس بديناميكيات التدريب الخاصة بالمصدر.

3. توسيع النموذج وأنماط الفشل:

• التوسيع (Scaling): تفوق نموذج 1.3B عموماً على نموذج 600M، رغم أن بعض اللغات (مثل التبتية، اليوروبا) أظهرت "توسعاً معكوساً" حيث كان النموذج الأصغر يؤدي بشكل أفضل، مما قد يعمل كمنظم ضمني ضد إشارات المكافأة المشوشة.
• العربية: فشلت باستمرار في التحسن، ويُعزى ذلك إلى خط أساس قوي (مما ترك مجالاً ضئيلاً للتحسن)، والبنية الجذرية التي تجد COMET-Kiwi صعوبة في تقييمها، وعدم تطابق النطاق.
• التبتية: أظهرت انهياراً في تباين المكافأة في التدريب الممتد (التجربة ب)، حيث تقاربت الفرضيات نحو درجات متشابهة، مما تسبب في عدم استقرار عددي. تطلب هذا اختيار أفضل نقطة تحقق (best-checkpoint) للتخفيف من حدة ذلك.

4. الوصول العملي:
يعمل خط المعالجة الكامل على وحدة معالجة رسومات واحدة بسعة 24 جيجابايت. تم تحديد عتبة موثوقية لبيانات التدريب عند حوالي 500 جملة مصدر؛ وتحت هذا المستوى، لم تنتج لا GRPO ولا SFT مكاسب كبيرة. أظهر النهج صفراً من النسيان الكارثي للغات المحجوزة (الفرنسية، الهندية، الروسية).

الأهمية والادعاءات

يدعي البحث تقديم مسار عملي لتحسين نماذج الترجمة الآلية (MT) من نوع Seq2Seq المخصصة للإنتاج دون الحاجة لبيانات متوازية. وتتمثل مساهماته الرئيسية في:

1. إثبات جدوى التعلم التعزيزي الخالي من المراجع على البنى الفعالة: إثبات أن GRPO يمكنها ضبط نماذج المشفر-المفكك الصغيرة (600M/1.3B) بفعالية باستخدام النص المصدر أحادي اللغة فقط، مما يجعل التعلم التعزيزي متاحاً لأزواج اللغات ذات الموارد المنخفضة حيث يصعب استخدام نماذج LLM الكبيرة القائمة على فك التشفير فقط.
2. تحديد نمط تنبؤي: إثبات أن فائدة التعلم التعزيزي الخالي من المراجع ليست موحدة ولكنها قابلة للتنبؤ؛ فهي أكثر فعالية للغات ذات الخطوط الأساسية الضعيفة وقدرة تمييز عالية للمكافأة. وهذا يقدم قاعدة استرشادية للممارسين لاختيار اللغات التي من المرجح أن ينجح فيها هذا النهج.
3. التنافسية مع الطرق الخاضعة للإشراف: إظهار أن GRPO الخالية من المراجع يمكن أن تضاهي أو تتجاوز أداء الضبط الدقيق الخاضع للإشراف (SFT) في عائلات لغوية معينة، حتى عندما تمتلك SFT إمكانية الوصول إلى البيانات المتوازية، مما يسلط الضوء على إمكانات الاستكشاف الموجه بالمكافأة في ظروف ندرة البيانات.

يظل المؤلفون متواضعين، مشيرين إلى أن نماذج المكافأة نفسها قد تم تدريبها مسبقاً على بيانات متوازية، مما يحد من وصف النهج بأنه "صفر موارد" إلا في مرحلة الضبط الدقيق فقط. كما يقرون بأن الأنماط الملحوظة تتطلب التحقق من خلال عينة لغوية أكبر، وأن حدود تمييز المكافأة الحالية تحد من سقف الجودة لأنواع صرفية معينة (مثل العربية).