💬 NLP

CroCo: Cross-Lingual Contrastive Preference Tuning on Self-Generations

تقدم الورقة البحثية CroCo، وهي طريقة تثبت أن الضبط التفضيلي التبايني عبر اللغات باستخدام استجابات مولدة ذاتياً ونموذج مكافأة مدرب باللغة الإنجليزية يحسن بفعالية أداء النماذج اللغوية الكبيرة متعددة اللغات عبر مهام متنوعة دون الحاجة إلى تعليقات تفضيلية خاصة بكل لغة، شريطة استخدام بيانات السياسة المباشرة (on-policy data).

المؤلفون الأصليون: Mike Zhang, Ali Basirat, Desmond Elliott

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC0 1.0

المؤلفون الأصليون: Mike Zhang, Ali Basirat, Desmond Elliott

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "CROCO: Cross-Lingual Contrastive Preference Tuning on Self-Generations" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: تعليم طباخ متعدد اللغات دون الحاجة إلى ناقد متعدد اللغات

تخيل أن لديك طباخاً موهوباً (نموذج الذكاء الاصطناعي) يتحدث لغات عديدة، لكنه يحتاج إلى تعلم كيفية طهي أطباق أفضل يستمتع بها البشر حقاً. عادةً، لتعليم الطباخ، تحتاج إلى ناقد طعام يتحدث نفس لغة الطباخ ليتذوق الأطباق ويقول: "هذا طبق رائع، وذاك سيء للغاية".

المشكلة:
في عالم الذكاء الاصطناعي، لدينا الكثير من "النقاد" (نماذج المكافأة - Reward Models) الذين هم خبراء في اللغة الإنجليزية، ولكن يوجد عدد قليل جداً منهم ممن هم خبراء في الدنماركية أو الهولندية أو الإيطالية. تقليدياً، لمحاولة تحسين طباخ متعدد اللغات، حاول الباحثون ترجمة التعليمات الإنجليزية إلى لغات أخرى أو توظيف نقاد محددين لكل لغة على حدة. كان هذا الأمر مكلفاً، وبطيئاً، وغالباً ما يؤدي إلى نسيان الطباخ لكيفية طهي أطباقه الأصلية (وهي مشكلة تسمى "النسيان الكارثي").

الحل (CROCO):
يقترح مؤلفو هذه الورقة البحثية طريقاً مختصراً ذكياً يسمى CROCO. فبدلاً من الحاجة إلى ناقد لكل لغة، يستخدمون ناقداً واحداً يتحدث الإنجليزية وتقنية تسمى "ضبط التفضيلات التبايني" (Contrastive Preference Tuning).

إليك كيف يعمل الأمر، خطوة بخوة:

1. بوفيه "التوليد الذاتي" (Self-Generation)

بدلاً من طلب طبخ طبق واحد فقط من الطباخ، يُطلب من الذكاء الاصطناعي (الطباخ) طبخ 64 نسخة مختلفة من نفس الوصفة للغة معينة (على سبيل المثال، 64 نسخة من قصة باللغة الدنماركية).

2. بطاقة تقييم "الناقد الواحد"

يقوم الناقد الوحيد المتحدث بالإنجليزية بتذوق جميع النسخ الـ 64. ورغم أن الناقد يتحدث الإنجليزية، إلا أنه لا يزال بإمكانه التمييز بين قصة دنماركية متماسكة ومفيدة وبين قصة غير مفهومة ومربكة. هو يعطي كل نسخة درجة.

الرؤية الجوهرية: لا يحتاج الناقد لمعرفة مدى جودة القصة الدنمارية بدقة مطلقة، بل يحتاج فقط لأن يكون متسقاً. إذا حصلت القصة (أ) على 90 والقصة (ب) على 10، فإن الناقد يعرف أن (أ) أفضل من (ب)، حتى لو لم تكن الأرقام دقيقة تماماً.

3. "الاقتران المثالي" (The Sweet Spot Pairing)

هذه هي الخدعة السحرية. لا يختار الباحثون فقط "الأفضل" و"الأسوأ" من القصص.

يختارون أفضل قصة (الفائزة).
ويختارون قصة متوسطة الجودة، وهي أسوأ بوضوح من القصة الفائزة ولكنها ليست الأسوأ على الإطلاق (تحديداً، واحدة تقل عن المتوسط بمقدار انحرافين معياريين).

فكر في الأمر كمدرب رياضي. بدلاً من عرض فيديو لبطل ذهبي وفيديو لشخص يتعثر في رباط حذائه، يعرض المدرب فيديو للبطل الذهبي ولاعب ارتكب بعض الأخطاء ولكنه لا يزال يلعب المباراة. هذا "التباين" يكون أسهل للتعلم بالنسبة للاعب.

4. الدرس (DPO)

يتعلم الذكاء الاصطناعي من خلال مقارنة هاتين القصتين المحددتين: "يجب أن أهدف إلى الوصول للقصة الفائزة، ويجب أن أتجنب أسلوب القصة المتوسطة". ولأن الذكاء الاصطناعي يتعلم من خلال الفرق (الفجوة) بين الاثنين، فلا يهم إذا كان نظام تقييم الناقد "غير دقيق" قليلاً لتلك اللغة المحددة. طالما أن الترتيب متسق، سيتعلم الذكاء الاصطناعي الدرس الصحيح.

ما الذي وجدوه؟

اختبر الباحثون هذه الطريقة على نموذجين مختلفين من الذكاء الاصطناعي (واحد صغير وآخر متوسط الحجم) عبر 14 لغة مختلفة (بما في ذلك الدنماركية، الهولندية، الفرنسية، الألمانية، الإيطالية، الإسبانية، وحتى لغات ذات موارد محدودة مثل الويلزية والأيرلندية).

"فخ الترجمة": عندما حاولوا ببساطة ترجمة بيانات التدريب الإنجليزية إلى لغات أخرى وتعليم الذكاء الاصطناعي مباشرة (الضبط الدقيق تحت الإشراف - Supervised Fine-Tuning)، ارتبك الذكاء الاصطناعي ونسي كيفية التحدث بتلك اللغات جيداً. كان الأمر أشبه بإجبار طباخ فرنسي على حفظ كتاب وصفات إيطالي مترجم؛ فقد أخطأ في الكلمات ونسي مهاراته الأصلية.
نجاح CROCO: باستخدام طريقة "التوليد الذاتي + الناقد الواحد"، تحسن الذكاء الاصطناعي في كل لغة تقريباً.
- أصبح أفضل في المهام المنظمة (مثل الرياضيات والبرمجة) والمهام المفتوحة (مثل الكتابة الإبداعية).
- نجحت الطريقة مع النماذج الصغيرة والمتوسطة على حد سواء.
- حتى أنها نجحت في لغات لم يراها الذكاء الاصطناعي أثناء التدريب، مما يظهر أنه تعلم مهارة عامة في "الطبخ بشكل أفضل" انتقلت عبر اللغات.

متطلبات "الخلطة السرية"

وجدت الورقة البحثية أن هذه الطريقة تعمل فقط إذا اتبعت قاعدتين صارمتين:

يجب استخدام طبخك الخاص (بيانات On-Policy): يجب أن يولد الذكاء الاصطنا وهو نفسه الـ 64 قصة. إذا استخدمت قصصاً ولدها ذكاء اصطناعي آخر لتعليم النموذج، فستفشل الطريقة. الأمر يشبه تعلم الطباخ من أخطائه الخاصة بدلاً من التعلم من أخطاء الآخرين.
النهج "غير المتصل" (Offline) هو الأفضل: يجب تقييم جميع القصص قبل البدء في تعليم الذكاء الاصطناعي. إذا حاولت تعليم الذكاء الاصطناعي أثناء توليده للقصص في الوقت الفعلي (Online)، فسيصاب بالارتباك بسبب ردود فعل الناقد الفورية ولن يتعلم بنفس الجودة.

الخلاصة

تثبت هذه الورقة البحثية أنك لست بحاجة إلى فريق من الخبراء متعددي اللغات لتعليم الذكاء الاصطناعي كيف يكون أفضل في لغات عديدة. أنت تحتاج فقط إلى ناقد واحد متسق يتحدث الإنجليزية وطريقة ذكية لإظهار الفرق بين الإجابة "الجيدة" والإجابة "السيئة" بلغتهم الخاصة.

من خلال التركيز على الفرق النسبي بين الإجابات بدلاً من الجودة المطلقة، يمكن للذكية الاصطناعي تعلم التحدث بشكل أفضل بالدنماركية أو الإيطالية أو الويلزية دون الحاجة إلى معلم خاص لكل لغة، ودون نسيان كيفية التحدث بالإنجليزية.

ملخص تقني: CROCO – الضبط التبايني عبر اللغات للتفضيلات المستمدة من التوليد الذاتي

بيان المشكلة

يعد مواءمة النماذج اللغوية الكبيرة (LLMs) مع التفضيلات البشرية مرحلة نهائية حرجة في مرحلة ما بعد التدريب، والتي يتم تحقيقها عادةً عبر "تحسين التفضيل المباشر" (DPO). وبينما أظهرت التطورات الأخيرة أن DPO يمكن تطبيقه على العينات المولدة ذاتياً (باستخدام نموذج مكافأة لتقييم مخرجات السياسة نفسها) بدلاً من التعليقات البشرية، إلا أن هذه الأساليب تم إثباتها حصرياً باللغة الإنجليزية.

ويمثل التوسع في هذا المجال ليشمل الإعدادات متعددة اللغات تحديات كبيرة. تعتمد معظم أعمال المواءمة متعددة اللغات السابقة على إشارات قائمة على الترجمة، أو تستغل فجوات القدرة بين الإنجليزية واللغات الأخرى كمكافآت ضمنية، أو تعيد وزن الخسائر للأزواج التي تحتوي على ضجيج. ومع ذلك، يظل سؤال مفتوحاً حول ما إذا كانت الآلية المحددة لـ الضبط التبايني للتفضيلات على التوليدات الذاتية — حيث يتم بناء أزواج التفضيل بناءً على درجات المكافأة النسبية داخل توزيع معين — تنتقل عبر اللغات دون الحاجة إلى تعليقات تفضيل خاصة بكل لغة. علاوة على ذلك، ليس من الواضح ما إذا كان نموذج مكافأة (RM) مدرب حصرياً على التفضيلات الإنجليزية يمكنه تصنيف الاستجابات في لغات أخرى بفعالية لدفع المواءمة متعددة اللغات.

المنهجية: CROCO

يقترح المؤلفون CROCO (الضبط التبايني عبر اللغات للتفضيلات المستمدة من التوليد الذاتي)، وهو إطار عمل يوسع مفهوم بناء التفضيل في "النقطة المثالية" (Sweet Spot) (Xiao et al., 2025) ليشمل لغات متعددة.

الآلية الجوهرية

التوليد الذاتي: بالنسبة لمطالبة (prompt) معينة $x$ في لغة مستهدفة $\ell$ ، يقوم نموذج السياسة $\pi_\theta$ بتوليد $K$ من الاستجابات المرشحة ( $Y_x$ ).
تسجيل المكافأة: يقوم نموذج مكافأة (RM) خارجي جاهز بتسجيل هذه الاستجابات. ومن المهم أن نموذج المكافأة مدرب على التفضيلات الإنجليزية ولكنه مبني فوق نموذج أساسي متعدد اللغات (مثل Qwen3-8B).
بناء الزوج التبايني: بدلاً من إقران الاستجابة ذات المكافأة الأعلى بالاستجابة ذات المكافأة الأدنى مطلقاً، تختار الطريقة "نقطة مثالية" لاستحثاث تباين محكوم:
- المختارة ( $y_c$ ): الاستجابة ذات المكافأة القصوى.
- المرفوضة ( $y_r$ ): الاستجابة التي تقترب مكافأتها من $\mu_x - 2\sigma_x$ (حيث $\mu$ و $\sigma$ هما المتوسط والانحراف المعياري لتوزيع المكافأة لذلك المطالب).
التدريب: يتم ضبط النموذج باستخدام DPO على هذه الأزواج المصنوعة. يقيم المؤلفون نظامين:
- أحادي اللغة: الضبط بشكل مستقل على بيانات لكل لغة.
  ের متعدد اللغات: الضبط المشترك على اتحاد البيانات عبر جميع اللغات.

الإعداد التجريبي

النماذج: تم اختبار نموذجين بمقاييس مختلفة: EuroLLM-9B (9 مليارات معلمة) و aya-3B (3 مليارات معلمة).
البيانات: تم ترجمة 20,000 حالة من حالات الضبط الدقيق للتعليمات من مجموعة Dolci-Instruct-SFT إلى ست لغات أوروبية (الدنماركية، الهولندية، الفرنسية، الألمانية، الإيطالية، الإسبانية) باستخدام TranslateGemma-27B.
نموذج المكافأة: Skywork-Reward-V2-Qwen3-8B، وهو نموذج مكافأة مدرب على التفضيلات الإنجليزية مع قاعدة نموذج متعدد اللغات.
النماذج المرجعية (Baselines): الضبط الدقيق الخاضع للإشراف القياسي (SFT) على البيانات المترجمة، و SFT على الاستجابات ذات المكافأة الأعلى فقط (Max-R)، وطرق التفضيل متعددة اللغات الحالية (ICR, MAPO).

المساهمات الرئيسية

نقل الضبط التبايني عبر اللغات: تثبت الورقة أن الضبط التبايني للتفضيلات على التوليدات الذاتية ينتقل بفعالية عبر اللغات. يتفوق DPO على الأزواج المولدة ذاتياً على نماذج SFT الأساسية وعلى الطرق متعددة اللغات الحالية، بينما يتسبب SFT القياسي على البيانات المترجمة في نسيان كارثي.
إلغاء الحاجة إلى التعليقات الخاصة بكل لغة: تظهر الدراسة أن الضبط التفضيلي متعدد اللغات لا يتطلب تعليقات تفضيل خاصة بكل لغة. نموذج مكافأة (RM) مخصص للإنجليزية فقط (فوق قاعدة متعددة اللغات) ينتج تصنيفات متسقة داخل اللغة الواحدة مما يؤدي إلى مكاسب في معظم اللغات.
القوة عبر المقاييس والمهام: تحسن الطريقة الأداء في المهام المهيكلة (EuroEval) والتوليد مفتوح النهايات (m-ArenaHard 2.1). وتطابق أو تتجاوز النموذج الأساسي في 6/7 لغات لـ EuroLLM-9B وفي 4/7 لـ aya-3B في المهام المهيكلة، وتتفوق على النموذج الأساسي في جميع اللغات الـ 11 التي تم تقييمها في التوليد مفتوح النهايات.
رؤى التحليل الاستئصالي (Ablation):
- ضرورة البيانات داخل السياسة (On-Policy): تتطلب المكاسب بيانات "داخل السياسة". الاستجابات "خارج السياسة" (المولدة بواسطة نموذج مختلف) تقلل من الفوائد، كما أن تحسين التفضيل عبر الإنترنت (online) يفشل في التحسن عن النسخة غير المتصلة (offline) عند استخدام نموذج مكافأة خارجي.
- لغة المطالبة: يجب أن تطابق لغة المطالبة لغة الاستجابة المختارة لتحقيق الأداء الأمثل.
- فائدة الترجمة: بينما يتدهور أداء SFT مع البيانات المترجمة، تظل الإشارة التباينية في DPO معلوماتية حتى عندما تضيف الترجمة ضجيجاً، لأنها تعتمد على فجوات المكافأة النسبية بدلاً من الأهداف المطلقة.

النتائج

EuroEval (المهام المهيكلة):
- فشل SFT: تسبب كل من SFT أحادي اللغة ومتعدد اللغات على البيانات المترجمة في نسيان كارثي، حيث تراوحت انخفاضات الأداء بين 0.1 و 11.3 نقطة.
- نجاح DPO: كان DPO المزدوج غير سالب في 12/14 حالة لـ aya-3B وحسن النموذج المرجعي في 10/14 حالة لـ EuroLLM-9B. وكانت أكبر زيادة هي +3.6 نقطة لـ EuroLLM-9B في اللغة الإيطالية (أحادي اللغة).
- المقارنة: كان Paired DPO هو الطريقة الوحيدة التي ظلت غير سالبة في المتوسط عبر جميع اللغات، متفوقاً على ICR و MAPO اللذين أديا غالباً إلى تدهور الأداء.
m-ArenaHard 2.1 (التوليد مفتوح النهايات):
- حقق Paired DPO معدلات فوز محكومة بالطول (LC) تتراوح بين 54.5% و 58.4% ضد نموذج EuroLLM-9B الأساسي عبر جميع اللغات السبع.
- بالنسبة لـ aya-3B، تراوحت معدلات الفوز (LC) بين 55.5% و 66.3%، مع مكاسب من رقمين في معظم اللغات.
- نجحت الطريقة في تضييق فجوة الأداء بين النماذج الأساسية والنماذج المرجعية الأكبر (Gemma3-12B و Gemma3-4B) في معظم اللغات.
التعميم: عممت الطريقة إيجابياً على اللغات المحجوزة (النرويجية، البرتغالية، السويدية) في EuroEval، بينما أدى SFT متعدد اللغات إلى تدهور الأداء في جميع مجموعات البيانات المحجوزة.

الأهمية والادعاءات

تدعي الورقة أن CROCO يوفر اتجاهاً واعداً لضبط التفضيلات متعدد اللغات من خلال إثبات أن فجوة المكافأة النسبية هي إشارة قوية تنتقل عبر اللغات، حتى عندما يكون نموذج المكافأة مدرباً حصرياً على التفضيلات الإنجليزية.

ويرى المؤلفون أن اعتماد هدف DPO على الترتيب النسبي للاستجابات المزدوجة (بدلاً من المعايرة المطلقة) يسمح له بتحمل ضجيج الترجمة وعدم دقة المعايرة عبر اللغات. تشير هذه النتيجة إلى أنه يمكن تحقيق مواءمة عالية الجودة متعددة اللغات دون التكلفة الباهظة للتعليقات التفضيلية لكل لغة، بشرقت استخدام التوليدات الذاتية داخل السياسة لبناء أزواج تباينية.

وتسلط الورقة الضوء على أن البيانات داخل السياسة (on-policy) هي مكون حاسم، حيث تكون الإشارة التباينية معلوماتية فقط عندما تنشأ الاستجابات المزدوجة من توزيع السياسة نفسها. علاوة على ذلك، فإنها تثبت أن DPO غير المتصل (offline) باستخدام نموذج مكافأة ثابت يتفوق على DPO المتصل (online) في هذا السياق، حيث تخلق الأخيرة حلقة تغذية راجعة تضخم تحيزات نموذج المكافأة بدلاً من تعلم التفضيلات الحقيقية.

في النهاية، تجادل الورقة بأن نموذج مكافأة واحد مدرب على الإنجليزية، عند تطبيقه على بيانات متعددة اللغات مولدة ذاتياً عبر بناء أزواج تباينية، كافٍ لدفع تحسينات متسقة عبر مختلف اللغات ومقاييس النماذج، متجنباً النسيان الكارثي المرتبط بالضبط الدقيق الخاضع للإشراف القياسي.