: Multi-Perspective Multi-Pair Preference Optimization for Machine Translation
تقترح الورقة البحثية إطار العمل ، وهو إطار عمل متمحور حول البيانات يعالج انحياز نماذج تقدير الجودة نحو الطلاقة على حساب الأمانة من خلال توظيف منهج تعليمي ثنائي المنظور وهدف تفضيل متعدد الأزواج، مما يُمكّن نموذجاً بحجم 9 مليارات معلمة من تحقيق جودة ترجمة تضاهي الأنظمة المملوكة الرائدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً فائق الذكاء كيفية ترجمة اللغات. أنت لا تريد منه فقط أن يتحدث بطلاقة، بل تريده أن يكون صادقاً. في عالم الذكاء الاصطناعي، هذا هو الفرق بين الكاذب اللبق والراوي الصادق. لفترة طويلة، حاول العلماء مواءمة هذه النماذج اللغوية الضخمة مع التفضيلات البشرية باستخدام طريقة تسمى "التعلم التعزيزي". فكر في الأمر كتدريب كلب: أنت تعطيه مكافأة عندما يفعل شيئاً صحيحاً، وكلمة "لا" لطيفة عندما يخطئ. الجزء الصعب هو تحديد ما يُعد "صحيحاً" بالضبط. عادةً، نستخدم بطاقات تقييم آلية لتصحيح عمل الروبوت. لكن تكمن المشكلة هنا في أن هذه البطاقات يمكن خداعها بسهولة؛ فقد تمنح درجة عالية لترجمة تبدو جميلة وانسيابية تماماً ولكنها في الواقع تخترع حقائق أو تغفل تفاصيل مهمة. الأمر يشبه طالباً يكتب قصيدة مليئة بالكلمات الجميلة لكنه ينسى الإجابة على السؤال الفعلي في الاختبار. يحصل الروبوت على نجمة ذهبية للأسلوب، لكن المعلم يعرف أن المعنى خاطئ. هذه مشكلة كبيرة لأنه إذا اعتقد الروبوت أنه يؤدي عملاً جيداً بينما هو في الواقع يكذب، فسيستمر في الكذب.
هذا هو بالضبط اللغز الذي يحاول الباحثون وراء ورقة M2PO البحثية حله. لقد لاحظوا أن "بطاقات التقييم" القياسية المستخدمة لتقييم الترجمات لديها نقطة عمياء. فهي بارعة في رصد الكوارث الواضحة (مثل الكلام غير المفهوم) والترجمات المثالية، لكنها ترتبك في المنطقة الوسطى. هذه المنطقة الوسطى هي ما يسميها المؤلفون "منطقة عدم اليقين". في هذه المنطقة، قد تفتقر الترجمة إلى بعض التفاصيل الرئيسية أو تضيف القليل من المعلومات المختلقة، ولكن لأنها لا تزال تبدو طليقة، تمنحها بطاقة التقييم درجة عالية. الروبوت، برؤيته لهذه الدرجة العالية، يعتقد: "رائع، أنا أبلي بلاءً حسناً!" ويستمر في ارتكاب تلك الأخطاء الدقيقة.
ولإصلاح ذلك، ابتكر الفريق إطار عمل تدريب جديد يسمى M2PO (تحسين تفضيلات الأزواج المتعددة من منظور متعدد). بدلاً من مجرد النظر إلى الدرجة النهائية، يغير M2PO طريقة تعلم الروبوت بطريقتين ذكيتين. أولاً، يعمل كأنه محرر صارم لا يكتفي بالتحقق مما إذا كانت الجمل تتدفق بشكل جيد فحسب، بل يتحقق أيضاً مما إذا كانت القصة حقيقية بالفعل. إنهم يستخدمون "كاشف حقيقة" خاصاً (يسمى مصنف المحاذاة الدلالية) يفرض عقوبة شديدة على أي ترجمة تخترع أشياء أو تغفل تفاصيل، حتى لو كانت تبدو منسابة وجميلة. هذا يضمن أن يتعلم الروبوت أن الطلاقة ليست كافية؛ بل يجب أن يكون أميناً للنص الأصلي.
ثانياً، يغير M2PO قواعد اللعبة من مجرد مقارنة بسيطة بين "الأفضل مقابل الأسوأ" إلى بطولة كاملة. عادةً، ينظر التدريب فقط إلى الترجمة الأفضل والترجمة الأسوأ. لكن الباحثين أدركوا أن الدروس الأكثر أهمية تكمن في المنتصف—تلك الترجمات التي تكون صحيحة تقريباً ولكن بها تلك الأخطاء الخفية والدقيقة. يقوم M2PO بصف جميع الترجمات الممكنة من الأفضل إلى الأسوأ ويجبر الروبوت على مقارنتها ببعضها البعض في أزواج. إنه يشبه مدرباً لا يكتفي بإظهار الفائز بالميدالية الذهبية والمركز الأخير فقط، بل يشير أيضاً إلى الوصيف الذي ارتكب خطأً طفيفاً، قائلاً: "هل ترى الفرق؟ هذا ما تحتاج لإصلاحه".
النتائج التي حققها هذا النهج الجديد مبهرة. فعندما اختبروه على نموذج يحتوي على 9 مليارات معلمة (وهو كبير، لكن ليس الأكبر في العالم)، أصبح الروبوت بارعاً جداً في الترجمة لدرجة أنه استطاع التغلب على نماذج أكبر بكثير مفتوحة المصدر، بل وحتى مضاهاة أداء الأنظمة باهظة الثمن والمملوكة لشركات مثل GPT-4o وGemini-2.0-Flash. تُظهر الورقة البحثية أنه من خلال إصلاح انحياز "بطاقة التقييم" وتعليم الروبوت الانتباه لتلك الأخطاء المحيرة في المنطقة الوسطى، يمكننا إنشاء أدوات ترجمة ليست طليقة فحسب، بل موثوقة حقاً. وجد المؤلفون أن هذه الطريقة تعمل عبر لغات ومجموعات بيانات مختلفة، مما يثبت أن طريقة أذكى في التدريب يمكن أن تكون بقوة جعل الروبوت أكبر حجماً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.