MENLO: From Preferences to Proficiency -- Evaluating and Modeling Native-like Quality Across 47 Languages
تقدم الورقة البحثية MENLO، وهو إطار عمل ومجموعة بيانات لتقييم جودة استجابة النماذج اللغوية الكبيرة لتكون شبيهة باللغة الأم عبر 47 لغة، وتوضح أنه في حين تعجز نماذج التقييم ذات القدرة الصفرية (zero-shot) عن مضاهاة المقيّمين البشريين، فإن التعلم المعزز وتشكيل المكافأة يمكن أن يحسنا بشكل كبير كلاً من دقة التقييم وكفاءة النماذج متعددة اللغات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك سلسلة مطاعم عالمية. لديك شيف رئيسي (الذكاء الاصطناعي) يمكنه طهي أطباق مذهلة باللغة الإنجليزية. ولكن الآن، تريد افتتاح فروع في 47 دولة مختلفة. لا تريد فقط أن يكون الطعام صالحاً للأكل؛ بل تريد أن يكون طعمه تماماً مثل طبق أعدته جدة محلية في تلك القرية تحديداً. يجب أن يستخدم التوابل المحلية الصحيحة، ويحترم العادات المحلية، ويشعرك وكأنه طُبخ بواسطة شخص نشأ هناك.
هذه الورقة البحثية، بعنوان "من التفضيلات إلى الكفاءة"، تدور حول بناء نظام لتعليم الذكاء الاصطناعي كيف يطهو كأهل البلد في 47 لغة مختلفة، وليس مجرد ترجمة وصفات إنجليزية.
إليك تفاصيل رحلتهم، باستخدام تشبيهات بسيطة:
1. المشكلة: الذكاء الاصطناعي "السائح"
حالياً، معظم نماذج الذكاء الاصطناعي تشبه السياح. يمكنهم التحدث باللغة، لكنهم يبدون كغرباء. قد يستخدمون مصطلحات خاطئة، أو يفتقدون الفروق الثقافية الدقيقة، أو يقدمون نصائح لا تناسب السياق المحلي.
- مثال: إذا سألت ذكاءً اصطناعياً في المكسيك عن كيفية طلب حصة ثانية من الطعام بأدب خلال عشاء عائلي، فقد يعطيك "الذكاء الاصطناعي السائح" إجابة عامة. أما "الذكاء الاصطناعي الأصلي" فسيعرف تماماً كيف يقول ذلك بالدفء والاحترام المناسبين لتلك المنطقة تحديداً.
2. الحل: إطار عمل "MENLO"
قام الباحثون ببناء نظام جديد يسمى MENLO (التقييم متعدد اللغات للمخرجات التي تشبه لغة أهل البلد). فكر في MENLO كأنه لجنة تذوق فائقة ودليل تدريب في آن واحد.
لقد قسموا "الجودة التي تشبه لغة أهل البلد" إلى أربعة نكهات محددة:
- الطلاقة: هل الجملة سلسة، أم تبدو كأن روبوت يتلعثم؟
- النبرة: هل الصوت ودود، أم مهني، أم مضحك؟ هل يناسب الحالة المزاجية؟
- النبرة المحلية: هل تبدو وكأنها تنتمي لهذا الحي تحديداً؟ (على سبيل المثال، استخدام المصطلحات الصحيحة لمدينة بوينس آيرس مقابل مدريد).
- الحقيقة المحلية: هل يعرف الحقائق المحلية؟ (على سبيل المثال، معرفة العطلات التي يتم الاحتفال بها في ذلك البلد تحديداً).
3. مجموعة البيانات: "اختبار التذوق"
لتدريب الذكاء الاصطناعي، لم يكتفوا بجعله يخمن فحسب. بل استعانوا بـ متحدثين أصليين من 47 تنوعاً لغوياً مختلفاً (مثل البرتغالية البرازيلية مقابل البرتغالية الأوروبية، أو الإنجليزية الهندية مقابل الإنجليزية الأمريكية).
- العملية: أنشأوا 6,423 سيناريو (مطالبات) وجعلوا الذكاء الاصطناعي يولد إجابتين مختلفتين لكل منها.
- الحكام: تذوق بشر حقيقيون كلتا الإجابتين وقاما بتقييمهما على مقياس من 1 إلى 5.
- النتيجة: مجموعة بيانات ضخمة لـ "اختبار التذوق" حيث قرر البشر أي استجابة للذكاء الاصطناي كانت تبدو أكثر "أصالة".
4. الاكتشاف: خدعة "جنباً إلى جنب"
سأل الباحثون: هل يمكننا استبدال الحكام البشر المكلفين بحكم ذكاء اصطناعي؟
وجدوا خدعة ذكية. إذا طلبت من الذكاء الاصطناعي تقييم إجابة واحدة بمفردها، فغال' ما يرتبك (مثل الحكم على أغنية واحدة دون سماع الأخرى). ولكن إذا وضعت إجابتين جنباً إلى جنب وسألته "أيهما أفضل؟"، فإنه يصبح حكماً أكثر دقة.
- التشبيه: الأمر يشبه محاولة تخمين وزن تفاحة واحدة في الظلام. هذا صعب. ولكن إذا أمسكت بتفاحتين وسألت "أيهما أثقل؟"، فإن عقلك يعرف ذلك فوراً. والذكاء الاصطناعي يعمل بنفس الطريقة.
5. التدريب: من "طالب" إلى "شيف ماهر"
حتى مع خدعة "جنباً إلى جنب"، لم يكن حكام الذكاء الاصطناعي مثاليين. لذلك، استخدم الباحثون تقنية تسمى التعلم المعزز (RL).
- التشبيه: تخيل طالباً في الطبخ (الذكاء الاصطناعي) يحاول التعلم.
- الطريقة القديمة (SFT): المعلم يكتفي بعرض الوصفة الصحيحة على الطالب مرة واحدة.
- الطريقة الجديدة (RL): الطالب يحاول الطبخ، والمعلم يتذوق، ثم يعطي ملاحظات، ويحاول الطالب مرة أخرى، مع تعديل التوابل قليلاً في كل مرة حتى يصل للكمال.
- النتيجة: باستخدام طريقة "التذوق والتعديل" هذه، قاموا بتدريب حكم ذكاء اصطناعي يكاد يكون بجودة المتحدث الأصلي البشري.
6. التحول النهائي: حلقة "التحسين الذاتي"
هذا هو الجزء الأروع. لقد أخذوا "حكم الذكاء الاصطناعي الماهر" الذي تم تدريبه حديثاً واستخدموه لتعليم "الشيف الذكاء الاصطناعي" كيف يطبخ بشكل أفضل.
- يعمل "حكم الذكاء الاصطناعي" كمدرب شخصي. يراقب الشيف وهو يطبخ، ويقول: "لا، هذا يبدو رسمياً جداً لعشاء عائلي مكسيكي"، فيحاول الشيف مرة أخرى.
- العقبة: الحكم الذكاء الاصطناعي مغرور قليلاً. هو يعتقد أن الشيف تحسن بنسبة 30%، بينما لم يلاحظ المتذوقون البشر سوى تحسن بنسبة 10%. الذكاء الاصطناعي يشبه "المروج" الذي يحب الأداء أكثر مما ينبغي!
الملخص
هذه الورقة هي خارطة طريق لجعل الذكاء الاصطناعي يبدو بشرياً في كل ركن من أركان العالم.
- وضعوا قائمة لما تعنيه "الأصالة" (MENLO).
- أثبتوا أن مقارنة إجابتين هي أفضل طريقة لتقييم الجودة.
- دربوا ذكاءً اصطناعياً ليكون حكماً فائقاً باستخدام طريقة "التذوق والتعديل".
- استخدموا ذلك الحكم لتعليم الذكاء الاصطناعي كيف يتحدث كأهل البلد، وليس كسائح.
الهدف النهائي؟ هو ضمان أنه عندما تتحدث مع ذكاء اصطناعي بأي من هذه اللغات الـ 47، تشعر وكأنك تدردش مع جار لك، وليس مع آلة تقرأ من قاموس.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.