Less Data, Better Alignment: Data-Centric Multi-Evaluator Agreement for Preference Optimization
تقدم هذه الورقة البحثية DMAPO، وهي طريقة لتحسين التفضيلات ترتكز على البيانات تعمل على تصفية مجموعة فرعية صغيرة وعالية الإجماع من الاستجابات المعتمدة على السياسة (on-policy) باستخدام اتفاق متعدد المقيمين لتحقيق أداء محاذاة فائق باستخدام بيانات تدريب أقل بكثير مقارنة بالأساليب القياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت ذكي جداً، ولكنه فوضوي قليلاً، كيف يكون مساعداً مفيداً. في عالم الذكاء الاصطناائي، تسمى هذه العملية "المحاذاة" (Alignment). لفترة طويلة، ركز العلماء على كيفية تعليم الروبوت، من خلال تجربة صيغ رياضية مختلفة لجعله يتعلم من كومة ضخمة من الأمثلة المكتوبة مسبقاً. لكن هناك مشكلة: أحياناً تكون كومة الأمثلة هذه فوضوية، مليئة بالتناقضات، أو مجرد مربكة. الأمر يشبه محاولة تعلم الطبخ من خلال قراءة كتاب وصفات نصف صفحاته ممزقة والنصف الآخر يحتوي على تعليمات متضاربة.
هذه الورقة البحثية تطرح سؤالاً مختلفاً: ماذا لو لم تكن المشكلة في طريقة التدريس، بل في المكونات؟ بدلاً من إجبار الروبوت على التعلم من مكتبة ضخمة وصاخبة، ماذا لو سمحنا له فقط بالتعلم من مجموعة صغيرة ومثالية من الأمثلة التي نحن متأكدون تماماً من جودتها؟ أراد الباحثون معرفة ما إذا كان يمكن لـ "وجبة خفيفة" صغيرة وعالية الجودة من البيانات أن تكون أفضل من "وليمة" ضخمة وفوضوية. لقد بنوا نظاماً يعمل مثل ناقد طعام صارم للغاية، يتذوق آلاف الإجابات الخاصة بالروبوت ويحتفظ فقط بتلك التي يتفق الجميع على أنها لذيذة. والنتي نتيجة ذلك؟ هي طريقة تشير إلى أننا قد لا نحتاج إلى ملايين الأمثلة لجعل الروبوت ذكياً؛ قد نحتاج فقط إلى بضع مئات من الأمثلة الممتالة حقاً ولا جدال فيها.
قصة الورقة البحثية: DMAPO
تقدم الورقة طريقة جديدة تسمى DMAPO (تحسين التفضيل القائم على اتفاق متعدد المقيمين والبيانات - Data-centric Multi-evaluator Agreement for Preference Optimization). فكر في DMAPO كأنه محرر شديد التدقيق لا يكتفي بقراءة القصة فحسب؛ بل يؤلف القصة بنفسه، ثم يستأجر ثلاثة نقاد خبراء لتقييمها، وفي النهاية، لا ينشر إلا القصص التي يتفق الجميع على أنها إما تحفة فنية أو كارثة مطلقة.
إليك كيف يحدث السحر، خطوة بخطوة:
1. الروبوت يكتب أولاً
بدلاً من البحث في قائمة موجودة مسبقاً من الإجابات "الجيدة" و"السيئة"، ترك الباحثون الروبوت (تحديداً نموذج يسمى Mistral-7B) يكتب إجاباته الخاصة على آلاف الأسئلة. الأمر يشبه طلب اختبار تجريبي من طالب قبل أن يقوم المعلم بتصحيحه حتى. قام الروبوت بتوليد 54,236 إجابة مختلفة لـ 13,559 أمراً مختلفاً.
2. لجنة الحكام
الآن يأتي الجزء الصارم. لم يكتفِ الباحثون بسؤال نموذج ذكاء اصطناعي واحد لتقييم هذه الإجابات، بل استخدموا ثلاثة "مقيمين" متخصصين (نماذج ذكاء اصطناعي تعمل كحكام) لتسجيل كل إجابة بناءً على ثلاثة أشياء محددة:
- الفائدة: هل هي مفيدة حقاً؟
- الواقعية: هل تقول الحقيقة؟
- الإيجاز: هل هي مسرفة في الكلام؟
يعطي كل حكم درجة من 1 إلى 10. ولكن انتظر، هناك حَكم رابع، وهو "ناقد العملية"، الذي يبحث عن الأخطاء المنطقية أو عيوب الاستنتاج الغريبة ويخصم النقاط إذا كانت الإجابة غير دقيقة.
3. "بوابة الإجماع"
هذا هو الفلتر الأهم. النظام لا يحتفظ بالإجابة إلا إذا اتفق جميع الحكام الثلاثة على أنها إما مذهلة (درجة 7 أو أعلى) أو سيئة للغاية (درجة 4 أو أقل). إذا ارتبك الحكام أو اختلفوا مع بعضهم البعض، تُلقى الإجابة في السلة. الأمر يشبه عرض مواهب حيث لا يتم إنقاذ المتسابق إلا إذا ضغط كل حكم على زر "نعم" بقوة، أو إذا ضغط كل حكم على زر "لا" بقوة. إذا انقسم الحكام في رأيهم، يغادر المتسابق المسرح.
4. النتيجة: بيانات أقل، محاذاة أفضل
النتيجة الناتجة عن هذا الفلتر الصارم كانت صادمة. من بين 54,236 إجابة تم توليدها، احتفظ النظام بـ 1,871 إجابة فقط. وهذا يعني معدل قبول قدره 3.45%. لقد رمى النظام 96.55% من البيانات!
لكن هنا تكمن المفاجأة: الروبوت الذي تدرب على هذه المجموعة الصغيرة عالية الجودة من 1,871 مثالاً أدى في الواقع بشكل أفضل من الروبوتات التي تدربت على مجموعات بيانات أكبر بكثير باستخدام طرق أخرى.
- في اختبار يسمى MT-Bench، سجل الروبوت الجديد 7.50، متفوقاً على أفضل الطرق السابقة.
- عند مقارنته بنموذج مرجعي، فاز بنسبة 95.5% من المرات عندما تم التحكم في الطول.
- كما سجل 57.3% في اختبار يسمى IFEval، والذي يتحقق مما إذا كان الروبوت يمكنه اتباع قواعد صارمة.
ما تنفيه الورقة البحثية
يؤكد المؤلفون بحذر ما أن هذه الطريقة ليست:
- هي ليست عصا سحرية تجعل الروبوت أكثر ذكاءً في كل شيء. في الواقع، عندما اختبروها على مسائل رياضية، انخفضت الدرجة قليلاً (من 6.45 إلى 5.70). يبدو أن فلتر "الإيجاز" الصارم قد عاقب الخطوات الطويلة والمفصلة اللازمة للرياضيات.
- هي ليست وسيلة لإضافة معرفة جديدة. الروبوت يتعلم فقط كيف يكون أفضل في الأشياء التي كان قادراً بالفعل على القيام بها؛ إنه يتعلم فقط القيام بها بشكل أكثر موثوقية.
- هي ليست ضماناً للحقيقة بمستوى البشر. النظام يعتمد على حكام الذكاء الاصطناعي، وإذا كان لدى هؤلاء الحكام تحيزات (مثل كونهم صارمين جداً بشأن الإيجاز أو لديهم فجوات ثقافية)، فإن الروبوت سيتعلم تلك التحيزات أيضاً.
ما مدى تأكدهم؟
تقدم الورقة هذا كاقتراح قوي بناءً على التجارب، وليس كقانون نهائي للفيزياء.
- تم قياس النتائج على نموذج روبوت محدد (Mistral-7B) وأظهرت تحسينات واضحة.
- ومع ذلك، عندما جربوا نفس الطريقة على نموذج روبوت مختلف (Llama-3.1-8B)، كانت النتائج "مختلطة". حقق الروبوت الجديد أداءً جيداً في بعض الاختبارات ولكنه لم يتفوق على النسخة الأصلية في المعيار الرئيسي. هذا يشير إلى أن الطريقة تعمل جيداً مع أنواع معينة من الروبوتات ولكنها قد لا تكون حلاً عالمياً لجميع الروبوتات.
- ذكر المؤلفون صراحة أنه بينما تعمل الطريقة، إلا أنها تأتي بتكلفة: يجب عليك استهلاك الكثير من قوة الكمبيوتر قبل التدريب لتوليد وتصفية البيانات. إنها عملية مقايضة: وقت تدريب أقل، ولكن وقت "تنظيم وتنسيق" أكثر.
الخلاصة
تشير DMAPO إلى أنه في السباق لجعل الذكاء الاصطناعي أكثر ذكاءً، قد تكون الجودة أهم من الكمية. من خلال العمل كمحرر شديد الصرامة لا يقبل إلا الإجابات التي يتفق الجميع على أنها مثالية (أو فشل مثالي)، وجد الباحثون طريقة لتدريب روبوت باستخدام مجموعة بيانات صغيرة عالية الثقة تفوقت على تلك التي تدربت على أكوام ضخمة وفوضوية من البيانات. إنها تذكير بأنه في بعض الأحيان، أفضل طريقة للتعلم هي تجاهل الضجيج والتركيز فقط على الإشارة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.