Evaluating Federated Pre-Training: On the Reliability of Downstream Fine-Tuning and Intrinsic Evaluation
تُثبت هذه الورقة أن الضبط الدقيق اللاحق هو مقياس غير موثوق لتقييم جودة ما قبل التدريب الاتحادي لأنه يفشل في الحفاظ على ترتيب النماذج الأصلي، بينما يوفر التنبؤ بالرمز التالي الجوهري انعكاساً أكثر أمانة لأداء ما قبل التدريب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك رئيس طهاة ماهر يحاول ابتكار أفضل حساء في العالم. في الأيام الخوالي، كنت ستجمع كل مكون من كل مزرعة في البلاد، وتضعهم جميعًا في قدر واحد ضخم في المنتصف، وتحركهم حتى يصبح المذاق مثاليًا. ولكن ماذا لو كان بعض المزارعين خجولين للغاية لدرجة تمنعهم من مشاركة وصفاتهم السرية، أو إذا قالت الحكومة إنهم لا يستطيعون نقل خضرواتهم خارج حظائرهم الخاصة؟ أنت بحاجة إلى طريقة جديدة للطهي. هنا يأتي دور "التعلم الاتحادي" (Federated Learning). فبدلاً من إحضار المكونات إلى القدر، ترسل طباخك إلى كل مزرعة على حدة. يتذوق الطباخ الخضروات المحلية هناك، ويتعلم ما الذي يجعلها مميزة، ثم يرسل فقط "الدروس المستفادة" إلى المطبخ الرئيسي، دون أن يلمس الخضروات الفعلية أبدًا. بهذه الطريقة يمكنك تدريب "نموذج تأسيسي" (Foundation Model) — وهو عقل ذكاء اصطناعي فائق الذكاء يعرف الكثير عن العالم — دون أن ترى البيانات الخاصة أبدًا.
ولكن الجزء الصعب يكمن هنا: كيف تعرف ما إذا كان طباخك قد تعلم شيئًا جيدًا حقًا؟ عادةً، لاختبار الطباخ، تطلب منه صنع طبق محدد، مثل اللازانيا، ثم ترى مذاقه. في عالم الذكاء الاصطناناعي، يسمى هذا "الضبط الدقيق للمهام اللاحقة" (downstream fine-tuning). تأخذ العقل الذكي وتعلمه مهمة محددة، مثل الإجابة على أسئلة القواعد أو فهم المشاعر. ومع ذلك، تطرح هذه الورقة سؤالًا ملحًا: إذا كنت تحاول تقييم مدى جودة ما تعلمه الطباخ من "أساسيات" الطبخ (التدريب المسبق)، فهل طلب صنع اللازانيا هو الاختبار الصحيح؟ ربما يكون طعم اللازانيا جيدًا لمجرد أن الطباخ بارع في اتباع الوصفة، وليس لأنه فهم المكونات حقًا. تغوص هذه الورقة في ما إذا كانت طرقنا الحالية لاختبار عقول الذكاء الاصطناعي هذه تخبرنا بالحقيقة حول مدى جودة تعلمها في المقام الأول.
قرر الباحثون في هذه الدراسة خوض لعبة "اختبار التذوق" مع نوع معين من عقول الذكاء الاصطناعي يسمى "نموذج المحول" (transformer model). لقد أنشأوا مطبخًا محكمًا حيث قاموا بتدريب عدة نماذج: بعضها بالطريقة التقليدية (كل البيانات في مكان واحد) وبعضها باستخدام الطريقة الاتحادية (بقاء البيانات محلية). استخدموا نموذجًا صغيرًا نسبيًا يحتوي على 16 مليون معلمة (parameter)، تم تدريبه على شريحة محددة من البيانات النصية، لضمان عدالة المقارنة. كان هدفهم بسيطًا: أرادوا معرفة ما إذا كانت طرق الاختبار المختلفة يمكنها تصنيف النماذج من "الأفضل تعلمًا" إلى "الأسوأ تعلمًا" بناءً على أدائها في اختبار التدريب الأصلي.
جرب الفريق طريقتين رئيستين للحكم على النماذج. الطريقة الأولى هي النهج القياسي: الضبط الدقيق للمهام اللاحقة (Downstream Fine-Tuning). وهذا يشبه أخذ الذكاء الاصطناعي وإجباره على الدراسة لامتحان محدد (معيار GLUE، الذي يختبر أشياء مثل القواعد والمشاعر). جربوا ذلك بثلاث طرق: تعليم الذكاء الاصطناني كل شيء من الصفر (الضبط الدقيق الكامل)، أو مجرد تعليمه مفتاح الإجابات النهائي مع إبقاء عقله مجمدًا (الرأس فقط)، وحتى إعطائه قدرًا ضئيلًا جدًا من المواد الدراسية (بيانات مخفضة). أما النهج الثاني فهو التقييم الجوهري (Intrinsic Evaluation). وهذا يشبه أكثر مطالبة الذكاء الاصطناعي بمجرد قراءة جملة وتخمين الكلمة التالية، تمامًا كما فعل أثناء تدريبه الأصلي. وقد فعلوا ذلك دون تعليمه أي شيء جديد (zero-shot) وأيضًا بعد السماح له بقراءة أسئلة الامتحان كممارسة إضافية (التدريب المسبق المستمر).
كانت النتائج صادمة للطريقة المعتادة. فعندما نظر الباحثون إلى نتائج "الضبط الدقيق للمهام اللاحقة"، وجدوا أن ترتيب النماذج كان مشتتًا للغاية. فالنموذج الذي كان الأفضل بوضوح في اختبار التدريب الأصلي (بدرجة تعقيد نصي/perplexity تبلغ حوالي 89) لم يكن بالضرورة هو الفائز في الامتحانات المحددة. في الواقع، النماذج التي كانت مختلفة تمامًا في قدرتها الأصلية على التعلم انتهت بتقديم درجات متطابقة تقريبًا في الامتحانات. كان الارتباط بين جودة التعلم الأصلية ودرجات الامتحان ضعيفًا، بل كان سلبيًا في بعض الأحيان. الأمر كما لو أن أفضل طباخ وأسوأ طباخ صنعا لازانيا جيدة لأن الوصفة كانت بسيطة لدرجة أنها أخفت مهاراتهما الحقيقية. وحتى عندما أعطوا النماذج بيانات أقل للدراسة للامتحان، لم يتحسن الترتيب كثيرًا.
ومع ذلك، عندما استخدموا التقييم الجوهري — أي مطالبة الذكاء الاصطناعي بالتنبؤ بالكلمة التالية في النص الامتحاني دون أي تدريب إضافي — تغيرت القصة تمامًا. النماذج التي كانت أفضل في اختبار التدريب الأصلي كانت أيضًا أفضل في تخمين الكلمة التالية في النص الجديد. كان هناك ارتباط قوي وواضح. تشير الورقة إلى أن طريقة "الصفرية" (zero-shot) هذه، التي تظل قريبة من الهدف الأصلي للذكاء الاصطناعي، هي مرآة أكثر صدقًا لمدى نجاح التدريب المسبق الاتحادي في الواقع.
يلاحظ المؤلفون بحذر أن هذه كانت محاكاة باستخدام نموذج أصغر (16 مليون معلمة) ومجموعة محددة من البيانات، لذا لا يمكننا الجزم بأن هذا ينطبق على النماذج الضخمة التي تحتوي على تريليونات المعلمات المستخدمة في العالم الحقيقي اليوم. لكن النتائج تشير إلى أنه إذا أردنا معرفة ما إذا كانت استراتيجية تعلم اتحادي جديدة تجعل عقول الذكاء الاصطناعي أكثر ذكاءً حقًا، فلا ينبغي لنا الاعتماد فقط على مدى نجاحها في اجتياز اختبارات محددة بعد قليل من التدريب الإضافي. بدلاً من ذلك، يجب أن ننظر إلى مدى قدرتها على التنبؤ بالكلمة التالية بمفردها، لأن هذا الاختبار يبدو أنه يقول الحقيقة عن أساسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.