Model Merging is Secretly Certifiable: Non-Vacuous Generalisation Bounds for Low-Shot Learning

في عالم الذكاء الاصطناعي، هناك توتر متزايد بين قوة هذه الأنظمة وقدرتنا على الوثوق بها. نحن نعتمد على الذكاء الاصطناعي لاتخاذ قرارات في مجالات عالية الخطورة مثل الطب والأمن، ومع ذلك فإن المتطلب الأساسي للثقة هو معرفة أن النظام سيعمل بشكل موثوق على بيانات جديدة وغير مرئية، وليس فقط على الأمثلة التي تدرّب عليها. لعقود من الزمن، حاول العلماء إنشاء ضمانات رياضية تثبت أن النموذج لن يفشل بشكل غير متوقع. ومع ذلك، غالبًا ما كانت هذه الضمانات عديمة الفائدة بالنسبة للشبكات الضخمة والمعقدة التي تشغل الذكاء الاصطناعي الحديث؛ إذ إن الحسابات المطلية لإثبات السلامة لمثل هذه الأنظمة الكبيرة عادة ما تؤدي إلى تحذيرات فضفاضة ومتشائمة للغاية لدرجة أنها لا تخبرنا بشيء مفيد، فهي تقول أساسًا إن معدل الخطأ قد يتراوح في أي مكان بين صفر ومائة بالمائة. وتصبح هذه المشكلة أكثر صعوبة عندما تتوفر بيانات قليلة جدًا لتدريب النظام، وهو وضع شائع في المجالات المتخصصة حيث يكون جمع آلاف الأمثلة أمرًا مستحيلاً.

لقد اكتشف فريق من الباحثين طريقة مفاجئة لتجاوز هذه القيود من خلال تغيير كيفية نظرهم إلى عملية التعلم نفسها. فبدلاً من محاولة اعتماد الشبكة العصبية الضخمة بأكملها، ركزوا على تقنية تسمى "دمج النماذج" (model merging)، والتي تجمع عدة خبراء مدربين مسبقًا في نموذج واحد جديد. ومن خلال معاملة عملية دمج هذه النماذج كشكل من أشكال التعلم باستخدام عدد قليل جدًا من الإعدادات القابلة للتعديل، وجد الباحثون أن بإمكانهم تطبيق فحوصات سلامة صارمة كانت مستحيلة سابقًا. يوضح عملهم أنه من الممكن تقديم ضمانات ذات مغزى وغير فارغة لأداء أنظمة الذكاء الاصطناعي الضخمة، حتى عندما يتم تدريبها على مائة مثال فقط. ويشير هذا الاكتشاف إلى أن الأدوات اللازمة لاعتماد سلامة نماذج الذكاء الاصطناعي الأكثر قوة اليوم كانت مختبئة بالفعل أمام الأعين، بانتظار التعرف عليها من خلال منظور نظري مختلف.

يكمن جوهر هذا الاكتشاف في إعادة تصور كيفية تدريب والتحقق من صحة الذكاء الاصطناعي عندما تكون البيانات شحيحة. تقليديًا، لإثبات عمل نموذج ما، يقوم العلماء بتقسيم بياناتهم المحدودة إلى مجموعة تدريب ومجموعة تحقق منفصلة. ولكن عندما تملك مائة مثال فقط، فإن تقسيمها إلى نصفين يتركك مع عدد قليل جدًا لتدريب نموذج جيد، وعدد قليل جدًا لاختباره بشكل موثوق. أدرك الباحثون أن طريقة شائعة تسمى "دمج النماذج" تقدم حلاً؛ ففي هذا النهج، بدلاً من تدريب شبكة ضخمة من الصفر، تأخذ عدة شبكات موجودة تعلمت بالفعل مهارات مختلفة وتقوم بدمجها معًا. ويتم التحكم في هذا الدمج من خلال مجموعة صغيرة من الأرقام، أو الأوزان، التي تحدد مدى مساهمة كل شبكة أصلية في النتيجة النهائية. ولأن عدد أوزان الدمج هذه ضئيل جدًا مقارنة بالمليارات من المعلمات (parameters) داخل الشبكات الأصلية، فإن عملية التعلم تصبح أبسط بكثير.

أظهر الباحثون أن هذه البساطة هي مفتاح الاعتماد. لقد طبقوا إطار عمل يُعرف باسم "PAC-Bayes"، وهو أسلوب لحساب احتمالية أن يعمل النموذج بشكل جيد على بيانات جديدة. وعادة ما تفشل هذه الطريقة مع الشبكات الكبيرة لأن الرياضيات تصبح فضفاضة جدًا بحيث لا تعود مفيدة. ومع ذلك، نظرًا لأن دمج النماذج يعدل فقط عددًا قليلًا من الأوزان، فإن الرياضيات تظل محكمة. أثبت الفريق أن خوارزميات الدمج الموجودة، والتي صُممت ببساطة لإنشاء أفضل نموذج مدمج ممكن، كانت توفر بالفعل هذه الضمانات الأمنية المحكمة دون أي تعديلات خاصة. وفي كثير من الحالات، كان الطريقة القياسية لعمل هذه الخوارزميات كافية لإثبات أن النموذج الناتج لن يفشل بشكل كارثي، حتى مع وجود كمية قليلة جدًا من بيانات التدريب.

ولجعل هذه الضمانات أقوى، طور الفريق طريقة لتعديل عملية التعلم. فقد قاموا بتعديل هدف خوارزمية الدمج لتقليل حد السلامة (safety bound) بشكل صريح، بدلاً من مجرد محاولة الحصول على أدنى خطأ في بيانات التدريب. سمح هذا التعديل بتحويل الضمانات "الفارغة"، التي لم تقدم أي طمأنينة حقيقية، إلى حدود ملموسة ومفيدة لعدد مرات فشل النموذج المحتملة. واختبروا هذا النهج على نوعين مختلفين تمامًا من الذكاء الاصطناعي: نظام رؤية قادر على التعرف على الصور، ونموذج لغوي كبير قادر على فهم النصوص. بالنسبة لنظام الرؤية، استخدموا نموذجًا يحتوي على حوالي ثمانية وثمانين مليون معلمة، وبالنسبة للنموذج اللغوي، استخدموا نموذجًا يحتوي على سبعة مليارات معلمة. وفي كلتا الحالتين، قاموا بتدريب الأنظمة على مائة مثال فقط لكل مهمة.

كانت النتائج مذهلة. بالنسبة لمهام الرؤية، تمكن الباحثون من اعتماد النماذج المدمجة لتعمل ضمن نطاق دقيق وضيق من الدقة. وبالنسبة للنموذج اللغوي، وهو أكبر بكثير وأكثر تعقيدًا، حققوا النتيجة نفسها. في حالات كثيرة، كان أداء النموذج اللغوي الأساسي ضعيفًا في المهام الجديدة عند إعطائه عدم وجود أمثلة تدريب، ولكن بعد دمجه وتدريبه على مائة مثال فقط، لم يحسن النظام أداءه فحسب، بل جاء أيضًا مع شهادة رياضية تثبت موثوقيته. وجد الباحثون أنه لجميع مجموعات البيانات، يمكن اعتماد خطأ الاختبار ليكون ضمن نطاق 5% من خطأ التدريب.

يتحدى هذا العمل الاعتقاد السائد منذ فترة طويلة بأن اعتماد أنظمة الذكاء الاصطناعي الكبيرة يتطلب كميات هائلة من البيانات. فقد أظهر الباحثون أنه من خلال التركيز على العدد الصغير من المعلمات التي تتغير فعليًا أثناء عملية الدمج، يصبح تعقيد النظام قابلاً للإدارة لغرض إثباتات السلامة. كما استكشفوا تقنية تسمى "النماذج الأولية المعتمدة على البيانات" (data-dependent priors)، والتي تتضمن استخدام جزء صغير من بيانات التدريب لضبط نقطة بداية أفضل لحساب السلامة. وقد أدى هذا إلى تشديد الضمانات بشكل أكبر، مما أثبت أن الطريقة قوية وقابلة للتكيف. لم تدّعِ الدراسة حل جميع مشكلات سلامة الذكاء الاصطناعي، لكنها قدمت مسارًا واضحًا لاعتماد الأنظمة في ظل نقص البيانات، وهو سيناريو بالغ الأهمية للتطبيقات الواقعية حيث تكون البيانات مكلفة أو يصعب الحصول عليها.

تتجاوز تداعيات هذا الاكتشاف مجرد الأرقام؛ فهي تشير إلى أن سلامة أنظمة الذكاء الاصطناعي الحالية قد تكون أسهل في التحقق منها مما كان يُعتقد سابقًا. فإذا كان من الممكن اعتماد الطرق المستخدمة لدمج النماذج بهذه السهولة، فإن الأنظمة المبنية باستخدام هذه الطرق يمكن الوثوق بها بثقة أكبر. وأكد الباحثون أن هذا النهج يعمل لكل من التعرف على الصور وفهم اللغة، مما يشير إلى أن المبدأ عام وليس مقتصرًا على نوع معين من الذكاء الاصطناعي. ومن خلال إثبات أن الضمانات غير الفارغة، أو ذات المغزى، ممكنة لنماذج تصل ضخامتها إلى سبعة مليارات معلمة مع مائة مثال فقط، فتح الفريق مسارًا جديدًا لضمان إمكانية نشر الذكاء الاصطناعي بأمان في أكثر مجالات الحياة البشرية حيوية. ويقف هذا العمل كدليل على أنه في بعض الأحيان، لا يكمن مفتاح حل مشكلة نظرية معقدة في بناء آلة أكبر، بل في النظر إلى الآلة الموجودة بالفعل من زاوية مختلفة.