Output Dilution: Redundant but Fragile Representations in MoE Models
تكشف هذه الورقة أنه بينما تقوم نماذج "خليط الخبراء" (MoE) بترميز المحتوى الأخلاقي بنفس قدر التكرار الذي تقوم به النماذج الكثيفة، إلا أن تمثيلاتها أكثر هشاشة بشكل ملحوظ بسبب "تخفيف المخرجات"، حيث يؤدي متوسط الخبراء النشطين إلى تقليل قوة الإشارة بشكل جذري، مما يجعل المعلومات المرمزة عرضة للاكتساح بسهما من قبل الضجيج رغم استقرار التوجيه.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مجال الذكاء الاصطناعي سريع التطور، يحاول الباحثون باستمرار فهم كيفية تفكير النماذج اللغوية الكبيرة. هذه الأنظمة، التي يمكنها كتابة القصص وحل المشكلات والإجابة على الأسئلة، مبنية من شبكات واسعة من الروابط الرياضية. أحد التصاميم الشائعة لهذه الشبكات يسمى "خليط الخبراء" (mixture of experts). تخيل فريقاً كبيراً من المتخصصين حيث يُسمح لمجموعة صغيرة فقط منهم بالعمل لكل جملة يعالجها الكمبيوتر، بينما يظل الباقون صامتين. صُمم هذا النهج لجعل الكمبيوتر أسرع وأكثر كفاءة من خلال استخدام موارد أقل لكل مهمة. وبالنسبة للعلماء الذين يدرسون كيفية مواءمة هذه النماذج مع القيم البشرية — لضمان تصرفها بشكل أخلاقي وآمن — يوفر هذا الهيكل إمكانية مغرية؛ فإذا تمت معالجة الاستدلال الأخلاقي بواسطة مجموعة محددة ومعزولة من هؤلاء المتخصصين، فقد يتمكن الباحثون من تعديل أو إزالة تلك المجموعة تحديداً لإصلاح السلوك السيئ دون المساس ببقية النظام. إنه نهج جراحي نظيف لمشكلة معقدة.
ومع ذلك، وجدت دراسة جديدة باستخدام نموذج مفتوح المصدر محدد يسمى OLMoE أن هذا الأمل في غير محله. لقد سعى الباحثون لمعرفة ما إذا كانت وحدات "الخبراء" هذه تتخصص بالفعل في الاستدلال الأخلاقي، أم أنها جميعاً تفعل الشيء نفسه. كما أرادوا أيضاً اختبار مدى قوة هذه الإشارات الأخلاقية حقاً. كانت النتائج مفاجئة؛ حيث وجدت الدراسة أن النموذج لا يمتلك فريقاً مخصصاً من الخبراء الأخلاقيين. بدلاً من ذلك، يحتوي كل متخصص في كل طبقة من طبقات الشبكة على نفس المعلومات الأخلاقية. والأهم من ذلك، اكتشفت الدراسة أنه بينما توجد هذه المعلومات الأخلاقية، إلا أنها هشة للغاية؛ فهي موجودة في النظام، لكنها ضعيفة التعبير لدرجة أن أي قدر ضئيل من الضجيج الرقمي يمكن أن يمحوها، في حين أن نموذجاً قياسياً من نفس الحجم يمكنه بسهولة مقاومة نفس الاضطراب.
بدأ التحقيق بفحص العمليات الداخلية لنموذج OLMoE، الذي يحتوي على 64 من هذه الوحدات المتخصصة في كل طبقة من طبقاته الـ 16. قام الباحثون بتدريب كواشف بسيطة لمعرفة ما إذا كان بإمكانهم العثور على مفاهيم أخلاقية داخل مخرجات كل وحدة فردية. وإذا كان تصميم "خليط الخبماء" يعمل كما هو مأمول، فقد توقعوا أن تجد بعض الوحدات المحددة فقط قدرة على التعرف على المحتوى الأخلاقي، بينما تركز الوحدات الأخرى على مهام أخرى مثل القواعد أو الحقائق. وبدلاً من ذلك، وجدوا العكس تماماً؛ فقد تمكنت كل وحدة تقريباً، بغض النظر عن موقعها في الشبكة، من تحديد المحتوى الأخلاقي بدقة عالية. كان توزيع هذه القدرة متساوياً تماماً؛ فلم تكن هناك وحدة متخصصة وأخرى مبتدئة، بل كانت القدرة موزعة بانتظام. كما أن "الموجه" (router) الذي يقرر أي الوحدات ستعمل لم يظهر أي تفضيل لإرسال الجمل الأخلاقية إلى خبراء محددين، بل عامل جميع المدخلات بنفس الطريقة. وهذا يعني أن الميزة الهيكلية لوجود خبراء منفصلين لا تساعد في عزل السمات الأخلاقية من أجل التدخل المستهدف.
ثم انتقل الباحثون إلى سؤال أكثر دقة: ما مدى قوة هذه المعلومات الأخلاقية؟ لقد قارنوا نموذج OLMoE بنموذج "كثيف" (dense) قياسي لا يستخدم نظام الخبراء ولكن لديه عدد مماثل من المعلمات النشطة. وعندما اختبروا مقدار الضجيج الذي يمكن للنماذج تحمله قبل فقدان قدرتها على التعرف على المحتوى الأخلاقي، ظهر فرق صارخ. كان النموذج القياسي متيناً بشكل ملحوظ، وقادراً على تحمل مستويات كبيرة من التداخل الرقمي مع الاستمرار في الحفاظ على فهمه الأخلاقي. وفي المقابل، انهار نموذج OLMoE بشكل شبه فوري؛ فقد كان أكثر هشاشة بأكثر من أربع مرات من نظيره القياسي. كانت الإشارة الأخلاقية في نموذج الخبراء رقيقة للغاية، بحيث كان يكفي قدر ضئيل من الضجيج الساكن لإغراقها تماماً.
ولفهم سبب حدوث ذلك، نظر الفريق في كيفية تدفق المعلومات عبر النظام. في النموذج القياسي، ترسل وحدات المعالجة إشارة قوية وواضحة إلى المرحلة التالية من الشبكة. أما في نموذج الخبراء، فيقوم النظام باختيار عدد قليل من الخبراء، ويقوم بمتوسط مخرجاتهم، ثم يرسل تلك النتيجة المجمعة للأمام. قام الباحثون بقياس قوة هذه الإشارة المجمعة ووجدوا أنها أضعف بكثير مما هي عليه في النموذج القياسي؛ فقد تم تخفيف الإشارة، لتصبح أصغر بمقดับتين من حيث الحجم تقريباً. إحدى طرق تصور ذلك هي تخيل محادثة في غرفة مزدحمة؛ في النموذج القياسي، يتحدث الشخص بصوت واضح وقوي يسمعه الجميع. أما في نموذج الخبراء، فالأمر يشبه ثمانية أشخاص يهمسون بنفس الجملة، والغرفة لا تسمع إلا متوسط تلك الهمسات. الرسالة موجودة، لكنها خافتة جداً لدرجة أن نسمة ضجيج طفيفة يمكن أن تجعل سماعها مستحيلاً.
لهذا الاكتشاف تداعيات عميقة على كيفية فهمنا لهذه الأنظمة والتحكم فيها. أظهرت الدراسة أن هذه الهشاشة ليست نتيجة فشل النموذج في التعلم بشكل صحيح بمرور الوقت. فمن خلال النظر في تاريخ تدريب النموذج من خطواته الأولى حتى شكله النهائي، أكد الباحثون أن المعلومات الأخلاقية كانت موجودة منذ البداية وظلت موزعة بشكل موحد وضعيفة طوال العملية. لم يطور النموذج أبداً خبراء أخلاقيين متخصصين، ولم يقم أبداً بتقوية الإشارة. الهشاشة هي ميزة متأصلة في البنية نفسها. ولأن النظام يقوم بمتوسط مخرجات عدد قليل من الخبلاء المختارين، فإن الإشارة الناتجة تكون ضعيفة بطبيعتها، وهذه الإشارة الصغيرة يسهل التغلب عليها بالضجيج، مما يجعل الترميز الأخلاقي في هذه النماذج أقل أماناً من التصميمات التقليدية.
تخلص الدراسة إلى أن الوعد الذي يقدمه تصميم "خليط الخبراء" لأبحاث المواءمة هو وهم. فبينما يوفر الهيكل طريقة لتقسيم الشبكة إلى وحدات منفصلة، إلا أنه لا يخلق جيوباً معزولة من الاستدلال الأخلاقي يمكن تعديلها أو إزالتها بسهولة. بدلاً من ذلك، فإنه ينشر المعلومات الأخلاقية بشكل رقيق عبر جميع الوحدات، مما يجعلها متكررة ولكنها معرضة للخطر بشكل كبير. بالنسبة للباحثين الذين يسعون لضمان تصرف هذه النماذج بأمان، فإن هذا يعني أن مجرد النظر إلى ما إذا كان النموذج يمكنه تحديد المفاهيم الأخلاقية ليس كافياً؛ بل يجب عليهم أيضاً قياس مدى أمان حفظ تلك المعلومات. قد يبدو النموذج وكأنه يفهم الأخلاق بشكل مثالي على السطح، ومع ذلك يكون هشاً لدرجة أن تغييراً طفيفاً في بيئته أو تعديلاً بسيطاً أثناء الضبط الدقيق قد يؤدي إلى فقدان هذا الفهم تماماً. تشير الدراسة إلى أن الطريقة التي تُبنى بها هذه النماذج تغير بشكل أساسي طبيعة إشاراتها الداخلية، مما يخلق ضعفاً هيكلياً دائماً لا يمكن للتدريب وحده إصلاحه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.