Beyond Routing Saturation: A Long-Horizon Class-Incremental Perspective on Expert Routing in Multimodal Continual Instruction Tuning
تقدم هذه الورقة البحثية FLEX، وهو معيار مرجعي يتكون من 34 مهمة وتحدياً كبيراً يكشف عن أوجه القصور في التوجيه الخبير الحالي في الضبط الدقيق للتعليمات متعدد الوسائط بشكل مستمر عبر إزالة البصمات النصية وتوسيع آفاق المهام، مع اقتراح إطار عمل مبدئي للتعلم المتزايد للفئات يحسن دقة التوجيه والأداء العام بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم بتعليم روبوت فائق الذكاء ليصبح بارعًا في مهارات مختلفة عديدة، واحدة تلو الأخرى. أولاً، تعلمه التعرف على القطط والكلاب. ثم تعلمه حل المسائل الرياضية. بعد ذلك، تعلمه قراءة الأشعة السينية الطبية. يُسمى هذا التعلم المستمر (Continual Learning). الجزء الصعب هو أنه بينما يتعلم الروبوت مهارات جديدة، فإنه غالبًا ما ينسى المهارات القديمة، أو يصاب بالارتباك بشأن المهارة التي يجب استخدامها عندما تسأله سؤالاً.
ولإصلاح ذلك، يعطي العلماء للروبوت "صندوق أدوات" من المساعدين المتخصصين، يُطلق عليهم اسم خبراء LoRA. فكر في هؤلاء الخبراء كأنهم طهاة مختلفون في مطبخ ضخم؛ هناك طاهٍ بارع في الخبز، وآخر في الشواء، وآخر في صنع السوشي. وعندما تطلب وجبة، فأنت بحاجة إلى موجه (Router) — وهو نادل ذكي — ينظر إلى طلبك ويرسله إلى الطاهي المناسب. إذا أرسل النادل طلب سوشي إلى طاهي الشواء، فستكون الوجبة كارثة. السؤال الكبير في هذا المجال هو: هل يمكن لنادلنا أن يصبح أفضل في معرفة أي طاهٍ يختار بالضبط، خاصة عندما يكبر المطعم ليضم عشرات الطهاة وتبدأ الطلبات في التشابه؟
المشكلة: النادل يعتمد على طرق مختصرة (لكن فقط لأن القائمة سهلة للغاية)
قرر فريق من الباحثين من جامعة نانجينغ التحقيق في مدى جودة أداء هؤلاء "النادلين" (الموجهين) لمهامهم حقًا. لقد نظروا في الاختبارات القياسية المستخدمة لتدريب هذه الروبوتات ووجدوا شيئًا مريبًا: كان النادلون يحصلون على درجات كاملة، لكنهم كانوا يعتمدون على طرق مختصرة.
في الاختبارات الحالية، كانت "القوائم" (التعليمات المعطاة للروبوت) تحتوي على أدلة واضحة. على سبيل المثال، قد تبدأ مسألة رياضية دائمًا بعبارة "احسب مجموع"، بينما قد تبدأ وصف صورة دائمًا بعبارة "صف الصورة". لم يكن النادل بحاجة إلى رؤية الصورة أو فهم الرياضيات؛ كان يكفيه قراءة الكلمات القليلة الأولى من التعليمات ليعرف أي طاهٍ يختار. يطلق الباحثون على هذه الأدلة اسم "البصمات النصية" (textual fingerprints).
لأن الاختبارات كانت تحتوي على مهام قليلة فقط (مثل 6 إلى 10 طهاة) وكانت القوائم واضحة جدًا، فقد كان مشكل التوجيه "مشبعًا". كان الأمر يشبه نادلًا في مطعم صغير به ثلاث طاولات فقط؛ يمكنه حفظ أرقام الطاولات دون أن يتعلم أبدًا أسماء الزبائن. أدرك الباحثون أنه إذا أردنا بناء روبوت يمكنه تعلم مئات المهارات على مدى فترة طويلة، فنحن بحاجة إلى اختبار أصعب بكثير حيث تبدو القوائم متشابهة، مما يجبر النادل على فهم المحتوى فعليًا.
الحل: مطعم جديد وأكثر صعوبة (FLEX)
لإصلاح ذلك، أنشأ الفريق معيارًا جديدًا يسمى FLEX (اختصار لـ Fingerprint-reduced Long-horizon Expert eXamination - فحص الخبراء طويل الأمد والمقلل للبصمات).
تخيل FLEX كمطعم ضخم وفوضوي يضم 34 طاهيًا مختلفًا (مهام) بدلاً من مجرد عدد قليل. في هذا المطعم، يستخدم كل طاهٍ نفس نموذج القائمة تمامًا. سواء كنت تطلب مسألة رياضية، أو تشخيصًا طبيًا، أو وصفًا لغروب الشمس، فإن التعليمات تبدو متطابقة. الطريقة الوحيدة لمعرفة أي طاهٍ تختار هي النظر فعليًا إلى الصورة وفهم السياق.
قام الباحثون أيضًا بإزالة أدلة "الاختصار". لقد تأكدوا من أن التعليمات الخاصة بمسألة كيميائية لا تبدو مختلفة عن تعليمات تاريخ الفن. هذا أجبر نظام التوجيه على التوقف عن الاعتماد على الطرق المختصرة والبدء في العمل الصعب المتمثل في تحديد ماهية المهمة بالفعل.
الفكرة الكبرى: النادل هو مجرد مصنف
إليك اللمسة الذكية التي قدمتها الورقة البحثية. أدرك الباحثون أن وظيفة النادل (الموجه) هي في الواقع نفس مشكلة التعلم الآلي الكلاسيكية التي تسمى التعلم التدريجي للفئات (Class-Incremental Learning - CIL).
في CIL، تعلم الكمبيوتر التعرف على فئات جديدة (مثل "قطط"، ثم "كلاب"، ثم "طيور") دون نسيان الفئات القديمة. أظهر الباحثون أن اختيار خبير LoRA الصحيح هو بالضبط مثل اختيار الفئة الصحيحة.
- المهمة 1 (رياضيات) = الفئة 1
- المهمة 2 (فن) = الفئة 2
- المهمة 34 (طب) = الفئة 34
من خلال رؤية المشكلة بهذه الطريقة، استطاعوا استعارة تقنيات "تدريب النادل" القوية التي تم اختراعها بالفعل لـ CIL. لقد أخذوا أربع طرق مختلفة (HC، وHC-SOINN، وRanPAC، وDDAS) وقاموا بدمجها في أنظمة توجيه الربوات الموجودة.
النتائج: نادل أكثر ذكاءً بكثير
عندما اختبروا هؤلاء "النادلين الجدد" (الذين يعملون بنظام الإضافة) في مطعم FLEX الصعب، كانت النتائج مبهرة:
- دقة أفضل: حدد الموجهون الجدد الطاهي الصحيح بدقة أكبر بنسبة تصل إلى 16.3 نقطة مئوية مقارنة بالموجهين القدامى.
- أداء أفضل: تحسن الأداء العام للروبوتات (المسمى MacroScore) بمقدار يصل إلى 4.6 نقطة.
- سد الفجوة: تمكن الموجهون الجدد من استعادة ما بين 28% و50% من الفجوة بين الأداء الحالي والأداء "المثالي" (حيث يعرف الروبوت دائمًا الطاهي الصحيح).
ومع ذلك، وجدت الورقة أيضًا أن ليس كل الروبوتات تستفيد بالتساوي. بعض الأنظمة الحالية (مثل HiDe-LLaVA) صُممت بطريقة تجعل حتى النادل المثالي لا يستطيع تحسين الوجبة النهائية كثيرًا، لأن المشكلة كانت في كيفية طبخ الطهاة، وليس في كيفية طلب النادل. ولكن بالنسبة للأنظمة التي تعتمد بشكل كبير على النادل (مثل DISCO وSAME)، كان التحسن هائلاً.
لماذا هذا مهم
تشير هذه الورقة إلى أنه لكي يتمكن الروبوت من التعلم حقًا بشكل مستمر على مدى فترة طويلة، لا يمكننا مجرد إعطائه اختبارات سهلة ذات أدلة واضحة. نحن بحاجة إلى بناء بيئات يتعين على الروبوت فيها فهم المهمة فعليًا، وليس مجرد قراءة الملصق. ومن خلال التعامل مع مشكلة "بمن أتصل؟" كمسألة "ما هي الفئة؟"، يمكننا استخدام أدوات قوية وموجودة بالفعل لجعل الذكاء الاصطناዊ الخاص بنا أكثر موثوقية.
لم يقترح الباحثون ذلك فحسب؛ بل بنوا الاختبار الجديد (FLEX)، وأثبتوا أن الاختبارات القديمة كانت سهلة للغاية، وأظهروا أن استبدال طرق التوجيه هذه يعمل. هم لم يدّعوا أنهم حلوا كل شيء — فالفجوة نحو الكمال لا تزال قائمة — لكنهم أظهروا مسارًا واضحًا ومبدئيًا نحو جعل الذكاء الاصطناዊ متعدد الوسائط قادرًا على الاستمرار في التعلم دون ارتباك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.