Multimodal Continual Learning with MLLMs from Multi-scenario Perspectives
تتناول هذه الورقة مشكلة النسيان الكارثي في النماذج اللغوية الكبيرة متعددة الوسائط تحت سيناريوهات تغير الواقع من خلال تقديم مجموعة بيانات MSVQA واقتراح إطار عمل UNIFIER، وهو إطار للتعلم المستمر يستخدم توسيع التمثيل البصري وقيد الاتساق البصري لتحقيق تحسينات كبيرة في الأداء في المهام البصرية عبر السيناريوهات المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً عبقرياً وفائق الذكاء يُدعى MLLM (نموذج لغوي كبير متعدد الوسائط). يمكن لهذا الروبوت النظر إلى الصور والإجابة على أسئلة حولها، مثل "كم عدد الطيور في هذه الصورة؟" أو "ما هو لون تلك السيارة؟".
في الوقت الحالي، هذا الروبوت بارع جداً في عمله، ولكنه يعاني من حالة خطيرة من فقدان الذاكرة.
المشكلة: الروبوت "أحادي المهمة"
حالياً، إذا علمت هذا الروبوت كيفية رصد الطائرات في السماء (على ارتفاع شاهق)، فسيصبح خبيراً في ذلك. ولكن بمجرد أن تريه صورة من تحت الماء وتسأله عن إيجاد الأسماك، فإنه ينسى كل ما عرفه عن الطائرات. يصاب بالارتباك، ويخلط بين الأسماك والطائرات، ويبدأ في ارتكاب الأخطاء.
في العالم الحقيقي، ترى أجهزتنا (مثل الطائرات بدون طيار، أو الكاميرات تحت الماء، أو كاميرات المراقبة) العالم من زوايا متنوعة للغاية:
- الارتفاع الشاهق: النظر للأسفل من قمر صناعي (حيث تبدو السيارات الصغيرة كنقاط).
- تحت الماء: مياه عكرة، زرقاء، ومشوهة.
- الارتفاع المنخفض: طائرة بدون طيار تحلق فوق شارع مزدحم.
- داخل المنزل: منظور الشخص الأول لشخص يقوم بالطهي في المطبخ.
إذا لم يستطع الروبوت تعلم هذه "العوالم" المختلفة دون نسيان العوالم السابقة، فسيكون عديم الفائدة للتطبيقات الواقعية. وهذا ما يسمى بـ النسيان الكارثي (Catastrophic Forgetting).
الحل: حقيبة الظهر "UNIFIER"
ابتكر مؤلفو هذه الورقة نظاماً جديداً يسمى UNIFIER. فكر في UNIFIER ليس كدماغ واحد، بل كـ حقيبة ظهر تحتوي على جيوب متخصصة متعددة.
إليك كيف يعمل، باستخدام تشبيه بسيط:
1. نظام "الجيوب" (توسيع تمثيل الر vision)
تخيل أن لدى الروبوت دماغاً رئيسياً، ولكن لديه أيضاً حقيبة ظهر.
- عندما يتعلم عن الطائرات، فإنه يضع "جيب طائرات" خاصاً في حقيبة الظهر. يملأ هذا الجيب بكل القواعد الخاصة برصد الطائرات.
- عندما يتعلم عن الأسماك، فإنه يضيف "جيب أسماك". يملأ هذا الجيب بقواعد رصد الأسماك.
- السحر هنا: هذه الجيوب لا تختلط ببعضها. يمكن للروبوت النظر في "جيب الطائرات" ليتذكر الطائرات، والنظر في "جيب الأسماك" ليتذكر الأسماك، دون أن تختلط الأفكار معاً. هذا يمنع الروبوت من نسيان الأشياء القديمة عند تعلم أشياء جديدة.
2. "قائد الفريق" (قيد اتساق الرؤية)
قد تتساءل: "إذا كانت الجيوب منفصلة، فكيف يعرف الروبوت أن 'الطائر' في السماء يشبه 'الطائر' في الحديقة؟"
هنا يأتي دور قائد الفريق. فرغم أن الجيوب منفصلة، إلا أن قائد الفريق يضمن أن طريقة تفكير الروبوت في العالم تظل متسقة.
- هو يذكر الروبوت بلطف: "مهلاً، الطريقة التي ترى بها سيارة في السماء تشبه الطريقة التي ترى بها سيارة على الأرض. لا تغير شخصيتك بالكامل لمجرد أن الخلفية تغيرت".
- هذا يسمح للروبوت بـ مشاركة المعرفة بين الجيوب. فتعلم السيارات في السماء يساعده فعلياً في أن يصبح أفضل في رصد السيارات تحت الماء، دون التسبب في ارتباك.
الاختبار الجديد: MSVQA
لإثبات نجاح ذلك، صمم الباحثون اختباراً ضخماً يسمى MSVQA.
- بدلاً من مجرد طرح أسئلة بسيطة مثل "هل هذا قط؟"، أنشأوا اختباراً واقعياً فوضوياً.
- ألقوا صوراً على الروبوت من أقمار صناعية، وكاميرات تحت الماء، وطائرات بدون طيار، ومطابخ.
- طرحوا أسئلة معقدة مثل "عد الطائرات"، "حدد طراز الطائرة بدقة"، أو "حدد موقع السمكة المختبئة في المرجان".
النتائج: الطالب المتفوق
عندما اختبروا الروبوت باستخدام الطرق القديمة، فشل فشلاً ذريعاً. فبمجرد تعلم مشهد جديد، كان ينسى المشهد السابق.
ولكن مع UNIFIER:
- يتذكر كل شيء: استمر في التحسن في رصد الطائرات حتى بعد تعلم الأسماك.
- يصبح أكثر ذكاءً: من خلال رؤية منظورات مختلفة، طور مهاراته العامة بالفعل.
- إنه سريع: نظام حقيبة الظهر الجديد لم يجعل الروبوت بطيئاً؛ بل كان بنفس سرعة السابق.
الخلاصة
فكر في UNIFIER كطالب لا يحفظ كتاباً مدرسياً واحداً فحسب. بدلاً من ذلك، لديه مكتبة من الأدلة المتخصصة لكل بيئة مختلفة يزورها. عندما يذهب إلى المحيط، يفتح دليل المحيط. وعندما يذهب إلى السماء، يفتح دليل السماء. ولكن لأنه نفس الطالب، يمكنه استخدام ما تعلمه في المحيط لمساعدته في فهم السماء، ولا ينسى أبداً ما تعلمه بالأمس.
تعد هذه الورقة خطوة كبيرة نحو جعل مساعدي الذكاء الاصطناعي قادرين حقاً على العيش في عالمنا المتغير والمتعدد السيناريوهات دون أن يفقدوا صوابهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.