VisMMOE: Exploiting Visual-Expert Affinity for Efficient Visual-Language MoE Offloading
يُعد VisMMoE نظام تفريغ فعال لنماذج خليط الخبراء للرؤية واللغة واسعة النطاق، حيث يستفيد من تقارب الخبير البصري من خلال تقليم الرموز والتنسيق التنبؤي لتحسين أداء الاستدلال بشكل كبير على المنصات ذات الذاكرة المحدودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة من المعرفة (نموذج ذكاء اصطناعي ضخم) وهي أكبر من أن تتسع على رف كتب واحد (بطاقة الرسوميات في جهاز الكمبيوتر الخاص بك). لاستخدامها، يتعين عليك إبقاء الكتب الأكثر أهمية على الرف والركض باستمرار إلى القبو (الذاكرة الرئيسية لجهاز الكمبيوتر) لجلب غيرها عند الحاجة. هذا الركض ذهابًا وإيابًا بطيء ويهدر الوقت.
هذه هي المشكلة التي تواجه نماذج Mixture-of-Experts (MoE) للرؤية واللغة. هذه الأنظمة هي أنظمة ذكاء اصطناعي فائقة الذكاء يمكنها "رؤية" الصور و"قراءة" النصوص. وهي تعمل من خلال امتلاك آلاف المتخصصين الصغار (يُطلق عليهم اسم "الخبراء") بداخلها. عندما ينظر الذكاء الاصطناعي إلى صورة، فإنه يطلب المساعدة من متخصصين مختلفين.
المشكلة: "الحشد الفوضوي"
يوضح البحث أنه عندما تنظر هذه الأنظمة إلى النصوص، فإنها تطلب المساعدة من مجموعة صغيرة ومتوقعة من المتخصصين. الأمر يشبه أمين مكتبة يعرف تمامًا أي 5 كتب يجب سحبها من الرف لطلب معين.
ومع ذلك، عندما تنظر هذه الأنظمة إلى الصور، فإنها تصاب بالارتباك. فالصور عالية الدقة تتكون من آلاف البكسلات الصغيرة (الرموز/Tokens). وجد البحث أن الصور الخام تجعل الذكاء الاصطناعي يطلب المساعدة من مجموعة ضخمة ومشتتة من المتخصصين. الأمر يشبه أمين المكتبة الذي يجد نفسه فجأة مضطرًا للركض إلى القبو لجلب 100 كتاب مختلف وعشوائي لكل جملة واحدة. هذا "الحشد الفوضوي" من الطلبات يجعل النظام بطيئًا لأن الكمبيوتر يقضي وقتًا في الركض ذهابًا وإيابًا أكثر مما يقضيه في التفكير الفعلي.
الحل: VisMMOE (المنظم الذكي)
ابتكر المؤلفون نظامًا يسمى VisMMOE. فكرتهم الكبيرة بسيطة: لا تتخلص فقط من الأجزاء "المملة" من الصورة؛ بل تخلص من الأجزاء التي تسبب أكبر قدر من الفوضى.
يسمون هذا "الألفة مع الخبراء البصرية" (Visual-Expert Affinity). فكر في الأمر كترتيب غرفة فوضوية قبل وصول ضيف؛ بدلًا من مجرد تنظيف الأرضية، أنت تعيد ترتيب الأثاث بحيث يحتاج الضيف للمشي إلى ثلاثة أماكن محددة فقط، وليس عشرة.
إليك كيف يعمل VisMMOE في ثلاث خطوات:
المُرشح الذكي (ضاغط الرموز المدرك للألفة):
عادةً، تحاول الأنظمة الاحتفاظ بالأجزاء "الأكثر أهمية" من الصورة (مثل وجه أو سيارة). يقوم VisMMOE بذلك أيضًا، ولكنه يتحقق أيضًا من: "إذا احتفظت بهذا الجزء من الصورة، فهل سيجبر الكمبيوتر على الركض إلى القبو لجلب مجموعة من الكتب الجديدة والعشوائية؟"
إذا كان البكسل أقل أهمية قليلاً ولكنه يسبب فوضى كبيرة في الطلبات، فإن VisMMOE يستبعده. هذا يجعل الصورة مفهومة، ولكنه يجعل قائمة المتخصصين المطلوبين أقصر وأكثر تنظيمًا.الكرة البلورية (متنبئ الاستشراف الموجه بالضغط):
بما أن قائمة المتخصصين المطلوبين أصبحت الآن أصغر وأكثر تنظيمًا، يمكن للنظام التنبؤ بما سيحتاجه لاحقًا بدقة أعلى بكثير. الأمر يشبه امتلاك كرة بلورية تخبر أمين المكتبة: "الطلبات الخمسة القادمة ستحتاج بالتأكيد إلى الكتب أ، ب، وج".
يسمح هذا للكمبيوتر بالبدء في جلب تلك الكتب بينما لا يزال يعمل على المهمة الحالية، مما يخفي وقت الانتظار.مراقب حركة المرور (منظم المسارات):
هذا الجزء يدير حركة المرور بين الرف (وحدة معالجة الرسومات - GPU) والقبو (وحدة المعالجة المركزية - CPU). إنه يتأكد من أن الكمبيوتر يقوم دائمًا بشيء مفيد — إما التفكير أو الجلب — حتى لا يظل خاملًا في انتظار وصول الكتاب.
النتائج
اختبر البحث هذا النظام على نماذج ذكاء اصطناعي قوية باستخدام أجهزة كمبيوتر قياسية.
- السرعة: جعل النظام الذكاء الاصطناعي أسرع بمقدار 2.68 مرة في بعض الحالات و1.61 مرة أسرع في حالات أخرى مقارنة بالطرق الموجودة.
- الذكاء: على الرغم من أنه تخلص من بعض بيانات الصور، إلا أن الذكاء الاصطنا ඇති ظل يفهم الصور بنفس القدر من السابق. لم يفقد "قدرته الذهنية"، بل توقف فقط عن إضاعة الوقت في الركض حول المكان.
الخلاصة
VisMMOE هو مثل مدير حركة مرور ذكي للذكاء الاصطناعي. فهو يدرك أن الصور فوضوية وتسبب اختناقات مرورية. ومن خلال تنظيف بيانات الصور بطريقة معينة تساعد المتخصصين الداخليين للذكاء الاصطناعي على العمل معًا بشكل أفضل، فإنه يجعل النظام بأكمله يعمل بشكل أسرع بكثير دون الحاجة إلى أجهزة أكثر تكلفة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.