Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution
تقترح هذه الورقة البحثية "المعالجة البصرية المنفصلة" (DVP)، وهي إطار عمل للتدريب كفء من حيث المعلمات، يستبدل طبقات فك التشفير العليا لنموذج لغوي كبير متعدد الوسائط بكتلة ترانسفورمر واحدة خفيفة الوزن مخصصة للرموز البصرية، مما يحقق أداءً تنافسيًا في الاختبارات المرجعية مع تحديث جزء ضئيل فقط من إجمالي المعلمات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تستطيع فيه الحواسيب أن "ترى" و"تقرأ" في نفس الوقت، مثل صديق ذكي جداً يمكنه النظر إلى صورة قطة وإخبارك بقصة مضحكة عنها. هذا هو مجال النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs). ولجعل هذه النماذج تعمل، يقوم العلماء عادةً بأخذ أداتين قويتين ودمجهما معاً: "مشفر رؤية" (عقل مدرب على فهم الصور) و"نموذج لغوي كبير" (عقل مدرب على فهم الكلمات). الجزء الصعب هو جعلهم يتواصلون مع بعضهم البعض. عادةً، عندما تعرض على الكمبيوتر صورة وتسأله سؤالاً، يقوم الكمبيوتر بدفع أجزاء الصورة وأجزاء الكلمات معاً في نفس خط الإنتاج الضخم لخطوات المعالجة. يتم ضبط وتعديل كل خطوة في ذلك الخط لجعل الإجابة مثالية. لكن المشكلة هي أن خط الإنتاج هذا ضخم، وتعديل كل آلة فيه يستغرق وقتاً هائلاً، ومالاً، وكهرباء. الأمر يشبه محاولة إصلاح نظام مرور مدينة كاملة فقط لجعل شاحنة توصيل واحدة تتحرك بشكل أسرع.
السؤال الكبير الذي كان العلماء يتساءلون عنه هو: هل تحتاج أجزاء الصور وأجزاء الكلمات حقاً إلى المرور عبر نفس خط الإنتاج العميق والمعقد؟ ربما تحتاج أجزاء الصور إلى طريق مختصر سريع ومتخصص، بينما تحتاج الكلمات إلى المعالجة الكاملة والعميقة. إذا تمكنا من معرفة كيفية إعطاء الصور طريقاً مختصراً دون كسر النظام بأك-مله، يمكننا جعل هذه الحواسيب الذكية أرخص وأسرع في التدريب. وهذا هو بالضبط اللغز الذي قرر فريق من الباحثين من جامعة تسينغهوا حله.
الورقة البحثية: إعطاء الصور طريقاً مختصراً للدرجة الأولى (VIP)
اقترح الباحثون، مينغكوان فينغ، وزينغتشي وين، وجيان هوا تاو، طريقة جديدة لتدريب هذه النماذج تسمى المعالجة البصرية المنفصلة (DVP). فكر في النموذج القياسي على أنه منزلق طويل ومتعرج في ملعب للأطفال. الجميع—سواء كانوا يحملون صورة أو كلمة—يجب أن ينزلقوا عبر المنزلق المكون من 32 خطوة معاً. سأل الباحثون: "ماذا لو سمحنا لحاملي الصور بالقفز من المنزلق في منتصف الطريق، والذهاب عبر نفق صغير فائق السرعة، ثم الالتقاء بحاملي الكلمات في الأسفل؟"
إليك كيف تعمل "المعالجة البصرية المنفصلة" الخاصة بهم، خطوة بخطوة:
- البداية المشتركة: أولاً، تنزلق قطع الصور (الرموز البصرية) وقطع الكلمات (الرموز النصية) معاً عبر النصف الأول من المنزلق (الطبقات من 0 إلى 16). هذا مهم لأنه يسمح للصور والكلمات بالتعرف على بعضها وفهم السياق.
- الانقسام: عند نقطة المنتصف، ينقسم الحشد. تستمر قطع الكلمات في الانزلاق عبر المنزلق الأصلي الطويل والمجمد (الطبقات من 17 إلى 31). هذا المنزلق "مجمد"، مما يعني أنه مثالي بالفعل في تكوين الجمل، لذا لا يتم لمسه.
- نفق الـ VIP: أما قطع الصور، فلا تذهب عبر المنزلق الطويل. بدلاً من ذلك، يتم توجيهها عبر نفق جديد وصغير مكون من خطوة واحدة فقط (كتلة ترانسفورمر واحدة). هذا النفق هو الجزء الوحيد في النظام بأكمله الذي يتم تدريبه وتعديله.
- إعادة الاتحاد: في الأسفل تماماً، يتم دمج قطع الصور (التي تمت معالجتها الآن بواسطة النفق الصغير) وقطع الكلمات (التي تمت معالجتها بواسطة المنزلق الطويل) لتوليد الإجابة النهائية.
ما الذي وجدوه
اختبر الفريق هذه الفكرة باستخدام نموذج شائع يسمى LLaVA-1.5 مع هيكل أساسي بـ 7 مليارات معلمة (Vicuna-7B). وقارنوا طريقة "نفق الـ VIP" الخاصة بهم مع نهجين آخرين: الطريقة القياسية حيث يتم تدريب النموذج بالكامل، وطريقة "التدريب العادي" حيث يستخدمون بنيتهم المنقسمة ولكنهم لا يزالون يدربون كل شيء.
كانت النتائج فعالة بشكل مفاجئ:
- توفير هائل: باستخدام DVP، احتاجوا فقط لتدريب حوالي 3.1% من إجمالي المعلمات. هذا يشبه إصلاح حركة المرور في مدينة كاملة عن طريق تعديل إشارات المرور في زاوية شارع واحد فقط.
- رؤية واضحة: في اختبار يسمى MME (والذي يتحقق مما إذا كان النموذج يستطيع رؤية الأشياء مثل عد الأجسام أو قراءة اللافتات)، سجلت طريقتهم 1440. وهي قريبة جداً من درجة النموذج المدرب بالكامل والتي بلغت 1496، وهي في الواقع أفضل بكثير من طريقة "التدريب العادي" المنقسمة التي سجلت 1225 فقط. هذا يشير إلى أن تجميد النموذج الرئيسي يساعد الكمبيوتر على "الرؤية" بشكل أفضل من خلال منعه من الارتباك.
- أقل تخيلاً (هلوسة): في اختبار يسمى POPE (والذي يتحقق مما إذا كان النموذج يخترع أشياء ليست موجودة، مثل رؤية كلب في صورة قطة)، سجلت DVP نتيجة 0.8619. وكانت هذه أعلى درجة من بين الجميع، متفوقة على النموذج المدرب بالكامل الذي سجل 0.8577. هذا يشير إلى أن إعطاء الصور مساراً مخصصاً قد يمنع النموذج من أن يكون "حالماً" ويخترع أشياء من خياله.
- المقايضة: لم تكن الطريقة مثالية في كل شيء. في اختبار ChartQA (وهو اختبار لقراءة الرسوم البيانية والمخططات)، سجلت DVP نتيجة 0.2356. ورغم أن هذا كان أفضل من النموذج المدرب بالكامل (0.1776)، إلا أنه كان أقل من طريقة "التدريب العادي" المنقسمة التي سجلت 0.432. يشير المؤلفون إلى أن هذا بسبب كون قراءة المخططات تتطلب فحصاً دقيقاً جداً وبالتبادل بين تفاصيل الصورة والملصقات النصية، وهو أمر أصعب عندما تكون المسارات منفصلة مبكراً.
لماذا يهم هذا الأمر
تشير الورقة البحثية إلى أن الطبقات العميقة والمعقدة في أعلى هذه النماذج الذكية تقوم بالكثير من العمل الشاق بالنسبة للكلمات، ولكنها قد تكون مبالغاً فيها بالنسبة للصور. وجد الباحثون أن كتلة "ترانسفورمر" واحدة صغيرة كافية للتعامل مع معالجة الصور إذا التقت الصورة والنص في منتصف الطريق.
يتحدى هذا النهج الفكرة القديمة القائلة بأن كل قطعة من البيانات يجب أن تمر عبر الشبكة العميقة بأكملها. إنه يشير إلى أنه يمكننا بناء ذكاء اصطنا-عي أكثر ذكاءً وكفاءة من خلال إدراك أن الصور والكلمات مختلفة وقد تحتاج إلى أنواع مختلفة من المساعدة. وبينما تعمل هذه الطريقة بشكل رائع في الرؤية العامة واكتشاف الأشياء الوهمية، يلاحظ المؤلفون أنها قد تحتاج إلى مزيد من العمل للمهام التي تتطلب استنتاجاً دقيقاً للغاية، مثل قراءة المخططات المعقدة. ولكن بشكل عام، هم يقترحون أن هذا المسار "المنفصل" هو طريقة قوية وموفرة للطاقة لتعليم الحواسيب كيف ترى دون الحاجة إلى إعادة بناء الدماغ بالكامل في كل مرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.