Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models
تقدم هذه الورقة البحثية PORTA، وهو إطار عمل للتقليم (pruning) غير مرتبط بمهمة محددة ولا يتطلب إعادة تدريب لنماذج الرؤية واللغة، يستفيد من تباين التنشيط وتخصيص التناثر التكيفي لتحقيق معدلات ضغط عالية مع الحفاظ على أداء واسع النطاق في المهام اللاحقة دون الحاجة إلى بيانات خاصة بالمهمة أو ضبط دقيق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك دماغ روبوت فائق الذكاء يمكنه النظر إلى صورة وقراءة جملة، ثم يفهم فوراً كيف يتصلان ببعضهما البعض. هذا هو عالم نماذج الرؤية واللغة (VLMs). فكر في هذه النماذج كأنها مكتبات ضخمة وجائعة قرأت كل كتاب ونظرت إلى كل صورة على الإنترنت. إنها مذهلة في حل الألغاز، والإجابة على الأسئلة، وإيجاد صور محددة، ولكن هناك مشكلة: فهي ثقيلة للغاية. فهي تتطلب أجهزة كمبيوتر ضخمة مع كميات هائلة من الذاكرة والطاقة لتشغيلها، تماماً مثل محاولة حمل مكتبة في حقيبة ظهر أثناء تسلق جبل. ولهذا السبب، من الصعب جداً وضع هذه الروبوتات الذكية على أجهزة أصغر مثل الهواتف أو الأجهزة اللوحية.
لحل هذه المشكلة، يستخدم العلماء تقنية تسمى التقليم (Pruning). تخيل أن دماغ الروبوت عبارة عن شبكة ضخمة من الاتصالات؛ التقليم يشبه قص الخيوط الصغيرة عديمة الفائدة التي لا تساعد الروبوت على التفكير بعناية، تاركاً فقط الخيوط القوية والمهمة. هذا يجعل الروبوت أخف وزناً وأسرع دون أن يجعله ينسى كيفية القيام بعمله. ومع ذلك، فإن معظم الطرق الحالية لتحديد أي الخيوط يجب قصها تشبه استخدام خريطة مخصصة لبلد آخر؛ فهي غالباً ما تحتاج إلى اختبارات تدريبية محددة (بيانات) لكل مهمة قد يواجهها الروبوت، أو تصاب بالارتباك عندما ينتقل الروبوت من النظر إلى الصور إلى قراءة الكلمات. تعالج هذه الورقة البحثية مشكلة كيفية تقليم هذه الأدمغة الضخمة مرة واحدة، وبشكل مثالي، بحيث يمكن تشغيلها في أي مكان دون الحاجة إلى إعادة تدريبها أو ضبطها لكل مهمة جديدة.
تقليم الدماغ "لمرة واحدة وانتهى الأمر"
تعرف على PORTA (التقليم لمرة واحدة: التقليم المستقل عن المهام دون إعادة تدريب)، وهي طريقة جديدة قدمها الباحث مينسوك كانغ وفريقه. كان هدفهم هو حل مشكلة محبطة: طرق التقليم الحالية تعمل غالباً مثل الخياط الذي يحتاج إلى قياس مقاساتك في كل مرة تريد فيها ارتداء قميص مختلف. إذا كنت تريد من الروبوت تصنيف الصور، فستقوم بتقليمه بطريقة معينة؛ وإذا كنت تريده أن يقوم بعملية استرجاع، فعليك تقليمه بطريقة أخرى. هذا أمر بطيء ومكلف. أما PORTA فهي مختلفة؛ فهي تشبه خياطاً ماهراً ينظر إلى القماش مرة واحدة، ويقصه بدقة، ثم ينتج بدلة تناسبك لأي مناسبة—سواء كنت تركض في سباق، أو تجلس في اجتماع، أو ترقص في حفلة.
تشير الورقة البحثية إلى أن السبب الرئيسي وراء فشل الطرق الأخرى في اتباع نهج "المرة الواحدة وانتهى الأمر" هو أنها تعتمد على حجم (مقدار) الإشارات الداخلية للروبوت لتحديد ما يجب الاحتفاظ به. ويرى المؤلفون أنه في هذه النماذج الضخمة، يمكن أن يكون حجم الإشارة مضللاً لأن جزء "اللغة" في الدماغ وجزء "الرؤية" يتصرفان بشكل مختلف. الأمر يشبه محاولة الحكم على أهمية صرخة في مكتبة مقابل صرخة في ملعب؛ فالشدة (الحجم) مختلفة، لكن المعنى قد يكون هو نفسه. وبسبب ذلك، فإن الطرق التي تنظر فقط إلى الحجم غالباً ما تقص الأشياء الخطأ، خاصة عندما يُطلب من الروبوت القيام بمهمة لم يسبق له رؤيتها.
السر الخفي: التباين بدلاً من الحجم
بدلاً من الاستماع إلى مدى علوّ الإشارة، تستمع PORTA إلى مدى تغيرها. ويسمي الباحثون هذا تباين التنشيط (activation variation).
إليك التشبيه: تخيل مجموعة من الطلاب في فصل دراسي.
- الطريقة القديمة (الحجم): يسأل المعلم: "من هو الأكثر صخباً؟" ويحتفظ فقط بالطلاب الذين يصرخون أكثر من غيرهم. لكن ربداً ما يكون الطالب الأكثر صخباً يصرخ فقط لأنه متحمس لموضوع واحد معين، بينما الطالب الهادئ في الواقع ينتبه لكل ما يقوله المعلم.
- طريقة PORTA (التباين): يسأل المعلم: "من الذي يغير إجابته أكثر بناءً على السؤال؟" الطالب الذي يكيف إجابته بناءً على الموضوع هو الشخص الذي يفهم المادة حقاً.
في دماغ الروبوت، تبحث PORTA عن السمات التي تظهر الكثير من التباين (التقلب) عبر المدخلات المختلفة. إذا كان جزء من الدماغ يتفاعل بشكل مختلف مع العديد من الصور أو الكلمات المختلفة، فهو يقوم بعمل مهم. أما إذا ظل جزء من الدماغ كما هو مهما عرضت عليه، فمن المحتمل أنه مجرد وزن زائد. من خلال استخدام درجة "التغير" هذه، يمكن لـ PORTA معرفة الأجزاء التي هي حقاً مفيدة للروبوت، بغض النظر عما إذا كان ينظر إلى قطة أو يقرأ قصيدة. وهذا يجعل التقليم "مستقلاً عن نوع الوسائط" (modality-agnostic)، مما يعني أنها تعامل أجزاء الرؤية واللغة بإنصاف، دون التحيز للقص نحو جانب واحد.
القطع الذكي: ليست كل الطبقات متساوية
بمجرد أن تعرف PORTA أي السمات مهمة، يتعين عليها تحديد مقدار القص من كل طبقة في دماغ الروبوت. الدماغ ليس كتلة موحدة؛ فبعض الطبقات تشبه أساس المنزل، والبعض الآخر يشبه السقف. لن تقص الأساس بنفس قوة قص السقف.
تستخدم PORTA آلية الندرة التكيفية (adaptive sparsity) الذكية. فهي تنظر إلى مقدار "العمل" الذي تقوم به كل طبقة بناءً على تباين مخرجاتها.
- إذا كانت الطبقة تقوم بالكثير من العمل الشاق (تباين عالٍ في مخرجاتها)، تقول PORTA: "لا تلمس الكثير من هذا!" وتمنحها نسبة تقليم منخفضة (تحتفظ بمعظمها).
- إذا كانت الطبقة تكتفي بالعمل البسيط (تباين منخفض)، تقول PORTA: "يمكننا تقليص هذا بشكل كبير".
يضمن هذا أن الروبوت لن يفقد قدرته على التفكير لمجرد أننا حاولنا جعله أصغر. وتوضح الورقة البحثية أن هذه الطريقة تمنع "انهيارات الأداء" حيث تفشل الطرق الأخرى فجأة عندما تحاول قص الكثير من البيانات.
النتائج: أقوى، أخف، وجاهز لكل شيء
اختبر الباحثون PORTA على ثلاثة أدمغة روبوتية شهيرة: CLIP و BLIP و Qwen2-VL. لم يختبروها على مهمة واحدة فحسب، بل ألقوا بكل شيء نحوها:
- تصنيف الصور: التعرف على ما في الصورة (مثل التمييز بين الزهرة والكلب).
- الاسترجاع: العثيد على الصورة الصحيحة لوصف نصي (أو العكس).
- VQA (الإجابة على الأسئلة المرئية): الإجابة على أسئلة معقدة حول صورة.
كانت النتائج مبهرة. حتى عندما قصوا 65% من معاملات الروبوت (مما جعله صغيراً جداً)، حافظت PORTA على أداء الروبوت بشكل أفضل بكثير من الطرق الأخرى.
- في نموذج CLIP، عند مستوى ندرة 65%، حسنت PORTA متوسط الأداء بنسبة 12.6% مقارنة بطريقة تسمى SparseGPT، وبنسبة 21.5% مقارنة بـ Wanda.
- في نموذج BLIP (عند ندرة 45%)، حققت PORTA متوسط درجة بلغ 90.26، متفوقة على 89.95 الخاصة بـ SparseGPT.
- في نموذج Qwen2-VL (عند ندرة 50%)، حققت PORTA دقة متوسطة بلغت 54.30، متفوقة على أفضل طريقة تالية (Wanda) بمقدار 0.87 نقطة مئوية.
والأهم من ذلك، أن PORTA تتميز بـ الاستقرار (robustness). توضح الورقة أنه لا يهم إذا استخدمت مجموعة صغيرة من الصور لـ "معايرة" التقليم أو مجموعة كبيرة، أو إذا استخدمت صوراً من موقع إلكتروني واحد أو آخر؛ تظل PORTA مستقرة، بينما تتأرجح أداءات الطرق الأخرى بجنون اعتماداً على البيانات المستخدمة.
الخلا-صة
تشير PORTA إلى أننا لسنا بحاجة لإعادة تدريب هذه النماذج الضخمة لجعلها أصغر. فمن خلال النظر ببساطة إلى مدى تغير الإشارات الداخلية للروبوت بدلاً من مدى علوّها، ومن خلال قص المزيد من الطبقات التي تقوم بعمل أقل، يمكننا إنشاء نموذج واحد مدمج وجاهز لأي مهمة. إنه نهج "اقطع مرة واحدة، واستخدم للأبد"، والذي يمكن أن يسمح أخيراً لنماذج الرؤية واللغة فائقة الذكاء بالعمل على الأجهزة التي نحملها في جيوبنا، دون الحاجة إلى كمبيوتر خارق لتشغيلها. ويؤكد المؤلفون ذلك من خلال تجارب واسعة النطاق (zero-shot)، مما يظهر أن النموذج الذي تم تقليمه باستخدام PORTA يمكنه الانتقال مباشرة إلى مهام جديدة دون أي تدريب إضافي، محافظاً على دقة عالية حتى مع الضغط الشديد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.