APQF: Agentic Profiling-Guided Structured Pruning and Mixed-Precision Quantization with Adaptive Fine-Tuning
إن APQF هو إطار عمل مؤتمت وموجه بنماذج لغوية كبيرة، يدمج بين التقليم المهيكل القائم على التوصيف والكمية مختلطة الدقة مع الضبط الدقيق التكيفي لتقليل التكاليف الحسابية بشكل كبير مع الحفاظ على دقة عالية عبر مختلف النماذج الرؤية على الأجهزة ذات الموارد المحدودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك دماغاً آلياً فائق الذكاء، وهو عبارة عن شبكة عصبية عميقة، يمكنها التعرف على القطط والكلاب والسيارات بدقة مذهلة. لكن هناك مشكلة: هذا الدماغ ضخم وثقيل جداً لدرجة أنه يحتاج إلى حاسوب فائق لتشغيله. إذا حاولت وضعه على هاتف عادي أو ساعة ذكية، فسيؤدي ذلك إلى صهر البطارية أو سيستغرق وقتاً طويلاً جداً للتفكير. ولحل هذه المشكلة، يستخدم العلماء "ضغط النماذج" (Model Compression)، وهو يشبه حزم حقيبة سفر ضخمة داخل حقيبة ظهر صغيرة. يقومون بذلك عبر "التقليم" (Pruning) -أي قطع الأجزاء غير المفيدة من الدماغ- و"الكمّنة" (Quantization) -أي تبسيط الأرقام التي يستخدمها الدماغ للتفكير، مثل الانتقال من فيديو عالي الدقة إلى رسم تخطيطي. المشكلة الكبيرة هي أن معرفة أي الأجزاء يجب قطعها وكيف يتم تبسيطها يتطلب عادةً خبيراً بشرياً يخمن ويجرب مراراً وتكراراً، وغالباً ما يرتكب أخطاءً تؤدي إلى تدمير ذكاء الروبوت.
هنا يظهر مفهوم جديد يسمى APQF، وهو نظام ذكي ومؤتمت يعمل مثل فريق من الوكلاء الآليين المتخصصين لحزم دماغك الضخم داخل حقيبة ظهر صغيرة دون فقدان عبقريته. بدلاً من التخمين، يقوم هذا النظام أولاً بإجراء "فحص صحي" مفصل للدماغ ليرى بالضبط أي الأجزاء ثقيلة وأيها هشّة. ثم يستخدم مخطط ذكاء اصطناعي قوياً (نموذج لغوي كبير - LLM) ليقرر بالضبط مقدار ما يجب قطعه ومقدار ما يجب تبسيطه، طبقة تلو الأخرى. الأمر يشبه وجود خياط ماهر لا يستخدم مجرد مقص واحد للبدلة بأكملها، بل يقيس كل غرزة بدقة لضمان المقاس المثالي. والنتيجة هي دماغ روبوت صغير، سريع، ولا يزال بذكاء الأصل.
المشكلة: خطأ "المقاس الواحد للجميع"
لفترة طويلة، كان محاولة تقليص هذه الأدمغة الاصطناعية الضخمة يشبه محاولة حشر فيل كامل في صندوق أحذية عبر قطع أجزاء عشوائية منه فقط. كانت معظم الطرق تستخدم نهج "المقاس الواحد للجميع"؛ حيث تقول: "لنقطع 50% من كل طبقة" أو "لنجعل كل رقم يستخدم نفس المساحة الصغيرة". لكن هذا كارثي لأن أجزاء الدماغ ليست متساوية. بعض الطبقات تشبه خرطوم الفيل - فهي بالغة الأهمية وحساسة للغاية، وإذا قطعتها، سينسى الدماغ كل شيء. طبقات أخرى تشبه أظافر الفيل - يوجد الكثير منها، ولكن يمكنك تقليمها دون أن يلاحظ الفيل ذلك.
عندما تعامل طبقة حساسة بنفس طريقة معاملة طبقة عديمة الفائدة، ينتهي بك الأمر بدماغ صغير عاجز عن أداء مهمته. بالإضافة إلى ذلك، كانت عملية تحديد القطع المناسبة تتطلب سابقاً عملاً يدوياً مضنياً يتطلب من خبير بشري قضاء ساعات في تعديل الإعدادات لكل نموذج جديد. كان الأمر بطيئاً، مكلفاً، ولا يعمل بشكل جيد عند الانتقال من نوع دماغ إلى آخر.
الحل: فريق من وكلاء الذكاء الاصطناعي
يقدم البحث نظام APQF (التقليم المهيكل الموجه بملفات التعريف والكمّنة متعددة الدقة مع الضبط الدقيق التكيفي). فكر في APQF ليس كأداة واحدة، بل كأرض مصنع تديرها خمسة وكلاء آليين متخصصين، يعملون جميعاً معاً لتقليص النموذج تلقائياً.
- وكيل ملف التعريف (المحقق): قبل حدوث أي قطع، يجري هذا الوكيل تحقيقاً عميقاً. إنه يقيس بالضبط مقدار العمل الذي يقوم به كل جزء من الدماغ ويختبر كيف يتفاعل الدماغ إذا أزلت قطعة منه. إنه ينشئ "خريطة" توضح أي الأجزاء ثقيلة وأيها هشّة. هذا ليس تخميناً؛ بل يعتمد على بيانات حقيقية من النموذج المحدد.
- وكيل التقليم (النحات): باستخدام خريطة المحقق، يقرر هذا الوكيل بالضبط مقدار ما يجب قطعه من كل طبقة. بدلاً من استخدام قاعدة موحدة، فإنه يسأل مخطط ذكاء اصطناعي ذكي (نموذج لغوي كبير) لينظر إلى الخريطة ويقول: "اقطع 20% هنا، ولكن 5% فقط هناك". يفعل ذلك على مراحل: يقطع قليلاً، يتحقق من صحة الدماغ، ثم يقطع أكثر قليلاً.
- وكيل الضبط الدقيق (المعالج): في كل مرة يقوم فيها النحات بالقطع، قد يصاب الدماغ ببعض الدوار (يفقد الدقة). يعمل هذا الوكيل مثل المعالج الطبيعي؛ فهو يساعد الدماغ على استعادة قوته بلطف. إذا كان القطع صغيراً، يقوم بتمرين خفيف. وإذا كان القطخل كبيراً، يقوم بجلسة استشفاء كاملة. إنه يستخدم حِيلاً ذكية لإصلاح الدماغ دون الحاجة إلى إعادة تدريبه من الصفر.
- وكيل الكمّنة (المبسط): بمجرد وصول الدماغ إلى الحجم المناسب، يقوم هذا الوكيل بتبسيط الأرقام التي يستخدمها. يقرر أن بعض الأجزاء يمكنها استخدام أرقام صغيرة جداً (مثل 4 بتات) بينما يحتفظ بالأجزاء الحرجة الأخرى باستخدام أرقام أكبر (مثل 16 بتة). تسمى هذه العملية "الدقة المختلطة"، وهي توفر مساحة هائلة.
- وكيل التقييم (القاضي): يتحقق هذا الوكيل من المنتج النهائي مقارنة بالأصل للتأكد من أنه لا يزال يعمل. إنه يقيس مقدار المساحة التي تم توفيرها وكم حافظت الدقة على نفسها.
ماذا وجدوا: أدمغة صغيرة، ذكاء كبير
اختبر الباحثون هذا النظام على عدة نماذج ذكاء اصطناعي شهيرة، بما في ذلك ResNet و VGG و ViT و DeiT و Swin، باستخدام مجموعتين اختباريتين معياريتين: ImageNet-1k (مجموعة ضخمة تضم 1,000 نوع من الصور) و CIFAR-10 (مجموعة أصغر تضم 10 أنواع من الصور).
كانت النتائج مبهرة. في ImageNet-1k، نجح APQF في تقليص العمل الحسابي اللازم لتشغيل النماذج إلى ما بين 5.6% و 7.7% من الكمية الأصلية. هذا يمثل تقليصاً بمقدار 13 إلى 18 مرة! وحتى مع هذا التقلص الهائل، حافظت النماذج على دقتها قريبة جداً من الأصل. على سبيل المثال، في نموذج يسمى DeiT-Tiny، أصبح النسخة المضغوطة أكثر ذكاءً (من 66.52% إلى 67.90% دقة) مع استخدام قدر ضئيل جداً من قوة الحوسبة.
عند مقارنته بالطرق الأخرى التي تحاول إجراء التقليم والتبسيط في وقت واحد (مثل طريقة تسمى GETA)، أظهر APQF أنه أفضل بكثير في استخدام البيانات المحدودة. إذا كان لديك 200,000 صورة فقط للتدريب، فإن دقة GETA ستنهار، لتصل إلى حوالي 51-59%. لكن APQF ظل قوياً، محافظاً على دقة تتراوح بين 68% و 77%. هذا يشير إلى أن APQF أكثر كفاءة بكثير في تعلم كيفية تقليص النموذج دون الحاجة إلى مكتبة ضخمة من البيانات.
على مجموعة بيانات CIFAR-10 الأصغر، كانت النتائج أكثر إثارة. بالنسبة لثلاثة من النماذج المختبرة (DeiT-Tiny و ResNet-50 و Swin-Tiny)، انتهى الأمر بالنسخ المضغوطة لتكون أكثر دقة من النسخ الأصلية غير المضغوطة! وفي نموذج VGG7، وصل APQF إلى دقة 93.15% بينما استخدم فقط 0.41% من قوة الحوسبة الأصلية. كان هذا هو الطريقة الوحيدة في هذا المستوى من الضغط التي حسنت بالفعل من أداء النموذج الأصكن ذو الدقة الكاملة.
لماذا "المخطط الذكي" مهم؟
أحد أروع أجزاء الورقة البحثية هو أن النظام يستخدم "مخططاً" (نموذج لغوي كبير) لاتخاذ القرارات. أراد الباحثون معرفة: هل يهم أي مخطط ذكاء اصطناعي نستخدمه؟ لقد اختبروا ستة مخططات مختلفة، تتراوح من النماذج الراقية والمكلفة إلى النماذج المجانية مفتوحة المصدر.
النتيجة؟ لم يكن الأمر مهماً كثيراً. سواء استخدموا نموذجاً متميزاً أو نموذجاً مجانياً، ظلت الدقة النهائية ضمن نطاق ضيق جداً بين 97.4% و 97.9%. هذا يعني أن النظام قوي ولا يعتمد على ذكاء اصطناعي محدد ومكلف ليعمل. كما يشير هذا إلى أن السحر الحقيقي يأيد من العملية المتمثلة في استخدام بيانات ملف التعريف لتوجيه المخطط، وليس مجرد ذكاء المخطط نفسه.
ما استبعدته الورقة البحثية
الورقة البحثية واضحة جداً بشأن ما لا يعمل. فهي تجادل صراحة ضد "الضغط الموحد"، حيث تطبق نفس قواعد القطع والتبسيط على كل طبقة. أظهرت اختباراتهم أنه عندما أجبروا النظام على استخدام نفس النسبة لكل شيء، انخفضت الدقة بشكل ملحوظ. كما أظهروا أنه إذا نزعت بيانات "ملف التعريف" (خريطة المحقق) وتركت المخطط الذكي يخمن بناءً على المعرفة العامة وحدها، فإن النتائج تسوء. وهذا يثبت أنك تحتاج حقاً إلى قياس النموذج المحدد قبل البدء في القطع.
وجدوا أيضاً أن الطرق التي تحاول إعادة تحسين الشبكة بالكامل من الصفر (مثل GETA) تعاني عندما لا تتوفر لديك الكثير من بيانات التدريب. في المقابل، يبدأ APQF بنموذج مدرب مسبقاً ويقوم فقط بتعديله، مما يجعله أكثر كفاءة في استخدام البيانات.
الخلاصة
يشير APCF إلى أن مستقبل تقليص الذكاء الاصطناعي لا يتعلق بإيجاد صيغة سحرية واحدة تصلح للجميع. بدلاً من ذلك، يتعلق الأمر ببناء فريق مؤتمت يقيس نموذجاً معيناً، ويستمع إلى مخطط ذكي، ويصمم الضغط بدقة لتلبية الاحتياجات الفريدة لذلك النموذج. إنه يحول لعبة التخمين اليدوية الفوضوية إلى عملية علمية دقيقة. وبينما يشير الباحثون إلى أن هذا لا يزال يتطلب بعض الإعداد البشري (مثل اختيار أي مخطط ذكاء اصطناوي ستستخدم)، فإن النظام نفسه يتولى المهام الشاقة، مما يثبت أنه يمكنك جعل أدمغة الذكاء الاصطناعي الضخمة صغيرة وسريعة دون فقدان ذكائها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.