Curvature-Information Duality Driven Geometrically Optimal Compression of Deep Models
تقدم هذه الورقة إطار عمل "عنق الزجاجة المعلوماتي المدرك للانحناء" (CurvIB)، وهو تقنية لضغط النماذج ذات أسس نظرية قائمة على الهندسة المعلوماتية ونظرية ثنائية الانحناء والمعلومات، والتي توحد بين التقليم التكيفي الحساس للانحناء، والكمية المثلى المدركة لمسافة واسرستين، واستعادة الدقة القائمة على النقل الأمثل لتعزيز أداء نماذج التعلم العميق بشكل كبير تحت قيود الموارد القصوى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يمكن فيه لأنظمة الذكاء الاصطناعي الأكثر قوة، القادرة على التعرف على الوجوه أو ترجمة اللغات، أن تعمل على الرقائق الصغيرة التي تعمل بالبطارية داخل ساعة ذكية أو مستشعر في غابة. هذا هو الوعد الذي يقدمه "ذكاء الحافة الاصطناعي" (edge AI)، وهو مجال مخصص لجلب الحوسبة المعقدة إلى الأجهزة ذات القيود الفيزيائية الشديدة. غالباً ما تمتلك هذه الأجهزة بضع مئات الكيلوبايتات فقط من الذاكرة وتعمل بسرعات أبطأ بكما من الخوادم الضخمة التي تدرب هذه النماذج عادةً. التحدي المركزي هو عدم التوافق: النماذج ثقيلة جداً، والأجهزة خفيفة جداً. ولجسر هذه الفجوة، اعتمد المهندسون لفترة طويلة على تقنيات الضغط التي تقلص هذه الأدمغة الرقمية الضخمة. ومع ذلك، كانت هذه الطرق التقليدية تعتمد إلى حد كبير على التخمين، باستخدام قواعد بسيطة لتحديد الأجزاء التي يجب قصها أو تقليصها، دون فهم عميق لسبب نجاح تلك الاختيارات.
يسعى نهج جديد، فُصِّل في بحث حديث، إلى استبدال هذا التخمين بنظرية أساسية متجذرة في شكل البيانات نفسها. يقترح الباحثون أن أهمية أي جزء من الشبكة العصبية لا تتحدد بحجم أرقامها، بل بمدى حساسية النظام للتغيرات في ذلك الجزء المحدد. وقد أطلقوا على هذا "ثنائية معلومات الانحناء" (curvature-information duality). وببساطة، إذا تسبب تغيير صغير في جزء معين من النموذج في إحداث تحول كبير في النتيجة النهائية، فإن هذا الجزء يكون كثيفاً بالمعلومات ويجب الحفاظ عليه. أما إذا لم يتسبب التغيير في تأثير يذكر أو لا يسبب أي تأثير، فإن هذا الجزء يعتبر زائداً عن الحاجة ويمكن إزالته بأمان. ومن خلال رسم هذه العلاقة، طور الفريق إطار عمل موحداً يسمى "CurvIB"، والذي يعامل ضغط النموذج ليس كسلسلة من القطوع العشوائية، بل كعملية هندسية دقيقة تحترم البنية الأساسية للمعلومات.
اختبر الباحثون هذه النظرية على مهام معيارية للتعرف على الصور، باستخدام نماذج مثل VGG-16 وResNet. تمثلت خطوتهم الكبرى الأولى في تطبيق نوع جديد من "التقليم" (pruning)، أو القص، للنماذج. فبدلاً من إزالة الأوزان بناءً على حجمها، كما هو متبع في الممارسة الشائعة، نظر أسلوبهم إلى "انحناء" مشهد الخسارة (loss landscape) — وهي طريقة لقياس مدى تضرر أداء النموذج إذا تم تعديل اتصال معين. ووجدوا أن طبقات الشبكة تحتوي على كميات متفاوتة تماماً من المعلومات؛ فالطبقات المبكرة، التي تكتشف الحواف والأشكال البسيطة، كانت زائدة عن الحاجة بشكل كبير ويمكن ضغطها بقوة. أما الطبقات الأعمق، التي تحمل المعرفة المحددة اللازمة لتحديد الأشياء، فكانت كثيفة المعلومات وتتطلب الحماية. وعندما طبقوا هذا التقليم القائم على الانحناء على نموذج باستخدام مجموعة بيانات CIFAR-10، كانت النتائج مذهلة؛ فعند تقليل الحجم بنسبة 30 بالمائة، حافظ أسلوبهم على دقة بلغت 42.42 بالمائة، متفوقاً بشكل ملحوظ على التقليم التقليدي القائم على الوزن، والذي انخفضت دقته إلى 38.45 بالمائة.
وإلى جانب قطع الاتصالات، أعاد الفريق التفكير في كيفية تخزين الأرقام المتبقية. غالباً ما يقوم الضغط القياسي بتقريب الأرقام إلى أقرب خطوة ثابتة، بافتراض أن البيانات موزعة بشكل متساوٍ. جادل الباحثون بأن هذا خطأ، لأن الأرقام داخل الشبكة العصبية غالباً ما تكون متجمعة في أنماط محددة. وقد طبقوا مفهوماً من نظرية النقل الأمثل (optimal transport theory)، التي تبحث عن الطريقة الأكثر كفاءة لنقل الكتلة من توزيع إلى آخر، لتحديد مكان خطوات التقريب هذه. وبدلاً من استخدام اختصار رياضي بسيط يفشل غالباً عند معدلات الضغط العالية، استخدموا خوارزمية تكرارية تُعرف باسم "Lloyd-Max" لإيجاد المواقع المثالية لهذه الخطوات. سمح هذا النهج بوضع دقة أكبر حيث تكون البيانات كثيفة، ودقة أقل حيث تكون متفرقة. وكانت النتيجة نموذجاً، حتى عند ضغطه إلى ست بتات فقط لكل رقم، أدى في الواقع إلى أداء أفضل قليلاً من النسخة الأصلية كاملة الدقة، حيث حقق دقة بلغت 84.86 بالمائة مقارنة بالأساس الذي بلغ 84.84 بالمائة. يشير هذا إلى أن الضجيج الناتج عن هذا النوع المحدد من الضغط يمكن أن يساعد النموذج على التعميم بشكل أفضل، وهي ظاهرة تُعرف باسم "التنظيم" (regularization).
تناولت القطعة الأخيرة من إطار عملهم الخسارة الحتمية في الدقة التي تحدث عند تقليص النموذج. عادةً، يستخدم المهندسون تقنية تسمى "تقطير المعرفة" (knowledge distillation)، حيث يحاول نموذج صغير محاكاة الإجابات النهائية لنموذج كبير. اقترح الباحثون مساراً مختلفاً: بدلاً من مجرد مطابقة الإجابات، قاموا بمطابقة هندسة الميزات الداخلية. لقد استخدموا النقل الأمثل لمحاذاة شكل توزيعات البيانات في النموذج المضغوط مع تلك الموجودة في النموذج الأصلي، مما يضمن بقاء العلاقات بين قطع المعلومات المختلفة سليمة. وعند اختبار ذلك على مجموعة بيانات CIFAR-100، استعاد هذا المحاذاة الهندسية أداء النموذج بشكل أكثر فعالية من الطرق التقليدية. فبعد عشر جولات من التدريب، وصل النموذج الذي استخدم تقنية الاستعادة الجديدة هذه إلى دقة 80.01 بالمائة، متجاوزاً نسبة 76.92 بالمائة التي حققها تقطير المعرفة القياسي.
ولإثبات أن هذه النظرية تعمل في العالم الحقيقي، قام الفريق بنشر نماذجهم المضغوطة على متحكم دقيق فعلي، وهو شريحة صغيرة توجد في العديد من الأجهزة اليومية. قاموا بتشغيل النظام على STM32H743، وهو جهاز يحتوي على ميجابايت واحد فقط من الذاكرة و2 ميجابايت من ذاكرة الفلاش. كانت النتائج مثيرة للإعجاب: استخدم النموذج المضغوط ذاكرة أقل بـ 25 مرة من الحلول الرائدة السابقة المصممة لأجهزة مماثلة، وعمل بسرعة أكبر بنسبة 10 بالمائة تقريباً. يؤكد هذا العرض أن الرؤى النظرية حول الانحناء وكثافة المعلومات يمكن ترجمتها إلى برمجيات عالية الأداء وعملية لأكثر الأجهزة تقييداً في الموارد. ويشير العمل إلى أنه من خلال فهم الشكل الهندسي للمعلومات، يمكننا بناء ذكاء اصطناعي ليس ذكياً فحسب، بل صغيراً بما يكفي ليعيش في أي مكان.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.