Dyna-DINO: Efficient ViT Distillation Via Adaptive Representation Anchoring

في عالم الذكاء الاصطناعي، تعلمت الحواسيب أن ترى العالم بوضوح مذهل. فمن خلال دراسة ملايين الصور، يمكن لهذه الأنظمة تحديد الأشياء، أو رسم حدود غابة، أو العثัง عن مبنى محدد في مدينة شاسعة. والمحركات الكامنة وراء هذه الرؤية هي هياكل رقمية ضخمة تسمى "محولات الرؤية" (Vision Transformers). تخيلها كمكتبات معرفية عملاقة ومعقدة، بُنيت طبقة تلو الأخرى، حيث تضيف كل طبقة فهماً أعمق لما تحتويه الصورة. وأكبر هذه المكتبات قوية لدرجة أنها تستطيع حل مشكلات معقدة، لكنها أيضاً ثقيلة وبطيئة لدرجة أنها لا تستطيع العمل على الأجهزة الصغيرة التي تعمل بالبطارية والتي نحملها في جيوبنا أو نستخدمها في الميدان. ولجعل هذه التكنولوجيا مفيدة في العالم الحقيقي، يجب على العلماء تقليص حجم هذه النماذج العملاقة وتحويلها إلى نسخ أصغر وأسرع دون فقدان قدرتها على الرؤية. وتُعرف هذه العملية باسم "التقطير" (distillation)، حيث يتعلم نموذج "طالب" أصغر من نموذج "معلم" أكبر. ومع ذلك، ظل هناك عائق كبير يقف في الطريق لفترة طويلة: فالطالب غالباً ما يكون أصغر من أن يستوعب الدروس الأكثر تقدماً للمعلم، مما يؤدي إلى نقل متعثر للمعرفة حيث يكافح الطالب لمواكبة المعلم.

اقترح باحثون من جامعة براون وجامعة رايس طريقة جديدة لسد هذه الفجوة، محولين عملية التعلم إلى رحلة مدروسة الخطوات بدلاً من كونها قفزة مفاجئة. في عملهم، لاحظوا أنه عندما يحاول نموذج طالب صغير محاكاة معلم عملاق منذ اللحظة الأولى للتدريب، فإن الأمر يشبه مطالبة طفل بقراءة كتاب فلسفي معقد قبل أن يتعلم أبجديته. يشعر الطالب بالإرهاق، ويصبح التدريب غير مستقر أو يفشل في التحسن. وقد اكتشف الفريق أن معرفة المعلم ليست كتلة واحدة متجانسة، بل هي تسلسل من الخطوات. فالطبقات الأولى من نموذج المعلم تحمل معلومات بسيطة وأساسية حول الأشكال والحواف، بينما تحمل الطبقات الأعمق مفاهيم مجردة ومعقدة. ومن خلال تحليل مدى تشابه فهم الطالب الحالي مع طبقات المعلم المختلفة، وجد الباحثون أن الطالب يستوعب طبيعياً الطبقات الأولى والأبسط أولاً. ومع تعلم الطالب ونموه، ينتقل فهمه ليتناسب مع الطبقات الأكثر تعقيداً وعمقاً في المعلم.

وبناءً على هذه الرؤية، طور الفريق طريقة تدريب تسمى "Dyna-DINO". فبدلاً من إجبار الطالب على نسخ الإجابة النهائية والأكثر صعوبة للمعلم منذ البداية، تعمل هذه الطة كدليل ديناميكي. تبدأ بجعل الطالب يحاكي أبسط الطبقات الأولى للمعلم. ويقوم النظام باستمرار بفحص تقدم الطالب؛ وبمجرد أن يتقن الطالب هذا المستوى من البساطة، يقوم الدليل تلقائياً بتغيير الهدف إلى الطبقة التالية الأكثر تعقيداً قليلاً في المعلم. وتستمر هذه العملية، طبقة تلو الأخرى، مما يسمح للطالب ببناء أساس متين من المهارات البصرية الأساسية قبل التصدي للتجريدات الأكثر تقدماً. والتحول بين هذه الأهداف ليس عشوائياً أو محدداً مسبقاً، بل يتم توجيهه بواسطة مقياس في الوقت الفعلي لمدى جودة أداء الطالب. فإذا كان الطالب يعاني، يظل عند الهدف الأسهل الحالي؛ وإذا كان يتعلم بسرعة، فإنه يمضي قدماً. يضمن هذا النهج التكيفي أن يعمل الطالب دائماً عند حافة قدراته، فلا يشعر بالملل أبداً ولا يشعر بالإرهاق الشديد.

والنتائج التي حقق هذا النهج مذهلة. فعند اختباره على مجموعة قياسية من مائة فئة من الصور، وصل نموذج الطالب المدرب بهذه الطريقة إلى دقة بلغت 90.1 بالمائة، وهي قفزة كبيرة مقارنة بالنماذج المدربة بالطرق القديمة والثابتة. وكان التحسن أكثر دراماتيكية في المهام التي تتطلب العثور على أشياء محددة داخل مشهد أو فهم الحدود الدقيقة لأجزاء مختلفة من الصورة. على سبيل المثال، في الاختبارات المصممة لمعرفة مدى قدرة النموذج على استرجاع صور محددة من قاعدة بيانات، حسن النهج الجديد الأداء بنسبة تقارب ستة بالمائة في إحدى مجموعات البيانات الرئيسية. وبالإضافة إلى كونه أكثر ذكاءً، فإن هذه الطريقة أكثر كفاءة أيضاً؛ فبما أن الطالب لا يحتاج إلى إضاعة الوقت في محاولة فهم أعمق وأكثر تعقيداً لطبقات المعلم قبل أن يكون مستعداً، فإن عملية التدريب تنتهي بشكل أسرع بكثير. وقد وجد الباحثون أن هذا النهج وفر أكثر من ربع قوة الحوسبة وحوالي خمس إجمالي الوقت المطلوب لتدريب النماذج.

يتحدى هذا النجاح افتراضاً ساد لفترة طويلة في هذا المجال، وهو أن أفضل طريقة لتعليم الطالب هي إظهار الإجابة النهائية له فوراً. وتشير الدراسة إلى أن طريق التعلم لا يتعلق بالوجهة وحدها، بل بالترتيب الذي تُتخذ به الخطوات. ومن خلال السماح للطالب بالنمو ليتناسب مع تعقيد معرفة المعلم، بدلاً من إجباره على التكيف معها، نجح الباحثون في إنشاء نموذج أكثر قوة وتنوعاً. فالنماذج المقطرة ليست فقط أسرع في التدريب، بل تحتفظ بفهم أغنى للعالم المرئي، وتكون قادرة على التكيف مع مهام جديدة مثل تحديد الأشياء في شارع مزدحم أو تقسيم مسح طبي. وبينما تتطلب هذه الطريقة حالياً الوصول إلى الآليات الداخلية لنموذج المعلم، فإن النتائج تقدم مخططاً واضحاً لكيفية تعليم الذكاء الاصطناعي بشكل أكثر فعالية. إنها تذكير بأنه في السعي وراء الذكاء الآلي، قد تكون الأداة الأكثر قوة هي ببساطة الصبر للسماح للمتعلم باتخاذ الخطوة التالية فقط عندما يكون مستعداً حقاً.