ملخص تقني: تقطير التمثيلات التمييزي والمتسق (DCD)

1. بيان المشكلة

يهدف تقطير المعرفة (Knowledge Distillation - KD) إلى نقل المعرفة من نماذج المعلم ذات السعة العالية والضخمة إلى نماذج الطالب المدمجة. وبينما أثبتت الأهداف التباينية (contrastive objectives) فعاليتها في تعلم تمثيلات مهيكلة في التعلم الخاضع للإشراف الذاتي، إلا أن تطبيقها على التقطير يواجه ثلاثة عيوب عملية رئيسية:

1. العبء الإضافي على الذاكرة: تعتمد طرق التقطير التباينية الحالية (مثل CRD) على بنوك ذاكرة خارجية لتخزين ناقلات الميزات لأخذ العينات السالبة، مما يؤدي إلى تكاليف ذاكرة كبيرة وتعقيد في التنفيذ.
2. المعلمات الفائقة الثابتة: إن استخدام معلمات درجة الحرارة (temperature) الثابتة يحد من قدرة الهدف التبايني على التكيف عبر مراحل التدريب المختلفة وفجوات السعة بين المعلم والطالب.
3. الإشراف الهيكلي غير المكتمل: تعمل أهداف تمييز المثيل (instance-discrimination) عادةً على الإشراف فقط على قطر مصفوفة التشابه بين النماذج (أي محاذاة مثيل الطالب مع مثيله في المعلم). وهذا يترك الهيكل خارج القطر دون قيود، مما يسمح للطالب بمطابقة معلمه مع البقاء في علاقة غير متسقة مع العينات الأخرى في الدفعة (batch).

2. المنهجية

يقترح المؤلفون تقطير التمثيلات التمييزي والمتسق (DCD)، وهو إطار عمل يجمع بين تمييز المثيل التبايني وبين حد تنظيم الاتساق عبر مصفوفة التشابه بين النمازل.

2.1 الهدف الجوهري

يتم تعريف دالة الخسارة الإجمالية لتدريب شبكة الطالب $\theta_S$ كالتالي:
$$\theta_S = \arg\min_{\theta_S} \sum_{i=1}^N \left( \mathcal{L}_{\text{sup}} + \lambda \cdot \mathcal{L}_{\text{distill}} + \beta \cdot \mathcal{L}_{\text{dcd}} \right)$$
حيث $\mathcal{L}_{\text{dcd}}$ هي خسارة فضاء الميزات المقترحة، وتتكون من حدين:
$$\mathcal{L}_{\text{dcd}} = \mathcal{L}_{\text{ctr}} + \alpha \cdot \mathcal{L}_{\text{cst}}$$

2.2 الحد التبايني ($\mathcal{L}_{\text{ctr}}$)

يقوم هذا الحد بعملية تمييز على مستوى المثيل. بالنسبة لدفعة مصغرة (mini-batch) مكونة من $N$ من العينات، يجب على تمثيل الطالب $z_i^S$ تحديد تمثيل المعلم المقابل له $z_i^T$ من بين جميع تمثيلات المعلم الـ $N$ الموجودة في الدفعة. يتم صياغة ذلك كمسأية تصنيف $N$-way باستخدام تقدير التباين الضوضائي (Noise Contrastive Estimation - NCE):
$$\mathcal{L}_{\text{ctr}} = -\frac{1}{N} \sum_{i=1}^N \log \frac{\exp(\ell_{ii})}{\sum_{j=1}^N \exp(\ell_{ij})}$$
هنا، تمثل $\ell_{ij}$ التشابه المقيّس بين الطالب $i$ والمعلم $j$. ومن الأهمية بمكان أن هذا الحد يستخدم أخذ العينات داخل الدفعة (in-batch sampling)، مما يلغي الحاجة إلى بنوك ذاكرة خارجية.

2.3 حد الاتساق ($\mathcal{L}_{\text{cst}}$)

يقيد الحد التبايني فقط قطر مصفوفة التشابه. ولتقييد الهيكل خارج القطر، قدم المؤلفون حد تنظيم الاتساق الذي يفرض التوافق بين رؤيتين متكاملتين لنفس مصفوفة التشابه بين النماذج $\ell$:

1. رؤية الطالب ($p_i^S$): احتمالات معيرة صفياً (row-normalized)، تمثل الألفة (affinity) للطالب $i$ تجاه جميع المعلمين.
2. رؤية المعلم ($p_i^T$): احتمالات معيرة عمودياً (column-normalized) (منقولة)، تمثل الألفة لجميع الطلاب تجاه المعلم $i$.

تقلل خسارة الاتساق من تباعد كولباك - ليبلر (KL divergence) بين هاتين الرؤيتين:
$$\mathcal{L}_{\text{cst}} = \frac{1}{N} \sum_{i=1}^N D_{\text{KL}}(\mathbf{p}_i^T \,\|\, \mathbf{p}_i^S)$$
أثبت المؤلفون أن هذا الحد يتلاشى إذا وفقط إذا كانت مصفوفة التشابه بين النماذج متماثلة ($\langle z_i^S, z_j^T \rangle = \langle z_j^S, z_i^T \rangle$). وهذا يضمن أن ألفة الطالب $i$ تجاه المعلم $j$ تتوافق مع ألفة الطالب $j$ تجاه المعلم $i$، مما يلتقط اتساقاً هيكلياً ثنائي الاتجاه.

2.3 المقياس والانحياز القابل للتعلم

على عكس الطرق التي تستخدم درجات حرارة ثابتة، يقوم DCD بترميز مقياس التشابه كـ $s = \exp(\tau)$ ويضيف انحيازاً (bias) قابلاً للتعلم $b$. يتم تحسين هذه المعلمات ($\tau$ و $b$) أثناء التدريب للتحكم التكيفي في حدة وإزاحة إشارة التقطير، مما يلغي الحاجة إلى الضبط اليدوي لكل زوج من المعلم والطالب.

2.4 تفاصيل التنفيذ

• أخذ العينات داخل الدفعة: يتم سحب العينات السالبة بشكل طبيعي من الدفعة المصغرة الحالية، مما يقلل من تخزين الذاكرة من ~655 ميجابايت (في حالة CRD لـ ImageNet) إلى ~0.13 ميجابايت لكل تكرار.
• رؤوس الإسقاط (Projection Heads): يتم رسم ميزات الطالب والمعلم إلى فضاء تضمين مشترك ذي 128 بُعداً عبر طبقات إسقاط خطية. يتم تدريب هذه الطبقات بشكل مشترك ولكن يتم التخلص منها عند الاستدلال، وهي تضيف معاملات ضئيلة (66 ألف) ولا تسبب أي تكلفة عند الاستدلال.
• سرعة التدريب: تضاهد الطريقة سرعة تدريب التقطير القياسي القائم على اللوجيت (8 مللي ثانية لكل دفعة).

3. المساهمات الرئيسية

1. إطار عمل موحد: إطار عمل تقطير يجمع بين تمييز المثيل التبايني وتنظيم الاتساق القائم على تباعد KL الذي يقيد الهيكل خارج القطر لمصفوفة التشابه بين النماذج.
2. الكفاءة: استراتيجية فعالة لأخذ العينات داخل الدفعة تلغي الحاجة إلى بنوك ذاكرة خارجية، مما يقلل من عبء الذاكرة ووقت التدريب مع الحفاظ على إنتاجية مقاربة لتقطير المعرفة القياسي.
3. المعلمات التكيفية: تقديم معلمات المقياس والانحياز القابلة للتعلم التي تضبط إشارة التقطير تلقائياً، مما يتجنب الضبط اليدوي للمعلمات الفائقة.
4. التحقق الواسع: تجارب شاملة عبر CIFAR-100 و ImageNet و MS-COCO، مما يظهر أداءً تنافسياً في التصنيف، وكشف الأشياء، ونقل البيانات عبر المجموعات.

4. النتائج التجريبية

تم تقييم الطريقة على خمسة معايير (CIFAR-100، ImageNet، STL-10، Tiny ImageNet، MS-COCO) عبر 13 زوجاً من المعلم والطالب.

• التصنيف (CIFAR-100): يحقق DCD عند دمجه مع KD (أي DCD + KD) أداءً تنافسياً، حيث يتفوق على شبكة المعلم بنسبة +0.45% في حالات نفس البنية المعمارية وبنسبة +0.90% في حالات البنى المعمارية المختلفة. وبينما تحقق طرق مثل ReviewKD و SimKD و CRCD دقة أعلى في تكوينات محددة (على سبيل المثال، تصل ReviewKD إلى 76.12% مقابل 76.06% لـ DCD+KD في زوج WRN-40-2 إلى WRN-16-2)، إلا أن DCD+KD يتفوق باستمرار على التقطير القياسي والعديد من الخطوط المرجعية الأخرى عبر مجموعات متنوعة من التوليفات المعمارية.
• التصنيف (ImageNet): حسنت الطريقة باستمرار من النتائج مقارنة بالخطوط المرجعية (KD، AT، CRD، إلخ) عبر بنيات متنوعة، مما يؤكد أن المكاسب تمتد إلى الإعدادات واسعة النط scale.
• كشف الأشياء (MS-COCO): باستخدام Faster R-CNN مع FPN، حسن DCD متوسط الدقة المتوسطة (AP) عبر جميع أزواج المعلم والطالب المختبرة (على سبيل المثال، ResNet-101 $\to$ ResNet-18)، مما يثبت قابليته للتطبيق بما يتجاه التصنيف.
• القابلية للنقل: أظهرت التمثيلات المقطرة قدرة فائقة على نقل البيانات عبر المجموعات في STL-10 و Tiny ImageNet مقارنة بالخطوط المرجعية، مما يشير إلى تعميم أفضل.
• الكفاءة: أضاف DCD 66 ألف معلم فقط (يتم التخلص منها جميعاً عند الاستدلال) وطابق زمن تأخير التدريب البالغ 8 مللي ثانية/دفعة الخاص بالتقطير القياسي، مما يجعله أسرع وأخف بكثير من CRD (19 مللي ثانية/دفعة) والطرق الأخرى القائمة على الميزات.

5. الأهمية والادعاءات

يدعي البحث أن DCD يعالج القيود المحددة لطرق التقطير التباينية الحالية من خلال:

• إزالة بنوك الذاكرة: العمل بالكامل ضمن الدفعة المصغرة لتقليل استهلاك الذاكرة والتعقيد.
• فرض الاتساق الهيكلي: الانتقال من مجرد محاذاة المثيل إلى فرض التماثل في مصفوفة التشابه بين النماذج، وبالتالي التقاط معرفة هيكلية أغنى.
• القابلية للتكيف: استخدام معلمات قابلة للتعلم للتكيف مع مراحل التدريب المختلفة وسعات النماذج المختلفة دون ضبط يدوي للمعلمات الفائقة.

يضع المؤلفون DCD كطريقة تحقق كفاءة التقطير البسيط القائم على اللوجيت مع الاحتفاظ بفوائد دقة التقطير القائم على الميزات التباينية، دون الحاجة إلى تغييرات معمارية أو بنية تحتية خارجية للذاكرة.