PRISM: Diversifying Dataset Distillation by Decoupling Architectural Priors

إليك ملخص تقني مفصل لورقة البحث بعنوان "PRISM: تنويع تقطير مجموعات البيانات عبر فك الارتباط بين الأولويات المعمارية."

1. بيان المشكلة

يهدف تقطير مجموعات البيانات (Dataset Distillation - DD) إلى ضغط مجموعات البيانات الواقعية الضخمة إلى مجموعات اصطناعية صغيرة تحتفظ بفعالية التدريب للبيانات الأصلية. ومع ذلك، تعاني الطرق الحالية المتطورة (مثل SRe2L وG-VBSM) من قصور حرج وهو: نقص التنوع داخل الفئة الواحدة (intra-class diversity).

• السبب الجذري: تعتمد النهج الحالية عادةً على نموذج معلم واحد (single teacher model) للإشراف على عملية التقطير بأكملها. ويفرض هذا النموذج الواحد انحيازاً استقرائياً (inductive bias) قوياً ومنفرداً (رؤية محددة للعالم) على البيانات الاصطناعية.
• النتيجة: مع زيادة حجم مجموعة البيانات (على سبيل المثال، عند التوسع إلى ImageNet-1K)، يدفع هذا الانحياز نحو توليد عينات متجانسة وشديدة النعومة. وتفتقر مجموعات البيانات الاصطناعية الناتجة إلى التباين اللازم لتدريب نماذج قوية وقابلة للتعميم، مما يؤدي غالباً إلى الإفراط في التخصيص (overfitting) وانخفاض الأداء على البيانات غير المرئية.
• الفجوة: بينما حاولت الأعمال السابقة تحسين التنوع من خلال عمليات معالجة لاحقة معقدة، أو حيل تهيئة البيانات، أو مجموعات (ensembles) لا تزال تربط الأهداف ببعضها، إلا أنها فشلت في معالجة المشكلة الأساسية المتمثلة في أن نموذجاً معمارياً واحداً لا يمكنه تمثيل التوزيع الكامل للفئة.

2. المنهجية: PRISM

يقترح المؤلفون إطار عمل PRISM (الأولويات من نماذج مصدر متنوعة)، وهو إطار يعمل على فك الارتباط بين الأولويات المعمارية (decoupling architectural priors) أثناء عملية التصنيع. بدلاً من استخدام نموذج واحد لجميع عمليات الإشراف، يقوم PRISM بفصل أهداف التحسين وتعيينها لنماذج معلمة معمارية مختلفة.

الآلية الجوهرية: فك الارتباط بين المعلم المزدوج (Dual-Teacher Decoupling)

يعمل التقطير القياسي (مثل SRe2L) على تقليل دالة الخسارة التي تجمع بين مطابقة اللوغاريتم (Logit Matching) (دقة التصنيف) والتنظيم (Regularization) (الطبيعية عبر إحصائيات Batch Normalization) باستخدام معلم واحد $\phi_\theta$.
يقوم PRISM بتقسيم هذه الأهداف:

1. معلم اللوغاريتم ($\phi_\varphi$): نموذج أساسي مسؤول عن خسارة التصنيف (مطابقة اللوغاريتم). يضمن هذا أن تكون البيانات الاصطناعية صحيحة دلالياً للفئات المستهدفة.
2. معلم(ـا) الـ BN ($\phi_\theta$): مجموعة منفصلة من النماذج المسؤولة عن محاذاة الـ Batch Normalization (BN). يعمل هذا كمنظم، مما يضمن أن الصور الاصطناعية تمتلك إحصائيات ميزات "طبيعية" منخفضة المستوى (المتوسط والتباين) لمنع ظهور آثار تشبه الهجمات العدائية (adversarial-like artifacts).

الابتكار الرئيسي: يمكن أن يكون لمعلم اللوغاريتم ومعلم (أو معلمي) الـ BN بنيات معمارية مختلفة (على سبيل المثال، EfficientNet للوغاريتمات وResNet للـ BN). وهذا يجبر البيانات الاصطناعية على تلبية قيود "رؤى عالمية" متعددة ومتميزة في آن واحد.

محاذاة المعلم المتعدد المعممة

يوسع PRISM هذا المفهوم من خلال السماح بـ مجموعة (pool) من $k$ من النماذج المتنوعة لمحاذاة الـ BN.

• استراتيجية أخذ العينات: لكل صورة اصطناعية، يتم اختيار مجموعة فرعية من معلمي الـ BN من المجموعة المتاحة.
• التحسين: تصبح حد التنظيم عبارة عن توقع فوق المجموعة الفرعية المختارة من معلمي الـ BN:
  $$\mathcal{L}_{total} = \ell(\phi_\varphi(X_s), Y_s) + \lambda \mathbb{E}_{M_{sub} \sim P} \left[ \sum_{\omega \in M_{sub}} R^{BN}_\omega(X_s) \right]$$
• استراتيجية الاختيار: يحلل البحث الاختيار قبل التقطير (Pre-distillation selection) (تثبيت مجموعة المعلمين لكل صورة قبل التحسين) مقابل الاختيار أثناء التقطير (Intra-distillation selection) (تغيير المعلمين ديناميكياً أثناء التحسين). وتظهر النتائج أن الاختيار قبل التقطير لمعلمين متنوعين هو الأكثر فعالية.

استراتيجية تكوين الدفعات (Batch Formation Strategy)

على عكس الطرق التي تشكل دفعات داخل الفئة الواحدة (خلط صور متعددة من نفس الفئة لفرض التنوع)، يتبع PRISM استراتيجية الدفعات عبر الفئات (cross-class batch) (مثل SRe2L).

• يعالج كل مؤشر (صورة لكل فئة - IPC) بشكل مستقل عبر جميع الفئات.
• الميزة: يسمح هذا بالتوازي الهائل عبر وحدات معالجة الرسومات (GPUs)، مما يجعل الطريقة قابلة للتوسع بشكل كبير لمجموعات بيانات ضخمة مثل ImageNet-1K دون العبء الحسابي لتبعيات الدفعات المعقدة داخل الفئة.

3. المساهمات الرئيسية

1. إطار عمل PRISM: طريقة مبتكرة تفك ارتباط الإشراف باللوغاريتمات (logits) والتنظيم بالـ BN، مستخدمةً بنيات معمارية متميزة لكسر قيد التجانس في التقطير أحادي المعلم.
2. تحليل منهجي للمعلم: دراسة شاملة تثبت أن الاختيار قبل التقطير لمعلمين متنوعين يتفوق على الاختيار الديناميكي، وأن استخدام معلمي BN متعددين يحقق أفضل النتائج.
3. خط إنتاج قابل للتوسع: تقديم خط إنتاج تصنيع بسيط وقابل للتوازي بشكل هائل، يتوسع بكفاءة إلى ImageNet-1K دون الاعتماد على استراتيجيات استرداد لاحقة معقدة أو تقطير المعرفة لتحقيق التنوع.
4. تنوع قابل للقياس: إثبات أن فك الارتباط بين الأولويات المعمارية يؤدي إلى تنوع أغنى بكثير داخل الفئة، ويُقاس بانخفاض تشابه جيب التمام (cosine similarity) بين الميزات.

4. النتائج التجريبية

قام المؤلفون بتقييم PRISM على ImageNet-1K عبر مختلف أنظمة (صورة لكل فئة - IPC) (10، 50، 100) وبنيات معمارية مختلفة (ResNet-18/50/101).

• الأداء (دقة Top-1):

  • يتفوق PRISM باستمرار على الطرق المتطورة (SRe2L، G-VBSM، EDC، DELT)، خاصة في أنظمة IPC المتوسطة إلى العالية.
  • نتيجة رئيسية: في نموذج ResNet-101 مع IPC=100، حقق PRISM دقة 70.4%، متجاوزاً أفضل النتائج السابقة (DELT) البالغة 67.6% وSRe2L البالغة 62.8%.
  • وضع معياراً جديداً (SOTA) عبر جميع البنيات المعمارية وبروتوكولات التقييم المختبرة.

• مقاييس التنوع:

  • تشابه جيب التمام (Cosine Similarity): تُظهر الصور التي أنتجها PRISM تشابهاً أقل بكثير في جيب التمام داخل الفئة الواحدة (المتوسط ~0.83) مقارنة بـ SRe2L وG-VBSM وDELT (0.86–0.92). وهذا يؤكد أن البيانات المولدة أقل تجانساً.
  • الجودة البصرية: تُظهر المقارنات النوعية (UMAP ومصفوفات الصور) أن PRের ينتج عينات ذات سياقات وألوان وأنسجة متنوعة، بينما ينتج SRe2L تجمعات موحدة وضبابية.

• دراسات الاستئصال (Ablation Studies):

  • فك الارتباط (Decoupling): مجرد فك الارتباط بين المعلمين (Dual-Teacher) يحسن الدقة مقارنة بنماذج المعلم الواحد الأساسية.
  • معلم BN المتعدد: زيادة عدد معلمي الـ BN من 1 إلى 4 يعزز الأداء بشكل أكبر (على سبيل المثال، من 36.2% إلى 39.1% في إعدادات الاسترداد فقط).
  • الاختيار: الاختيار قبل التقطير يتفوق على الاختيار الديناميكي أثناء التقطير.

5. الأهمية والتأثير

• محور توسع متعامد: يقدم PRISM بعداً جديداً لتوسيع نطاق تقطير مجموعات البيانات، وهو محور متعامد مع الطرق الحالية (التي تركز على جداول التدريب، أو التهيئة، أو المعالجة اللاحقة). إنه يثبت أن التنوع المعماري هو عامل حاسم، لم يُستغل كفاية من قبل، لتوليد بيانات اصطناعية عالية الجودة.
• المتانة والخصوصية: من خلال توليد مجموعات بيانات متنوعة وغير متجانسة، يعالج PRISM قيود طرق تقطير مجموعات البيانات الحالية في تعلم الآلة المحافظ على الخصوصية والمتانة ضد الهجمات العدائية، حيث تفشل البيانات المتجانسة غالباً في التعميم.
• الكفاءة: يحقق هذا المنهج هذه المكاسب دون خطوات استرداد لاحقة معقدة ومكلفة حسابياً، معتمداً بدلاً من ذلك على خط إنتاج تصنيع نظيف وقابل للتوازي.

الخلاصة: يثبت PRISM أن "الانحياز الاستقرائي" لنموذج واحد يمثل عائقاً أمام تقطير مجموعات البيانات. ومن خلال فك الارتباط بين الإشراف على المحتوى الدلالي (اللوغاريتمات) والطبيعة الهيكلية (إحصائيات BN) واستخدام أولويات معمارية متنوعة، ينتج PRISM مجموعات بيانات اصطناعية تتميز بكونها عالية الأداء ومتنوعة دلالياً في آن واحد، مما يضع معياراً جديداً لتقطير مجموعات البيانات واسعة النطاق.