ملخص تقني: DIVER - الغوص بعمق في البيانات المقطرة عبر استعادة الدلالات التعبيرية

1. بيان المشكلة

يهدف تقطير مجموعة البيانات (Dataset Distillation - DD) إلى ضغط مجموعات البيانات الضخمة والغنية دلاليًا إلى مجموعات بيانات وسيطة مدمجة وغير قابلة للقراءة من قبل البشر، لتسهيل التعلم الفعال وحماية الخصوصية. ومع ذلك، تعتمد أطر تقطير البيانات الكلاسيكية عادةً على نموذج تحسين ثنائي المستوى أحادي المرحلة. في هذه العملية، يحدث التحسين مباشرة في مساحة البكسل (pixel space)، وغالبًا ما يستخدم بنية سابقة محددة (مثل الشبكات التلافيفية ConvNet) لاستراتيجيات المطابقة (مطابقة التدرج، أو التوزيع، أو المسار).

يؤدي هذا النهج إلى مشكلتين حرجتين:

1. الإفراط في التكيف مع الأنماط الخاصة بالبنية (Overfitting to Architecture-Specific Patterns): تميل الصور المقطرة إلى تعلم أنماط عالية التردد وضوضاء مصممة خصيصًا للبنية السابقة المستخدمة أثناء التقطير، بدلاً من التقاط الدلالات عالية المستوى القابلة للتعميم.
2. فشل التعميم عبر البنى المختلفة (Cross-Architecture Generalization Failure): نتيجة لذلك، تظهر هذه الصور المقطرة بخصائص تجريدية، مشوشة، وغير واقعية، مما يثبط التعبير عن الدلالات البصرية. ويؤدي هذا إلى تدهور كبير في الأداء عند تقييم مجموعة البيانات المقطرة على بنى غير متجانسة (مثل Transformers أو MobileNets) تختلف عن البنية السابقة المستخدمة.

تحاول المحاولات الحالية لمعالجة ذلك، مثل طرق الأولويات التوليدية (باستخدام GANs) أو المطابقة مزدوجة الزمن، إما البقاء مقيدة بآليات الحلقة الداخلية المكلفة، أو الفشل في إنتاج صور واقعية، أو تمثل خروجًا كاملاً عن إطار عمل تقطير البيانات الكلاسيكي، مما يتجاهل إمكانات مجموعات البيانات المقطرة الموجودة.

2. المنهجية: إطار عمل DIVER

يقترح المؤلفون DIVER (الغوص بعمق في البيانات المقطرة عبر استعادة الدلالات التعبيرية)، وهو إطار عمل تقطير ثنائي المرحلة. بخلاف الأساليب التقليدية التي تتوقف بعد إنشاء مجموعة بيانات مقطرة، يعامل DIVER مخرجات تقطير البيانات الكلاسيكي كمدخل مرحلي لمرحلة ثانية من الصقل.

المرحلة الأولى: تقطير مجموعة البيانات الكلاسيكي

هذه المرحلة مطابقة لعملية تقطير البيانات القياسية. فهي تستخرج مجموعة بيانات مقطرة مدمجة ($D^*$) من مجموعة البيانات الأصلية ($O$) باستخدام تقنيات موجودة (مثل MTT أو DM أو SRe2L). ويشير المؤلفون إلى أنه إذا كانت مجموعة البيانات المقطرة موجودة بالفعل، فيمكن تخطي المرحلة الأولى.

المرحلة الثانية: الغوص في البيانات المقطرة (DDD)

الابتكار الجوهري يكمن في المرحلة الثانية، المسماة الغوص في البيانات المقطرة (Diving into Distilled Data - DDD). تستخدم هذه المرحلة نموذج انتشار مدرب مسبقاً ومجمد (تحديداً Diffusion Transformer - DiT) وVAE لصقل $D^*$ وتحويلها إلى مجموعة بيانات اصطناعية ($S$) دون الحاجة للوصول إلى مجموعة البيانات الأصلية أو تدريب إضافي. تتضمن العملية ثلاث استراتيجيات لاستعادة الدلالات:

1. الوراثة الدلالية (Semantic Inheritance - SI):

   • الآلية: يتم تشفير الصورة المقطرة $x_0$ إلى رمز كامن $z_0$ باستخدام مشفر VAE مدرب مسبقاً.
   • الغرض: يعمل الـ VAE كمرشح (filter)، حيث يسقط الصورة في فضاء كامن عميق. هذه العملية تعمل بطبيعتها على تصفية "الضوضاء" الخاصة بالبنية (الأنماط عالية التردد التي تم التكيف معها في الـ ConvNet) مع الاحتفاظ بالتمثيلات الدلالية عالية المستوى.
   • التهيئة: بدلاً من البدء بعملية الانتشار العكسي بضوضاء غاوسية عشوائية، تبدأ العملية بنسخة مشوشة من الكود الموروث ($z_{tf}$)، والتي يتم إنشاؤها عن طريق إضافة خطوات ضوضاء أمامية قدرها $t_f$ إلى $z_0$. وهذا يضمن بقاء مسار أخذ العينات قريبًا من الهيكل الدلالي الأصلي.

2. التوجيه الدلالي (Semantic Guidance - SG):

   • الآلية: يتم إدخال دالة توجيه $G_t = ( \hat{z}_t - z_0 )^2 / 2\sigma_t$ أثناء العملية العكسية.
   • الغرض: منع المعلومات الدلالية الموروثة من مجموعة البيانات المقطرة من التدهور أو الانحراف بعيداً عن مسارها أثناء العملية التوليدية. فهي توجه عملية أخذ العينات لإنتاج مخرجات واقعية تظل وفية للدلالات المقطرة الأصلية.

3. الدمج الدلالي (Semantic Fusion - SF):

   • الآلية: يستفيد المؤلفون من ملاحظة أن أخذ عينات الانتشار يحدث في مراحل متميزة: المرحلة الفوضوية (CP)، المرحلة الدلالية (SP)، ومرحلة الصقل (RP). يقوم الدمج الدلالي بدمج التسميات الشرطية (معلومات الفئة) مع الكودات الكامنة الموروثة والموجهة حصرياً خلال المرحلة الدلالية (SP).
   • الغرض: التوجيه في كامل المراحل قد يؤدي إلى غموض دلالي وعيوب (artifacts). ومن خلال دمج معلومات الفئة فقط خلال المرحلة الحرجة (SP)، تضمن الطريقة حقن دلالات واضحة خاصة بالفئة دون المساس بالسلامة الهيكلية أو التسبب في الإفراط في التكيف مع توجيه التسمية.

عملية المرحلة الثانية بأكملها هي خالية من التدريب (training-free) وخالية من البيانات الخام (raw-data-free)، وتعتمد فقط على النماذج التوليدية المدربة مسبقاً ومجموعة البيانات المقطرة.

3. المساهمات الرئيسية

• إطار عمل ثنائي المرحلة: يفصل البحث بين مشكلة تقطير مجموعة البيانات (الاستخراج - DD) وبين (الصقل - DDD)، مقترحاً نموذجاً جديداً لتعزيز القدرة على التعميم عبر البنى المختلفة.
• تعريف مهمة DDD: يقدم المؤلفون رسمياً مفهوم "الغوص في البيانات المقطرة"، وهو أول عمل يقوم بتقطير المعرفة من مجموعة بيانات مقطرة موجودة إلى مجموعة بيانات اصطناعية دون الوصول إلى البيانات الأصلية.
• استراتيجيات الاستعادة الدلالية: دمج الوراثة الدلالية، والتوجيه الدلالي، والدمج الدلالي في نموذج انتشار موجه مدرب مسبقاً. تستعيد هذه الاستراتيجيات الدلالات التعبيرية التي كبتتها الأنماط الخاصة بالبنية دون الحاجة إلى تدريب إضافي للنماذج.
• الكفاءة: يعمل الأسلوب كإضافة (plugin) لتقطير البيانات التقليدي، محققاً مكاسب كبيرة في الأداء مع حد أدنى من التكاليف الحسابية (مماثل للاستدلال العادي لـ DiT) واستهلاك منخفض لذاكرة وحدة معالجة الرسومات (4 جيجابايت).

4. النتائج التجريبية

أُجريت تجارب مكثفة على ImageNet-1K ومجموعاتها الفرعية (مثل ImageNette و ImageFruit) بدقات 128×128 و 256×256.

• التعميم عبر البنى المختلفة: يحسن DIVER باستمرار أداء مختلف طرق تقطير البيانات الكلاسيكية (DM, MTT, EDF, NCFM, SRe2L) عند تقييمها على بنى غير مرئية (ResNet, ShuffleNet, MobileNet, EfficientNet, ViT).
  • على سبيل المثال، في ImageNet (IPC=1)، حسن DIVER أداء MTT بنسبة تقارب 22% في المتوسط عبر البنى المختلفة (بدلاً من ~15%).
  • في ImageNet-1K (IPC=10)، عزز DIVER أداء MTT من 21.3% إلى 24.5% على ResNet-18، ومن 28.4% إلى 31.2% على ResNet-50.
• المقارنة مع الأولويات التوليدية: يتفوق DIVER على GLaD (طريقة أولويات توليدية) في القدرة على التعميم مع كونه أكثر كفاءة، حيث لا يتطلب حساب التدرج أو تخزين تدرجات المولد.
• دراسات الاستئصال (Ablation Studies):
  • تأثير الوحدات: توفر كل من الوراثة الدلالية والتوجيه الدلالي بشكل فردي مكاسب كبيرة. ويؤدي دمجهما إلى أفضل النتائج، وإن كان مع وجود تأثير تشبع.
  • عامل التوجيه: يعد عامل التوجيد الأمثل ($\gamma=0.1$) أمراً حاسماً؛ فالقيمة المنخفضة جداً تؤدي إلى توجيه غير كافٍ، بينما القيمة العالية جداً تؤدي إلى الاعتماد المفرط على الكود الكامن الموروث، مما يقلل من تأثير شرط التسمية.
  • خطوات الانتشار الأمامية: يحقق عدد الخطوات الأمامية المتوسط ($t_f=25$) توازناً بين المحاذاة الغاوسية والحفاظ على الميزات.
  • المتانة: يظهر الأسلوب تحسينات متسقة عبر مختلف دعامات الانتشار (DiT, SiT, Stable Diffusion V1.5)، وإن كانت المكاسب أكثر وضوحاً مع DiT و SiT بسبب التوافق الهيكلي.
• المقايضة على البنية السابقة: يقر البحث بوجود انخفاض ملموس في الأداء عندما يتم تقييم مجموعة البيانات الاصطناعية على نفس البنية السابقة (ConvNet) المستخدمة في التقطير الأولي. ومع ذلك، يُقدم هذا كعلاقة مقايضة مقبولة مقابل المكاسب الكبيرة في التعميم عبر البنى المختلفة.

5. الأهمية والادعاءات

يدعي البحث أن DIVER يعالج بفعالية "معضلة التعميم عبر البنى" المتأصلة في تقطير مجموعات البيانات الكلاسيكية. من خلال معاملة مجموعة البيانات المقطرة ليس كمنتج نهائي بل كمصدر للمعلومات الدلالية المكبوتة، يستغل DIVER قدرات التركيب القوية لنماذج الانتشار المدربة مسبقاً لـ "الغوص بعمق" واستعادة الدلالات التعبيرية.

تكمن أهمية العمل في:

1. التقدم المنهجي: يجسر الفجوة بين تقطير البيانات الكلاسيكي والنماذج التوليدية، موضحاً أن مجموعات البيانات المقطرة كلاسيكياً تحتفظ بمعلومات دلالية قيمة يمكن إطلاقها عبر صقل المرحلة الثانية.
2. الكفاءة العملية: لا يتطلب النهج الوصول إلى مجموعة البيانات الأصلية الضخمة ولا تدريباً إضافياً، مما يجعله مناسباً للغاية للسيناريوهات الحساسة للخصوصية وبيئات الحوسبة ذات الموارد المحدودة (مثل حوسبة الحافة/Edge Computing).
3. التعميم: يوفر حلاً قوياً لنشر مجموعات البيانات المقطرة عبر بنيات الشبكات العصبية المتنوعة، وهو مطلب حاسم للتطبيقات الواقعية حيث يكون عدم تجانس النماذج أمراً شائعاً.

يخلص المؤلفون إلى أن DIVER يعمل كتعزيز فعال وقابل للتركيب (plug-and-play) لتقطير البيانات التقليدي، مما يحسن التعميم بشكل كبير مع الحد الأدنى من الأعباء التخزينية والحسابية.