ملخص تقني: NEO — التكيف وقت الاختبار بدون تحسين عبر إعادة تمركز الفضاء الكامن

بيان المشكلة

يعالج التكيف وقت الاختبار (TTA) تحدي الحفاظ على أداء النموذج عندما يتغير توزيع بيانات النشر عن توزيع التدريب (مثل الصور المتأثرة بالثلوج، أو الضباب، أو الضبابية). تواجه طرق TTA الحالية قيوداً كبيرة:

• التكلفة الحسابية: تعتمد العديد من الطرق على التحديثات القائمة على الانتشار العكسي (مثل TENT وSAR)، مما يؤدي إلى استهلاك عالٍ للذاكرة وزمن انتقال في الاستنتاج، وهو أمر غير مجدٍ للأجهزة الطرفية (Edge Devices).
• متطلبات البيانات: تتطلب بعض الطرق دفعات كبيرة (Batches) أو بيانات مستهدفة واسعة لحساب الإحصائيات القوية.
• الحساسية للمعلمات الفائقة (Hyperparameters): غالباً ما يتدهور الأداء مع الاختيارات غير المثالية للمعلمات الفائقة، وتعاني بعض الطرق من النسيان الكارثي.
• القيود الهيكلية: تعتمد بعض النهج على مكونات هيكلية محددة مثل طبقات تطبيع الدفعة (Batch Normalization)، مما يحد من قابليتها للتطبيق على البنى الحديثة مثل محولات الرؤية (Vision Transformers - ViT).

الهدف هو تطوير طريقة TTA تكون خالية تماماً من بيانات المصدر، وخالية من المعلمات الفائقة (أو بحد أدنى منها)، وفعالة حسابياً، وقوية عبر مختلف تحولات التوزيع وبنى النماذج.

المنهجية: NEO

يقترح المؤلفون NEO (بلا تحسين)، وهي طريقة TTA كاملة لا تتطلب تحسيناً، ولا بيانات مصدر، ولا عبئاً حسابياً كبيراً. يعتمد الجوهر المفاهيمي على هندسة الفضاء الكامن وظاهرة الانهيار العصبي (Neural Collapse).

الأساس النظري

1. بنية الإزاحة الكامنة: لاحظ المؤلفون أن تحولات توزيع المدخلات تسبب إزاحة هيكلية في تضمينات الطبقة قبل الأخيرة ($h(\tilde{x})$). ومن المهم أن هذه الإزاحة ليست ضجيجاً عشوائياً، بل هي إزاحة مشتركة عالمياً عبر العينات والفئات.
2. الانهيار العصبي: تحت افتراض الانهيار العصبي (حيث تتقارب متوسطات الفئات نحو رؤوس إطار متساوي الزوايا ومتين، ويتقارب المتوسط العالمي للتضمينات نحو الأصل، $\mu_G = 0$)، فإن الإزاحة في البيانات الفاسدة ($\tilde{\mu}_G$) تمثل فعلياً متجه المحاذاة العالمي المطلوب لاستعادة هندسة التوزيع الأصلي.
3. إعادة التمركز العالمي: يثبت البحث أنه تحت افتراضات الانهيار العصبي، فإن إزاحة التضمينات الفاسدة عن طريق طرح المتوسط العالمي المقدر للدفعة الفاسدة ($\tilde{\mu}_G$) يكافئ رياضياً محاذاة الفضاء الكامن الفاسد مع فضاء المصدر. تعمل إعادة التمركز هذه على استعادة تشابه جيب التمام (Cosine Similarity) بين التضمينات وأوزان المصنف، وهو ما يحدد دقة التصنيف.

الخوارزمية

تعمل NEO عن طريق الحفاظ على تقدير مستمر للمركز العالمي للتضمينات الفاسدة ($\tilde{\mu}_G$) وطرح هذا المتجه من الميزات وقت الاختبار قبل التصنيف.

• قاعدة التحديث: لكل دفعة $B$، يتم تحديث المتوسط العالمي بشكل تدريجي:
  $$\tilde{\mu}_G \leftarrow \frac{i-1}{i} \tilde{\mu}_G + \frac{1}{i} \text{Avg}(h(B))$$
  حيث $i$ هو عدد الدفعات.
• التكيف: يتم إجراء التنبؤ على الميزات المعاد تمركزها: $y = \theta(h(B) - \tilde{\mu}_G)$.
• التنفيذ: يتطلب هذا تغييراً في سطر واحد فقط من الكود في تطبيقات ViT القياسية (استبدال الطبقة الخطية النهائية بطبقة مخصصة تقوم بعملية الطرح).
• النسخة المستمرة (NEO-Cont.): بالنسبة للتوزيعات المتطورة، تستخدم نسخة مستمرة متوسطاً متحركاً أسياً (EMA) مع معلمة فائقة واحدة $\alpha$ لتتبع متوسط مستوي (Simplex) الميزات.

المساهمات الرئيسية

1. طريقة TTA مبتكرة: تقديم NEO، وهي طريقة TTA خفيفة الوزن وخالية من التحسين، تعيد تمركز التضمينات باستخدام تقدير المركز العالمي. لا تتطلب بيانات مصدر ولا تضيف تأخراً أو عبئاً ذاكرة كبيراً.
2. رؤية نظرية: استقصاء شامل يربط تحولات توزيع المدخلات بهندسة الفضاء الكامن. ربط المؤلفون هذه التحولات بالانهيار العصبي، مما قدم تفسيراً مبدئياً لسبب كفاية إعادة التمركز العالمي (التمركز عند الأصل) للتكيف دون الحاجة إلى إحصائيات خاصة بكل فئة.
3. الكفاءة وتعدد الاستخدامات: إثبات قدرة NEO على التكيف مع عينة واحدة فقط أو فئة واحدة، مما يمتد طبيعياً نحو التكيف المستمر. كما تحافظ على استخدام منخفض للموارد على كل من الأجهزة الطرفية (مثل Raspberry Pi وJetson Orin Nano) وخوادم السحاب.
4. تقييم شامل: تجارب واسعة النطاق عبر 4 مجموعات بيانات (ImageNet-C، CIFAR-10-C، ImageNet-R، ImageNet-S) و3 بنى ViT (ViT-S، ViT-Base، ViT-L).

النتائج التجريبية

• الدقة: على ImageNet-C، ومن خلال التكيف على 512 عينة فقط، تحقق NEO دقة بنسبة 59.2% مع ViT-Base، متفوقة على جميع المراجع السبعة المقارنة (T3A، SAR، LAME، TENT، CoTTA، FOA، Surgeon). لقد حسنت الدقة بمعدل 3.6% مقارنة بمرجع "عدم التكيف" (55.6%). وفي حالات معينة مثل فساد "التباين" (Contrast)، تضاعف NEO الدقة تقريباً مقارنة بعدم التكيف.
• القوة: تتميز NEO بالقدرة على تحمل اختيارات المعلمات الفائقة (فهي خالية من المعلمات الفائقة في النسخة القياسية) ولا تعاني من النسيان الكارثي. كما أنها تحسن الدقة حتى عند التكيف مع عينة واحدة أو فئة واحدة فقط.
• المعايرة: تعمل NEO على تحسين خطأ المعايرة المتوقع (ECE)، مما ينتج تنبؤات أكثر موثوقية مقارنة بالمراجع.
• الكفاءة:
  • زمن الانتقال (Latency): لا تضيف NEO أي وقت استنتاج ملموس مقارنة بالاستنتاج العادي. وعلى الأجهزة الطرفية، تقلل زمن الاستنتاج بنسبة 63% مقارنة بالمراجع التي تتطلب انتشاراً عكسياً.
  • الذاكرة: تقلل NEO من استخدام الذاكرة بنسبة 9% على الأجهزة الطرفية مقارنة بالمراجع. وهي الطريقة الوحيدة التي لا تزيد من ذروة استخدام الذاكرة أثناء التكيف.
• التعميم: تؤدي الطريقة أداءً ثابتاً عبر أنواع الفساد المختلفة وأحجام النماذج المختلفة (ViT-S، ViT-Base، ViT-L).

الأهمية والادعاءات

يزعم البحث أن NEO تمثل خطوة مهمة للأمام لجعل التكيف وقت الاختبار (TTA) عملياً في عمليات النشر الحقيقية ذات الموارد المحدودة. من خلال الاستفيد من الخصائص الهندسية للانهيار العصبي، تلغي NEO الحاجة إلى حلقات التحسين المكلفة ومجموعات البيانات الكبيرة.

يؤكد المؤلفون أن NEO هي:

• أنيقة وبسيطة: تتطلب تغييرات طفيفة في الكود.
• فعالة في الموارد: مناسبة للحوسبة الطرفية حيث تعتبر قيود الذاكرة وزمن الانتقال أمراً حاسماً.
• قوية: فعالة حتى مع ندرة البيانات (التكيف مع عينة واحدة) وتوزيعات الفئات غير المتوازنة.
• مؤسسة نظرياً: توفر منظوراً جديداً حول كيفية تأثير تحولات التوزيع على الفضاءات الكامنة وكيف يمكن تصحيحها تحليلياً.

يشير العمل إلى أن فهم الهندسة الهيكلية للتضمينات يوفر بديلاً قوياً للتكيف القائم على التدرج (Gradient-based)، مما قد يحفز المزيد من التطوير لطرق TTA فعالة وخالية من التحسين.