ملخص تقني: Tempora – توصيف المنفعة المرتبطة بالزمن لعمليات التكيف مع النموذج أثناء وقت الاختبار عبر الإنترنت

1. بيان المشكلة

تعاني نماذج تعلم الآلة المنشورة في أنظمة واقعية غير مستقرة (non-stationary) غالباً من تدهور الأداء عندما ينحرف توزيع الاختبار عن توزيع التدريب (انزياح المتغيرات المشتركة/covariate shift). يعالج التكيف مع وقت الاختبار (TTA) هذه المشكلة من خلال السماح للنماذج بالتكيف باستخدام البيانات غير المصنفة الواردة فقط والمعلمات المدربة مسبقاً، دون الحاجة إلى بيانات المصدر أو الملصقات (labels).

ومع ذلك، تعاني التقييمات التقليدية لطرق TTA من خلل جوهري: فهي تفترض وقتاً غير محدود للمعالجة. تسجل المعايير القياسية تحسينات الدقة الإجمالية مع تجاهل العبء الحسابي الذي تفرضه آليات التكيف (مثل تحديثات التدرج أو التحسين التكراري). في عمليات النشر الحساسة للزمن (مثل القيادة الذاتية، التصوير على الأجهزة، أو دعم القرار السريري)، يكون التنبؤ الصحيح الذي يصل بعد إغلاق المستخدم للتطبيق أو اتخاذ الروبوت لقرار ما عديم الفائدة. يفشل نموذج التقييم الحالي في مراعاة المقايضة بين الدقة والكمون (latency)، مما يؤدي إلى اختيار طرق قد تكون "مفلسة حسابياً" تحت القيود الزمنية الواقعية.

2. المنهجية: إطار عمل Tempora

يقدم المؤلفون Tempora، وهو إطار عمل مصمم لتقييم TTA تحت الضغط الزمني. يقوم هذا الإطار بتشغيل المقايضة بين الدقة والكمون من خلال ثلاثة سيناريوهات زمنية متميزة، لكل منها بروتوكول تقييم خاص ومقياس منفعة مرتبط بالزمن.

2.1 السيناريوهات الزمنية والمقاييس

يعرّف الإطار المنفعة $U$ كدالة تربط المسار المشترك للتنبؤات والكمون بقيمة عددية، مشروطة بسياق النشر:

1. المنفعة المنفصلة (بقيادة البيئة):

   • السيناريو: تدفقات غير متزامنة ذات مواعيد نهائية صارمة (مثل شبكات الاستشعار). تصل الدفعات (batches) في فترات ثابتة $\gamma$. إذا كان خط المعالجة مشغولاً، يتم تخطي الدفعات.
   • المقياس: $U_{discrete} = \alpha \cdot \bar{a}_{served}$، حيث $\alpha$ هي التوافر (نسبة الدفعات التي تمت خدمتها) و $\bar{a}_{served}$ هي الدقة على الدفعات التي تمت خدمتها.
   • البروتوكول: يستخدم خط معالجة بنموذج واحد مع ذاكرة تخزين مؤقت بحجم الدفعة. وخلافاً للأعمال السابقة التي تستخدم نماذج احتياطية لضمان التوافر، يكشف هذا البروتوكول عن تكلفة الدفعات المفقودة.

2. المنفعة المستمرة (بقيادة المستخدم):

   • السيناريو: الإعدادات التفاعلية حيث تتضاءل القيمة مع زيادة الكمون (مثل وسم الصور على الأجهزة). يتزامن التدفق مع انبعاث التنبؤ؛ لا يتم تخطي أي دفعات، لكن التأخير يقلل من تجربة المستخدم.
   • المقياس: $U_{continuous} = \bar{a} \cdot \bar{\kappa} + \text{Cov}(a, \kappa)$، حيث $\bar{\kappa}$ هو عامل الاستجابة المستمد من التضاؤل الزائدي. يفرض الكمون $d_i$ عقوبة $\kappa_i = (1 + d_i/(T-\lambda))^{-1}$، حيث $T$ هو عتبة التفاعل بين الإنسان والحاسوب (HCI).
   • البروتوكول: يعاقب التنبؤات المتأخرة بشكل غير خطي، مما يعكس أن تأخيراً قدره 100 مللي ثانية هو أكثر حدة إدراكياً من تأخير لمدة ثانية واحدة بالنسبة لخط الأساس.

3. المنفعة المستهلكة (بقيادة الموارد):

   • السيناريو: عمليات النشر ذات الميزانية المحدودة (مثل الطائرات بدون طيار التي تعمل بالبطارية). إجمالي عبء التكيف محدد بسقف معين، لكن الكمون لكل تنبؤ لا يهم.
     ‌* المقياس: $U_{amortised} = \beta \cdot \bar{a}_{adapt} + (1-\beta) \cdot \bar{a}_{frozen}$، حيث $\beta$ هي نسبة التدفق الذي تمت معالجته باستخدام التكيف قبل استنفاد الميزانية $B$.
   • البروتوكول: يتكيف النموذج حتى يتم استهلاك ميزانية العبء التراكمي، ثم يتوقف عن التكيف (يتجمد) لما تبقى من التدفق. هذا يكشف ما إذا كان التكيف يحقق تحسينات مستدامة أم يسبب انحرافاً يضر بالأداء بعد التوقف عن التكيف.

2.2 الإعداد التجريبي

• الطرق: تم تقييم سبع طرق TTA كاملة: AdaBN، LAME، NEO (بدون تدرج) و Tent، ETA، SHAT-IM، SAR (باعتماد التدرج).
• مجموعة البيانات: ImageNet-C (15 نوعاً من الفساد، مستوى شدة 5) مع هيكل ResNet-50.
• خط الأساس: الاستدلال القياسي (غير التكيفي).
• التقييم: 240 تقييماً زمنياً لكل طريقة عبر 16 سيناريو (5 استخدامات منفصلة، 5 عتبات مستمرة، 6 ميزانيات مستهلكة) و 15 نوعاً من الفساد.

3. النتائج الرئيسية

3.1 عدم استقرار الترتيب

النتيجة الأكثر أهمية هي عدم استقرار الترتيب (rank instability): الطريقة التي تُعتبر مثالية في التقييم غير المقيد (offline) غالباً ما يكون أداؤها ضعيفاً تحت الضغط الزمني.

• طريقة ETA، وهي الطريقة الأفضل حالياً في الإعدادات التقليدية (تحتل المركز الأول في التقييم غير المقيد)، تفقد مكانتها في 41.2% من التقييمات الزمنية.
• تحت الضغط الشديد (مثلاً $\rho=100\%$، $T=50$ مللي ثانية)، تنخفض نسبة فوز ETA إلى 0–7%.
• "أفضل" طريقة تختلف بشكل كبير بناءً على نوع الفساد وعلى القيد الزمني المحدد. لا توجد طريقة واحدة تهيمن على جميع السيناريوهات.

3.2 المقايضات الخاصة بنوع الفساد

يتأثر عدم استقرار الترتيب بنوع الفساد. على سبيل المثال، في التقييم المستمر مع نافذة 50 مللي ثانية، يتراوح ارتباط Spearman بين الترتيبات غير المقيدة والترتيبات الزمنية من $r_s = -0.74$ (للسطوع) إلى $r_s = 0.21$ (للضوضاء الغاوسية).

• الآلية: تؤثر أنواع الفساد المختلفة على الميزات بطرق متباينة (على سبيل المثال، تغيير السطوع يغير البكسلات بشكل موحد مقابل الضوضاء الغاوسية التي تغيرها بشكل مستقل)، ومع ذلك تخصص الطرق الحالية الحوسبة بشكل موحد. الترتيبات غير المقيدة تضلل عملية اختيار الطريقة عندما لا يتوافق نوع الفساد مع ملف العبء الخاص بالطريقة.

3.3 المقايضات الخاصة بالضغط

يزداد عدم استقرار الترتيب مع زيادة الضغط الزمني.

• التقييم المستهلك (Amortised): عند الميزانيات الضيقة ($B=1$ ثانية)، تهيمن SHOT-IM بسبب متانتها بعد التوقف عن التكيف. وعند الميزانيات المريحة ($B=32$ ثانية)، تهيمن ETA.
• تفكيك الفشل: يحدد البحث ثلاثة أنماط للفشل ناتجة عن العبء غير المبرر:
  1. انهيار التوافر: في الإعدادات المنفصلة، تفقد الطرق ذات العبء العالي (مثل Tent و SAR) الكثير من الدفعات، مما يضع حداً لمنفعتها بغض النظر عن دقة الدفعات التي تمت خدمتها.
  2. تآكل الدقة: في الإعدادات المستمرة، يقلل الكمون العالي من قيمة الدقة بشدة بحيث تقدم حتى الطرق عالية الأداء منفعة منخفضة.
  3. العبء غير المنتج: في الإعدادات المستهلكة، تستنفد طرق مثل Tent و ETA و SAR ميزانيتها بسرعة ولكنها تفشل في إنتاج تمثيلات مستقرة، مما يؤدي إلى دقة مجمدة قريبة من 0.1% (وهي أسوأ من الاستدلال القياسي).

4. الأهمية والمساهمات

يزعم البحث أن Tempora يوفر أول عدسة منهجية لتقييم TTA عبر مختلف القيود الزمنية، ويكشف أن:

1. الترتيبات غير المقيدة غير كافية: لا يمكن للممارسين اختيار طرق TTA بناءً على الدقة غير المقيدة فقط؛ فـ "أفضل" طريقة تعتمد على ميزانية الوقت ونوع الفساد في بيئة النشر.
2. أهداف التصميم للتكيف القابل للنشر: لكي تكون الطرق المستقبلية قابلة للتطبيق، يجب أن تمتلك:
   • تخصيصاً مشروطاً بالفساد: تكييف تخصيص الحوسبة بناءً على صعوبة الانزياح المحدد.
   • توسعاً واعياً بالزمن: وضع حدود لتأخير الاستجابة للوفاء بالمواعيد النهائية.
   • أداءً في أي وقت (Anytime performance): ضمان أن العبء المنقضي يحقق مكاسب فوق الاستدلال القياسي بغض النظر عن وقت توقف التكيف.

لا يقترح الإطار خوارزميات تكيف جديدة، بل يقدم بروتوكول تقييم أكثر واقعية يكشف عن "الإفلاس الحسابي" للطرق الحالية المتطورة في السيناريوهات الواقعية. ومن خلال نقل التركيز من "أي طريقة هي الأكثر دقة؟" إلى "أي طريقة تقدم دقة مقبولة بتكلفة قابلة للتطبيق؟"، يهدف Tempora إلى توجيه تطوير أنظمة تكيف حقيقية وقابلة للنشر مرتبطة بالزمن.