🤖 AI

Contrastive Residual Energy Test-time Adaptation

تقترح هذه الورقة CreTTA، وهي طريقة قابلة للتوسع للتكيف في وقت الاختبار، تعيد صياغة تعلم التوزيع الهامشي كمسألة طاقة متبقية تباينية للقضاء على أخذ العينات المكلف، وضمان تنبؤات جيدة المعايرة، ومنع الإفراط في التخصيص دون الاعتماد على تقديرات التسميات غير المؤكدة.

المؤلفون الأصليون: Yewon Han, Seoyun Yang, Taesup Kim

نُشر 2026-05-06

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yewon Han, Seoyun Yang, Taesup Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ أمضى سنوات في إتقان وصفة لنوع معين من الحساء في مطبخ مشمس ودافئ. أنت تعرف تماماً كيف تبدو نكهات المكونات وكيف تتفاعل في تلك البيئة. فجأة، طُلب منك طهي نفس الحساء في كهف شديد البرودة والرياح. المكونات (البيانات) هي نفسها، لكن البيئة (التوزيع) قد تغيرت. طعم الحساء أصبح خاطئاً، وحيلك المعتادة لا تجدي نفعاً.

هذه هي مشكلة التكيف وقت الاختبار (Test-Time Adaptation - TTA). إنها تتعلق بمساعدة نموذج الذكاء الاصطناعي على التكيف فورياً عندما يتغير العالم، دون الحاجة إلى معلم جديد (تسميات/Labels) ليخبره بما هو صحيح أو خاطئ.

يقدم البحث طريقة جديدة تسمى CRETTA (التكيف التبايني للمتبقي للطاقة وقت الاختبار). وإليك كيفية عملها، مقسمة إلى مفاهيم بسي بسيطة:

المشكلة: خياران سيئان

قبل ظهور CRETTA، كان أمام الطهاة (باحثي الذكاء الاصطناعي) طريقتان رئيسيتان لإصلاح الحساء، وكلتاهما تعاني من عيوب جوهرية:

1. طريقة "التخمين والتحقق" (تقليل الإنتروبيا - Entropy Minimization):

كيف تعمل: ينظر الطاهي إلى الحساء، ويخمن كيف يجب أن يكون طعمه، ثم يحاول جعل الحساء يشبه ذلك التخمين.
العيب: إذا أخطأ الطاهي، فإنه سيصبح فقط أكثر ثقة في خطئه. الأمر يشبه طالباً يخمن الإجابات في اختبار، ثم يدرس الإجابات الخاطئة فقط لأنه يعتقد أنها صحيحة. يصبح الذكاء الاصطناعي مفرط الثقة ويقدم تنبؤات سيئة بيقين عالٍ.

2. طريقة "البطء والثبات" (النماذج القائمة على الطاقة مثل TEA):

كيف تعمل: بدلاً من التخمين، يحاول الطاهي فهم فيزياء الكهف. إنه ينمذج البيئة بأكملها ليرى كيف يجب أن يكون الحساء.
العيب: للقيام بذلك، يتعين على الطاهي تشغيل آلاف عمليات المحاكاة (Sampling) لضبط الرياضيات بشكل صحيح. الأمر يشبه محاولة التنبؤ بالطقس عبر تشغيل محاكاة حاسوبية فائقة لكل دقيقة تمر. إنها دقيقة للغاية ولكنها بطيئة جداً. لا يمكنك الانتظار لساعات حتى يجهز حساؤك.

الحل: CRETTA (الاختصار الذكي)

CRETTA هي طريقة جديدة للطهي تجمع بين سرعة الطريقة الأولى وموثوقية الطريقة الثانية، دون التكلفة الحسابية الباهظة.

1. فكرة "المتبقي" (الفرق الجوهري)

بدلاً من محاولة إعادة تعلم الوصفة الكاملة من الصفر (وهو أمر صعب وبطيء)، تسأل CRETTA: "ما هو الفرق بين المطبخ المشمس والكهف المتجمد؟"

التشبيه: تخيل أن لديك خريطة للمطبخ المشمس. عندما تنتقل إلى الكهف، لا تحتاج إلى خريطة جديدة للعالم بأكمله. تحتاج فقط إلى ملاحظة صغيرة تقول: "درجة الحرارة أقل بـ 20 درجة، والرياح تهب من الشمال".
في البحث: يحتفظ الذكاء الاصطناعي بمعرفته الأصلية (نموذج المصدر) ثابتة، ويتعلم فقط دالة "متبقية" (Residual function) صغيرة تلتقط الفرق بين العالم القديم والعالم الجديد. هذا يمنع الذكاء الاصطناعي من نسيان ما يعرفه بالفعل.

2. خدعة "التباين" (لعبة الأزواج)

كانت أكبر معضلة في طريقة "البطء والثبات" هي الرياضيات المطلوبة لحساب "ثابت التقييس" (رقم معقد مطلوب لجعل الاحتمالات تجمع لتصل إلى 100%). حساب هذا يتطلب عادةً تلك المحاكاة البطيئة والمكلفة.

تتجاوز CRETTA ذلك من خلال لعب لعبة الأزواج:

التشبيه: بدلاً من محاولة قياس الارتفاع الدقيق لكل جبل في العالم (مما يتطلب مسحاً عالمياً)، يقوم الطاهي ببساطة بمقارنة جبلين جنباً إلى جنب. "هل الجبل (أ) أعلى من الجبل (ب)؟"
في البحث: يأخذ الذكاء الاصطناعي عينة من "الكهف" الجديد (الهدف) وعينة من "المطبخ" القديم (المصدر) ويسأل: "هل تبدو العينة الجديدة أكثر 'طبيعية' للبيئة الجديدة مقارنة بالعينة القديمة؟"
السحر: من خلال مقارنة الأزواج، تُلغى الرياضيات المعقدة (ثابت التقييس) تلقائياً. إنها تختفي من المعادلة! وهذا يعني أن الذكاء الاصطناعي يمكنه التعلم دون تشغيل تلك المحاكاة المكلفة والبطيئة. الأمر يشبه حل لغز عن طريق مقارنة القطع بدلاً من قياس الصندوق بأكمله.

3. "الوزن التكيفي" (آلية التصحيح الذاتي)

أحياناً، حتى الطرق الجيدة قد تتعثر أو تقع في فخ "الفرط في التخصيص" (Overfitting) (أي حفظ الضجيج بدلاً من الإشارة الحقيقية). تمتلك CRETTA صمام أمان مدمج.

التشبيه: تخيل معلماً يصحح لطالب. إذا كان الطالب يجيب بشكل صحيح بالفعل، يكتفي المعلم بلمسة تشجيع بسيطة (تحديث صغير). أما إذا كان الطالب بعيداً تماماً عن الصواب، فإن المعلم يقدم تصحيحاً قوياً (تحديث كبير).
في البحث: تقوم الطريقة تلقائياً بتعديل مدى قوة دفعها للذكاء الاصطناعي للتعلم بناءً على "فرق الطاقة" بين عينات المصدر وعينات الهدف. هذا يحافظ على استقرار التعلم ويمنع الذكاء الاصطناعي من فقدان السيطرة أو الوقوع في فخ التخصيض المفرط.

النتائج: لماذا يهم هذا؟

اختبر البحث CRETTA على مجموعات بيانات صور "مشوهة" قياسية (مثل الصور التي بها ضباب، أو ثلج، أو ضجيج).

السرعة: هي أسرع بنحو 8 مرات (من حيث قوة الحوسبة المستخدمة) من أفضل طريقة سابقة (البطء والثبات).
الدقة: تتنبأ بشكل أفضل من طرق "التخمين والتحقق".
الموثوقية: الأهم من ذلك، أنها معايرة جيداً (Well-calibrated). وهذا يعني أنه عندما يقول الذكاء الاصطناعي: "أنا متأكد بنسبة 90%"، فإنه يكون محقاً بالفعل بنسبة 90%. إنه لا يصبح مفرط الثقة عندما يخطئ، وهو أمر حيوي للسلامة في العالم الحقيقي.

الملخص

CRETTA هي أداة جديدة تساعد الذكاء الاصطناعي على التكيف مع المواقف الجديدة والفوضوية في العالم الحقيقي بسرعة وأمان. بدلاً من محاولة إعادة تعلم كل شيء أو تشغيل محاكاة بطيئة، فإنها ببساطة تتعلم الفرق بين العالم القديم والعالم الجديد من خلال مقارنة الأزواج. هذا يلغي الحاجة إلى الرياضيات المكلفة، مما يجعلها سريعة بما يكفي للاستخدام في الوقت الفعلي مع الحفاظ على تواضع ودقة الذكاء الاصطناعي.

ملخص تقني: التكيف عند وقت الاختبار باستخدام طاقة المتبقي التبايني (CRETTA)

بيان المشكلة
تعاني نماذج التعلم العميق غالبًا من تدهور الأداء عندما تختلف توزيعات بيانات الاختبار عن توزيعات التدريب (انزياح التوزيع). يهدف التكيف عند وقت الاختبار (TTA) إلى التخفيف من ذلك عبر تكييف النماذج مع البيانات المستهدفة غير المصنفة أثناء الاستدلال. ومع ذلك، تواجه أساليب TTA الحالية مقايضة حرجة بين الموثوقية والكفاءة:

أساليب تقليل الإنتروبيا (EM): تعتمد أساليب مثل TENT على تقليل إنتروبيا تنبؤات النموذج. ورغم كفاءتها الحسابية، إلا أنها تعتمد جوهريًا على تنبؤات غير مؤكدة دون وجود تسميات (labels) حقيقية. وهذا يخلق "تحيز التأكيد الذاتي"، مما يدفع الاحتمالات المتوقعة إلى قيم متطرفة (0 أو 1)، مما يؤدي إلى ثقة مفرطة شديدة ومعايرة سيئة.
النماذج القائمة على الطاقة (EBMs): تقوم أطر العمل مثل TEA بنمذجة التوزيع الهامشي لبيانات الهدف مباشرة، متجنبة الاعتماد على تنبؤات التسميات. ورغم أنها أكثر موثوقية، إلا أن أساليب EBM القياسية تتطلب تقدير ثابت غير قابل للحل (partition function) عبر أخذ عينات مكلفة (مثل سلاسل ماركوف). وهذا يؤدي إلى أخطاء تقريب وعبء حسابي باهظ، مما يعيق القابلية للتوسع والنشر في الوقت الفعلي.

المنهجية: CRETTA
يقترح المؤلفون إطار عمل التكيف عند وقت الاختبار باستخدام طاقة المتبقي التبايني (CRETTA)، وهو إطار عمل خالٍ من أخذ العينات يعمل على تحسين التوزيع الهامشي مع إلغاء الحاجة إلى تقريب ثابت التوزيع.

صياغة طاقة المتبقي: تعيد الطريقة تعريف انزياح التوزيع كتعلم لـ دالة طاقة متبقية ( $\tilde{E}_\theta$ ). يتم نمذجة توزيع الهدف $p_\theta$ كحاصل ضرب نموذج مصدر مسبق التدريب ومجمد $q_\phi$ في حد متبقي أسي:
$p_\theta(x) = \frac{1}{Z(\theta)} q_\phi(x) \exp\left(-\frac{1}{\beta} \tilde{E}_\theta(x)\right)$
هنا، تلتقط $\tilde{E}_\theta$ فقط التفاوت بين توزيع المصدر وتوزيع الهدف، حيث تعمل كمنظم ضمني لمنع الإفراط في التخصيص (overfitting) لنطاق الهدف.
الهدف التبايني: بدلاً من تقدير الاحتمال الأقصى (MLE)، الذي يتطلب أخذ عينات، يستخدم CRETTA هدفًا تباينيًا زوجيًا. فهو يتعلم تخصيص طاقة أقل لعينات الهدف ( $x_t$ ) مقارنة بعينات المصدر ( $x_s$ ). يتم نمذجة احتمال أن تكون عينة الهدف ذات طاقة أقل من عينة المصدر باستخدام دالة سيجمويد (sigmoid):
$P(\tilde{E}_\theta(x_t) < \tilde{E}_\theta(x_s)) = \sigma(\tilde{E}_\theta(x_s) - \tilde{E}_\theta(x_t))$
ومن الأهمية بمكان أنه من خلال العمل على الفرق في الطاقات بين الأزواج، يلغي ثابت التوزيع $Z$ رياضيًا. وهذا يجعل الهدف قابلاً للحل دون أي خطوات لأخذ العينات.
إعادة وزن التدرج التكيفي: يتم إعادة وزن تدرج الخسارة بشكل تكيفي بناءً على فرق الطاقة النسبي بين أزواج المصدر والهدف. هذه الآلية تنظم قوة التعلم: تكون التحديثات أقوى عندما يتعارض فرق الطاقة مع التفضيل المطلوب، وأضعف عندما يكون متوافقًا معه. هذا يمنع النموذج من الانهيار إلى حلول تافهة ويضمن استقرار التكيف.
مخزن المصدر المؤقت (Source Buffer): تستخدم الطريقة مخزنًا صغيرًا لعينات المصدر (بنسبة ضئيلة تصل إلى 1% من مجموعة بيانات المصدر) لتكوين أزواج مع دفعات الهدف الواردة. يشير البحث إلى أن محتوى المخزن لا يجب أن يكون بيانات المصدر الأصلية بدقة، بل يجب أن يكون مشابهًا لها توزيعيًا.

المساهمات الرئيسية

إطار عمل EBM خالٍ من أخذ العينات: يزيل CRETTA عقبة أخذ العينات المتأصلة في نماذج EBM التقليدية، مما يوفر كفاءة حسابية وقابلية توسع كبيرة مناسبة للتطبيقات في الوقت الفعلي.
إعادة صياغة نظرية: من خلال إعادة تعريف TTA كتعلم لدالة طاقة متبقية مع هدف تبايني، ألغى المؤلفون الحاجة إلى تقريب ثابت التوزيع.
الاستقرار عبر التنظيم الضمني: يكشف التحليل أن صياغة المتبقي وإعادة وزن التدرج التكيفي يعملان كمنظمات ضمنية، مما يقلل بفعالية من الإفراط في التخصيص وتحيز التأكيد الذاتي المشاهد في تقليل الإنتروبيا.

النتائج التجريبية
أُجريت تجارب واسعة النطاق على مجموعات بيانات CIFAR10-C، وCIFAR100-C، وTinyImageNet-C، وImageNet-C، وPACS تحت مستويات مختلفة من شدة الفساد وانزياحات التوزيع.

الأداء: تفوق CRETTA باستمرار على النماذج المرجعية (بما في ذلك TENT وTEA وBN-Adapt وSAR) في كل من دقة التصنيف (المقاسة بـ mCE) والمعايرة (المقاسة بـ ECE). على سبيل المثال، في CIFAR10-C (الشدة 5)، حقق CRETT ميزًا قدره 71.25% وECE قدره 4.15%، متفوقًا على TEA (mCE 73.18%، ECE 3.83%) وTENT (mCE 73.91%، ECE 5.49%).
القابلية للتوسع: في مجموعات البيانات واسعة النطاق مثل ImageNet-C، أظهر TEA تدهورًا في الأداء بسبب تراكم أخطاء التقريب، بينما حافظ CRETTA على استقرار المعايرة والدقة.
الكفاءة: قلل CRETTA التكاليف الحسابية بنحو 8 أضعاف مقارنة بـ TEA (على سبيل المثال، ~527 GFLOPs مقابل ~4335 GFLOPs في CIFAR10-C) مع تحقيق أداء متفوق أو مماثل.
المتانة: أظهرت الطريقة متانة في حالات غير متماثلة التوزيع (non-IID) (محاكاة عبر توزيع ديريكليه) وفي حالات انزياح التوزيع التدريجي، مما منع "نسيان" معرفة المصدر الملاحظ في طرق MLE.

الأهمية والادعاءات
يدعي البحث أن CRETTA يسد الفجوة بين التكيف المراعي للمعايرة والجدوى العملية. فهو يعالج المعضلة حيث تكون الأساليب الموجودة إما فعالة ولكن غير موثوقة (القائمة على الإنتروبيا) أو موثوقة ولكن مكلفة حسابيًا (القائمة على أخذ العينات). ومن خلال تحقيق تكييف جيد المعايرة دون أخذ عينات، يقدم CRETT حلاً قابلاً للتوسع للسيناريوهات الواقعية حيث يجب أن تعمل النماذج تحت انزياحات التوزيع مع إشراف محدود وقيود صارمة على زمن الاستجابة. ويؤكد المؤلفون أن نهجهم يوفر استراتيجية تحسين مستقرة ومبدئية تعزز جودة التمثيل بدلاً من مجرد زيادة الثقة في التنبؤ.