🤖 machine learning

Adapting in the Dark: Efficient and Stable Test-Time Adaptation for Black-Box Models

تقدم الورقة البحثية BETA، وهو إطار عمل مبتكر للتكيف عند وقت الاختبار للنماذج الصندوقية السوداء (black-box) يستخدم نموذج توجيه محلي خفيف الوزن وتناغماً في التنبؤ لتحقيق مكاسب أداء مستقرة وفعالة مع زمن انتقال مهمل وتكاليف واجهة برمجة تطبيقات (API) أقل بكثير مقارنة بالطرق الحالية.

المؤلفون الأصليون: Yunbei Zhang, Shuaicheng Niu, Chengyi Cai, Feng Liu, Jihun Hamm

نُشر 2026-04-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yunbei Zhang, Shuaicheng Niu, Chengyi Cai, Feng Liu, Jihun Hamm

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك عرافة فائقة الذكاء وغامضة (نموذج ذكاء اصطناعي قوي) تعيش في قلعة مغلقة. يمكنك إرسال سؤال إليها (صورة)، وهي تعطيك الإجابة (توقع). لكن العقدة تكمن في الآتي: لا يمكنك رؤية ما بداخل القلعة. أنت لا تعرف كيف تفكر، ولا يمكنك لمس عقلها، ولا يمكنك أن تطلب منها تغيير رأيها. وفي كل مرة تطرق فيها الباب لتسأل سؤالاً، فإن ذلك يكلفك مالاً ويستغرق وقتاً.

الآن، تخيل أن العالم خارج القلعة قد تغير. أصبح الإضاءة غريبة، أو تحول الجو إلى ضبابي، أو أصبحت الصور مشوهة. العرافة، التي تدربت على أيام مشمسة مثالية، بدأت ترتكب الأخطاء. أنت بحاجة لجعلها تتكيف مع هذا الواقع الجديد والفوضوي الآن، لكن لا يمكنك الدخول لإصلاحها.

هذه هي المشكلة التي يحلها BETA.

المشكلة: معضلة "الصندوق الأسود"

حاول معظم خبراء الذكاء الاصطناعي حل هذه المشكلة بطريقتين، لكن لكل منهما عيوب جسيمة:

طريقة "الملاحظة اللاصقة" (تحسين المخرجات): تأخذ إجابة العرافة الخاطئة وتحاول تعديلها باستخدام ملاحظة لاصقة. إنها طريقة رخيصة وسريعة، لكنها تشبه محاولة إصلاح سيارة مكسورة عن طريق طلاء الصدمة فوقها. هي لا تصلح المحرك فعلياً.
طريقة "التخمين والتحقق" (التحسين من الدرجة صفر): تبدأ بإلقاء تغييرات عشوائية على المدخلات (مثل إضافة ضجيج ساكن إلى الصورة) وتسأل العرافة: "هل هذا أفضل؟" وتفعل ذلك آلاف المرات لتجد التعديل الصحيح.
- العيب: إنها مكلفة للغاية (أنت تطرق الباب آلاف المرات) وغير مستقرة. قد ترتبك العرافة وتبدأ في "الهلوسة"، فتعطيك إجابة واثقة ولكنها خاطئة تماماً.

الحل: BETA (المدرب المحلي)

يقدم مؤلفو هذه الورقة البحثية نظام BETA. فبدلاً من محاولة إصلاح العرافة مباشرة أو التخمين بشكل أعمى، هم يستعينون بـ مدرب محلي.

إليك كيف يعمل BETA، باستخدام تشبيه بسيط:

1. المدرب المحلي (نموذج التوجيه)

بما أنك لا تست تستطيع رؤية ما بداخل قلعة العرافة، فأنت تحضر طالباً صغيراً يقرأ من كتاب مفتوح (نموذج ذكاء اصطناي خفيف الوزن) يعيش على جهاز الكمبيوتر الخاص بك. أنت تعرف كل شيء عن هذا الطالب: كيف يفكر، وبنية عقله، وكيفية تعليمه.

ملاحظة: هذا الطالب ليس بذكاء العرافة. قد تكون دقة نموذجه 50% فقط بمفرده. لكنه متاح ومكشوف.

2. الرقصة "المتناغمة" (تناغم التوقعات)

تأخذ صورة فوضوية وتعرضها على كل من العرافة والطالب.

العرافة تعطي إجابتها (لكنك لا تستطيع تغيير عقلها).
الطالب يعطي إجابته (وأنت تستطيع تغيير عقله).

يخلق BETA هدفاً مشتركاً: "دعونا نجعل الطالب والعرافة يتفقان على الإجابة الصحيحة".

إذا قالت العرافة "كلب" وقال الطالب "قطة"، يقوم النظام بتعديل الصورة قليلاً (بإضافة "محفز بصري" أو مرشح خفي) حتى يبدأ الطالب في رؤية "الكلب" أيضاً.
ولأن الطالب "مكشوف"، يمكنك حساب كيفية تعديل الصورة بدقة لجعلها ترى "الكلب".
الخدعة السحرية: بما أن الطالب والعرافة ينظران إلى نفس الصورة المعدلة، فإن التعديل الذي يساعد الطالب غالباً ما يساعد العرافة أيضاً! أنت تستخدم "عقل" الطالب لتوجيه مسار العرافة "الأعمى".

3. شبكة الأمان (الاستقرار)

هناك خطر: قد يصبح الطالب واثقاً جداً من نفسه ويبدأ في رؤية "كلاب" في السحب فقط لإرضاء الهدف، حتى لو كانت العرافة مخطئة.

تنظيم الاتساق: يضيف BETA قاعدة: "لا تغير الصورة لدرجة تجعلها تتوقف عن كونها الصورة الأصلية". هذا يحافظ على التعديلات دقيقة ومنطقية.
تصفية البيانات: يتجاهل BETA الصور المربكة والفوضوية التي قد تخدع الطالب. هو يتعلم فقط من الأمثلة الواضحة والموثوقة.

لماذا يعد هذا تغييراً جذرياً في قواعد اللعبة؟

إنه رخيص: طريقة "التخمين والتحقق" القديمة قد تكلفك 100 دولار لإصلاح دفعة واحدة من الصور لأنها تطرق باب العرافة آلاف المرات. أما BETA فيطرق الباب مرة واحدة فقط. وتكلفته 0.40 دولار. هذا توفير بنسبة 250 ضعفاً.
إنه سريع: لأن BETA يسأل العرافة مرة واحدة فقط، فإنه يعمل في الوقت الفعلي. يمكنك التكيف مع يوم ضبابي أثناء القيادة، وليس بعد أن تصطدم.
يعمل على أي شيء: سواء كانت العرافة عبارة عن "محول رؤية" (Vision Transformer) ضخم أو نموذج لغوي معقد، فإن BETA يحتاج فقط إلى طالب صغير ومكشوف لتوجيهه.

الخلاصة

BETA يشبه امتلاك خبير معصوب العينين (العرافة) ومتدرب مبصر (المدرب المحلي). المتدرب لا يمكنه رؤية الوجهة النهائية، لكن يمكنه رؤية الطريق. ومن خلال توجيه المتدرب لإيجاد الطريق الصحيح، يتبع الخبير المعصوب العينين نفس المسار دون الحاجة لرفع العصابة عن عينيه.

إنه يسمح لنا بتكييف نماذج الذكاء الاصطناعي القوية والمغلقة مع العالم الحقيقي الفوضوي بكفاءة، وأمان، ودون استنزاف الميزانية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Adapting in the Dark: Efficient and Stable Test-Time Adaptation for Black-Box Models" (BETA).

1. تعريف المشكلة

تتناول الورقة مسألة التكيف وقت الاختبار (Test-Time Adaptation - TTA) في إطار الصندوق الأسود الصارم (Strict Black-Box Setting).

السياق: تُنشر نماذج التعلم العميق الحديثة بشكل متزايد كواجهات برمجة تطبيقات (APIs) معتمة (مثل النماذج التجارية للرؤية أو اللغة) حيث لا يمكن للمستخدمين سوى إرسال المدخلات واستلام احتمالات المخرجات.
القيود:
- لا وصول داخلي: لا يوجد وصول إلى معاملات النموذج (parameters)، أو التدرجات (gradients)، أو الميزات الوسيطة، أو بيانات التدريب المسبق.
- غير مُشرف (Unsupervised): يجب أن يحدث التكيف على تدفقات بيانات مستهدفة غير مصنفة.
- التكلفة والكمون (Latency): كل استدعاء للواجهة البرمجية (API) يترتب عليه تكلفة مالية وتأخير في الشبكة. يجب أن تقلل الطرق الفعالة من عدد الاستعلامات (يفضل استعلام واحد لكل عينة) وتتجنب الكمون العالي.
قصور الطرق الحالية:
- تحسين المخرجات (مثل LAME): قدرة تكيف محدودة لأنها تعدل التنبؤات النهائية فقط دون تغيير المدخلات.
- تعديل المدخلات (مثل Prompting القائم على ZOO): رغم قوتها، إلا أن تحسين التدرج من الدرجة صفر (ZOO) يتطلب مئات الاستدعاءات للواجهة لكل عينة (تكلفة عالية) ويعاني من عدم استقرار كارثي في البيئات غير المُشرفة (مثل تعلم "مطالبات" (prompts) منحطة تفسد المحتوى الدلالي).
- طرق الصندوق الرمادي (Gray-Box): تتطلب الوصول إلى الرموز (tokens) أو الميزات الداخلية، وهو أمر غير متاح في واجهات API الصندوق الأسود الصارمة.

2. المنهجية: إطار عمل BETA

يقترح المؤلفون BETA (Black-box Efficient Test-time Adaptation)، وهو إطار عمل يحقق تكيفاً مستقراً باستخدام نموذج توجيه (steering model) محلي خفيف الوزن و"صندوق أبيض" لتوجيه نموذج مستهدف قوي وغير متاح داخلياً.

المكونات الأساسية:

بنية ثنائية النموذج:
- النموذج المستهدف ( $f_B$ ): واجهة API قوية وصندوق أسود (مجمدة، ولا تتوفر لها تدرجات).
- نموذج التوجيه ( $f_S$ ): نموذج محلي خفيف الوزن ومتاح بالكامل (مثل ViT-Small) تم تهيئته من نقاط تفتيش عامة. يعمل بمثابة "مسار للتدرج".
تعلم المطالبة البصرية (Visual Prompt Learning):
- بدلاً من تحديث الأوزان، يتعلم BETA "مطالبة بصرية" إضافية $\delta$ تُضاف إلى الصورة المدخلة ( $x' = x + \delta$ ).
- الهدف هو تحسين $\delta$ لتحسين تنبؤات النموذج المستهدف دون الوصول إلى تدرجاته.
تنسيق التنبؤ (الابتكار الجوهري):
- المشكلة: نقل التدرجات بشكل بديهي من $f_S$ إلى $f_B$ يفشل لأن التشابه في التدرج بين البنى المختلفة يقترب من الصفر. كما أن طريقة ZOO مكلفة للغاية وغير مستقرة.
- الحل: يُعرف BETA التنبؤ المنسق $p_H$ الذي يدمج مخرجات كلا النموذجين:
  $p_H(x') = \alpha \cdot p_S(x') + (1 - \alpha) \cdot p_B(x')$
- التحسين: يقوم النظام بتقليل "الاعتلاج" (entropy) لهذا التوزيع المنسق. والأهم من ذلك، يتم حساب التدرجات فقط عبر نموذج التوجيه $f_S$ .
- التبرير التحليلي: ينقسم اعتلاج الخليط إلى اعتلاج نموذج التوجيه بالإضافة إلى حد تباعد جينسن-شانون (JS divergence) بين النموذجين.
  - تقليل $H(p_H)$ يؤدي فعلياً إلى تقليل اعتلاج $p_S$ بينما يعمل حد JS كقيد، مما يربط اتجاه التحسين بمعتقدات النموذج الأسود ( $p_B$ ). هذا يمنع "المطالبة" من دفع نموذج التوجيه ليكون واثقاً من فئات يرفضها النموذج المستهدف.
آليات الاستقرار:
لمنع عدم الاستقرار الشائع في تعلم المطالبات غير المُشرف (مثل انهيار المطالبة)، يستخدم BETA ما يلي:
- تصفية البيانات الموجهة نحو تعلم المطالبة: يتم إجراء التحديثات فقط على العينات التي يكون فيها اعتلاج تنبؤ نموذج التوجيه أقل من عتبة $\epsilon$ . هذا يستبعد العينات المشوشة وذات الاعتلاج العالي.
- تنظيم الاتساق (Consistency Regularization): يتم إضافة خسارة تباعد KL لضمان أن الصورة المطالبة $x'$ تعطي تنبؤات متسقة مع الصورة النظيفة $x$ على نموذج التوجيه. هذا يربط المطالبة بالمعرفة المسبقة للنموذج، مما يمنع الحلول المنحطة.
التحسين المشترك:
يجمع الهدف النهائي بين خسارة التنسيق، وخسارة التوجيه (لتحديث طبقات التقييس في $f_S$ )، وتنظيم الاتساق. العملية تتم بشكل مباشر (online)، حيث يتم تنفيذ خطوة تدرج واحدة لكل دفعة (batch).

3. المساهمات الرئيسية

أول دراسة منهجية لـ TTA في الصندوق الأسود الصارم: تحدد الورقة بدقة إعداد الصندوق الأسود الصارم (الوصول عبر API فقط) وتكشف عن قصور الطرق الحالية القائمة على المعالجة اللاحقة، أو التعزيز، أو ZOO.
إطار عمل مبتكر (BETA): يقدم طريقة تتجاوز استعلامات API المكلفة باستخدام نموذج توجيه محلي مع تنسيق التنبؤ. هذا يخلق مسار تدرج قابلاً للحوسبة دون الحاجة للوصول الداخلي للنموذج المستهدف.
تأسيس نظري: يوفر اشتقاقاً تحليلياً يوضح أن هدف التنسيق يتضمن حد تباعد JS الذي يربط التدرج المحلي بمعتقدات الهدف، مما يشرح سبب نجاح هذه الطريقة رغم الاختلافات في البنية المعمارية.
ابتكارات الاستقرار: يجمع بين تنظيم الاتساق وتصفية الاعتلاج لحل مشكلة عدم الاستقرار المتأصلة في تعلم المطالبات غير المُشرف.

4. النتائج التجريبية

قيم المؤلفون BETA على مجموعات ImageNet-C (الفساد)، وImageNet-S (الرسم التخطيطي)، وImageNet-R (التمثيل الفني)، وواجهة Clarifai التجارية.

الأداء على نماذج الرؤية (ViT-B/16 & ViT-L/16):
- في ImageNet-C (على ViT-B/16)، حقق BETA دقة 62.6% (زيادة قدرها 7.1% عن المصدر)، متفوقاً على طرق الصندوق الأبيض القوية مثل TENT (+4.1%) وCoTTA (+6.1%).
- تفوق بشكل كبير على طرق الصندوق الأسود الأخرى: حيث انهارت متغيرات ZOO في حالات الفساد الصعبة (على سبيل المثال، انخفضت دقة Contrast إلى 4.1% مع ZOO مقابل 53.4% مع BETA).
الأداء على نماذج الرؤية واللغة (CLIP):
- حقق BETA دقة 63.4% على CLIP، متفوقاً على طرق VLM المتخصصة (الصندوق الأبيض) مثل TPT وDynaPrompt.
كفاءة واجهات API في العالم الحقيقي (Clarifai):
- التكلفة: حقق BETA أداءً مقارباً لـ ZOO ولكن بتكلفة أقل بـ 250 مرة (0.4 دولار مقابل أكثر من 100 دولار).
- الكمون: يطابق BETA زمن الاستجتاج القياسي (استدعاء API واحد)، بينما تتطلب طرق ZOO أكثر من 16 استدعاءً، مما يسبب تباطؤاً شديداً.
التعميم:
- عملت BETA بفعالية على EuroSAT (صور الأقمار الصناعية) وDerm7pt (آفات الجلد الطبية) باستخدام نماذج توجيه zero-shot، مما أظهر المتانة حتى عندما لا يكون نموذج التوجيه مطابقاً تماماً دلالياً للنموذج المستهدف.
المتانة:
- ظلت الطريقة مستقرة تحت ظروف عدم توازن التسميات، وتحولات النطاق المستمرة، وأحجام الدفعات الصغيرة.

5. الأهمية والأثر

الجدوى العملية: يُعد BETA أول طريقة تجعل TTA قابلة للتطبيق عملياً على نماذج الـ API التجارية. لقد حلت معضلة "التكلفة مقابل جودة التكيف" التي جعلت TTA في الصندوق الأسود غير مجدية سابقاً.
تحول في النموذج المعرفي: تثبت الورقة أن نموذجاً أصغر ومحلياً يمكنه "توجيه" نموذج ضخم وغير متاح بفعالية دون تعديل أوزانه، مما يفتح آفاقاً جديدة لتكييف أنظمة الذكاء الاصطناعي المملوكة لجهات أخرى.
التطبيقات المستقبلية: يشير المؤلفون إلى أن بنية "المستشار" هذه (توجيه محلي + تنفيذ عن بُعد) هي نموذج أولي لتكييف مجموعات الوكلاء (agent stacks) وأنظمة الذكاء الاصطناعي متعددة المكونات حيث لا تتوفر سوى واجهات برمجة التطبيقات عن بُعد.

باختان، نجح BETA في سد الفجوة بين الحاجة النظرية للتكيف وقت الاختبار والقيود العملية لنشر الذكاء الاصطناعي الحديث القائم على الصندوق الأسود، مقدماً حلاً دقيقاً، مستقراً، ومجدياً اقتصادياً.