🤖 machine learning

Robust Adaptation of Foundation Models with Black-Box Visual Prompting

تقترح هذه الورقة BlackVIP، وهو إطار عمل فعال من حيث المعلمات يعمل على تكييف النماذج سابقة التدريب واسعة النطاق في بيئات الصندوق الأسود دون الوصول إلى معاملاتها أو تنشيطاتها المتوسطة، وذلك عبر استخدام منسق للمطالبات البصرية المعتمدة على المدخلات وخوارزمية SPSA-GC لتقدير التدرج بكفاءة، مع تقديم رابط نظري بالمتانة المعتمدة.

المؤلفون الأصليون: Changdae Oh, Gyeongdeok Seo, Geunyoung Jung, Zhi-Qi Cheng, Hosik Choi, Jiyoung Jung, Kyungwoo Song

نُشر 2026-04-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Changdae Oh, Gyeongdeok Seo, Geunyoung Jung, Zhi-Qi Cheng, Hosik Choi, Jiyoung Jung, Kyungwoo Song

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً عبقرياً خارقاً (النموذج الأساسي - Foundation Model) قضى سنوات في الطبخ داخل مطبخ تقني ضخم وعالي التطور. هذا الطباخ يعرف كيف يصنع آلاف الأطبى بإتقان تام. ومع ذلك، هناك عقبة:

لا يمكنك رؤية المطبخ: يعمل الطباخ في غرفة مغلقة. لا يمكنك لمس الموقد، أو تغيير الوصفات، أو رؤية قائمة المكونات (معلمات النموذج الداخلية مخفية).
لا يمكنك إحضار مكوناتك الخاصة: لا يمكنك الدخول والقول: "مهلاً، دعنا نضيف الملح هنا". يمكنك فقط تقديم طبق من الطعام الخام للطباخ وسؤاله: "هل يمكنك طهي هذا؟".
الذاكرة محدودة: مطبخ الطباخ كبير جداً لدرجة أن محاولة تذكر كل خطوة من كل وصفة لإجراء التغييرات ستؤدي إلى انهيار شبكة طاقة المبنى (تطلب ذاكرة هائلة).

عادةً، لتعليم هذا الطباخ خدعة جديدة (مثل صنع نوع معين من السوشي)، ستحتاج إلى إعادة كتابة كتاب وصفاته بالكامل. ولكن بما أنك لا تستطيع رؤية الكتاب، فأنت عالق.

إليك "BlackVIP": المنديل السحري.

تقدم هذه الورقة البحثية طريقة ذكية لتعليم الطباخ دون الحاجة أبداً لدخول المطبخ أو إعادة كتابة وصفاته. بدلاً من ذلك، أنت تستخدم منديلاً سحرياً (يسمى "المحفز البصري" - Visual Prompt).

إليك كيف يعمل ذلك، مقسماً إلى أجزاء بسيطة:

1. المنديل السحري (المحفز البصري - Visual Prompting)

بدلاً من محاولة تغيير دماغ الطباخ، تقوم برسم صورة على منديل وتضعها فوق الطعام الخام قبل تقديمه للطباخ.

الطريقة القديمة: كنت تحاول رسم نفس الصورة الثابتة على كل طبق (مثل إطار ثابت).
طريقة BlackVIP: لديك فنان روبوت صغير فائق السرعة (يسمى المنسق - Coordinator) ينظر إلى كل طبق طعام محدد ويرسم صورة مخصصة على المنديل خصيصاً لهذا الطبق.
- تشبيه: إذا كنت تقدم للطباخ صورة قطة، سيرسم الروبوت علامة "مياو" على المنديل. إذا كانت كلباً، سيرسم "هوهو". الروبوت يكيف التلميح بناءً على ما يراه.

2. اختبار التذوق الأعمى (التحسين للصندوق الأسود - Black-Box Optimization)

بما أنك لا تستطيع رؤية دماغ الطباخ، كيف تعرف ما إذا كان رسم المنديل الخاص بك جيداً؟

لا يمكنك سؤال الطباخ: "لماذا أخطأت في هذا؟" (لا توجد تدرجات أو معلمات متاحة).
الحل: تلعب لعبة "ساخن وبارد".
1. تعطي الطباخ طبقاً مع رسم مختلف قليلاً على المنديل.
2. ترى ما إذا كانت النتيجة قد تحسنت أم ساءت.
3. تفعل ذلك آلاف المرات، مع تعديل الرسم قليلاً في كل مرة، حتى تجد رسم المنديل المثالي الذي يجعل الطباخ يطهو الطبق بشكل صحيح.
التطوير (SPSA-GC): تقدم الورقة خوارزمية "تخمين ذكي" خاصة. بدلاً من التخمين العشوائي، تستخدم خدعة "الزخم" (مثل المتزلج الذي يميل أثناء الانعطاف) لتخمين الاتجاه الصحيح بشكل أسرع وتجنب العلوق في الطين. هذا يوفر عليك الحاجة لسؤال الطباخ آلاف الأسئلة.

3. النسخة "المخففة" (BlackVIP-SE)

الروبوت الفنان الأصلي (BlackVIP) رائع ولكنه يحتاج إلى كمبيوتر صغير لتشغيله. أنشأ المؤلفون نسخة "مخففة" تسمى BlackVIP-SE.

بدلاً من استخدام روبوت معقد، تستخدم هذه النسخة خدعة إحصائية بسيطة (مثل فرز مجموعة من أوراق اللعب حسب اللون) لمعرفة ما يجب رسمه على المنديل.
إنها أسرع وأرخص بكثير، وتقترب من جودة الروبوت، لكنها تعمل على جهاز "توستر" بدلاً من حاسوب خارق.

لماذا يعد هذا أمراً مهماً؟

إنه يعمل مع الأبواب المغلقة: يمكنك استخدام هذا مع أي نموذج ذكاء اصطناعي، حتى لو رفضت الشركة التي صنعته مشاركة الكود الخاص بها (مثل استخدام واجهة برمجة تطبيقات من شركة تقنية كبرى).
إنه يوفر الذاكرة: لا تحتاج إلى مزرعة خوادم ضخمة لتدريبه. يمكن لجهاز كمبيوتر محمول عادي القيام بذلك.
إنه قوي ومتين: تُظهر الورقة أن هذه الطريقة جيدة بشكل مفاجئ في التعامل مع المواقف "المخادعة".
- مثال: إذا دربت الطباخ على التعرف على الرقم "7" فقط عندما يكون على خلفية وردية، ثم عرضت عليه رقم "7" على خلفية زرقاء، فإن معظم الطباخين سيصابون بالارتباك. منديل BlackVIP المخصص يساعد الطباخ على تجاهل لون الخلفية والتركيز على الشكل الفعلي للرقم.

الصورة الكبيرة

فكر في BlackVIP كمترجم عالمي للذكاء الاصطناعي. إنه لا يحاول إعادة برمجة دماغ الذكاء الاصطناعي (وهو أمر مستحيل غالباً). بدلاً من ذلك، يتعلم كيفية "التحدث" إلى الذكاء الاصواعي عبر رسم تلميحات صغيرة مثالية (محفزات) على المدخلات، مما يوجه الذكاء الاصطناعي للقيام بما تريده بالضبط، حتى لو لم تتمكن من رؤية ما بداخل الآلة.

إنه يحول "الصندوق الأسود" (الآلة الغامضة) إلى أداة مفيدة يمكن تكييفها مع مهام جديدة بسرعة، وبتكلفة منخفضة، وبأمان.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التحسين القوي للنماذج التأسيسية عبر التلقين البصري للصندوق الأسود" (Robust Adaptation of Foundation Models with Black-Box Visual Prompting).

1. بيان المشكلة

تتناول الورقة القيود التي تواجهها طرق نقل التعلم الموفرة للمعلمات (PETL) الحالية عند تطبيقها على النماذج سابقة التدريب (PTMs) أو النماذج التأسيسية واسعة النطاق في السيناريوهات الواقعية. تعتمد الطرق الموجودة (مثل: ضبط التلقين البصري، وLoRA) على فرضيتين متفائلتين تفشلان غالباً في الممارسة العملية:

إمكانية الوصول الكامل للمعلمات: تتطلب هذه الطرق الوصول إلى الأوزان الداخلية وهيكلية النموذج لحساب التدرجات عبر الانتشار العكسي (backpropagation). ومع ذلك، يتم نشر العديد من النماذج التأسيسية الحديثة كـ واجهات برمجة تطبيقات (APIs) للصندوق الأسود أو برمجيات مملوكة حيث تكون المعلمات مخفية.
السعة الذاكرية: حتى لو كانت المعلمات متاحة، فإن عملية الضبط الدقيق أو التلقين غالباً ما تتطلب تخزين جميع التنشيطات الوسيطة لحساب التدرجات، مما يتطلب موارد ذاكرة هائلة للنماذج الكبيرة.

يهدف المؤلفون إلى تطوير طريقة يمكنها تكييف النماذج التأسيسية مع المهام النهائية دون الوصول إلى معلمات النموذج، أو تفاصيل الهيكلية، أو مخازن ذاكرة كبيرة، مع الحفاظ على القوة والمتانة ضد تغيرات التوزيع.

2. المنهجية: BlackVIP

يتكون إطار العمل المقترح، BlackVIP (التلقين البصري للصندوق الأسود)، من مكونين أساسيين:

أ. المنسق (التلقين البصري المعتمد على المدخلات)

على عكس طرق التلقين البصري السابقة التي تتعلم تلقيناً ثابتاً غير معتمد على المدخلات (مثل إطار ثابت يُضاف إلى الصور)، يقدم BlackVIP منسقاً (Coordinator)، وهو شبكة عصبية صغيرة تولد تلقينات بصرية تعتمد على المدخلات.

الآلية: يأخذ المنسق صورة مدخلة $x$ ، ويعالجها عبر مشفر ثابت $f(\cdot)$ (أو مسقط إحصائي)، ويخرج تلقيناً بصرياً $v_\phi(x)$ بنفس شكل الصورة.
إعادة التوصيف (Reparameterization): بدلاً من تحسين البكسلات الخام مباشرة، تقوم الطريقة بتحسين معلمات $\phi$ لشبكة المنسق.
BlackVIP-SE (التلقين الفعال الموجه بالميزات الإحصائية): نسخة خفيفة الوزن تستبدل المشفر الثقيل مسبق التدريب بمسقط تحليل المكونات الرئيسية (PCA). وهذا يقلل التكلفة الحسابية ووقت التشغيل بشكل كبير مع الحفاظ على أداء تنافسي.
المخرج: يتم إضافة التلقين الناتج إلى الصورة الأصلية (مع قص القيم لتكون ضمن نطاق RGB الصالح) وتغذيتها في نموذج الصندوق الأسود المستهدف.

ب. SPSA-GC (تقريب الاضطراب العشوائي المتزامن مع تصحيح التدرج)

بما أن النموذج المستهدف هو صندوق أسود، لا يمكن حساب التدرجات الحقيقية. لذا يستخدم المؤلفون استراتيجية التحسين من الدرجة صفر (zeroth-order optimization).

SPSA: يقوم SPSA القياسي بتقدير التدرجات عن طريق إحداث اضطرابات في اتجاهات عشوائية ومراقبة التغير في دالة الخسارة. ويتطلب ذلك جولتين فقط من التمرير الأمامي (استدعاءات API) لكل تكرار بغض النظر عن أبعاد المعلمات.
تصحيح التدرج (GC): لمعالجة بطء التقارب والتباين العالي في SPSA القياسي في البيئات عالية الأبعاد، قدم المؤلفون آلية استشراف قائمة على الزخم مستوحاة من تدرج نستروف المتسارع (NAG).
- تقوم قاعدة التحديث بحساب التدرج عند موضع "الاستشراف" ( $\phi_i + \beta m_i$ ) بدلاً من الموضع الحالي.
- يعمل هذا "التصحيح" على التخفيف من الضجيج المتأصل في تقدير التدرج العشوائي، مما يؤدي إلى تقارب أسرع وأكثر استقراراً.

3. المساهمات الرئيسية

إطار عمل التكيف للصندوق الأسود: أول عمل يقترح طريقة تلقين بصري قوية للنماذج التأسيسية تعمل بالكامل في بيئة الصندوق الأسود (بدون الوصول للمعلمات) مع الحد الأدنى من متطلبات الذاكرة.
التلقين المعتمد على المدخلات: تقديم المنسق (Coordinator)، الذي يولد تلقينات ديناميكية بناءً على ميزات المدخلات، مما يسمح للنموذج بالتكيف مع السياقات الدلالية المتنوعة بدلاً من استخدام تلقين ثابت.
محسن SPSA-GC: خوارزمية تحسين مبتكرة تجمع بين SPSA وتصحيح التدرج، مما يحسن بشكل كبير سرعة التقارب واستقراره في عمليات التحسين عالية الأبعاد للصندوق الأسود.
نسخة BlackVIP-SE: نسخة فعالة تستخدم PCA لاستخراج الميزات، مما يقلل وقت التدريب/الاستدلال وعدد المعلمات (إلى حوالي 1 ألف معلمة فقط) دون التضحية بالكثير من الدقة.
التحليل النظري: تقدم الورقة برهاناً نظرياً يربط التلقين البصري بـ المتانة المعتمدة (Certified Robustness) عبر التنعيم العشوائي (Randomized Smoothing). وتوضح أن مسار تحسين التلقينات البصرية يتبع توزيع غاوسي تقاربيًا، مما يعمل فعلياً كمصنف تنعيم عشوائي متكيف. وهذا يفسر سبب تحسين الطريقة للتعميم والمتانة ضد ضجيج $L_2$ وتغيرات التوزيع.

4. النتائج التجريبية

قيم المؤلفون BlackVIP على 19 مجموعة بيانات، تغطي مجالات متنوعة (الصور الطبيعية، صور الأقمار الصناعية، التعرف على التفاصيل الدقيقة، التصوير الطبي) ومهام مختلفة.

الأداء: تفوق BlackVIP وBlackVIP-SE باستمرار على النماذج المرجعية (Zero-Shot، وBlack-Box Adversarial Reprogramming (BAR)، والتلقين البصري القياسي باستخدام SPSA) في 13 من أصل 14 اختباراً معيارياً.
- في اختبار CLEVR (الاستدلال البصري)، تفوق BlackVIP بشكل كبير على BAR، الذي واجه صعوبة في مهام الاستدلال المعقدة.
- في اختبار Biased MNIST (انزياح الارتباط)، أظهر BlackVIP متانة فائقة، حيث نجح في تجاهل الارتباطات الزائفة (مثل لون الخلفية) التي أدت لتضليل النماذج الأخرى.
الكفاءة:
- الذاكرة: يتطلب BlackVIP ذاكرة ضئيلة (مثلاً: ذروة 2.4 جيجابايت لـ ViT-B مقابل 21 جيجابايت للضبط الدقيق الكامل) لأنه لا يخزن التنشيطات الوسيطة.
- المعلمات: يتعلم 9 آلاف معلمة فقط (BlackVIP) أو 1 ألف معلمة (BlackVIP-SE)، مقارنة بالملايين في الضبط الدقيق الكامل.
- كفاءة الاستعلام: حقق مكاسب أداء كبيرة بعدد قليل نسبياً من استدعاءات API (حوالي 10 آلاف استدعاء)، مما يوفر توازناً ممتازاً بين التكلفة والأداء.
المتانة: أظهرت الطريقة متانة قوية ضد ضجيج $L_2$ وانزياحات التوزيع في العالم الحقيقي (مجموعات بيانات WILDS: iWildCam, FMoW, Camelyon17).
التوافق: التلقينات البصرية متوافقة مع طرق التلقين النصي للصندوق الأسود (مثل CuPL, LLM BBO)، مما يعزز الأداء عند الجمع بينهما.

5. الأهمية

دمقرطة النماذج التأسيسية: يتيح BlackVIP للمستخدمين ذوي الموارد الحسابية المحدودة والذين لا يملكون الوصول لأوزان النماذج تكييف النماذج التأسيسية الحديثة بفعالية لمهام محددة.
الذكاء الاصطناعي القوي: من خلال الربط النظري بين التلقين البصري والتنعيم العشوائي، تقدم الورقة منظوراً جديداً حول كيفية بناء أنظمة ذكاء اصطناعي قوية أقل عرضة لانزياحات التوزيع والضجيج العدائي دون تدريب متين صريح.
النشر العملي: إن تقديم BlackVIP-SE وتوافقها مع النماذج المكممة (quantized models) يجعل هذا النهج مناسباً جداً لأجهزة الحافة (edge devices) والتطبيقات التجارية الحساسة للتكلفة حيث تكون قيود زمن الاستدلال والذاكرة حاسمة.

باختصار، يسد BlackVIP الفجوة بين الإمكانات النظرية للنماذج التأسيسية والقيود العملية للنشر في العالم الحقيقي، حيث يقدم حلاً فعالاً من حيث الذاكرة، وخفيف المعلمات، وقوياً للتعلم بنقل المعرفة للصندوق الأسود.