💻 computer science

Visual Prompt-Agnostic Evolution

لمعالجة ديناميكيات التدريب غير المستقرة وعدم التوافق بين الطبقات في الضبط الدقيق للمطالبات البصرية (Visual Prompt Tuning)، تقترح الورقة البحثية "التطور غير المرتبط بالمطالبة" (Prompt-Agnostic Evolution - PAE)، وهي طريقة تعمل على تثبيت تعلم المطالبات من خلال استخدام التهيئة في نطاق التردد، ومعامل كوبمان (Koopman operator) مشترك للتطور المتماسك عبر الطبقات، ومنظم استقرار مستوحى من نظرية ليابونوف (Lyapunov).

المؤلفون الأصليون: Junze Wang, Lei Fan, Dezheng Zhang, Weipeng Jing, Donglin Di, Yang Song, Sidong Liu, Cong Cong

نُشر 2026-02-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junze Wang, Lei Fan, Dezheng Zhang, Weipeng Jing, Donglin Di, Yang Song, Sidong Liu, Cong Cong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً عالمياً محترفاً (هذا هو النموذج المحول الرؤيوي مسبق التدريب - Pretrained Vision Transformer) يعرف كيف يطبخ أي شيء تقريباً. ومع ذلك، تريد من هذا الطباخ أن يتخصص في مطبخ محدد جداً ونوعي للغاية—لنقل مثلاً، أكلات الشوارع الأصيلة من قرية صغيرة في تايلاند.

بدلاً من إعادة تدريب الطباخ من الصفر (وهو أمر مكلف وبطيء)، قررت أن تعطيه "ورقة غش" صغيرة تحتوي على وصفات متخصصة (هذه هي المحفزات البصرية - Visual Prompts). وهذا ما يسمى ضبط المحفز البصري (VPT).

المشكلة: تأثير "المتدرب المرتبك"

لاحظ الباحثون أنه حتى مع وجود أوراق الغش هذه، فإن عملية التدريب تكون فوضوية. لقد رصدوا مشكلتين رئيسيتين:

المبتدئون الراكدون (الطبقات الضحلة): الصفحات القليلة الأولى من ورقة الغش مكتوبة بلغة غامضة جداً لدرجة أن الطباخ يتجاهلها ببساطة ويتمسك بما يعرفه بالفعل. هم لا "يتعلمون" الوصفات الجديدة في المراحل المبكرة.
الخبراء المذعورون (الطبقات العميقة): بحلول الوقت الذي يصل فيه الطباخ إلى الصفحات المتقدمة، يحاول التكيف بقوة لدرجة أنه يبدأ في المبالغة في ردود أفعاله. يقوم بتغييرات جامحة وغير متسقة في أسلوب طبخه، مما يسبب "تذبذبات التدرج" (gradient oscillations)—بمعنى أنه في دقيقة يضيف الكثير من الملح، وفي الدقيقة التالية يضيف الكثير من السكر، ولا يستقر أبداً على النكهة المثالية.

ولأن الصفحات الأولى يتم تجاهلها والصفحات اللاحقة تكون فوضوية، يستغرق الطباخ وقتاً طويلاً جداً لتعلم المطبخ الجديد، ولا يكون طعم الطعام جيداً تماماً.

الحل: PAE (نظام "المعلم الموجه")

ابتكر المؤلفون نظام PAE (التطور غير المرتبط بالمحفز - Prompt-Agnostic Evolution) لإصلاح ذلك. فكر في PAE كـ "معلم خبير" يتدخل لتنظيم التدريب باستخدام ثلاث حيل ذكية:

1. البداية بـ "ملف النكهة" (MPA)

بدلاً من إعطاء الطباخ ورقة غش فارغة، يقوم "المعلم" أولاً بدراسة المكونات المحددة لأكلات الشوارع التايلاندية. يحدد "اختصارات التردد"—وهي الروائح والقوامات الأساسية (مثل عشب الليمون أو الفلفل الحار) التي تجعل الطعام مميزاً.

التشبيه: بدلاً من البدء بـ "كيف تطبخ"، تبدأ ورقة الغش بـ "جوهر التوابل التايلاندية". هذا يعطي الطباخ بداية واعية بالمهمة حتى لا يظل يتخبط في التخمين.

2. "تدفق الوصفة المتسق" (عامل كوبمان - Koopman Operator)

في التدريب القياسي، تُعامل كل صفحة من ورقة الغش كتعليمات منفصلة ومستقلة، وهذا أمر مربك. يستخدم PAE عامل كوبمان، الذي يضمن أن الصفحة الثانية تتبع منطقياً الصفحة الأولى، وأن الصفحة الثالثة تتبع الصفحة الثانية.

التشبيه: الأمر يشبه كتاب طبخ مكتوب جيداً حيث تُبنى التقنيات على بعضها البعض. تتعلم كيفية التقطيع، ثم كيفية التشويح، ثم كيفية القلي السريع. هناك تطور سلس من المبتدئ إلى المتقدم، بدلاً من سلسلة من الأوامر المنفصلة والعشوائية.

3. "اليد الثابتة" (استقرار ليابونوف - Lyapunov Stability)

لمنع مشكلة "الخبير المذعور" (تذبذب الملح مقابل السكر)، يستخدم المعلم منظمًا بأسلوب ليابونوف.

التشبيه: هذا يشبه مدرباً يقف فوق كتف الطباخ ويقول له: "لا تقم بأي تغييرات مفاجئة وضخمة في تقنيتك. اجعل تعديلاتك صغيرة وثابتة حتى لا تفسد الطبخة". هذا يحافظ على استقرار عملية التعلم ويمنع الأخطاء من التفاقم خارج السيطرة.

النتيجة: أسرع، أفضل، وأذكى

باستخدام نهج "المعلم الموجه" هذا، وجد الباحثون أن:

إنه أسرع بكثير: يتعلم الطباخ المطبخ الجديد أسرع بنحو 1.4 مرة من ذي قبل.
إنه أكثر دقة: طعم الطعام (توقعات الذكاء الاصطناعي) أفضل بكثير عبر 25 "مطبخاً" مختلفاً (مجموعات البيانات).
إنه "جاهز للتشغيل": لا تحتاج لتغيير الطباخ أو المطبخ؛ أنت فقط تغير طريقة تقديم أوراق الغش. إنه يعمل مع أي طريقة موجودة لضبط المحفزات تقريباً.

باختصار: يحول PAE عملية التعلم الفوضوية والقائمة على التجربة والخطأ إلى رحلة سلسة ومنطقية ومستقرة من المبتدئ إلى الخبير.

ملخص تقني: التطور غير المرتبط بالنماذج البصرية (PAE)

نُشر في: ICLR 2026

1. بيان المشكلة

يعد ضبط المحفز البصري (VPT) طريقة فعالة من حيث المعلمات لتكييف نماذج "المحولات البصرية" (ViTs) المجمدة عبر إدراج رموز محفزة قابلة للتعلم. ورغم كفاءته، حدد المؤلفون عيبين حرجين في متغيرات VPT الحالية:

التهيئة غير المرتبطة بالمهمة: يتم تهيئة معظم المحفزات عشوائياً أو دون مراعاة للمهمة النهائية المحددة. وهذا يجبر مراحل التدريب المبكرة على التركيز على مواءمة المحفزات مع الهيكل الأساسي بدلاً من المهمة، مما يتطلب غالباً معدلات تعلم عالية تسبب عدم الاستقرار.
عدم تطابق التحسين (عدم الاتساق عبر الطبقات): يتم تحسين المحفزات عادةً بشكل مستقل في كل طبقة. وبما أن التدرجات يجب أن تنتشر عكسياً عبر العديد من الطبقات المجمدة، فإن محفزات الطبقات الضحلة غالباً ما تتعثر (تفشل في التحديث)، بينما تظهر محفزات الطبقات العميقة تذبذبات تدرج عالية التباين للتعويض. هذا النقص في التنسيق يؤدي إلى بطء التقارب وعدم الوصول إلى دقة مثلى.

2. المنهجية

لحل هذه المشكلات، يقترح المؤلفون التطور غير المرتباط بالنماذج (PAE)، والذي يعيد صياغة ضبط المحفز كتحكم في المسارات داخل نظام ديناميكي منفصل. تتكون الطريقة من مرحلتين أساسيتين:

أ. المحاذاة المسبقة للنماذج (MPA) للتهيئة المدركة للمهمة
بدلاً من التهيئة العشوائية، تستخدم MPA إشارات المجال الترددي لمواءمة المحفزات مع المهمة منذ البداية:

اكتشاف الاختصارات الترددية: تستخدم الطريقة تحويل فوريه ثنائي الأبعاد لتحويل الصور إلى المجال الطيفي. تقوم بتطبيق أقنعة ترددية محلية متنوعة على الصور وتحدد "الاختصارات"—وهي مناطق ترددية محددة، عند الحفاظ عليها، تؤدي إلى أدنى خسارة للمهمة.
بناء المحفز: تُستخدم أفضل $T$ أقنعة ترددية تمييزية لإعادة بناء الصور المرشحة. يتم تمرير هذه الصور عبر طبقة تضمين الرقع (patch embedding layer)، وتُجمع الرموز الناتجة عبر تجميع مرجح بالطاقة لتشكيل المحفز للطبقة الأولى ( $P_1^{init}$ ).
الانتشار الهرمي: يتم نشر هذا المحفز الأولي عبر طبقات المحول المجمدة لإنشاء مجموعة تهيئة متماسكة لجميع الطبقات اللاحقة.

ب. نظام كوبمان-ليابونوف الديناميكي المنفصل (KLD) للتحسين المنسق
لضمان تطور سلس عبر الطبقات، يصيغ المؤلفون تحديثات المحفز باستخدام نظرية الأنظمة الديناميكية:

مؤثر كوبمان: يتم إسقاط محفزات كل طبقة في فضاء كامن مشترك باستخدام مصفوفة قابلة للتعلم $U$ . بعد ذلك، يُستخدم مؤثر كوبمان عالمي ومشترك ( $K$ ) لنمذجة التطور الخطي لهذه المحفزات من طبقة إلى أخرى ( $\hat{z}_{i+1} = z_i K$ ). هذا يفرض قاعدة اتساق عالمية بدلاً من السماح بتحديثات مستقلة وغير منسقة.
منظم نمط ليابونوف: لمنع تراكم الخطأ (عدم الاستقرار) أثناء هذا التطور، تم إدخال منظم قائم على ليابونوف ( $L_{stab}$ ). يقوم هذا المنظم بمعاقبة أي زيادة في "طاقة" خطأ التطور بين الطبقات المتتالية، مما يضمن بقاء النظام الديناميكي مستقراً.

3. المساهمات الرئيسية

منظور جديد: أول عمل يعيد صياغة VPT كتحكم في مسارات المحفز ضمن نظام ديناميكي.
استراتيجية MPA: طريقة تهيئة مبتكرة تستفيد من الاختصارات في مجال التردد لتوفير نقاط بداية مدركة للمهمة.
إطار عمل KLD: طريقة لإنشاء ارتباطات عبر الطبقات باستخدام مؤثر كوبمان مشترك وقيد استقرار ليابونوف.
تصميم غير مرتبط بالنماذج: إطار العمل "جاهز للاستخدام" (plug-and-play)؛ حيث يمكن دمجه في أي متغير موجود من VPT دون تعديل الهيكل الأساسي أو زيادة التعقيد أثناء الاستدلال.

4. النتائج التجريبية

أجرى المؤلفون تقييمات واسعة النطاق عبر 25 مجموعة بيانات (بما في ذلك FGVC و VTAB-1k) وعدة بنيات (ViT, Swin, MAE, SETR).

مكاسب الأداء: حسنت PAE الدقة باستمرار بمقدار 1–3% عبر مهام متنوعة.
سرعة التقارب: حققت PAE سرعة متوسطة في التقارب بلغت 1.41 ضعفاً مقارنة بمتغيرات VPT الأساسية.
الاستقرار: أظهر تحليل مشهد الخسارة أن PAE تؤدي إلى نقاط صغرى أكثر تسطحاً واتساعاً (تقليل الحدة والتباين الاتجاهي)، مما يفسر تحسن القدرة على التعميم.
القابلية للتوسع: تتوسع الطريقة بفعالية من النماذج الأساسية (Base) إلى الضخمة (Huge) وتنتقل عبر بنيات مختلفة (مثل الانتقال من ViT إلى Swin).
الأدلة البصرية: أكدت تصورات Grad-CAM أن النماذج المعززة بـ PAE تحدد الميزات ذات الصلة بالمهمة (مثل منقار الطائر) في وقت أبكر بكثير في عملية التدريب مقارنة بـ VPT القياسي.

5. الأهمية

تمثل PAE تقدماً كبيراً في الضبط الدقيق الفعال للمعلمات. ومن خلال الابتعاد عن معاملة المحفزات كمعلمات مستقلة ومعاملتها بدلاً من ذلك كـ مسار ديناميكي منسق، نجح المؤلفون في حل مشكلة عدم استقرار التحسين الجوهرية في VPT. ولأنها خفيفة الوزن ولا تضيف أي عبء أثناء الاستدلال، فإنها توفر حلاً عملياً للغاية وقابلاً للتوسع لتكييف نماذج الرؤية التأسيسية واسعة النطاق مع المهام المتخصصة.