ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models
تُعد ZOMP طريقةً فعالةً في الاستعلام، وتعمل بنظام التمرير الأمامي الكامل فقط، حيث تعمل على تحسين المطالبات العميقة في كل من فروع الرؤية والنص لنماذج CLIP المجمدة باستخدام التقريب العشوائي للاضطراب المتزامن، متفوقةً بذلك على الأساليب الحالية من الدرجة الصفرية عبر معايير متعددة من خلال الاستفادة من إعادة التشكيل منخفض الرتبة عبر الوسائط، والزخم التصحيحي للتدرج، وجدول رتبة ديناميكي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا فائق الذكاء قد قرأ الإنترنت بأكمله وتعلم فهم الصور والكلمات معًا. إنه يشبه أمين مكتبة عبقريًا يمكنه فورًا إخبارك بما تدور حوله صورة بمجرد النظر إليها، أو وصف مشهد بجمل مثالية. يُسمى هذا الروبوت "نموذج الرؤية واللغة" (Vision-Language Model)، وهو قوي للغاية. لكن هناك عقبة: عادةً، لكي تعلم هذا الروبوت خدعة جديدة — مثل التعرف على نوع معين من الزهور النادرة أو فحص طبي غريب — يجب أن تتركه "يعيد توصيل" أسلاك دماغه. هذه العملية ثقيلة، مثل محاولة إعادة تنظيم مكتبة ضخمة بينما لا تزال مفتوحة للجمهور، وتتطلب الكثير من القدرة الحوسبية والذاكرة.
أحيانًا، قد لا تستطيع فعل ذلك. ربما يعيش الروبوت في جهاز صغير يعمل بالبطارية في جيبك، أو ربما هو خدمة سرية لا يمكنك التواصل معها إلا من خلال نافذة دردشة لا تسم تسمح لك برؤية كيف يفكر. في هذه الحالات، لا يمكنك إعادة توصيل أسلاك الدماغ؛ يمكنك فقط أن تهمس بتعليمات جديدة له. يُسمى هذا "ضبط التلميح" (Prompt Tuning). بدلاً من تغيير دماغ الروبوت، أنت تعطيه مجموعة خاصة من التلميحات أو "المحفزات" لمساعدته على حل لغز جديد. المشكلة هي أن العثور على التلميحات المثالية يتطلب عادةً الكثير من التجربة والخطأ، وإذا لم تكن تستطيع رؤية أفكار الروبوت الداخلية (التدرجات/Gradients)، فالأمر يشبه محاولة العثور على إبرة في كومة قش وأنت معصوب العينين. قد تحتاج إلى آلاف التخمينات لتصل إلى النتيجة الصحيحة، وهو أمر بطيء ومكلف للغاية بالنسبة للحياة الواقعية.
هنا يأتي دور طريقة جديدة تسمى ZOMP. فكر في ZOMP كشرطي ذكي يحل مشكلة "البحث عن الإبرة وأنت معصوب العينين" عبر تغيير طريقة بحثه. بدلاً من تخمين كل التفاصيل دفعة واحدة، يستخدم ZOMP استراتيجية ذكية لتخمين الأجزاء الأكثر أهمية أولاً، ثم ملء الباقي ببطء.
إليك كيف يعمل، باستخدام استعارات ممتعة:
خدعة "المخطط المشترك"
عادةً، عندما تحاول تعليم الروبوت أشياء جديدة، يجب عليك كتابة تلميحات منفصلة لـ "عينيه" (الرؤية) و"صوته" (النص). إذا حاولت كتابة تلميحات عميقة ومعقدة لكليهما في نفس الوقت، فإن عدد الاحتمالات يصبح ضخمًا جدًا لدرجة أن البحث "الأعمى" سيضيع. يغير ZOMP قواعد اللعبة بقوله: "لنستخدم مخططًا مشتركًا". تخيل أن التلميحات الخاصة بالعين والصوت مبنية من نفس المجموعة الصغيرة من قطع الليغو. عليك فقط اكتشاف كيفية ترتيب تلك القطع القليلة، وهي ستبني تلقائيًا التلميحات الصحيحة لكل من العين والصوت في آن واحد. هذا يبقي مساحة البحث صغيرة وسهلة الإدارة، رغم أن التلميحات عميقة ومعقدة.
التوسع "المحدد بالميزانية"
حتى مع المخطط المشترك، فإن محاولة ترتيب جميع القطع دفعة واحدة لا تزال صعبة عندما تكون معصوب العينين. يستخدم ZOMP نظام "ميزانية". تخيل أن لديك عددًا محدودًا من التخمينات (الاستعلامات) للعثور على التلميح الأفضل. يبدأ ZOMP بالسماح لنفسه فقط باللعب بقطعة الليغو الأولى والأكثر أهمية. يجد الاتجاه الصحيح لتلك القطعة الواحدة. وبمجرد أن يتأكد من أنه على المسار الصحيح، يقوم "بفتح" القطعة التالية، ثم التي تليها، متوسعًا في البحث ببطء فقط عندما يمتلك اتجاهًا موثوقًا. إنه يشبه تعلم القيادة: تبدأ في موقف سيارات فارغ (مساحة بحث صغيرة)، وتعتاد على الأمر، ثم تنتقل ببطء إلى شوارع الحي، وأخيرًا إلى الطريق السريع. أنت لا تحاول القيادة على الطريق السريع في يومك الأول.
ذاكرة "الزخم"
لأن البحث يتم وأنت معصوب العينين، فإن الأدلة التي تحصل عليها غالبًا ما تكون مشوشة وغير مستقرة، مثل محاولة المشي على قارب في مياه هائجة. يضيف ZOMP "ذاكرة زخم". فكر في هذا كمتزلج على الأمواج لا يكتفي فقط بالتفاعل مع كل موجة، بل يتذكر الاتجاه العام الذي تدفعه الأمواج. حتى لو دفعته موجة جانبًا، فإنه يستمر في التحرك في الاتجاه الصحيح لأنه يتذكر أين كان ذاهبًا. هذا يساعد الروبوت على تجاهل الضجيج والالتزام بالمسار الذي يعمل بالفعل.
النتائج
اختبر الباحثون هذه الطريقة على 13 تحديًا مختلفًا، من تحديد الزهور إلى التعرف على المركبات في صور الأقمار الصناعية. أعطوا ZOMP والطرق الأخرى نفس عدد التخمينات بالضبط (5,000 استعلام). أظهرت النتائج أن ZOMP وجد باستمرار تلميحات أفضل من الطرق الأخرى. لم يكن مجرد أفضل قليلاً؛ بل كان في كثير من الأحيان أكثر دقة بشكل ملحوظ، خاصة في المهام الصعبة التي يعاني فيها الروبوت عادةً.
الأمر الرائع حقًا هو أن ZOMP لم يصبح أفضل فقط في المهمة المحددة التي تم تدريبه عليها، بل أصبح أيضًا أفضل في التعامل مع المواقف الغريبة الجديدة التي لم يرها من قبل (مثل التعرف على رسم تخطيطي لشيء ما بدلاً من صورة فوتوغرافية). هذا يشير إلى أن ZOMP، من خلال البحث بعناية وكفاءة، تعلم طريقة أذكى لاستخدام معرفة الروبوت الموجودة، بدلاً من مجرد حفظ أمثلة التدريب.
باختصار، يثبت ZOMP أنك لست بحاجة لإعادة توصيل أسلاك دماغ الروبوت لجعله أكثر ذكاءً. من خلال استخدام مخطط مشترك، وتوسيع البحث ببطء، والحفاظ على ذاكرة ثابتة للاتجاه، يمكنك تعليم ذكاء اصطناعي قوي حيلًا جديدة حتى عندما لا يمكنك سوى الهمس إليه ومعك عدد محدود من المحاولات. إنها طريقة عملية وفعالة لتحقيق أقصى استفادة من هذه النماذج العملاقة دون الحاجة إلى حاسوب خارق في جيبك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.