Conservative Proxy Prompting for Reliable Frozen Vision–Language Models with Missing Modalities
تقترح هذه الورقة "التحفيز بالوكالة المحافظ" (CPP)، وهو إطار عمل فعال من حيث المعلمات يعزز موثوقية نماذج الرؤية واللغة المجمدة في ظل فقدان الأنماط، وذلك عبر بناء تمثيلات وكيلة في فضاء الميزات وتنظيم مساهمتها بشكل محافظ لتجنب الإشارات المضللة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تبرز فئة متنامية من الأنظمة تُعرف بنماذج الرؤية واللغة. هذه النماذج هي عقول رقمية تدربت على فهم العالم من خلال النظر إلى الصور وقراءة النصوص في آن واحد، لتعلم كيفية ارتباط الصور والكلمات ببعضها البعض. لقد أصبحت هذه النماذج ماهرة بشكل ملحوظ في مهام مثل وصف صورة أو الإجابة عن أسئلة حول مشهد ما، ويرجع ذلك إلى حد كبير إلى تدريبها على مجموعات ضخمة من الصور والنصوص المزدوجة. ومع ذلك، فإن هذه الأنظمة مبنية على افتراض هش: وهو أنها ستتلقى دائمًا الصورة والوصف معًا في نفس الوقت. أما في الواقع الفوضوي للعالم الحقيقي، فهذا أمر نادر الضمان؛ إذ قد تتعطل المستشعرات، أو تضيع البيانات أثناء النقل، أو قد تقوم فلاتر الخصوصية بإزالة الوصف، مما يترك النظام مع نصف المعلومات التي يتوقعها فقط. وعندما يُجبر نموذج تدرب على أزواج كاملة فجأة على التخمين باستخدام قطعة واحدة فقط من اللغز، فإن ثقته غالبًا ما تنهار، وتصبح إجاباته غير موثوقة. إن التحدي الذي يواجه الباحثين لا يقتصر فقط على مساعدة النموذج على تخمين ما هو مفقود، بل في تعليمه التمييز بين ما يراه بالفعل وما يستنتجه فحسب.
لقد طور فريق من الباحثين في جامعة تشجيانغ نورمال وجامعة سون يات سين طريقة جديدة لحل هذه المشكلة، تسمى "التحفيز بالوكالة المحافظ" (Conservative Proxy Prompting). يقر نهجهم بحقيقة أساسية حول الذكاء الاصطناعي: وهي أنه عندما يضطر النموذج لتخمين قطعة مفقودة من المعلومات بناءً على ما يمكنه رؤيته، فإن هذا التخمين ينطوي بطبيعته على عدم يقين. تخيل شخصًا يحاول تحديد طبق في مطعم؛ إذا كان بإمكانه رؤية الطعام وقراءة القائمة، فهو متأكد، أما إذا كانت القائمة مفقودة، فيمكنه النظر إلى الطعام وتخمين الاسم، لكن يجب أن يظل غير متأكد قليلًا من إجابته. غالبًا ما تحاول الأساليب الحالية إعادة بناء المعلومات المفقودة كما لو كانت حقيقية، مما يعني معاملة التخمين بنفس وزن الملاحظة المباشرة. ويرى الباحثون أن هذا أمر خطير لأن البيانات المعاد بناؤها هي مجرد تقدير، ومعاملتها كحقيقة يمكن أن يضلل النظام. بدلاً من ذلك، يعامل إطار عملهم الجديد هذه التخمينات كأدلة "وكيلة" (proxy)—وهي مفيدة، ولكنها تتطلب تعاملًا حذرًا.
يتضمن جوهر حلهم استراتيجية من خطوتين تعمل مع نماذج الذكاء الاصطناعي القوية الموجودة دون الحاجة إلى إعادة تدريبها من الصفر. أولاً، يستخدم النظام تقنية تسمى "تعلم التحفيز" (prompt learning) لدفع فهم النموذج بلطف نحو المهمة المحددة، مثل تحديد أنواع الأفلام أو أنواع الطعام، باستخدام عدد ضئيل فقط من الإعدادات القابلة للتعديل. وهذا يسمح للنموذج بالبقاء حادًا ومستعدًا للمهمة المحددة دون الحاجة إلى تغيير هيكله بالكامل. ثانيًا، والأهم من ذلك، يقدم النظام آلية للتعامل مع البيانات المفقودة. فعندما تكون الصورة مفقودة، يستخدم النظام النص لإنشاء رسم تخطيطي تقريبي لما قد تبدو عليه الصورة. وعندما يكون النص مفقودًا، يستخدم الصورة لتخمين الكلمات. ولكن الفرق الجوههري هنا هو أنه قبل دمج هذه المعلومات المخمنة مع البيانات الحقيقية، يقوم النظام عمدًا بتقليص تأثيرها. فهو يطبق مرشحًا "محافظًا"، مما يقلل من وزن التخمين بحيث يدعم القرار دون أن يطغى على الأدلة المباشرة. وهذا يضمن أنه إذا كان التخمين خاطئًا، فإنه لن يسحب الإجابة النهائية معه للأسفل.
لاختبار هذه الفكرة، أخضع الباحثون طريقتهم لاختبارات صارمة باستخدام ثلاث مجموعات بيانات مختلفة تمامًا من الواقع. استخدموا مجموعة من ملصقات الأفلام وملخصات الحبكة، ومجموعة ضخمة من صور الطعام مع الوصفات، ومجموعة صعبة من "الميمز" (memes) عبر الإنترنت المصممة لاختبار قدرة النظام على رصد خطاب الكراهية. وفي كل حالة، قاموا بمحاكاة حالات الفشل في العالم الحقيقي عن طريق إزالة إما الصورة أو النص من البيانات عشوائيًا، وأحيانًا بإزالة المعلومات من ما يصل إلى تسعين بالمائة من العينات. كانت النتائج واضحة: تفوقت الطريقة الجديدة باستمرار على الأساليب الأخرى التي حاولت ببساطة إعادة بناء البيانات المفقودة. فمن خلال إبقاء تأثير التخمينات تحت السيطرة، حافظ النظام على دقة عالية حتى عندما كان يفتقد معظم معلوماته. وقد أثبت أن النموذج لا يحتاج إلى أن يكون مثاليًا في التخمين ليكون موثوقًا؛ بل يحتاج فقط إلى معرفة مقدار الثقة في تخميناته.
كشفت الدراسة أيضًا أن هذه الموثوقية تأتي دون تكلفة باهظة. فقد تطلب أسلوبهم الجديد عددًا صغيرًا جدًا من المعلمات القابلة للتعديل—ما بين 1.6 و2.7 مليون تقريبًا—لتحقيق هذه النتائج. وبالمقارنة، تطلبت الأساليب الأخرى التي حاولت تحقيق متانة مماثلة ما يقرب من ثلاثة أضعاف عدد الإعدادات القابلة للتعديل. وتعد هذه الكفاءة مهمة لأنها تعني إمكانية تكييف النظام مع مهام جديدة بسرعة وتخزينه بسهء، دون الحاجة إلى قدرات حوسبة هائلة. ووجد الباحثون أن العدد المحدد لإعدادات "الدفع" (nudge) كان مهمًا، ولكن لم يكن هناك رقم سحري واحد يعمل في كل موقف؛ حيث كان القدر المتوسط من التعديل هو النقطة المثالية عمومًا. علاوة على ذلك، أظهر النظام قدرته على التعامل مع مواقف لم يسبق له رؤيتها من قبل؛ فحتى عندما تم تدريبه فقط على البيانات الكاملة ثم اختباره على البيانات المفقودة، فقد تكيف جيدًا، مما يشير إلى أن مبدأ الحذر في التخمين هو استراتيجية قوية تتجاوز أمثلة التدريب المحددة.
في نهاية المطاف، ينقل هذا العمل التركيز من محاولة إعادة إنشاء المعلومات المفقودة بدقة إلى إدارة عدم اليقين المرتبط بهذا الإعادة. لقد أثبت الباحثون أنه في عالم غالبًا ما تكون فيه البيانات غير مكتملة، فإن أنظمة الذكاء الاصطناعي الأكثر موثوقية ليست بالضرورة تلك التي تحاول ملء كل الفجوات، بل تلك التي تدرك حدود معرفتها. ومن خلال معاملة المعلومات المستنتجة كصوت مساعد ولكنه ثانوي، وليس كشريك مساوٍ للملاحظة المباشرة، يصبح النظام أكثر استقرارًا وموثوقية. يقدم هذا النهج مسارًا عمليًا لنشر الأنظمة الذكية في العالم الحقيقي، حيث تتعطل المستشعرات وتضيع البيانات، مما يضمن بقاء هذه الأدوات مفيدة حتى عندما لا ترى الصورة الكاملة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.