💬 NLP

Multimodal Prompt Optimization: Why Not Leverage Multiple Modalities for MLLMs

تقدم هذه الورقة البحثية "تحسين المطالبات متعدد الوسائط" (MPO)، وهو إطار عمل موحد يوسع نطاق تحسين المطالبات إلى ما هو أبعد من النصوص ليشمل التحسين المشترك للمدخلات النصية وغير النصية (مثل الصور، والفيديوهات، والجزيئات) باستخدام تحديثات حافظة على المحاذاة واختيار بايزي، مما يتفوق على الأساليب الحالية المقتصرة على النصوص ويطلق العنان للإمكانات الكاملة للنماذج اللغوية الكبيرة متعددة الوسائط.

المؤلفون الأصليون: Yumin Choi, Dongki Kim, Jinheon Baek, Sung Ju Hwang

نُشر 2026-02-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yumin Choi, Dongki Kim, Jinheon Baek, Sung Ju Hwang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعد روبوت فائق الذكاء (نموذج لغوي كبير متعدد الوسائط، أو MLLM)، يمكنه رؤية الصور، ومشاهدة مقاطع الفيديو، وحتى فهم الهياكل الكيميائية. تريد من هذا الروبوت أن يحل مشكلة معقدة، مثل تحديد نوع طائر معين من صورة، أو التنبؤ بما إذا كان دواء جديد سيعمل أم لا.

لجعل الروبوت يقدم أفضل ما لديه، تحتاج إلى إعطائه تعليمات، تسمى المطالبة (Prompt).

المشكلة: "العمى النصي فقط"

لفترة طويلة، كان الأشخاص الذين يحاولون تعليم هذه الروبوتات يستخدمون النصوص فقط. كانوا يكتبون جملًا طويلة ومعقدة مثل: "انظر إلى الطائر. لديه منقار باهت، وريش داكن، ويعيش في شمال المحيط الهادئ. قد يكون طائر القطرس ذو القدم السوداء، ولكن تحقق مما إذا كان المنقار أبيض..."

تجادل الورقة البحثية بأن هذا يشبه محاولة وصف بيتزا لذيذة لشخص لم يرها من قبل، باستخدام الكلمات فقط. قد تقول "دائرية، صلصة حمراء، جبن ذائب"، لكنه قد يتخيل فطيرة مربعة بصلصة الكاتشب. هذا الأسلوب غير فعال وغالبًا ما يسبب الارتباك.

أدرك المؤلفون: لماذا لا نُري الروبوت صورة للبيتزا؟

الحل: MPO (محسن المطالبات متعدد الوسائط)

أنشأ الفريق نظامًا جديدًا يسمى MPO. فكر في MPO كـ معلم خصوصي خارق لا يكتفي بكتابة تعليمات أفضل فحسب، بل ينشئ أيضًا وسائل إيضاح بصرية أفضل لترافق تلك التعليمات.

إليك كيف يعمل MPO، باستخدام تشبيه بسيط:

1. فريق "الحفاظ على التوافق" (المساعدون الطيارون)

تخيل أنك تحاول إصلاح سيارة معطلة.

الطريقة القديمة: لديك ميكانيكي واحد يتحدث فقط. يقول: "صوت المحرك غريب"، وعليك أنت أن تخمن ما يجب فعله.
طريقة MPO: لديك فريق من المساعدين الطيارين. أحدهم هو "ميكانيكي النصوص"، والآخر هو "الميكانيكي البصري".
- إذا فشلت السيارة في اختبار ما، فهم لا يتجادلون حول الكلمات فحسب. بل ينظرون إلى المحرك معًا.
- يقول ميكانيكي النصوص: "نحن بحاجة لفحص شمعات الاحتراق (Spark Plugs)".
- يقوم الميكانيكي البصري فورًا برسم مخطط يوضح بالضبط أين توجد شمعات الاحتراق.
- الأمر الحاسم: هما يحدّثان تعليماتهما معًا. النص والصورة يتطابقان دائمًا. إذا قال النص "أحمر"، فإن الصورة تُظهر اللون الأحمر. هذا يمنع حدوث الارتباك (عدم التوافق).

للقيام بذلك، يستخدم MPO ثلاث أدوات خاصة (المشغلات/Operators):

التوليد (Generation): "لنقم برسم صورة جديدة تمامًا من الصفر لشرح الأمر."
التعديل (Edit): "لنأخذ الصورة القديمة ونقوم فقط بإصلاح الجزء الضبابي."
الدمج (Mix): "لنأخذ أفضل الأجزاء من الصورة (أ) والصورة (ب) وندمجهما في دليل واحد مثالي."

2. "المختار الذكي" (المدرب الخبير)

الآن، يحاول MPO تجربة آلاف التوليفات المختلفة من النصوص والصور. لا يمكنه اختبارها جميعًا؛ لأن ذلك سيستغرق وقتًا طويلاً جدًا. إنه بحاجة إلى طريقة لاختيار الفائزين بسرعة.

الطريقة القديمة: يختار المدرب لاعبًا عشوائيًا لتجربته، يرى ما إذا كان سيفشل، ثم يجرب آخر عشوائي. هذا بطيء ومضيعة للوقت.
طريقة MPO: يستخدم المدرب الخبرة.
- لاحظت الورقة البحثية أنه إذا كانت "المطالبة الأم" (التعليمات الأصلية) جيدة، فإن "أبنائها" (النسخ الجديدة منها) من المرجح أن تكون جيدة أيضًا.
- يستخدم MPO خدعة رياضية تسمى Bayesian UCB. فكر فيها كمدرب يقول: "هذه الفكرة الجديدة تشبه كثيرًا الفكرة التي نجحت بشكل رائع بالأمس، لذا دعونا نمنحها فرصة أولاً!"
- هذا يسمح لـ MPO بتخطي الأفكار السيئة والتركيز على الأفكار الواعدة، مما يوفر حوالي 42% من الوقت والمال مقارنة بالطرق القديمة.

النتائج: لماذا هذا مهم؟

اختبر الفريق MPO في ثلاثة عوالم مختلفة تمامًا:

الطيور: تحديد أنواع الطيور بدقة من الصور.
القيادة: مشاهدة مقاطع فيديو للسيارات وفهم ما يجب على السائق فعله.
الجزيئات: النظر في الهياكل الكيميائية للتنبؤ بما إذا كان الدواء سيتم امتصاصه من قبل الجسم.

النتيجة:
في كل اختبار، تفوق MPO على أفضل الخبراء الذين يعتمدون على "النصوص فقط".

النصوص فقط كانت مثل محاولة وصف جسم ثلاثي الأبعاد معقد باستخدام رسم ثنائي الأبعاد.
MPO كان مثل تسليم الروبوت نموذجًا ثلاثي الأبعاد ومع دليل إرشادي.

الخلاصة الكبرى

هذه الورقة البحثية هي بمثابة جرس إنذار. لقد بنينا روبوتات يمكنها الرؤية، والسمع، والشعور، لكننا كنا نعلمها باستخدام حاسة واحدة فقط: القراءة.

تحسين المطالبات متعدد الوسائط (Multimodal Prompt Optimization) هو الإدراك بأننا لكي نطلق العنان للقوة الكاملة لهذه العقول الاصطناعية الخارقة، لا يجب أن نكتفي بالتحدث إليها فحسب، بل يجب أن نُريها أيضًا. من خلال تحسين الكلمات والصور معًا، يمكننا الحصول على نتائج أكثر ذكاءً، وأكثر دقة، وأكثر كفاءة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحسين المطالبات متعددة الوسائط: لماذا لا نستفيد من الوسائط المتعددة لنماذج اللغات الكبيرة متعددة الوسائط (MLLMs)" (ICLR 2026).

1. تعريف المشكلة

تتناول الورقة فجوة حرجة في المشهد الحالي لـ نماذج اللغات الكبيرة متعددة الوسائط (MLLMs). فبينما تستطيع هذه النماذج معالجة النصوص، والصور، والفيديوهات، والجزيئات، تظل تقنيات التحسين التلقائي للمطالبات (APO) الحالية مقتصرة على الوسيط النصي.

القصور: تكتفي طرق الـ APO الحالية (مثل APE وOPRO وSEE) بتحسين المطالبات النصية فقط. وهذا يجبر نماذج MLLM على الاعتماد على أوصاف نصية مطولة وربما غامضة لنقل المعلومات البصرية أو الهيكلية، مما يؤدي إلى الفشل في استغلال قدرة النماذج المتأصلة على معالجة السياقات الغنية غير النصية.
الهدف: يحدد المؤلفون مشكلة جديدة وهي: تحسين المطالبات متعددة الوسائط (MPO). والهدف هو اكتشاف زوج مثالي من المطالبات $p = (t, m)$ ، حيث $t$ هي مطالبة نصية و $m$ هي مطالبة غير نصية (مثل صورة، أو إطار فيديو، أو هيكل جزيئي)، لتعظيم أداء المهمة $f(MLLM(t, m, q), a)$ .
التحديات:
1. المحاذاة عبر الوسائط (Cross-Modal Alignment): تحديث المكونات النصية وغير النصية بشكل مستقل ينطوي على خطر عدم المحاذاة الدلالية (على سبيل المثال، نص يصف طائراً بينما الصورة لا تظهره).
2. تعقيد مساحة البحث: المساحة التوافقية للمطالبات متعددة الوسائط واسعة جداً، مما يجعل المطالبات عالية الجودة نادرة ويصعب تحديدها بكفاءة دون إهدار ميزانيات التقييم.

2. المنهجية: مُحسّن المطالبات متعدد الوسائط (MPO)

يقترح المؤلفون إطار عمل MPO، وهو إطار موحد يتكون من مكونين أساسيين: الاستكشاف المحافظ على المحاذاة والاختيار القائم على حد الثقة البايزي (UCB) الموروث من الأولويات.

أ. الاستكشاف المحافظ على المحاذاة

للتنقل في المساحة متعددة الوسائط مع ضمان الاتساق بين الوسائط، يستخدم MPO استراتيجية تحديث مشتركة:

الانتشار العكسي المتماسك (Cohesive Backpropagation): بدلاً من معالجة الأخطاء في المدخلات النصية وغير النصية بشكل منفصل، يحدد MPO مجموعة فشل ويولد إشارة تغذية راجعة موحدة ( $\nabla_p$ ) في شكل نصي. تشفر هذه الإشارة الواحدة نقاط الضعف عبر الوسائط، مما يوجه التحديثات لكلا الوسيطين في آن واحد لمنع الإفراط في التخصيص (overfitting) لأحدهما.
التحديث المشترك متعدد الوسائط: يستخدم نموذج MLLM التغذية الراجعة لتوليد مطالبة نصية محدثة ( $t'$ $t^{'}$ ) وشرط محدد للوسيط ( $c$ $c$ ). هذا الشرط $c$ $c$ يوجه مولداً خاصاً بالوسيط ( $g$ $g$ ) لإنشاء أو مراجعة المطالبة غير النصية ( $m'$ $m^{'}$ ).
- الآلية: $m' = g(c, \text{context})$ . يضمن هذا أن التحديث غير النصي يتم توجيهه بدقة بواسطة الاستدلال النصي المستمد من تحليل الفشل.
عوامل الاستكشاف (Exploration Operators): لتنويع البحث، يستخدم MPO ثلاثة عوامل:
- التوليد (Generation): إنشاء مطالبات غير نصية جديدة تماماً من الصفر (مفيد للخروج من الحلول المحلية المثلى).
- التعديل (Edit): تحسين المطالبات غير النصية الموجودة (مثل ضبط الأنسجة أو ميزات محددة) مع الاحتفاظ بالهياكل المفيدة.
- الدمج (Mix): دمج نقاط القوة المتكاملة من عدة مطالبات "أصلية" لإنشاء حلول هجينة.

ب. الاختيار القائم على حد الثقة البايزي (UCB) الموروث من الأولويات

لمعالحة مشكلة "البداية الباردة" وندرة المطالبات عالية الجودة في مساحة البحث الموسعة، يقدم MPO استراتيجية اختيار تعتمد على حد الثقة البايزي العلوي (UCB) مع أولويات معلوماتية.

الفرضية: أداء المطالبة "الابنة" يرتبط إيجابياً بأداء المطالبة "الأم".
الآلية:
- بدلاً من تهيئة المرشحين الجدد بأولوية موحدة (غير معلوماتية)، يقوم MPO بتهيئة معاملات توزيع بيتا ( $\alpha, \beta$ ) للمطالبة الابنة بناءً على متوسط أداء الأم.
- الصيغة: $\alpha_i = \hat{\mu}_{par(i)} \cdot S + 1$ ، حيث $S$ هو معلم فائق لقوة الأولوية.
الفائدة: هذه العملية توفر "بداية دافئة" لعملية التقييم، مما يسمح للخوارزمية باستبعاد المرشحين ذوي الإمكانات المنخفضة بسرعة والتركيز على المناطق الواعدة في مساحة البحث، مما يقلل بشكل كبير من ميزانية التقييم المطلوبة.

3. المساهمات الرئيسية

صياغة المشكلة: أول من صاغ رسمياً وتناول مسألة تحسين المطالبات متعددة الوسائط، موسعاً مساحة التحسين لتشمل الصور، والفيديوهات، والجزيئات، بما يتجاوز النصوص.
إطار عمل موحد (MPO): يقترح بنية مبتكرة تعمل على تحسين المطالبات النصية وغير النصية معاً عبر تحديثات محافظة على المحاذاة، مما يضمن الاتساق الدلالي عبر الوسائط.
استراتيجية اختيار فعالة: يقدم الـ UCB البايزي الموروث من الأولويات، والذي يستفيد من الارتباط بين أداء الأب والابن لتقليل تكاليف التقييم بنسبة 42% مقارنة بالنماذج الأساسية التي تفتقر للأولويات.
تقييم شامل: يتحقق من نهج MPO عبر 10 مجموعات بيانات متنوعة تشمل الصور (التصنيف، VQA)، والفيديوهات (التعرف على الأفعال، كشف الشذوذ)، والجزيئات (التنبؤ بالخصائص).

4. النتائج التجريبية

قام المؤلفون باختبار MPO مقابل طرق APO النصية الرائدة (APE, OPRO, EvoPrompt, PE2, ProTeGi, SEE) ونماذج المطالبات اليدوية.

مكاسب الأداء: تفوق MPO باستمرار على جميع النماذج الأساسية عبر جميع الوسائط.
- مهام الصور: حقق نتائج رائدة (SOTA) في PlantVillage (76.4% مقابل 69.0% لـ SEE) وفي CUB-200 (78.6% مقابل 71.6%).
- مهام الفيديو: حسن الدقة في Drive&Act (58.3% مقابل 51.7%) وفي VANE-Bench (71.2% مقابل 57.9%).
- مهام الجزيئات: تجاوز النماذج الأساسية في مهام الامتصاص (Absorption)، وBBBP، وتثبيط CYP (على سبيل المثال، 64.3% F1 في BBBP مقابل 62.3% لـ SEE).
الكفاءة: حقق MPO نفس أداء استراتيجيات التخصيص الموحدة باستخدام 30% فقط من ميزانية التقييم، مما أظهر انخفاضاً بنسبة 70% في تكلفة الموارد.
دراسات الاستئصال (Ablation Studies):
- المحاذاة: أدى إزالة التحديثات المحافظة على المحاذاة (التحسين المتسلسل) إلى تدهور الأداء بشكل كبير، مما يثبت ضرورة التحديثات المشتركة.
- العوامل: أدى الجمع بين عوامل التوليد والتعديل والدمج إلى أفضل النتائج، مما يؤكد أدوارها المتكاملة.
- قوة الأولوية: وُجد أن قوة الأولوية المتوسطة ( $S$ ) هي الأمثل، حيث توازن بين فائدة معرفة "الأب" والمرونة في التكيف مع البيانات الجديدة.
القدرة على التعميم: ظل MPO قوياً عبر نماذج أساسية مختلفة (Qwen, Gemma, InternVL)، ونماذج محسنة (GPT-4o, Gemini)، ومولدات خفيفة الوزن خاصة بالوسيط (SANA1.5).

5. الأهمية والخاتمة

تؤسس هذه الورقة لـ تحسين المطالبات متعدد الوسائط كتحول جذري في النموذج (paradigm shift) لإطلاق العنان للإمكانات الكاملة لنماذج MLLM.

الرؤية النظرية: توضح أن المطالبات النصية وحدها غير كافية لنماذج MLLM لأنها تجبر النموذج على "الهلوسة" أو استنتاج التفاصيل البصرية/الهيكلية التي يمكن توفيرها مباشرة.
الأثر العملي: من خلال توفير إطار عمل يبحث بكفاءة في المساحة متعددة الوسائط، يُمكّن MPO نماذج MLLM من تحقيق دقة أعلى في المهام المعقدة في العالم الحقيقي (مثل التشخيص الطبي، واكتشاف الأدوية) بعدد أقل من تجارب التقييم.
الاتجاه المستقبلي: يشير العمل إلى أن هندسة المطالبات المستقبلية يجب أن تتجاوز التعليمات اللغوية لتشمل سياقات غير نصية ديناميكية ومحسنة، مما يغير بشكل جذري كيفية تفاعلنا مع أنظمة الذكاء الاصطناعي متعددة الوسائط وتحسينها.