💻 computer science

Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning

تقدم هذه الورقة البحثية إطار عمل LaPR، وهو إطار لاسترجاع المطالبات المعتمد على التسميات (label-aware prompt retrieval) الذي يعزز أداء التعلم السياقي البصري (Visual In-Context Learning) من خلال دمج تلميحات التسمية الصريحة في تمثيلات المطالبات واستخدام آلية "خليط من الخبراء" (mixture-of-experts) لاستنتاج أنماط تسمية متكيفة مع الاستعلام، وذلك لمعالجة أوجه القصور في الطرق السابقة التي تغفل اتساق التسميات.

المؤلفون الأصليون: Tianci Luo, Haohao Pan, Jinpeng Wang, Niu Lian, Xinrui Chen, Bin Chen, Shu-Tao Xia, Chun Yuan

نُشر 2026-04-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tianci Luo, Haohao Pan, Jinpeng Wang, Niu Lian, Xinrui Chen, Bin Chen, Shu-Tao Xia, Chun Yuan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي جداً ولكنه مرتبك قليلاً كيفية القيام بمهمة محددة، مثل رسم لوحة أو العثند على كلب مفقود في صورة. لا يمكنك مجرد إعطائه دليلاً إرشادياً؛ بدلاً من ذلك، تعرض عليه بعض الأمثلة أولاً. هذا ما يسمى بـ التعلم السياقي البصري (Visual In-Context Learning - VICL). أنت تُظهر للروبوت: "هذه صورة لكلب، وهذا هو الجواب (مربع حول الكلب). الآن، انظر إلى هذه الصورة الجديدة وافعل الشيء نفسه".

التحدي الكبير هو: أي الأمثلة يجب أن تعرضها للروبوت؟

المشكلة: فخ "التشابه الظاهري"

كانت الطرق السابقة تشبه أمين مكتبة ينظر فقط إلى غلاف الكتاب ليقرر ما إذا كان ذا صلة بالموضوع أم لا.

السيناريو: تطلب من الروبوت البحث عن "قطة".
الخطأ: يجد أمين المكتبة صورة تشبه قطتك كثيراً (ربما هي كرة فرو برتقالية كثيفة)، لكن عنوان الكتاب (التسمية/Label) يقول "زهرة".
النتيجة: يصاب الروبوت بالارتباك. يرى صورة تشبه القطة ولكن يُقال له إن الإجابة هي "زهرة". يحاول تخمين الإجابة بناءً على التلميح الخاط%، فيفشل.

الطريقة القديمة تجاهلت التسمية (الوصف النصي) واهتمت فقط بكيفية مظهر الصور.

الحل: LaPR (أحبني، أحب تسميتي)

ابتكر مؤلفو هذه الورقة البحثية، تيانسي لو وفريقه، نظاماً جديداً يسمى LaPR. فكر فيه كأنه خاطبة ذكية جداً تتحقق من كل من الصورة والوصف قبل إجراء التعارف.

إليك كيف يعمل LaPR، مقسماً إلى مفاهيم بسيطة:

1. المكتبة "الموسومة" (The Tagged Library)

بدلاً من مجرد تخزين الصور، يقوم LaPR بتخزين الصور ملتصقة بتسمياتها.

الطريقة القديمة: "هذه صورة لقطة".
طريقة LaPR: "هذه صورة لقطة، والتسمية تقول 'قطة'".
هذا يضمن أنه عندما يبحث الروبوت عن قطة، لا يحصل بالخطأ على صورة زهرة تصادف أنها تشبه القطة.

2. "فريق المتخصصين" (خليط من الخبراء - Mixture of Experts)

تخيل أنك بحاجة للعثور على نوع محدد من الكلاب. قد لا يعرف أمين مكتبة واحد الفرق بين "جولدن ريتريفر" و"بودل".
يستخدم LaPR فريقاً من المتخصصين (يُطلق عليهم "خبراء").

الخبير 1 بارع في رصد الآذان الطويلة.
الخبير 2 بارع في رصد الأنوف المدببة.
الخبير 3 بارع في رصد الذيول الكثيفة.

عندما تطلب "كلباً"، لا يكتفي LaPR باختيار خبير واحد، بل يطلب من الفريق بأكمله إبداء الرأي.

3. "المدير الذكي" (الموجه - The Router)

هذا هو الجزء الصعب: عندما تعرض على الروبوت صورة جديدة لكلب، فأنت لا تخبره بعد بنوع الكلب (التسمية مخفية).

الموجه يشبه مديراً ذكياً. ينظر إلى الصورة الجديدة ويقول: "ممم، هذا الكلب لديه آذان طويلة وذيل كثيف. أعتقد أننا يجب أن نستمع أكثر للخبير 1 والخبير 3، ونتجاهل الخبير 2".
يقوم المدير بخلط نصائح المتخصصين لإنشاء تلميح مثالي ومخصص للروبوت.

4. "الرقصة المتبادلة" (التدريب)

تدريب هذا النظام يشبه تعليم ثنائي من الراقصين حيث يتبادلون أدوار القيادة:

الخطوة أ (رقصة الخبراء): يتدرب المتخصصون على تقديم أوصاف أفضل للصور. يقف المدير ثابتاً.
الخطوة ب (رقصة المدير): يتجمد المتخصصون. يتدرب المدير على تخمين أي المتخصصين مطلوبون لصور مختلفة، بناءً على ما إذا كانت الإجابة النهائية صحيحة أم خاطئة.
هما يتبادلان الأدوار ذهاباً وإياباً. هذا يمنع الارتباك ويضمن أن يصبح كل من خبراء الصور ومدير التسميات بارعين حقاً في وظائفهم.

لماذا يهم هذا؟

اختبرت الورقة هذا على ثلاث مهام:

التقطيع (Segmentation): قص جسم معين من صورة (مثل قطع قطعة كعك من العجين).
الكشف (Detection): تحديد مكان جسم ما (مثل العثور على سيارة في موقف للسيارات).
التلوين (Colorization): تحويل صورة بالأبيض والأسود إلى صورة ملونة.

النتيجة:
كان LaPR أفضل بشكل ملحوظ من جميع الطرق السابقة.

الطريقة القديمة: "أرى كرة حمراء. سأخمن أنها طماطم". (لأن الصورة تشبه الطماطم).
LaPR: "أرى كرة حمراء، لكن التسمية تقول 'كرة'. سأخمن أنها كرة".

الخلاصة الكبرى

الدرس الرئيسي من هذه الورقة بسيط: لا تحكم على الكتاب من غلافه فقط.

في عالم الذكاء الاصطناعي، إذا كنت تريد من الكمبيوتر أن يتعلم من الأمثلة، يجب عليك الانتباه إلى ما تسمى به هذه الأمثلة فعلياً (التسميات)، وليس فقط كيف تبدو. من خلال الجمع بين "المظهر" البصري و"الاسم" النصي، واستخدام فريق ذكي من المتخصصين للتكيف مع المواقف الجديدة، يمكننا جعل الذكاء الاصطناعي أكثر ذكاءً وموثوقية.

باخت-الاختصار: يعلم LaPR الذكاء الاصطناعي أن "يحب التسمية، وليس الصورة فقط"، مما يضمن حصوله على الإجابة الصحيحة في كل مرة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning".

1. بيان المشكلة (Problem Statement)

تسمح عملية التعلم السياقي البصري (Visual In-Context Learning - VICL) للنماذج التأسيسية بأداء مهام متنوعة (مثل التجزئة، والكشف عن الأجسام) من خلال توجيهها باستخدام مطالبات توضيحية (أزواج من الصور والملصقات/التسميات). وتتمثل العقبة الحرجة في الـ VICL في استرجاع المطالبات (prompt retrieval): أي اختيار المطالبة الأكثر صلة من قاعدة بيانات لتوجيه النموذج لمهمة محددة.

القصور الحالي: تركز الأساليب الحالية المتطورة (مثل SupPR و Partial2Global) بشكل أساسي على التشابه البصري بين صورة الاستعلام وصور المطالبات. وهي تتجاهل إلى حد كبير معلومات الملصق (label information) المرتبطة بالمطالبات.
النتيجة: هذا النهج "المتجرد من الملصقات" (label-agnostic) يؤدي غالباً إلى استرجاع مطالبات متشابهة بصرياً ولكنها غير متسقة مع الملصق. على سبيل المثال، قد تسترجع صورة استعلام لـ "قطة" صورة مطالبة تحتوي على قطة وزهرة، ولكنها موسومة بملصق "زهرة". هذا التناقض يربك نموذج الـ VICL، مما يؤدي إلى تدهور الأداء.
الفرضية: يوضح المؤلفون أن الاتساق العالي في الملصقات بين الاستعلام والمطالبة المسترجعة يرتبط إيجابياً بتحسين أداء الـ VICL. ومع ذلك، يوجد تحدٍ يتمثل في أنه عند وقت الاستدلال (inference time)، يكون ملصق الاستعلام غير متاح (غير ملاحظ)، مما يجعل من الصعب فرض اتساق الملصقات أثناء عملية الاسترجاع.

2. المنهجية: LaPR (استرجاع المطالبات المدرك للملصقات)

يقترح المؤلفون إطار عمل LaPR، وهو مصمم لدمج معلومات الملصق بشكل صريح في عملية اختيار المطالبة، حتى عندما يكون ملصق الاستعلام مجهولاً.

أ. البنية الأساسية (Core Architecture)

يستخدم LaPR آلية خليط من الخبراء (Mixture-of-Experts - MoE) مقترنة بـ موجه متكيف مع الاستعلام (Query-Adaptive Router) للتعامل مع غياب ملصق الاستعلام.

تمثيلات المطالبات المدركة للملصقات (Label-Aware Prompt Embeddings):
- يتم ترميز المطالبات كـ تمثيلات مشتركة عبر دمج ميزات الصورة ( $z^I$ ) وميزات الملصق ( $z^L$ ) في متجه واحد ( $z = z^I + z^L$ ).
- تقوم مجموعة من خبراء المطالبات ( $\bar{E}_k$ ) بمعالجة هذه التمثيلات المشتركة لالتقاط "أنماط" (modes) متميزة (مثل السمات الدلالية المحددة مثل "ذيل طويل" أو "منقار حاد").
تمثيلات الاستعلام المدركة للملصقات (التعامل مع الملصقات المجهولة):
- بما أن ملصق الاستعلام مجهول، لا يمكن للنظام مطابقة الملصقات مباشرة. بدلاً من ذلك، يستخدم موجه (Router) ( $R$ ) لاستنتاج الملصق الضمني للاستعلام.
- خبراء الاستعلام ( $E_k$ ): على غرار جانب المطالبة، يقوم عدة خبراء بترميز صورة الاستعلام إلى تمثيلات مختلفة خاصة بكل نمط.
- الموجه (Router): يأخذ الموجه تمثيل الاستعلام ويخرج توزيعاً احتمالياً ( $\pi_q$ ) على الأنماط الـ $K$ . يعمل هذا التوزيع كـ أوزان خليط، مما يقدر فعلياً الأنماط (وبالتالي الملصقات الضمنية) ذات الصلة بالاستعلام الحالي.
- تمثيل الاستماعي النهائي هو مجموع أوزان مخرجات الخبراء بناءً على $\pi_q$ .
عملية الاسترجاع (Retrieval Process):
- يحسب النظام التشابه بين تمثيل الاستعلام المدرك للملصق وتمثيلات المطالبات ذات الصلة بالاستعلام (والتي يتم وزنها أيضاً بواسطة توزيع النمط المستنتج من الموجه).
- يتم اختيار المطالبة ذات أعلى درجة تشابه.

ب. استراتيجية التحسين: التدريب المتناوب (Alternating Training)

لمنع الموجه والخبراء من التداخل في أهداف التعلم الخاصة بكل منهما، يستخدم LaPR مخطط تحسين متناوب منحل (decoupled alternating optimization). تخضع كل دفعة صغيرة (mini-batch) لتحديثين متتاليين:

خطوة الخبير (الموجهة بالأداء):
- الهدف: تعزيز قدرة الخبراء على التقاط أنماط محددة تؤدي إلى أداء جيد في الـ VICL.
- الطريقة: يتم تجميد الموجه. يتم تدريب الخبراء باستخدام فقد التباين الموجه بالأداء في الـ VICL ( $\mathcal{L}_{PG}$ ).
- الآلية: يقوم النظام بتشغيل نموذج الـ VICL (MAE-VQGAN) على المطالبات المرشحة للحصول على درجات المهمة الفعلية (مثل IoU). تُعامل المطالبات التي تحقق درجات عالية كأمثلة موجبة، والمنخفضة كأمثلة سالبة. تتعلم الخبراء ترميز الميزات التي ترتبط بالأداء العالي للمهمة.
خطوة الموجه (الموجهة بالملصق):
- الهدف: تدريب الموجه على استنتاج أوزان الخليط التي تتوافق مع ملصق الاستعلام الحقيقي (ground-truth).
- الط الطريقة: يتم تجميد الخبراء. يتم تدريب الموجه باستخدام فقد التباين الموجه بالملصق ( $\mathcal{L}_{LG}$ ) وفقد توازن الحمل ( $\mathcal{L}_{LB}$ ).
- الآلية:
  - التوجيه بالملصق: تُعامل المطالبات ذات الملصقات المتسقة مع ملصق الاستعلام الحقيقي كأمثلة موجبة. يتعلم الموجه تخصيص أوزان أعلى للخبراء المقابلين لهذه الأنماط المتسقة.
  - توازن الحمل: يضمن فقد تباين (KL-divergence) استخدام جميع الخبراء بالتساوي عبر الدفعة، مما يمنع "انهيار الخبير" (حيث يُستخدم خبير واحد فقط).

3. المساهمات الرئيسية (Key Contributions)

أول استرجاع مدرك للملصقات في الـ VICL: تعد هذه الورقة الأولى التي تعالج صراحة عدم الاتساق في الملصقات في استرجاع المطالبات، مما ينقل النموذج من مجرد التشابه البصري إلى الاتساق بين الصورة والملصق.
بنية MoE مبتكرة: تقدم تصميماً مزدياً لـ MoE حيث:
- تستخدم المطالبات تمثيلات مشتركة للصورة والملصق.
- تستخدم الاستعلامات موجهًا لاستنتاج الملصقات الضمنية واختيار الأنماط ذات الصلة ديناميكياً.
التحسين المنحل (Decoupled Optimization): تقترح استراتيجية تدريب متناوبة مستقرة تفصل تعلم "ما الذي يجعل المطالبة جيدة" (الخبراء) عن "كيفية تحديد نمط الاستعلام" (الموجه).
أداء متفوق (State-of-the-Art): تحقق تحسينات كبيرة عبر مهام ومجموعات بيانات متعددة.

4. النتائج التجريبية (Experimental Results)

قيم المؤلفون LaPR في ثلاث مهام تابعة: تجزئة المقدمة (Foreground Segmentation)، الكشف عن جسم واحد (Single-Object Detection)، وتلوين الصور (Image Colorization).

الأداء الكمي:
- التجزئة (Pascal-5i): حقق LaPR نسبة 41.36% mIoU (متوسط)، متفوقاً على أفضل طريقة سابقة تعتمد على الاسترجاع (SupPR بنسبة 35.56%) وبمقدار ~5.8%، وعلى منهجية إعادة التصنيف RH-Partial2Global (بنسبة 39.02%) بمقدار 2.34%.
- الكشف (Pascal VOC): حقق LaPL نسبة 32.01% mIoU، متفوقاً على RH-Partial2Global (30.94%) بنسبة 1.07%.
- التلوين: حقق نتائج تنافسية مع خطأ متوسط مربعات (MSE) أقل.
القابلية للنقل عبر الطيات (Cross-Fold Transferability): أظهر LaPR قدرة فائقة على التعميم عند التدريب على طية واحدة والاختبار على طيات أخرى، متفوقاً على SupPR بنسبة 14.8% وعلى Partial2Global بنسبة 13.9% في متوسط mIoU. يشير هذا إلى أن الأنماط المتعلمة أكثر دقة ومتانة من مجرد فئات الملصقات البسيطة.
استقلالية مستخرج الميزات: ظل المنهج في القمة حتى عند استبدال مشفر CLIP بـ DINOv2، مما يثبت قوة الإطار.
التحليل النوعي: أظهرت التوضيحات (الشكل 4) أنه بينما غالباً ما تسترجع الأساليب المجردة من الملصقات مطالبات متشابهة بصرياً ولكنها خاطئة دلالياً (مثل استرجاع مطالبة "تلفاز" لاستعلام "قطة")، فإن LaPR يسترجع باستمرار مطالبات ذات ملصقات متطابقة، مما يؤدي إلى تنبؤات دقيقة.

5. الأهمية والخاتمة (Significance and Conclusion)

تعيد هذه الورقة التفكير بشكل جوهري في دور البيانات الوصفية (الملصقات) في الاسترجاع البصري. فهي تثبت أن تجاهل الملصقات في اختيار المطالبات هو استراتيجية غير مثالية للتعلم السياقي البصري (VICL).

الرؤية النظرية: تؤسس الورقة إلى أن اتساق الملصق هو مؤشر أقوى لنجاح الـ VICL من التشابه البصري وحده.
الأثر العملي: يوفر LaPR إطار عمل قوياً وقابلاً للتعميم يمكن دمجه في خطوط أنابيب الـ VICL الحالية لتعزيز الأداء بشكل كبير دون الحاجة إلى تغيير النموذج التأسيسي الأساسي.
الاتجاه المستقبلي: يفتح هذا العمل آفاقاً جديدة للبحث في أنظمة الاسترجاع "المدركة للملصقات" واستخدام الهياكل الدلالية الضمنية في التعلم متعدد الوسائط.

باختصار، يحل LaPR مشكلة "عدم اتساق الملصقات" في الـ VICL باستخدام خليط من الخبراء الموجه بالموجه لاستنتاج قصد الاستعلام واسترجاع المطالبات التي ليست متشابهة بصرياً فحسب، بل متسقة دلالياً وبالملصق أيضاً.