🤖 AI

Decoupling Endpoint and Semantic Transition Learning for Zero-Shot Composed Image Retrieval

تقترح الورقة البحثية DeCIR، وهو إطار عمل جديد قائم على الإسقاط لاسترجاع الصور المركبة بأسلوب التعلم الصفري، والذي يعالج عقبة الانتقال الدلالي عبر فصل تعلم النقاط الطرفية والانتقالية إلى فروع محولات منخفضة الرتبة منفصلة يتم دمجها عبر دمج اتجاهي منخفض الرتبة، مما يؤدي إلى تحسين الأداء في التعديلات الدلالية المعقدة دون زيادة تعقيد الاستدلال.

المؤلفون الأصليون: Mingyu Liu, Sihan Huang, Yijia Fan, Yinlin Yan, Quan Zhang, Jian-Fang Hu, Jianhuang Lai

نُشر 2026-05-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mingyu Liu, Sihan Huang, Yijia Fan, Yinlin Yan, Quan Zhang, Jian-Fang Hu, Jianhuang Lai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تلعب لعبة "ابحث عن الصورة الجديدة".

أنت تعرض على الكمبيوتر صورة مرجعية (لنفترض، صورة لطائر أخضر يجلس على غصن). ثم تعطي الكمبيوتر تعليمات نصية (مثل: "اجعله طائرين"). مهمة الكمبيوتر هي العثور على الصورة المستهدفة من مكتبة ضخمة تطابق وصفك: يجب أن تظهر طائرين، لكن يجب أن يظلا خضرين وعلى غصن، تماماً مثل الصورة الأصلية.

يُسمى هذا استرجاع الصور المركب (Composed Image Retrieval). والجزء الصعب هو القيام بذلك دون أن يقوم "معلم" بإظهار آلاف الأمثلة للكمبيوتر تتضمن صور "قبل"، و"تعليمات"، و"بعد". يُسمى هذا التعلم "صفرِيّ الملة" (Zero-Shot).

المشكلة: فخ "الاختصار"

تجادل الورقة البحثية بأن النماذج الحاسوبية خفيفة الوزن الحالية تسلك اختصاراً كسولاً.

عندما تقول "اجعله طائرين"، فإن النموذج القياسي غالباً ما يتجاهل جزء "الطائر الأخضر" من الصورة الأصلية. فهو يسمع فقط "طائرين" ويجلب أي صورة تحتوي على طائرين، حتى لو كانت حمراء أو زرقاء أو تطير في السماء. إنه يعامل تعليماتك كأنها مجرد تسمية للنتيجة النهائية، وليس كمجموعة من القواعد لتغيير الصورة الأصلية.

يسمي المؤلفون هذا "اختصار نقطة النهاية" (Endpoint Shortcut). فالنموذج يرى الوجهة (طائرين) لكنه ينسى الرحلة (البدء من طائر أخضر).

الصراع: محاولة تعلم شيئين في آن واحد

لإصلاح ذلك، حاول الباحثون تعليم النموذج شيئين في وقت واحد:

الوجهة: "ابحث عن الصورة التي بها طائران".
الرحلة: "افهم كيفية تحويل طائر أخضر إلى طائرين أخضرين".

حاولوا حشر كلا الدرسين في نفس الجزء الصغير من عقل الكمبيوتر (يسمى "مُكيِّف النص" أو text adapter). لكن هذا تسبب في ازدحام مروري. فالتعليمات الخاصة بـ "إيجاد الوجهة" والتعليمات الخاصة بـ "تعلم الرحلة" دفعتا العقل في اتجاهات متعاكسة، مما أدى لتشتيت النموذج وجعله أسوأ في كلا المهمتين.

الحل: DeCIR (استرجاع الصور المركب المنفصل)

يقترح المؤلفون طريقة جديدة تسمى DeCIR. تخيل الأمر كتوظيف اثنين من المعلمين المتخصصين لنفس الطالب، ولكن السماح لهما بتدريس موضوعات مختلفة بشكل منفصل قبل دمج ملاحظاتهما.

معلم "الوجهة": يركز هذا المعلم بحت على مطابقة الوصف النهائي (مثل: "طائران").
معلم "الرحلة": يركز هذا المعلم بحت على التغيير. ولتعليم ذلك، يستخدم الكمبيوتر ذكاءً اصطناعياً ذكياً (LLM) لابتكار مشكلاته التدريبية الخاصة. يأخذ صورة عادية ووصفاً لها، ثم يبتكر تعليمات "أمامية" (كيفية تغييرها) وتعليمات "عكسية" (كيفية إلغاء هذا التغيير). هذا يعلم النموذج اتجاه التغيير، وليس مجرد النتيجة.

الدمج السحري (LRDM):
بمجرد أن ينتهي المعلمان من تدريبهما المنفصل، يستخدم الباحثون تقنية خاصة تسمى الدمج الاتجاهي منخفض الرتبة (LRDM).

تخيل أن معلم "الوجهة" لديه حقيبة ظهر صلبة (الهيكل الأساسي).
ومعلم "الرحلة" لديه مجموعة من الملاحظات اللاصقة التي تحتوي على اتجاهات محددة.
بدلاً من جعل الطالب يحمل حقيبتي ظهر ثقيلتين، يقومون بلصق ملاحظات "الرحلة" داخل حقيبة "الوجهة".

الآن، أصبح لدى الطالب حقيبة ظهر واحدة خفيفة الوزن تعرف كل من أين تذهب وكيف تصل إلى هناك، دون الحاجة إلى معلمين ثقيلين أثناء اللعبة الفعلية.

لماذا يهم هذا؟

لا حاجة لنماذج لغوية ضخمة في النهاية: على عكس الطرق الأخرى التي تحتاج إلى ذكاء اصطناٍعي ضخم وبطيء للتفكير في كل طلب، يقوم DeCIR بكل التفكير الثقيل أثناء التدريب. وعندما تستخدمه فعلياً، يكون سريعاً وخفيف الوزن.
نتائج أفضل: في الاختبارات على صور الأزياء، والطبيعة، والجينات، وجد DeCIR الصور "المغيرة" الصحيحة في كثير من الأحيان أكثر من الطرق السابقة. لقد نجح في الحفاظ على اللون "الأخضر" في "الطائر الأخضر" مع إضافة الطائر الثاني.

باخت-الكلمة: يمنع DeCIR الكمبيوتر من اتخاذ الاختصارات الكسولة. إنه يعلم النموذج عملية تغيير الصورة، وليس فقط النتيجة، وذلك عبر تدريب مهارتين منفصلتين ثم دمجهما بدقة في أداة واحدة فعالة.

ملخص تقني: فك الارتباط بين نقطة النهاية والتعلم الانتقالي الدلالي لاسترجاع الصور المركبة بصفر من الأمثلة (DeCIR)

1. تعريف المشكلة

يهدف استرجاع الصور المركبة بصفر من الأمثلة (ZS-CIR) إلى استرجاع صورة مستهدفة بناءً على صورة مرجعية وتعديل نصي، دون الاعتماد على مجموعات ثلاثية (مرجع-تعليمات-هدف) مصنفة بشرياً. وبينما توفر الأساليب القائمة على الإسقاط (التي تسقط الصور إلى تضمينات نصية باستخدام نماذج مثل CLIP) استدلالاً خفيف الوزن دون الحاجة إلى نماذج لغوية كبيرة (LLMs)، إلا أنها تعاني من عنق زجاجة في الانتقال الدلالي.

في هذه الأساليب، يستنتج مشفر النص ضمنياً الانتقال من المصدر (المرجع) إلى الهدف. ومع ذلك، وبسبب غياب الإشراف الصريح لهذا الانتقال، غالباً ما يقع النموذج في "اختصار نقطة النهاية" (endpoint shortcut). فبدلاً من تعلم انتقال دلالي مشروط بالمصدر (مثل: "غيّر الطائر الأخضر إلى طائرين أخضرين")، يعامل النموذج نص التعديل مجرد إشارة لسمة في جانب الهدف (مثل: "طائران")، مما يؤدي إلى استرجاع أي صورة تطابق سمة الهدف مع تجاهل القيود المحددة للصورة المرجعية.

علاوة على ذلك، حدد المؤلفون أن إضافة الإشراف على الانتقال الدلالي بشكل عشوائي إلى نفس محول النص منخفض الرتبة (low-rank text adapter) المستخدم لمحاذاة نقطة النهاية يؤدي إلى صراع في التحسين (optimization conflict). فالأهداف المتمثلة في محاذاة الاستعلام مع نقطة نهاية الهدف ومحاذاة التعليمات مع الإزاحة الدلالية (الانتقال) تتنافس على نفس مساحة المعلمات، مما يؤدي إلى تداخل في التدرجات (gradient interference) يقلل من الأداء.

2. المنهجية: DeCIR

يعالج إطار العمل المقترح، DeCIR، هذه المشكلات من خلال فك الارتباط بين نقطة النهاية والانتقال الواعي بالصراع واستراتيجية دمج مبتكرة.

2.1 بناء الإشراف عبر النماذج اللغوية الكبيرة (خارج الإنترنت فقط)

للتغلب على نقص الثلاثيات المصنفة، يستخدم DeCIR نموذجاً لغوياً كبيراً (تحديداً glm-4-flash) خارج الإنترنت لتحويل أزواج (صورة-وصف) القياسية (من مجموعة بيانات CC3M) إلى أزواج تعديل أمامية وعكسية مهيكلة.

التعديل الأمامي (Forward Edit): يولد وصفاً للهدف وتعليماً يصف تغيراً بصرياً محدداً من المصدر.
التعديل العكسي (Reverse Edit): يولد تعليماً يلغي التغيير الأمامي.
تخلق هذه العملية إشارة إشراف ثنائية الاتجاه $(I_{ref}, c_{src}, t_{fwd}, c_{tgt}, t_{rev})$ دون الحاجة إلى تصنيف بشري أو استخدام نماذج لغوية كبيرة أثناء الاستدلال.

2.2 بنية التدريب المفككة

يستخدم DeCIR فرعين متخصصين من محولات النص منخفضة الرتبة فوق مشفر نص CLIP، يتم تهيئتهما من نفس الأوزان ولكن يتم تحسينهما بشكل منفصل:

فرع محاذاة نقطة النهاية ( $E^{end}_T$ ): يتم تحسينه باستخدام خسارة التباين ( $L_{end}$ ) لمحاذاة تضمين الاستعلام المركب مع تضمين وصف الهدف المولد. يحدد هذا الفرع مسار الاسترجاء القابل للنشر.
فرع الانتقال الدلالي ( $E^{trans}_T$ ): يتم تحسينه باستخدام خسارة الانتقال ( $L_{trans}$ ) لمحاذاة التعليمات الأمامية مع متجه الإزاحة الدلالية ( $\delta = f^{trans}_{tgt} - f_{src}$ ) والتعليمات العكسية مع $-\delta$ . يتعلم هذا الفرع تشفير اتجاه التغيير بدلاً من نقطة النهاية النهائية.

يتم تحديث معلمات LoRA للمشفر البصري وشبكة الانعكاس ( $f_\phi$ ) بواسطة فرع نقطة النهاية فقط، مما يضمن بقاء مسار الاسترجاء مستقراً بينما يتخصص فرع الانتقال في دلالات التعليمات.

2.3 الدمج الاتجاهي منخفض الرتبة (LRDM)

للحفاظ على خط استدلال خفيف الوزن، يتم دمج الفرعين في محول واحد قابل للنشر بعد التدريب.

الأساس المشترك (Shared Basis): يشترك كلا الفرعين في مصفوفة الأساس المخرجة منخفضة الرتبة $B_\ell$ .
دمج المعاملات: يتم دمج مصفوفات المعاملات الخاصة بكل فرع ( $A^{end}_\ell$ و $A^{trans}_\ell$ ) خطياً: $A^{merge}_\ell = (1-\alpha)A^{end}_\ell + \alpha A^{trans}_\ell$ .
عدم التماثل: يحافظ فرع نقطة النهاية على بنية العمود الفقري (backbone)، بينما يساهم فرع الانتقال بمعاملات الانتقال الدلالي ضمن هذا الأساس المشترك. يتم التخلص من فرع الانتقال بعد الدمج، مما ينتج عنه محول نص واحد للاستدلال.

3. المساهمات الرئيسية

تحديد عنق زجاجة الانتقال الدلالي: يوضح البحث أن الإسقاط في ZS-CIR يفشل في التعديلات المعقدة لأن مشفر النص يختزل التعديل في إشارة لجانب الهدف، مما يؤدي لفقدان الأدلة المشروطة بالمصدر.
تشخيص صراع التحسين: من خلال فحص التدرج على مستوى الطبقات، أظهر المؤلفون أن التحسين المشترك لمحاذاة نقطة النهاية ومحاذاة الانتقال الدلالي في محول مشترك يسبب تداخلاً كبيراً في التدرجات، خاصة في طبقات Transformer العميقة.
إطار التعلم المفكك: يقدم DeCIR استراتيجية تدريب تفصل تعلم نقطة النهاية والانتقال إلى فروع متخصصة لتجنب التداخل.
الدمج الاتجاهي منخفض الرتبة (LRDM): تقنية دمج تدمج حساسية الانتقال الدلالي في مسار الإسقاط دون زيادة تعقيد الاستدلال أو الحاجة لنماذج لغوية كبيرة أثناء التشغيل.

4. النتائج التجريبية

تم تقييم DeCIR على أربعة معايير مرجعية: CIRR (تمييز الصور الطبيعية)، CIRCO (ترتيب الأهداف المتعددة)، FashionIQ (تعديلات الأزياء)، و GeneCIS (الاسترجاع الشرطي).

الأداء: يتفوق DeCIR باستمرار على أساليب الإسقاط ذات الحالة الراهنة (مثل Pic2Word و DistillCIR و Slerp) ويقترب من أو يتجاوز الأساليب القائمة على النماذج اللغوية الكبيرة (مثل CIReVL) في دقة الاسترجاع.
- في CIRCO (ViT-L/14)، حقق DeCIR نسبة 21.3% mAP@5، متفوقاً على أفضل النتائج السابقة (DistillCIR) بمقدار 2.6%.
- في CIRR، وصل DeCIR إلى 33.4% R@1 (ViT-L/14)، متجاوزاً DistillCIR (32.3%).
- في FashionIQ، حقق أفضل أداء متوسط عبر فئات الفساتين والقمصان والبلوزات.
دراسات الاستئصال (Ablation Studies):
- التفكيك (Decoupling): أدى التدريب المشترك لكلا الهدفين في محول واحد إلى أداء أسوأ من التدريب المقتصر على الاسترجاع فقط، مما أكد وجود صراع في التدرجات. حقق التدريب المفكك متبوعاً بـ LRDM أفضل النتائج.
- الدمج (Merging): تفوق LRDM على استراتيجيات دمج النماذج العامة (مثل Task Arithmetic و TIES و DARE)، مما يثبت صحة تصميم الدمج غير المتماثل للمعاملات.
- كفاءة الاستدلال: يحافظ DeCIR على ملف استدلال خفيف الوزن مشابه للأساليب الأخرى القائمة على الإسقاط (حوالي 467 مليون معلمة) ولا يتطلب نماذج لغوية كبيرة أو حلقات استدلال منطقي أثناء التشغيل، على عكس الأساليب الثقيلة القائمة على LLM.

5. الأهمية والادعاءات

يدعي البحث أن DeCIR ينجح في حل المقايضة بين كفاءة الأساليب القائمة على الإسقاط وقدرات الاستنتاج للنماذج اللغوية الكبيرة. من خلال نمذجة الانتقال الدلالي من المصدر إلى الهدف صراحةً عبر التعلم المفكك والدمج، يمكن لـ DeCIR تمكين النماذج خفيفة الوزن من إجراء تعديلات دقيقة ومعقدة دون الانهيار في اختصارات نقطة النهاية.

يؤكد المؤلفون أن نهجهم يحسن المقايضة بين الدقة والكفاءة في ZS-CIR. هم لا يدعون استبدال الاستنتاج القائم على LLM بالكامل، بل يوضحون أنه مع بناء الإشراف المناسب وفك الارتباط الهيكلي، يمكن للنماذج القائمة على الإسقاط تحقيق أداء تنافسي مع الاحتفاظ بمزايا النشر المتمثلة في كونها خفيفة الوزن وخالية من الحاجة لـ LLM أثناء الاستدلال. يقتصر عملهم على إعدادات الإسقاط ويعتمد على الإشراف من النماذج اللغوية الكبيرة (خارج الإنترنت) لتوليد بيانات التدريب.