🤖 AI

FashionMV: Product-Level Composed Image Retrieval with Multi-View Fashion Data

تقدم هذه الورقة البحثية FashionMV، وهي أول مجموعة بيانات للأزياء متعددة المشاهد واسعة النطاق، وProCIR، وهو إطار عمل متعدد الوسائط يعالج مشكلة "عدم اكتمال المشهد" في أنظمة استرجاع الصور المركبة الحالية من خلال تمكين الاسترجاء على مستوى المنتج عبر آليات مثل الحوار ثنائي المراحل والمحاذاة القائمة على الوصف.

المؤلفون الأصليون: Peng Yuan, Bingyin Mei, Hui Zhang

نُشر 2026-04-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Peng Yuan, Bingyin Mei, Hui Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتسوق لشراء زي جديد عبر الإنترنت. وجدت قميصاً أعجبك، لكنك تريد تغيير بعض الأشياء: "أحب التصميم الأمامي، لكني أريد أن يكون الظهر مفتوحاً مع أربطة متقاطعة، وأريد أن تكون الأكمام أقصر".

في عالم مساعدي التسوق بالذكاء الاصطناعي الحالي، تعد هذه تجربة محبطة. إليك السبب، وكيف يعالج البحث الجديد، FashionMV، هذه المشكلة.

المشكلة: "نقطة العمى" ذات الصورة الواحدة

في الوقت الحالي، تعمل معظم أدوات البحث عن الصور بالذكاء الاصطناعي مثل المحقق الذي ينظر فقط إلى صورة واحدة لمسرح الجريمة.

في التجارة الإلكترونية للأزياء، المنتج يشبه جسماً ثلاثي الأبعاد. لفهمه بالكامل، تحتاج لرؤية الأمام، والخلف، والجانب، والتفاصيل. لكن أنظمة الذاء الاصطناعي الحالية "عمياء" عن الأجزاء التي لا يمكنك رؤيتها في الصورة التي رفعتها.

السيناريو: ترفع صورة لـ مقدمة القميص. ثم تطلب تصميماً بظهر مكشوف.
فشل الذكاء الاصطناعي: ينظر الذكاء الاصطناعي إلى الصورة الأمامية، ويرى ظهراً مصمتاً (لأنه مخفي عن الرؤية)، ويفكر: "لا يمكنني العثور على قميص بظهر مكشوف لأن هذا القميص له ظهر". يصاب بالارتباك لأنه لا يعرف أن المنتج له عرض خلفي غير موجود في صورتك.

يطلق المؤلفون على هذا اسم "عدم اكتمال الرؤية" (View Incompleteness). الأمر يشبه محاولة وصف منزل كامل من خلال النظر فقط إلى الباب الأمامي وتجاهل بقية المبنى.

الحل: "جواز سفر المنتج" (FashionMV)

لإصلاح ذلك، بنى الباحثون مجموعة بيانات ضخمة وجديدة تسمى FashionMV.

لا تنظر إلى مجموعة البيانات هذه كمجرد كومة من الصور الفردية، بل كمجموعة من "جوازات سفر المنتجات".

بدلاً من مجرد صورة واحدة، يأتي كل "منتج" في هذه القاعدة مع جواز سفر يحتوي على 2 إلى 5 صور (الأمام، الخلف، الجانب، التفاصيل).
استخدموا ذكاءً اصطناعياً فائق الذكاء (نماذج متعددة الوسائط كبيرة - LMMs) لقراءة جوازات السفر هذه وكتابة أوصاف تفصيلية، مما خلق أكثر من 220,000 "سيناريو بحث" حيث يقوم المستخدم بتغيير منتج إلى آخر باستخدام النص.

هذه هي المرة الأولى التي يتم فيها تعليم الذكاء الاصطناعي أن "المنظر الأمامي + المنظر الخلفي = منتج واحد كامل".

العقل الجديد للذكاء الاصطناعي: ProCIR

قاموا أيضاً ببناء نموذج جديد يسمى ProCIR (استرجاع الصور المركبة على مستوى المنتج). تخيل هذا النموذج كـ منسق أزياء لديه طريقة فريدة في التفكير. فبدلاً من مجرد إلقاء نظرة خاطفة على صورة، فإنه يستخدم ثلاث حيل خاصة:

"المحادثة ذات المرحلتين" (دفتر ملاحظات المحقق):
- الطريقة القديمة: يحاول الذكاء الاصطناعي النظر إلى الصورة وقراءة طلبك النصي في نفس الوقت تماماً، مما يسبب له الارتباك.
- طريقة ProCIR: يقسم المهمة إلى خطوتين.
  - الخطوة 1: "حسناً، دعني أنظر إلى جميع صور هذا القميص (الأمام، الخلف، الجانب) وأحفظ ماهيته حقاً". (إنه ينشئ ذاكرة بصرية نقية).
  - الخطوة 2: "الآن، أخبرني بما تريد تغييره".
- التشبيه: الأمر يشبه الطاهي الذي يتذوق المكونات أولاً، ثم يستمع إلى طلبك ليقرر كيف يطبخ، بدلاً من محاولة التذوق والاستماع في آن واحد.
"مرساة الوصف" (آلة وضع الملصقات):
- يقرأ الذكاء الاصطناعي الأوصاف المكتة التفصيلية للملابس ويجبر عقله البصري على مطابقة تلك الكلمات.
- التشبيه: الأمر يشبه وضع ملصق مكتوب واضح على كل عنصر في المستودع حتى يعرف الروبوت بالضبط ما هو شكل "الأربطة المتقاطعة"، بدلاً من مجرد التخمين بناءً على الشكل.
"التفكير بصوت عالٍ" (سلسلة الأفكور - Chain of Thought):
- قبل إعطاء الإجابة، يتم تدريب الذكاء الاصطناعي على "التفكير بصوت عالٍ" حول الاختلافات بين الملابس.
- التشبيه: الأمر يشبه الطالب الذي يحل مسألة رياضية عن طريق كتابة الخطوات على الورق، بدلاً من مجرد تخمين الإجابة.

الاكتشاف الكبير

أجرى الباحثون تجربة ضخمة (مثل معرض علوم يضم 16 نسخة مختلفة من الذكاء الاصطناعي) ووجدوا ثلاثة أشياء مفاجئة:

"آلة وضع الملصقات" هي اللاعب الأهم: الجزء الأكثر أهمية في النظام كان ببساطة تعليم الذكاء الاصطناعي مطابقة الصور مع أوصافها المكتوبة. بدون هذا، سيفشل كل شيء آخر.
"التفكير بصوت عالٍ" ليس ضرورياً دائماً: إذا قمت بتدريب الذكاء الاصطناعي أولاً بمرحلة "واجب منزلي" (ضبط دقيق تحت الإشراف - SFT) حيث يتعلم قواعد الأزياء، فلن يحتاج إلى "التفكير بصوت عالٍ" بعد الآن. إنه يعرف الإجابة بالفعل. تصبح خطوة "التفكير" زائدة عن الحاجة، مثل الآلة الحاسبة التي تعرف بالفعل جداول الضرب.
الصغير هو الأجمل: نموذجهم صغير جداً (0.8 مليار معلمة/parameter) مقارنة بنماذج الذكاء الاصطناعي الضخمة الأخرى (التي تفوقه بـ 10 أضعاف)، ومع ذلك يتفوق عليها جميعاً. الأمر يشبه سيارة رياضية مدمجة تهزم شاحنة ثقيلة في سباق لأنها صُممت خصيصاً لهذا المضمار.

لماذا يهم هذا؟

هذا البحث يغير قواعد اللعبة للتسوق عبر الإنترنت.

بالنسبة لك: يمكنك أخيراً رفع صورة لفستان أعجبك وقول: "أريد نفس النمط، ولكن بفتحة صدر على شكل حرف V عميقة في الخلف وأزرار حمراء"، وسيفهم الذكاء الاصطناعي فعلياً أن "الظهر" موجود حتى لو لم تظهر صورتك ذلك.
بالنسبة للصناعة: إنه ينقل الذكاء الاصطناعي من مرحل "البحث عن صور مشابهة" إلى "فهم المنتجات".

باختصار، FashionMV يعلم الذكاء الاصطناعي التوقف عن النظر فقط إلى الباب الأمامي والبدء في رؤية المنزل بأكمله.

إليك ملخص تقني مفصل لورقة البحث "FashionMV: Product-Level Composed Image Retrieval with Multi-View Fashion Data."

1. تعريف المشكلة: عدم اكتمال الرؤية (View Incompleteness)

تحدد الورقة قصوراً جوهرياً في أنظمة استرجاع الصور المركبة (CIR) الحالية، وهو ما يُسمى بـ "عدم اكتمال الرؤية".

الوضع الحالي: يعمل نظام الـ CIR القياسي على مستوى الصورة، حيث يأخذ صورة مرجعية واحدة ونص تعديل لاسترجاع صورة هدف واحدة.
الفجوة: في التجارة الإلكترونية الواقعية (خاصة في مجال الأزياء)، تُعرض المنتجات عبر وجهات نظر متعددة (أمام، خلف، جانب، تفاصيل). يستنتج المستخدمون خصائص المنتج بشكل كلي. وغالباً لا تستطيع الصورة الواحدة التقاط جميع الميزات المحددة (على سبيل المثال، فتحة الصدر العميقة V-neck تظهر من الأمام فقط، بينما التصميم المفتوح من الخلف يظهر من الخلف فقط).
النتيجة: عندما يطلب المستخدم تعديلاً يتعلق بمناطق غير مرئية (مثل "اجعل الظهر مفتوحاً" بناءً على صورة من المنظر الأمامي)، تفشل نماذج الـ CIR أحادية الصورة لأنها لا تستطيع الاستنتاج أو الاسترجاع بناءً على بيانات بصرية مفقودة. النماذج والبيانات الحالية لا تقوم بتجميع بيانات تعدد الرؤى في تمثيل موحد على مستوى المنتج.

2. المنهجية

أ. مجموعة بيانات FashionMV

قام المؤلفون ببناء FashionMV، وهي أول مجموعة بيانات واسعة النطاق مصممة لـ الاسترجاع المركب على مستوى المنتج (Product-Level CIR).

الحجم: 127 ألف منتج، 472 ألف صورة متعددة الرؤى، وأكثر من 220 ألف ثلاثية (triplet) من الـ CIR.
خط الإنتاج (آلي بالكامل):
1. توليد وصف متعدد الرؤى: استخدام Kimi K2.5 لتوليد أوصاف لكل صورة، ووصف طويل شامل (يجمع كل الرؤى)، ووصف ملخص قصير لكل منتج.
2. تصفية الهلوسة الاتجاهية: استخدام Qwen3.5-397B للتحقق من الأوصاف الاتجاهية (مثل الجيوب اليسرى مقابل اليمنى) مقابل الأدلة البصرية، مما أدى لتصفية حوالي 4.4% من المنتجات التي تعاني من هلوسات شديدة.
3. بناء الثلاثيات (Triplets): استخدام Gemini 3.1 Flash Lite لاختيار منتجات مستهدفة من مجموعة مرشحة (بناءً على تشابه الصور والوصف) وتوليد نصوص تعديل (قصيرة وطويلة) تصف الاختلافات التي تمتد عبر رؤيتين على الأقل.
الهيكل: تتكون كل ثلاثية من منتج مصدر (صور متعددة الرؤى)، نص تعديل، ومنتج هدف (صور متعددة الرؤى).

ب. إطار عمل ProCIR

يقترح المؤلفون ProCIR (الاسترجاء المركب على مستوى المنتج)، وهو إطار عمل مبني على نموذج لغوي متعدد الوسائط (MLLM)، وتحديداً Qwen3.5-0.8B. وهو يستخدم ثلاث آليات متكاملة:

بنية الحوار ثنائية المرحلة (MT):
- المرحلة الأولى (الإدراك): يعالج النموذج صور المصدر متعددة الرؤى فقط لتوليد تمثيل بصري نقي ( $s$ ).
- المرحلة الثانية (الاستنتاج): يتلقى النموذج نص التعديل والسياق من المرحلة الأولى لتوليد التمثيل الاستعلامي ( $q$ ).
- الفائدة: فصل الإدراك البصري عن الاستنتاج، مما يمنع نص التعديل من التدخل في الترميز البصري. هذا يتيح المحاذاة من جهة المصدر (محاذاة التمثيل البصري النقي مع النص)، وهو أمر مستحيل في النماذج أحادية المرحلة.
المحاذاة القائمة على الوصف (Align):
- حقن الدلالات على مستوى المنتج من خلال محاذاة التمثيلات البصرية مع الأوصاف النصية (الطويلة والقصيرة) التي تم توليدها في المرحلة الأولى.
- يستخدم فقدان (loss) من نوع InfoNCE متماثل لمحاذاة التمثيل البصري للمصدر ( $s$ ) مع وصف المصدر ( $t_{src}$ )، والتمثيل البصري للهدف ( $d$ ) مع وصف الهدف ( $t_{tgt}$ ).
- هذا يرسخ مساحة التمثيل في المعرفة الهيكلية للمنتج.
توجيه سلسلة الأفكى (CoT):
- حقن الوصف الطويل للمنتج داخل عملية الاستنتاج (داخل كتلة <thought>) أثناء التدريب.
- يستخدم جدول إزالة تدريجية: يكون الوصف حاضراً بالكامل في بداية التدريب ويتم حذفه تدريجياً (تنخفض النسبة من 1.0 إلى 0.0) لإجبار النموذج على استيعاب الدلالات داخلياً بدلاً من الاعتماد على النص وقت الاستنتاج.
الضبط الدقيق تحت الإشراف (SFT) (اختياري):
- قبل التدريب التبايني، يخضع النموذج الأساسي لعملية SFT على مهام توليد الوصف وتوليد ثلاثيات الـ CIR. هذا يحقن المعرفة الهيكلية للمنتج مباشرة في أوزان النموذج.

هدف التدريب: مزيج من فقدان الـ CIR الرئيسي ( $L_{cir}$ ) وفقدان المحاذاة ( $L_{src}, L_{doc}$ ).

3. المساهمات الرئيسية

تعريف المهمة: تحديد Multi-View CIR رسمياً، وتعميم الـ CIR من مستوى الصورة إلى مستوى المنتج.
مجموعة البيانات (FashionMV): إنشاء أول مجموعة بيانات أزياء متعددة الرؤى لهذه المهمة، تضم 127 ألف منتج و220 ألف+ ثلاثية ذات أوصاف ثنائية التدرج، تم بناؤها عبر خط إنتاج آلي.
النموذج (ProCIR): اقتراح إطار عمل يكيف نماذج MLLM للاسترجاع على مستوى المنتج باستخدام حوار ثنائي المرحلة، والمحاذاة بالوصف، وسلسلة الأفكار (CoT).
الرؤى التجريبية:
- المحاذاة أمر حاسم: المحاذاة القائمة على الوصف هي الآلية الأكثر أهمية (الأكثر تأثيراً).
- البنية شرط أساسي: الحوار ثنائي المرحلة ضروري لتمكين المحاذاة الفعالة من جهة المصدر.
- التكرار: تعمل عمليات SFT وCoT كمسارات حقن معرفة متكررة جزئياً. بمجرد ضبط النموذج (SFT)، يصبح الـ CoT غير ضروري بل وقد يؤدي لتراجع الأداء.

4. النتائج التجريبية

الإعداد: تم التقييم على ثلاثة معايير: DeepFashion، وFashion200K، وFashionGen-val.
الأداء:
- تفوق نموذج ProCIR ذو الـ 0.8 مليار بارامتر على جميع النماذج المرجعية، بما في ذلك نماذج التضمين العامة التي تفوقه حجماً بـ 10 أضعاف (مثل Qwen3-V-8B).
- في مجموعة التحقق لـ DeepFashion، حقق ProCIR نسبة 89.2% R@5 (مقابل 87.4% لنموذج 8B المرجعي).
- تفوق بشكل كبير على طرق الـ CIR أحادية الصورة (مثل CLIP4CIR وSPRC) واستراتيجيات تجميع الرؤى المتعددة القياسية (مثل MeanPool وMaxSim).
نتائج دراسة الاستبعاد (Ablation):
- وفرت المحاذاة (Alignment) أكبر مكسب فردي (مثلاً +11.8% R@5 في DeepFashion عند إضافتها إلى MT+CoT).
- SFT مقابل CoT: حققت التركيبة (MT + Align + SFT) (بدون CoT) أفضل النتائج. إضافة CoT إلى نموذج تم تهيئته عبر SFT أدى فعلياً لتقليل الأداء، مما يؤكد أن SFT يستوعب المعرفة بكفاءة أكبر من الـ CoT السياقي.

5. الأهمية

سد الفجوة: يعمل هذا العمل على سد الفجوة بين أبحاث الـ CIR الأكاديمية (الصورة الواحدة) واحتياجات التجارة الإلكترونية الواقعية (الاستنتاج متعدد الرؤى للمنتج).
الكفاءة: يثبت أن نموذجًا صغيرًا ومتخصصًا (0.8B) مع البنية الصحيحة وخط إنتاج البيانات المناسب يمكنه التفوق على النماذج الضخمة العامة في مجالات محددة.
الرؤية المنهجية: يقدم مخططاً واضحاً لكيفية الاستفادة من نماذج MLLM لمهام الاسترجاع: فصل الإدراك عن الاستنتاج، استخدام المحاذاة النصية المساعدة، وإعطاء الأولوية لـ SFT على التلقين السياقي المعقد لحقن المعرفة.
المصدر المفتوح: مجموعة البيانات، النموذج، والكود متاحة للجميع، مما يضع معياراً جديداً لأبح التعرف على مستوى المنتج.