💻 computer science

Generating a Paracosm for Training-Free Zero-Shot Composed Image Retrieval

تقدم الورقة البحثية Paracosm، وهو أسلوب استرجاع صور مركب (Composed Image Retrieval) خالي من التدريب ويعمل بنظام الصفر (zero-shot)، يستفيد من النماذج اللغوية متعددة الوسائط لتوليد "صورة ذهنية" اصطناعية ونظائرها في قاعدة البيانات ضمن "باراكوزم" (paracosm) لسد الفجوة بين المجالات وتحقيق أداء رائد.

المؤلفون الأصليون: Tong Wang, Yunhan Zhao, Shu Kong

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tong Wang, Yunhan Zhao, Shu Kong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتسوق لشراء زيّ معين عبر الإنترنت. وجدت صورة لفستان أحمر أعجبك، لكنك لا تريد الفستان نفسه تماماً؛ بل تريد نفس الستايل، ولكن باللون الأزرق، وبأكمام طويلة بدلاً من القصيرة.

في عالم علوم الحاسوب، يسمى هذا استرجاع الصور المركب (Composed Image Retrieval - CIR). أنت تعطي الحاسوب "صورة مرجعية" (الفستان الأحمر) و"نص تعديل" ("غيره إلى الأزرق، وأكمام طويلة")، وعليه أن يجد التطابق المثالي في قاعدة بيانات ضخمة تضم ملايين الصور.

المشكلة؟ الحاسوب لا "يرى" في الواقع الفستان الأزرق ذو الأكمام الطويلة الذي تتخيله. هذه الصورة موجودة فقط في رأسك. إنها "صورة ذهنية".

الطريقة القديمة: وصف الحلم

في السابق، عندما حاول الباحثون حل هذه المشكلة دون تدريب الحاسوب على ملايين الأمثلة (نهج "الصفر المعرفة" أو zero-shot)، طلبوا من ذكاء اصطناعي فائق الذكاء أن يكتب وصفاً لفستان أحلامك.

أنت: "فستان أحمر، اجعله أزرق."
الذكاء الاصطناعي: "فستان أزرق."
الحاسوب: "حسناً، سأبحث عن 'فستان أزرق'."

العيب: الوصف النصي يشبه رسماً تخطيطياً باهتاً. إنه يفتقد لقصّة الفستان المحددة، أو ملمس القماش، أو حتى "الروح" أو النمط الخاص بالصورة الأصلية. الأمر يشبه محاولة العثور على أغنية معينة عبر إخبار شخص ما بكلماتها، لكنك نسيت اللحن. غالباً ما يرتبك الحاسوب ويحضر لك عناصر خاطئة.

الطريقة الجديدة: باراكوزم (مصنع الأحلام)

ابتكر مؤلفو هذه الورقة البحثية، تونغ وانغ وزملاؤه، حلاً ذكياً أطلقوا عليه اسم باراكوزم (Paracosm).

بدلاً من مجرد طلب "وصف" حلمك من الذكاء الاصطناعي، هم يطلبون منه أن يرسمه.

مولد "الصورة الذهنية":
عندما تعطي الحاسوب الفستان الأحمر وتعليمه "اجعله أزرق"، يستخدم "باراكوسم" ذكاءً اصطناعياً قوياً (يسمى LMM) لـ توليد صورة جديدة فعلياً لذلك الفستان الأزرق. الأمر يشبه قيام الذكاء الاصطناعي بإنشاء "صورة ذهنية" فورية في استوديو افتراضي. الآن، بدلاً من البحث عن وصف نصي، أصبح لدى الحاسوب صورة حقيقية ليقارنها بقاعدة البيانات.
"النظير الاصطناعي" (عالم المرآة):
هذا هو الجزء الصعب. الفستان الأزرق الذي ولّده الذكاء الاصطناعي يبدو "مزيفاً" أو "رقمياً" قليلاً مقارنة بالصور الحقيقية في قاعدة البيانات. إذا قارنت لوحة رقمية بصورة حقيقية، فقد تبدوان مختلفتين جداً، وقد يرفض الحاسوب عملية المطابقة.

لإصلاح ذلك، يفعل "باراكوزم" شيئاً جنونياً: يقلب قاعدة البيانات الحقيقية رأساً على عقب.
- لكل صورة حقيقية في قاعدة البيانات (مثلاً: فستان أزرق حقيقي)، يقوم الذكاء الاصطناعي بتوليد نسخة اصطناعية/مزيفة منها.
- الآن، الحاسوب يقارن بين فستان أزرق مزيف (صورتك الذهنية) وبين فستان أزرق مزيف (نسخة قاعدة البيانات).
- بما أن كلا الجانبين "مزيفان" وتم توليدهما بواسطة نفس الذكاء الاصطناعي، فهما يتحدثان نفس اللغة البصرية. تختفي "الفجوة الرقمية"، وتصبح عملية المطابقة دقيقة للغاية.

التشبيه: "الباراكوزم"

يسمي المؤلفون هذا "باراكوزم". فكر في "الباراكوزم" كعالم خيالي أو عالم أحلام.

الطريقة القديمة: أنت تصف حلمك لأمين مكتبة، وهو يحاول العثور على كتاب بناءً على كلماتك.
باراكوزم: أنت وأمين المكتبة تدخلان معاً إلى غرفة واقع افتراضي.
- أنت تبني نموذجاً لما تريده.
- أمين المكتبة يبني نموذجاً لكل شيء في مكتبته.
- أنت تقارن بين النموذجين مباشرة. وبما أن كليهما مبني في نفس الغرفة الافتراضية، فهما يتطابقان تماماً، حتى لو لم يبدوا تماماً مثل العالم الحقيقي.

لماذا هذا مهم؟

لا يتطلب تدريباً: عادةً، لتعليم الحاسوب القيام بذلك، تحتاج لعرض ملايين الأمثلة من "قبل وبعد". "باراكوزم" لا يحتاج لذلك؛ فهو يستخدم إبداع الذكاء الاصطناعي الموجود بالفعل.
نتائج أفضل: لأنه يستخدم صوراً فعلية (كلاً من الحلم المُولد ونسخ قاعدة البيانات المُولدة) بدلاً من مجرد الكلمات، فإنه يجد العناصر الصحيحة في كثير من الأحيان أكثر من الطرق السابقة.
المقايضة: يتطلب الأمر قوة حوسبة أكبر لتوليد كل هذه الصور الإضافية، لكن النتائج أفضل بكثير لدرجة أنها تستحق العناء.

باختصار

باراكوزم يشبه امتلاك فنان ساحر يمكنه تصوير ما تريده بالضبط في لحظة، ثم امتلاك مرآة سحرية تحول المتجر بأكلى إلى انعكاس لأسلوب هذا الفنان. من خلال المقارنة بين "حلم إلى حلم" بدلاً من "كلمة إلى صورة"، فإنه يجد التطابق المثالي في كل مرة، مما يحدث ثورة في كيفية بحثنا عن الأشياء عبر الإنترنت.

إليك ملخص تقني مفصل لورقة البحث بعنوان "توليد عالم موازي (Paracosm) لتدريب خالي من التدريب لاسترجاع الصور المركبة في وضع الصفر (Zero-Shot)".

1. تعريف المشكلة

استرجاع الصور المركبة (CIR) هو مهمة بحث متعددة الوسائط حيث يقدم المستخدم استعلاماً يتكون من صورة مرجعية ( $I_{ref}$ ) ونص تعديل ( $t_{mod}$ ). الهدف هو استرجاع صورة مستهدفة ( $I_{target}$ ) من قاعدة بيانات تمثل الصورة المرجعية بعد تعديلها وفقاً لتعليمات النص.

التحدي الجوهري: "الصورة الذهنية" (الهدف المفاهيمي) التي يحددها الاستعلام لا توجد مادياً؛ فهي بناء ضمني.
القيود الحالية: تعتمد طرق الاسترجاع في وضع الصفر (ZS-CIR) الحالية عادةً على النماذج اللغوية متعددة الوسائط (LMMs) لتوليد وصف نصي للهدف، ثم إجراء مطابقة بين النص والصورة. ويرى المؤلفون أن الأوصاف النصية غالباً ما تفشل في التقاط التفاصيل البصرية الغنية والمحددة المطلوبة للاسترجاع الدقيق، مما يؤدي إلى أداء دون المستوى.
قيد الخلو من التدريب: تركز الورقة على الطرق التي لا تتطلب تدريباً على مجموعات ثلاثية (صورة مرجعية، نص تعديل، صورة مستهدفة)، مما يتجنب التكلفة العالية لتجهيز البيانات.

2. المنهجية: Paracosm (العالم الموازي)

يقترح المؤلفون Paracosm، وهو طريقة لـ CIR في وضع الصفر وخالية من التدريب، تعالج المشكلة من "المبادئ الأولى" عبر توليد "الصورة الذهنية" مباشرة بدلاً من مجرد وصفها. تعمل الطريقة في "عالم موازي" (فضاء اصطناعي) لسد الفجوة بين المفاهيم المولدة وصور قاعدة البيانات الحقيقية.

يتكون خط العمل من ثلاث مراحل رئيسية:

أ. معالجة الاستعلام متعدد الوسائط

بدلاً من توليد وصف نصي، يستخدم Paracosm نموذج لغوي متعدد الوسائط (LMM) لتوليد "صورة ذهنية" ( $I_{mental}$ ) عن طريق تعديل الصورة المرجعية بناءً على نص التعديل.

التوليد: يقوم الـ LMM (مثل Qwen-Image-Edit) بإجراء تعديل للصورة لتصور التعديل.
الوصف: يتم أيضاً توليد وصف نصي موجز من جملة واحدة ( $t_{query}$ ) لهذه الصورة الذهنية لالتقاط المحتوى البصري دون حشو جمالي.
بناء الميزات: يتم إنشاء متجه ميزات الاستعلام ( $\mathbf{q}$ $q$ ) كتركيبة موزونة من:
1. الميزات البصرية للصورة الذهنية ( $V(I_{mental})$ ).
2. الميزات النصية لوصف الصورة الذهنية ( $T(t_{query})$ ).
3. الميزات النصية لنص التعديل الأصلي ( $T(t_{mod})$ ).
- الصيغة: $\mathbf{q} = \lambda(V(I_{mental}) + T(t_{query})) + (1-\lambda)T(t_{mod})$

ب. المعالجة المسبقة لصور قاعدة البيانات (النظراء الاصطناعيين)

لمعالجة الفجوة بين المجال الاصطناعي والواقعي (حيث تكون الصورة الذهنية المولدة اصطناعية بينما صور قاعدة البيانات حقيقية)، يقوم Paracosm بإنشاء "نظير اصطناعي" لكل صورة في قاعدة البيانات.

الخطوة 1: يقوم LMM بتوليد وصف تفصيلي وشامل لكل صورة حقيقية في قاعدة البيانات ( $I_i$ )، يلتقط الكائنات، السمات، والعلاقات المكانية.
الخطوة 2: يستخدم نموذج "النص إلى صورة" (T2I) هذا الوصف التفصيلي لتوليد صورة اصطناعية ( $I_i^{syn}$ ).
بناء الميزات: يكون متجه الميزات للعنصر رقم $i$ في قاعدة البيانات ( $\phi^i$ ) هو مجموع الميزات البصرية للصورة الحقيقية ونظيرها الاصطناعي: $\phi^i = V(I_i) + V(I_i^{syn})$ .

ج. المطابقة والاسترجاع

يتم الاسترجاع عن طريق حساب تشابه جيب التمام (cosine similarity) بين ميزة الاستعلام $\mathbf{q}$ وميزات قاعدة البيانات $\phi^i$ . يقوم النظام بمطابقة "الصورة الذهنية" (ووصفها) مع كل من صور قاعدة البيانات الحقيقية ونظائرها الاصطناعية داخل هذا الفضاء الافتراضي الموحد.

3. المساهمات الرئيسية

نهج المبادئ الأولى: تغير الورقة النموذج من توليد الأوصاف النصية إلى توليد صور ذهنية بصرية لاستعلامات الـ CIR، بحجة أن المعلومات البصرية هي الأفضل لاسترجاع الصور.
تخفيف فجوة المجال: تقدم استراتيجية مبتكرة لتوليد نظراء اصطناعيين لصور قاعدة البيانات الحقيقية. من خلال المطابقة بين (اصطناعي-إلى-اصطناعي) (الصورة الذهنية مقابل نظير قاعدة البيانات) وبين (اصطناعي-إلى-حقيقي)، تنجح الطريقة في سد الفجوة بين المجالات، مما يعزز الأداء بشكل كبير.
أداء رائد (SOTA): يحقق Paracosm نتائج رائدة في معايير CIR في وضع الصفر، متفوقاً على الطرق الحالية الخالية من التدريب، بل وينافس العديد من طرق التعلم الخاضعة للإشراف.
كفاءة الخلو من التدريب: لا تتطلب الطريقة أي تدريب على البيانات الثلاثية، بل تعتمد كلياً على النماذج التأسيسية سابقة التدريب (LMMs و VLMs).

4. النتائج التجريبية

قيم المؤلفون Paracosm على ثلاثة معايير قياسية: CIRR و CIRCO و Fashion IQ.

الأداء الكمي:
- CIRR: حقق Paracosm نسبة 39.30% R@1 (باستخدام ViT-G/14)، متفوقاً على أفضل طريقة سابقة خالية من التدريب (OSrCIR بنسبة 37.26%) ومنافساً للطرق الخاضعة للإشراف مثل BLIP4CIR.
- CIRCO: حقق 39.82% mAP@1، متفوقاً بشكل كبير على أفضل طريقة تالية في وضع الصفر (32.23%).
- Fashion IQ: حقق 38.74% R@10 كمتوسط، متفوقاً على جميع النماذج المرجعية الأخرى في وضع الصفر.
دراسات الاستئصال (Ablation Studies):
- الصور الذهنية: استخدام الصورة الذهنية المولدة ( $I_{mental}$ ) بدلاً من مجرد الأوصاف النصية حسن بشكل كبير من Recall@1.
- النظراء الاصطناعيين: وفرت إضافة النظراء الاصطناعيين ( $I_i^{syn}$ ) لصور قاعدة البيانات دفعة هائلة في الأداء، مما أكد ضرورة معالجة فجوة المجال.
- التعديل مقابل التوليد: أدى التعديل المباشر للصورة المرجعية (Image Edit) إلى نتائج أفضل من توليد هدف زائف من الصفر عبر توليد "النص إلى صورة" (T2I).
الكفاءة: رغم أن Paroma incur تكلفة "خارج الخط" (offline) عالية (حوالي 12.9 ساعة) لتوليد النظراء الاصطناعيين لقاعدة البيانات، إلا أن وقت الاستدلال "أونلاين" لكل استعلام مماثل للطرق الأخرى (~14 ثانية)، مما يجعله عملياً للنشر في العالم الحقيقي حيث تكون قواعد البيانات ثابتة.

5. الأهمية والتأثير

تحول في النموذج: يثبت Paracosm أنه بالنسبة لمهام الاسترجاع متعددة الوسائط، فإن التوليد البصري هو تمثيل وسيط أكثر فعالية من التوليد النصي. إنه يثبت أن "رؤية" الاستعلام أفضل من "وصفه".
تكييف المجال: مفهوم توليد نظراء اصطناعيين للبيانات الحقيقية لتسهيل المطابقة هو مساهمة مبتكرة يمكن تطبيقها على مهام الرؤية واللغة الأخرى التي تعاني من انزياح المجالات.
العملية: من خلال تحقيق أداء رائد دون التدريب على مجموعات بيانات ثلاثية مكلفة، يقدم Paracosm حلاً قابلاً للتوسع لتطبيقات التجارة الإلكترونية والبحث في الأزياء حيث تمنع خصوصية البيانات أو التكلفة التدريب الخاضع للإشراف.
القيود: تعتمد الطريقة بشكل كبير على جودة النماذج اللغوية متعددة الوسائط (LMMs) المستخدمة. تحدث حالات الفشل عندما يولد الـ LMM صوراً غير منطقية أو تخيلية (مثل بط أفلام كرتون بدلاً من ألعاب محشوة)، مما يكسر سلسلة الاسترجاع. يهدف العمل المستقبلي إلى تحسين قدرة التكيف مع الأوامر (prompts) ودقة التوليد.

ختاماً، يعيد Paracosm تعريف استرجاع الصور المركبة في وضع الصفر عبر بناء "عالم موازي" حيث يتم تمثيل كل من الاستعلامات وعناصر قاعدة البيانات في فضاء بصري اصطناعي موحد، محققاً دقة فائقة من خلال التوليد البصري المباشر ومعالجة فجوة المجال.