💻 computer science

Pix2Key: Controllable Open-Vocabulary Retrieval with Semantic Decomposition and Self-Supervised Visual Dictionary Learning

يُعد Pix2Key إطار عمل مبتكر لاسترجاع الصور المركبة يستخدم التفكيك الدلالي وتعلم القواميس البصرية ذاتي الإشراف لتمثيل الاستعلامات والمرشحين كقواميس مفتوحة المفردات، مما يحقق مطابقة فائقة مدركة للقصد وإعادة ترتيب مدركة للتنوع دون الاعتماد على الثلاثيات الخاضعة للإشراف.

المؤلفون الأصليون: Guoyizhe Wei, Yang Jiao, Nan Xi, Zhishen Huang, Jingjing Meng, Rama Chellappa, Yan Gao

نُشر 2026-02-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guoyizhe Wei, Yang Jiao, Nan Xi, Zhishen Huang, Jingjing Meng, Rama Chellappa, Yan Gao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتسوق عبر الإنترنت بحثاً عن فستان. وجدت واحداً أعجبك، لكنك تريد إجراء بعض التغييرات عليه: "أريد هذا الفستان، ولكن باللون الأزرق، وبدون خطوط، ومصنوعاً من الكتان".

في الماضي، كان طلب شيء كهذا من الكمبيوتر يشبه محاولة شرح حلم معقد لصديق لا يتحدث إلا بملخصات غامضة. إذا قلت: "فستان أزرق، بدون خطوط"، فقد يرتبك الكمبيوتر. قد ينسى شكل الفستان الأصلي، أو قد يعرض عليك عشرة فساتم زرقاء متطابقة تماماً، مما يجعلك تشعر بالملل.

تقدم هذه الورقة البحثية Pix2Key، وهي طريقة جديدة للتحدث مع أجهزة البحث عن الصور، وهي أكثر ذكاءً ودقة وتمنحك تنوعاً أكبر. إليك كيف تعمل، باستخدام بعض التشبيهات من الحياة اليومية.

1. المشكلة: "الملخص الضبابي" مقابل "قائمة التحقق التفصيلية"

حاولت الأنظمة القديمة فهم طلبك عن طريق تحويل صورتك المرجعية ونصك إلى جملة واحدة طويلة ("وصف").

التشبيه: تخيل أنك تصف مسرح جريمة لمحقق. بدلاً من إعطائه قائمة بتفاصيل محددة (قبعة حمراء، ساعة مكسورة، حذاء طيني)، تقول فقط: "لقد كان مشهداً فوضوياً به بعض الأشياء الحمراء والمكسورة". هنا يضطر المحقق (الكمبيوتر) للتخمين؛ فقد يغفل عن القبعة الحمراء لأنه ركز على الطين.

يغير Pix2Key قواعد اللعبة. فبدلاً من الملخص الضبابي، فإنه يحول كل صورة إلى قاموس بصري مهيكل—مثل قائمة تحقق مفصلة أو بطاقة وصفة طعام.

التشبيه: الآن، عندما تنظر إلى الفستان، لا يرى الكمبيوتر مجرد "فستان". بل يقرأ بطاقة تقول:
- اللون: وردي محمر
- النقشة: خطوط
- المادة: حرير
- فتحة الرقبة: هولتر (Halter)

عندما تقول: "أريده أزرق، بدون خطوط"، لا يخمن الكمبيوتر. بل يقوم ببساطة بـ شطب "الخطوط" وكتابة "الأزرق" في قائمة التحقق. إنه يعرف بالضبط ما الذي يجب الحفاظ عليه، وما الذي يجب تغييره، وما الذي يجب تجاهله.

2. المكون السحري: "ناقد الفن الذي يعلم نفسه بنفسه" (V-Dict-AE)

أحد أهم الابتكارات في هذه الورقة هو مكون يسمى V-Dict-AE. وهي طريقة تدريب خاصة تساعد الكمبيوتر على أن يصبح أفضل في قراءة قوائم التحقق هذه دون الحاجة إلى معلم بشري يصحح له في كل مرة.

التشبيه: تخيل طالباً فناناً يريد تعلم كيفية وصف اللوحات بدقة مثالية. بد الله من وجود معلم يقيم عمله، يُطلب من الطالب وصف لوحة، ثم يُطلب منه إعادة رسم اللوحة بناءً على ذلك الوصف فقط.
- إذا نسي الطالب ذكر "السماء الزرقاء" في وصفه، فلن يتمكن من رسم السماء الزرقاء عندما يحاول إعادة إنشاء الصورة.
- هذا يجبر الطالب على الانتباه للتفاصيل الصغيرة والمهمة (مثل درجة اللون الأزرق المحددة أو ملمس السحب) لمجرد إتقان الرسم.

يستخدم Pix2Key خدعة "إعادة الرسم" هذه لتعليم الكمبيوتر كيفية رصد التفاصيل الدقيقة (مثل "طول الكم" أو "ملمس القماش") تلقائياً. وهذا يعني أنه يفهم طلبك بشكل أفضل بكثير، حتى لو لم تكن قد علمته ذلك المهمة تحديداً من قبل.

3. "فلتر التنوع": تجنب "جيش المستنسخين"

مشكلة شائعة في البحث عن الصور هي أنه إذا وجدت نتيجة جيدة واحدة، فإن النتائج العشر التالية ستبدو متطابقة تماماً. الأمر يشبه دخولك متجراً حيث تحتوي كل الأرفف على نفس القميص تماماً.

يتضمن Pix2K خطوة تسمى إعادة ترتيب مدركة للتنوع (Diversity-Aware Reranking).

التشبيه: تخيل أنك طلبت من وكيل سفر "عطلة على الشاطئ". يمكنه حجز 10 رحلات إلى نفس الشاطئ تماماً. بدلاً من ذلك، يعمل Pix2Key كوكيل ذكي يقول: "حسناً، إليك ثلاثة شواطئ رائعة تناسب ميزانيتك وأسلوبك، لكنها جميعاً مختلفة عن بعضها البعض".
إنه يوازن بين الصلة (هل يطابق طلبك؟) والتنوع (هل هي مختلفة عن غيرها؟). هذا يضمن لك الحصول على قائمة من الخيارات التي تكون جميعها صحيحة ولكنها تقدم أنماطاً أو ألواناً أو قصات مختلفة، مما يمنحك تجربة تسوق أفضل.

4. لماذا يهم هذا؟

للمتسوقين: يمكنك العثين على ما تريد بدقة دون الحاجة للبحث وسط مئات العناصر المتطابقة أو الحصول على نتائج تتجاهل طلباتك المحددة (مثل "بدون خطوط").
للمصممين: يمكنك العثور بسرعة على تنويعات لتصميم أو مشهد معين دون البدء من الصفر.
للمستقبل: لا يحتاج هذا النظام إلى آلاف الأمثلة المصنفة بشرياً ليتعلم. فهو يعلم نفسه من خلال النظر إلى الصور ومحاولة إعادة بنائها، مما يجعل بناءه لأنواع جديدة من عمليات البحث أرخص وأسرع.

باختختصار

Pix2Key يشبه الانتقال من لعبة تخمين ضبابية إلى محادثة دقيقة قائمة على قوائم التحقق مع الكمبيوتر. فهو يفكك الصور إلى حقائق واضحة، ويتعلم رصد التفاصيل الدقيقة بمفرده، ويضمن أن النتائج التي تحصل عليها ليست صحيحة فحسب، بل أيضاً ممتعة ومتنوعة. إنه يحول عبارة "أريد فستاناً مثل هذا ولكن مختلفاً" إلى تعليمات واضحة وقابلة للتنفيذ يمكن للكمبيوتر اتباعها بدقة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Pix2Key: استرجاع مفتوح المفردات قابل للتحكم عبر التفكيك الدلالي وتعلم القاموس البصري ذاتي الإشراف".

1. تعريف المشكلة

الاسترجاع المكون من صورة (Composed Image Retrieval - CIR) هو مهمة بحث متعددة الوسائط تتكون فيها الاستعلامات من صورة مرجعية وتعديل بلغة طبيعية (على سبيل المثال: "مثل هذا الفستان، ولكن باللون الأزرق"). الهدف هو استرجاع صور تطبق التغيير المطلوب مع الحفاظ على المحتوى البصري ذي الصلة.

محددات النهج الحالية:

طرق الثلاثيات الخاضعة للإشراف (Supervised Triplet Methods): تعتمد على مجموعات بيانات ضخمة ومكلفة من الثلاثيات (مرجع، تعديل، هدف). وغالبًا ما تتعلم تمثيلاً مدمجًا واحدًا يقرر ضمنيًا السمات التي يجب الحفاظ عليها، مما يؤدي إلى فقدان الإشارات الدقيقة والافتقار إلى الشفافية.
طرق الوصف النصي (Captioning) بدون تدريب (Zero-Shot): تستخدم النهج الحديثة نماذج الرؤية واللغة (VLMs) لوصف الصورة المرجعية وإعادة كتابة الوصف بناءً على التعديل. وهذا يخلق "عنق زجاجة فاقد للمعلومات" حيث تضيع التفاصيل الدقيقة (مثل شكل الياقة، أو الأنماط المحددة) عند دمج الصورة في جملة واحدة. علاوة على ذلك، فإن التصنيف باستخدام تمثيل مدمج واحد غالبًا ما ينتج نتائج متجانسة (نسخ شبه مطابقة)، وتفتقر إلى التنوع.
فجوات التقييم: تفتقر المعايير الحالية غالبًا إلى تسميات السمات الدقيقة، مما يجعل من الصعب تقييم مدى تلبية القائمة المسترجعة لقيود محددة بما يتجاوز مجرد إصابة هدف واحد مصنف.

2. المنهجية: Pix2Key

يعالج Pix2Key هذه المشكلات عن طريق تمثيل كل من الاستعلامات وصور قاعدة البيانات كـ قواميس بصرية مفتوحة المفردات بدلاً من التمثيلات المدمجة أو الجمل المفردة. يتكون الإطار من ثلاثة مكونات رئيسية:

أ. القواميس البصرية مفتوحة المفردات

بدلاً من إنشاء وصف حر، يستخرج النظام حقائق سمات مهيكلة من الصور.

التمثيل: يتم تحويل الصورة $I$ إلى قاموس $D_{img}(I) = \{(k_m, v_m)\}$ ، حيث $k_m$ هو مفتاح السمة (مثل "اللون") و $v_m$ هو قيمتها (مثل "أزرق").
تفكيك الاستعلام: يتم معالجة الاستعلام المكون $(I_q, T)$ $(I_{q}, T)$ من خلال:
1. استخراج القاموس المرجعي $D_{ref}$ .
2. تفكيك نص التعديل $T$ $T$ إلى تحديثات موقعة $\Delta D(T) = \{(k, v, p)\}$ $Δ D (T) = {(k, v, p)}$ ، حيث تشير القطبية $p \in \{+1, 0, -1\}$ $p \in {+ 1, 0, - 1}$ إلى:
  - $+1$ (إضافة/تعزيز): السمات المرغوبة.
  - $-1$ (إزالة/تجنب): السمات التي يجب قمعها صراحة.
  - $0$ (مرساة مفتوحة): السمات التي يجب الحفاظ عليها من المرجع ولكنها ليست مقيدة صراحة.
الدمج: يقوم قاموس الاستعلام النهائي بدمج المرجع والتعديلات، حيث تقوم التعديلات بإلغاء مدخلات المرجع المتعارضة، وتعمل المدخلات السلبية كقيود صريحة.

ب. الفهرسة في فضاء النص والتسجيل المدرك للقصد

الفهرسة: يتم تسلسل مدخلات القاموس إلى نصوص قصيرة (مثل key:value; key:value) وتشفيرها باستخدام مشفر نصي مجمد (OpenCLIP). يسم_ح هذا بالبحث الفعال عن أقرب جار في فضاء نصي موحد.
تسجيل الصلة: يحسب النظام ثلاثة درجات تشابه بين مجموعات الاستعلام الفرعية ( $q^+, q^0, q^-$ $q^{+}, q^{0}, q^{-}$ ) وبين مرشح $e_i$ $e_{i}$ :
- $p_i$ : التشابه مع السمات المرغوبة.
- $o_i$ : التشابه مع المراسي المفتوحة (الحفاظ).
- $n_i$ : التشابه مع السمات المحظورة.
الدرجة النهائية: يتم حساب درجة صلة عددية كالتالي:
$R(i) = \alpha p_i + \beta o_i - (1-\alpha) n_i$
هذا يسمح بالتحكم الصريح في فرض التغييرات، والحفاظ على السياق، وقمع الميزات غير المرغوب فيها.

ج. إعادة التصنيف الواعي بالتنوع

لمنع النتائج المتكررة تقريبًا، يطبق Pix2Key خطوة إعادة تصنيف الصلة القصوى الهامشية (MMR). فهو يختار المرشحين الذين يعظمون المقايضة بين الصلة ( $R(i)$ ) والمسافة عن العناصر المختارة بالفعل، ويتم التحكم في ذلك عبر معامل يظهر للمستخدم وهو $\lambda$ .

د. V-Dict-AE (التدريب المسبق ذاتي الإشراف)

لتحسين جودة رموز القاموس المستخرجة دون الحاجة لإشراف خاص بـ CIR، قدم المؤلفون V-Dict-AE.

الآلية: يتم تدريب مشفر تلقائي (Autoencoder) خفيف الوزن لتشفير الصور في تسلسلات رموز مدمجة (slots) يمكنها إعادة بناء الصورة عبر مفكك انتشار (diffusion decoder) مجمد.
التدريب: يستخدم الصور فقط (لا يتطلب تعديلات نصية). يتعلم النموذج الحفاظ على الأدلة البصرية الدقيقة اللازمة لإعادة البناء.
التكامل: يستبدل مشفر الـ slots المدرب الـ patch embeddings القياسية في الـ VLM أثناء الاستنتاج، مما يؤدي إلى استخراج أكثر دقة للسمات في القاموس.

3. المساهمات الرئيسية

إطار عمل Pix2Key: نظام CIR خالٍ من التدريب يستخدم قواميس بصرية مهيكلة مع قطبية قصد صريحة ( $+, -, 0$ )، مما يتيح مطابقة قيود قابلة للتحكم والتفسير.
إعادة التصنيف الواعي بالتنوع: آلية متكاملة مع تمثيل القاموس لموازنة تحقيق القيود الصارم مع تنوع النتائج.
V-Dict-AE: مشفر تلقائي بصري للقاموس يعتمد على التعلم الذاتي، يعمل على تحسين تمثيلات القاموس باستخدام إعادة بناء الصور فقط، مما يلغي الحاجة إلى ثلاثيات CIR المكلفة.
معيار DFMM-Compose: معيار تقييم جديد مشتق من DeepFashion-MM يتضمن تسميات سمات دقيقة. يتيح تقييماً كمياً لـ تحقيق القصد (اتساق السمات) و تنوع القائمة (التنوع داخل القائمة)، مما يعالج الفجوات في المعايير الحالية.

4. النتائج التجريبية

تم تقييم الطريقة على FashionIQ و CIRR ومعيار DFMM-Compose الجديد.

دقة الاسترجاع:
- في FashionIQ، يتفوق Pix2Key على النماذج أحادية النمط وطرق إعادة كتابة الوصف الخالية من التدريب (مثل CIReVL).
- يحقق Pix2Key + V-Dict-AE أفضل أداء عبر جميع الفئات، حيث يحسن Recall@10 بمقدار 3.2 نقطة عن النماذج المرجعية في FashionIQ و 2.3 نقطة في CIRR.
اتساق القصد (AC@50):
- في DFMM-Compose، يتفوق Pix2Key بشكل كبير على النماذج المرجعية في اتساق السمات (AC@50)، مما يثبت أن نهج القاموس يلتقط التعديلات الدقيقة بشكل أفضل من الأوصاف النصية ذات الجملة الواحدة.
التنوع (ILD@50):
- يحقق Pix2Key أعلى تنوع داخل القائمة (ILD@50)، مما يثبت أن تمثيل القاموس مع إعادة تصنيف MMR يعطي نتائج متنوعة دون التضحية بالصلة.
دراسات الاستئصال (Ablation Studies):
- استخدام القيود السلبية (تجنب السمات) أمر بالغ الأهمية لفصل المرشحين الذين ينتهكون القصد.
- التدريب المسبق لـ V-Dict-AE يعزز الأداء بشكل كبير، مما يؤكد أن إعادة البناء ذاتي الإشراف يساعد في الحفاظ على التفاصيل البصرية الدقيقة.
- النظام قوي تجاه التغيرات في المعاملات الفائقة (معدل التعلم، عمق المجمع) ولكنه يستفيد من دقة الإدخال العالية ومهايئات LoRA.

5. الأهمية والأثر

القابلية للتحكم: من خلال تفكيك التعديلات إلى قيود صريحة لـ "الإضافة"، "التجنب"، و"الحفاظ"، يقدم Pix2Key واجهة شفافة وقابلة للتحكم للمستخدم في عملية الاسترجاع، على عكس التمثيلات المدمجة "الصندوق الأسود".
القابلية للتوسع: النهج خالٍ من التدريب فيما يتعلق بمهمة CIR نفسها (لا يتطلب إشراف الثلاثيات) ويستفيد من التدريب المسبق ذاتي الإشراف، مما يجعله قابلاً للتوسع في مجالات جديدة دون الحاجة لترميز مكلف.
معيار التقييم: نقل تقديم معيار DFMM-Compose نموذج التقييم من مجرد "معدل الإصابة" إلى تقييم أكثر شمولاً لتحقيق القصد وتنوع النتائج، وهو أمر حيوي للتطبيقات الواقعية مثل التجارة الإلكترونية والتصميم الإبداعي.
التطبيق العملي: النظام مناسب بشكل خاص للسيناريوهات التي تتطلب تعديلات دقيقة وموضعية (مثل "نفس الفستان، قماش مختلف، بدون خطوط") حيث تفشل الطرق الحالية "صفرية التدريب" غالباً بسبب فقدان المعلومات.