💻 computer science

TEMA: Anchor the Image, Follow the Text for Multi-Modification Composed Image Retrieval

تعالج هذه الورقة البحثية أوجه القصور المتمثلة في عدم كفاية تغطية الكيانات وعدم توافق الجمل مع الكيانات في استرجاع الصور المركبة من خلال تقديم مجموعتي بيانات جديدتين غنيتين بالتعليمات ومتعددتي التعديلات (M-FashionIQ وM-CIRR)، واقتراح إطار عمل TEMA، وهو إطار عمل مبتكر يتعامل بفعالية مع استعلامات التعديل المتعدد البسيطة والمعقدة مع تحقيق التوازن بين الدقة والكفاءة.

المؤلفون الأصليون: Zixu Li, Yupeng Hu, Zhiheng Fu, Zhiwei Chen, Yongqi Li, Liqiang Nie

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zixu Li, Yupeng Hu, Zhiheng Fu, Zhiwei Chen, Yongqi Li, Liqiang Nie

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتسوق لشراء زي جديد، لكنك لا تريد البدء من الصفر. وجدت فستاناً أعجبك (الصورة المرجعية)، ولكنك تريد إجراء بعض التعديلات عليه. قلت لصديقك: "أعجبني هذا الفستان، ولكن اجعل الأكمام أطول وغير اللون إلى الأحمر".

هذه هي الفكرة الأساسية لـ استرجاع الصور المركب (Composed Image Retrieval - CIR): استخدام صورة بالإضافة إلى تعليمات نصية للعثور على صورة جديدة.

ومع ذلك، فإن التكنولوجيا الحالية تشبه صديقاً لا يستمع إلا للأجزاء الأكثر وضوحاً في طلبك. إذا قلت: "اجعل الأكمام أطول، وأضف حزاماً، وغير الحذاء، وضع قبعة على العارضة"، فإن الأنظمة القديمة غالباً ما ترتبك. قد تقوم بتغيير الأكمام فقط وتتجاهل الباقي، أو قد تخلط بين الجزء الذي تتحدث عنه في الزي.

يقدم هذا البحث نظاماً جديداً يسمى TEMA (بنية رسم الخرائط الكيانية الموجهة للنص) ومجموعة جديدة من بيانات التدريب لإصلاح هذه المشكلات. إليك التفاصيل بتبسيط شدٍ:

١. المشكلة: "الطاهي المرتبك"

تخيل أنك طاهٍ (الذكاء الاصطناعي) وتلقيت طلباً معقداً من زبون:

"خذ هذه القطعة من اللحم، واشويها بدرجة نضج متوسطة، أضف زبدة الثوم، ورشة إكليل الجبل، وقدمها على لوح خشبي، واستبدل طبق البطاطس المقلية بسلطة."

أنظمة الذكاء الاصطناعي القديمة تشبه طاهياً يشعر بالارتباك أمام قائمة طويلة. قد:

يفقد المكونات (عدم كفاية تغطية الكيانات): قد يشوي اللحم ولكنه ينسى إكليل الجبل لأن القائمة كانت طويلة جداً.
يخلط بين التعليمات (عدم توافق الجمل والكيانات): قد يضع زبدة الثوم على السلطة بدلاً من اللحم، أو يعتقد أن تعليمات "اللوح الخشبي" تنطبق على السلطة.

وجد الباحثون أن نماذج الذكاء الاصطناعي الحالية بارعة في الطلبات البسيطة ("اجعله أحمر")، لكنها تفشل فشلاً ذريعاً عندما يكون الطلب يحتوي على تغييرات متعددة ومفصلة.

٢. الحل: وصفات جديدة ومساعد طاهٍ ذكي

لإصلاح ذلك، قام المؤلفون بشيئين رئيسيين:

أ. الوصفات الجديدة (مجموعات البيانات)

أدركوا أن بيانات التدريب القديمة كانت بسيطة للغاية. لذا، أنشأوا "كتيبات طبخ" جديدة (مجموعات بيانات تسمى M-FashionIQ و M-CIRR).

بدلاً من الملاحظات القصيرة مثل "تغيير اللون"، كتبوا "كتيبات تعليمات" طويلة ومفصلة (تسمى نصوص التعديل المتعدد).
استخدموا ذكاءً اصطناعياً فائق الذكاء (نموذج لغوي كبير) لكتابة هذه التعليمات المفصلة، ثم قام البشر بمراجعتها للتأكد من دقتها.
التشبيه: الأمر يشبه الترقية من وصفة تقول فقط "اصنع كعكة" إلى واحدة تقول "اخلط الدقيق والسكر والبيض؛ اخبز على درجة حرارة ٣٥٠ فهرنهايت لمدة ٣٠ دقيقة؛ زينها بالفانيليا؛ أضف حبيبات السكر".

ب. مساعد الطاهي الذكي (نموذج TEMA)

قاموا ببناء نموذج ذكاء اصطناعي جديد يسمى TEMA. فكر في TEMA كطاهٍ رئيسي يمتلك أداتين خاصتين:

١. "مذكرة الملخص" (مساعد التحليل):
قبل أن يبدأ الطاهي في الطبخ، تقرأ هذه الأداة الطلب الطويل والمعقد وتكتب "ورقة غش" سريعة على ملاحظة لاصقة.

مثال: "الطلب: لحم + ثوم + إكليل جبل + سلطة".
هذا يضمن أن الطاهي لن ينسى أي المكونات الرئيسية (الكيانات) أثناء قراءة القائمة الطويلة.

٢. "محطة التجميع" (رسم خرائط الكيانات):
تقوم هذه الأداة بتنظيم التعليمات. إذا قال الزبون "ضع الثوم على اللحم" و"ضع إكليل الجبل على اللحم"، فإن هذه الأداة تجمع هاتين التعليمتين معاً لتذهب كلتاهما إلى اللحم، وليس إلى السلطة.

إنها تعمل كمنظم حركة مرور، للتأكد من أن كل تعليم محدد يذهب إلى الجزء الصحيح من الصورة.

٣. كيف يعمل في الواقع الحقيقي

عندما تستخدم TEMA:
١. ترفع صورة (المرجع).
٢. تكتب طلباً طويلاً ومفصلاً (على سبيل المثال: "غير الخلفية إلى شاطئ، أضف نظارات شمسية للشخص، واجعل القميص أزرق").
٣. يقوم TEMA بتحليل الطلب: ينشئ ملخصاً للتغييرات الرئيسية ويجمع التعليمات بشكل منطقي.
٤. يبحث: يجد الصورة المثالية التي تطابق كل تلك التفاصيل المحددة، وليس فقط التفاصيل الرئيسية.

٤. النتائج

اختبر الباحثون TEMA مقابل أفضل نماذج الذكاء الاصطناعي الحالية.

في المهام البسيطة: عمل TEMA بنفس كفاءة أفضل النماذج الموجودة.
في المهام المعقدة: كان TEMA فائزاً واضحاً. لم يرتبك أمام القوائم الطويلة من التغييرات، ونجح في العثيد على صور تطابق كل تفصيل من تفاصيل الطلب.

ملخص

فكر في هذا البحث كعملية تعليم الذكاء الاصطناعي كيف يكون متسوقاً شخصياً يقظاً بدلاً من متسوق مشتت الذهن. من خلال تزويد الذكاء الاصطناعي ببيانات تدريب أفضل (تعليمات مفصلة) وطريقة أذكى لتنظيم تلك التعليمات (أدوات الملخص والتجميع)، جعلوا من الممكن العثيد على ما تريده بالضبط، حتى عندما يكون طلبك معقداً ومحدداً.

الخلاصة: إذا كنت تريد تغيير صورة بخمس طرق مختلفة في وقت واحد، فقد يقوم الذكاء الاصطناعي القديم بتغيير شيء واحد فقط. أما TEMA فيغير الخمسة جميعها، تماماً كما طلبت.

إليك ملخص تقني مفصل لورقة البحث بعنوان "TEMA: Anchor the Image, Follow the Text for Multi-Modification Composed Image Retrieval".

1. بيان المشكلة

تسمح عملية استرجاع الصور المركبة (Composed Image Retrieval - CIR) للمستخدمين باسترجاع صورة مستهدفة باستخدام استعلام يتكون من صورة مرجعية ونص تعديل. وبينما تقدمت أبحاث الـ CIR الحالية، تعتمد الإعدادات الحالية على نصوص تعديل قصيرة وبسيطة تغطي نطاقاً محدوداً من التغييرات البارزة. وهذا يخلق مشكلتين حرجتين للتطبيقات في العالم الحقيقي:

عدم كفاية تغطية الكيانات (Insufficient Entity Coverage): عندما تحتاج كيانات متعددة إلى التعديل، تميل إشارات التدريب إلى التركيز على المناطق البارزة، مما يتسبب في تجاهل النماذج للكيانات الأقل بروزاً. في مجموعات البيانات القياسية، غالباً ما تُحذف الأوصاف التفصيلية لكيانات معينة أو تُدفن ضمن حروف الجر أو أدوات العطف.
عدم المحاذاة بين الجمل والكيانات (Clause-Entity Misalignment): تتضمن استعلامات العالم الحقيقي غالباً قيوداً معقدة حيث:
- تقيد جمل متعددة نفس الكيان (على سبيل المثال، تعديل الحاشية، والكتف، والحزام لفستان واحد).
- تقيد جملة واحدة كيانات متعددة (على سبيل المثال، تغيير ثلاثة كلاب في صورة إلى كلاب من فصيلة الهاسكي).
- تعاني النماذج الحالية في رسم هذه العلاقات "واحد-إلى-متعدد" أو "متعدد-إلى-واحد" بشكل فعال، مما يؤدي إلى انخفاض كبير في الأداء في سيناريوهات التعديل المتعدد.

2. المنهجية

يقترح المؤلفون TEMA (بنية رسم خرائط الكيانات الموجهة للنص - Text-oriented Entity Mapping Architecture)، وهو أول إطار عمل لـ CIR مصمم للتعامل مع استعلامات التعديل البسيطة والمعقدة على حد سواء. يعمل TEMA على جبهتين رئيسيتين: بناء البيانات وبنية النموذج.

أ. بناء مجموعة البيانات (M-FashionIQ و M-CIRR)

لمعالجة نقص بيانات التعديل المتعدد، قام المؤلفون بإنشاء مجموعتي بيانات جديدتين:

M-FashionIQ: بناءً على مجموعة بيانات FashionIQ (مجال الأزياء).
M-CIRR: بناءً على مجموعة بيانات CIRR (المجال المفتوح).
عملية البناء:
- توليد نصوص التعديل المتعدد (MMT): قاموا باستبدال النصوص القصدة الأصلية بنصوص تعديل متعدد (MMT) باستخدام نموذج لغوي كبير متعدد الوسائط (MLLM، وتحديداً Llama 3.2). تم توجيه الـ MLLM لإنشاء تعليمات تفصيلية وخطوة بخطوة لتحويل الصورة المرجعية إلى الصورة المستهدفة، مع تغطية جميع الكيانات والسمات صراحةً.
- ضبط الجودة: تضمن خط معالجة هجين يتضمن GPT-4o للتحقق من الهلوسة ومُدققين بشريين للتحقق من الاتساق والدقة والتنوع والجودة، أن تكون نصوص MMT وفية للتغييرات المرئية.
- النتيجة: تتميز مجموعات البيانات الجديدة بنصوص تعديل أطول بكثير (متوسط 152.7 رمزاً لـ M-FashionIQ مقابل 24.7 في الأصل) مع تغطية صريحة للعلاقات المعقدة (CR)، والكيانات المتعددة (ME)، والسمات الدقيقة (FG).

ب. بنية TEMA

يقدم TEMA وحدتين مبتكرتين للتعامل مع تعقيد الـ MMT:

مساعد تحليل الـ MMT (الـ PA) - أثناء التدريب فقط:
- الغرض: لضمان عدم إغفال النموذج للكيانات المدفونة في النصوص الطويلة.
- الآلية: يستخدم نموذج لغوي كبير (مثل GPT-3.5-turbo) لإنشاء ملخص (Summary) لنص الـ MMT يسرد صراحةً جميع الكيانات المراد تعديلها.
- كاشف الاتساق: يتحقق من أن الملخص يغطي جميع الكيانات الموجودة في الـ MMT دون حدوث هلوسة. في حال وجود عدم اتساق، يتم تحسين الملخص بشكل تكراري.
- الدور: يعمل الملخص كـ "دليل" أثناء التدريب لتعزيز التعرض للكيانات، ولكن يتم تعطيله أثناء الاستدلال للحفاظ على الكفاءة.
رسم خرائط الكيانات الموجهة للـ MMT (الـ EM):
- الغرض: لمحاذاة جمل نصية متعددة مع كيانات مرئية محددة (حل مشكلة عدم المحاذاة بين الجمل والكيانات).
- الآلية:
  - الاستعلامات القابلة للتعلم (Learnable Queries): تقديم مجموعة من الاستعلامات القابلة للتعلم ( $a_q$ ) التي تعمل كمرتكزات (anchors) لكيانات محددة.
  - الرسم النصي للخرائط (Textual Mapping): تجميع عدة جمل MMT متعلقة بنفس الكيان، بتوجيه من الملخص الذي أنشأه الـ PA.
  - الرسم المرئي للخرائط (Visual Mapping): تجميع الميزات المرئية المحلية المقابلة لنفس الكيان.
  - التقطير الموجه بالملخص (Summary-Guided Distillation): دالة خسارة تجبر الرموز النصية المجمعة على المحاذاة دلالياً مع ملخص الـ PA، مما يضمن تغطية شاملة للكيانات.
  - التنظيم المتعامد (Orthogonal Regularization): يضمن بقاء القنوات المختلفة في الاستعلامات القابلة للتعلم مستقلة دلالياً لمنع ارتباك الميزات.
هدف التدريب:
يقلل النموذج دالة خسارة مجمعة:
$L = L_{bbc} + \kappa L_{summ} + \mu L_{ortho}$
حيث $L_{bbc}$ هي خسارة التصنيف القائمة على الدفعة (batch-based classification loss)، و $L_{summ}$ هي خسارة التقطير الموجه بالملخص، و $L_{ortho}$ هو التنظيم المتعامد.

3. المساهمات الرئيسية

تحديد أوجه القصور: إثبات فشل نماذج الـ CIR الحالية في سيناريوهات التعديل المتعدد العملية بسبب عدم كفاية تغطية الكيانات وعدم المحاذاة بين الجمل والكيانات.
معايير اختبار جديدة: إنشاء M-FashionIQ و M-CIRR، وهما أول مجموعات بيانات غنية بالتعليمات توفر إشارات تدريب كثيفة ودقيقة لمهام الاسترجاع المعقدة.
إطار عمل TEMA: اقتراح أول إطار عمل لـ CIR قادر على التعامل مع التعديلات المتعددة مع البقاء قوياً تجاه التعديلات البسيطة. إنه يجمع بشكل فريد بين مساعد تدريب يعتمد على الـ LLM (الـ PA) ووحدة رسم خرائط كيانات قابلة للتعلم (الـ EM) لسد الفجوة بين الجمل النصية والكيانات المرئية.
أداء رائد (State-of-the-Art): حقق نتائج متفوقة في كل من معايير التعديل المتعدد والمعايير الأصلية، مما يثبت قدرة النموذج على التعميم عبر مستويات مختلفة من دقة الاستعلامات.

4. النتائج التجريبية

مجموعات البيانات: تم التقييم على M-FashionIQ و M-CIRR، بالإضافة إلى FashionIQ و CIRR الأصلية.
الأداء:
- التعديل المتعدد: تفوق TEMA بشكل كبير على النماذج المرجعية القوية (مثل BLIP4CIR و Candidate و FashionSAP). في M-FashionIQ، حقق 50.59% R@10 و 72.09% R@50، متفوقاً على أقرب نموذج منافس (Candidate) بفارق واضح.
- الـ CIR الأصلي: حافظ TEMA أيضاً على أداء متفوق في معايير الـ CIR التقليدية (FashionIQ و CIRR)، مما يثبت أن التدريب على التعديل المتعدد لا يؤدي إلى تدهور الأداء في الاستعلامات البسيطة.
دراسات الاستبعاد (Ablation Studies):
- أدى إزالة وحدة PA إلى أكبر انخفاض في الأداء، مما يبرز أهمية التغطية الصريحة للكيانات أثناء التدريب.
- أدت إزالة مكونات EM أيضاً إلى تدهور كبير، مما يؤكد ضرية تجميع الجمل لتتوافق مع الكيانات.
- أظهر النموذج متانة تجاه نماذج الـ LLM المختلفة المستخدمة لوحدة الـ PA (مثل Llama-3 و Qwen2-VL)، مما يثبت أنه لا يعتمد على نموذج ملكية محدد.
الكفاءة: على الرغم من استخدام LLM أثناء التدريب، فإن TEMA يتميز بكفاءة عالية أثناء الاستدلال (حيث يتم تعطيل الـ PA) ويتطلب ذاكرة GPU ووقت تدريب أقل مقارنة بالنماذج غير المثالية مثل Candidate.

5. الأهمية

سد الفجوة نحو الاستخدام الواقعي: من خلال معالجة مشكلتي "عدم كفاية تغطية الكيانات" و"عدم المحاذاة بين الجمل والكيانات"، ينقل TEMA عملية استرجاع الصور المركبة من التجارب البسيطة والمسيطر عليها إلى السيناريوهات المعقدة في العالم الحقيقي حيث يقدم المستخدمون تعليمات مفصلة ومتعددة الجوانب.
تخفيف مشكلة النتائج السلبية الخاطئة (False Negatives): تساعد توصيفات MMT التفصيلية في حل مشكلة "النتائج السلبية الخاطئة" في مجموعات بيانات الـ CIR، حيث تُصنف الصور التي تلبي الاستعلام بشكل خاطئ كصور سلبية لأن النص الأصدي القصير كان غامضاً جداً لتمييزها.
القابلية للتوسع: يوضح إطار العمل أن الاستفادة من نماذج الـ LLM لـ الإشراف أثناء وقت التدريب (دون عبء أثناء الاستدلال) هي استراتيجية قابلة للتطبيق لتعزيز الفهم متعدد الوسائط في مهام الاسترجاع.

في الختام، يمثل TEMA خطوة مهمة للأمام في مجال استرجاع الصور المركبة من خلال تقديم حل يعتمد على البيانات والبنية للتعامل مع تعقيد طلبات التعديل متعددة الكيانات والجمل.