Training-Free Pseudo-Fusion for Composed Image Retrieval with Diffusion Models and Multimodal Large Language Models
تقدم هذه الورقة PeFuse، وهو إطار عمل لا يتطلب تدريباً لاسترجاع الصور المركبة، يستفيد من نماذج الانتشار مسبقة التدريب والنماذج اللغوية الكبيرة متعددة الوسائط لتحويل الاستعلامات التركيبية إلى مهام استرجاع أحادية الوسيط عبر التحويل التوليدي، محققاً أداءً تنافسياً دون الحاجة إلى تدريب مخصص للمهمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير في مكتبة رقمية شاسعة حيث كل كتاب فيها عبارة عن صورة. محركات البحث التقليدية تتيح لك العثور على صورة من خلال عرض صورة أخرى، لكنها تواجه صعوبة عندما تريد أن تقول: "أرني نفس ذلك الفستان، ولكن باللون الأحمر وبأكمام طويلة". هذا التحدي المحدد، المعروف باسم "استرجاع الصور المركب" (composed image retrieval)، يطلب من الحواسيب فهم طلب يمزج بين مرجع بصري وتعليمات نصية. لسنوات، تطلب حل هذا الأمر بناء برمجيات مخصصة ومعقدة كان لا بد من تدريبها بشق الأنقى على كميات هائلة من البيانات المصنفة. وإذا تغيرت البيانات أو أصبح الطلب شديد التحديد، فغالباً ما كانت هذه الأنظمة تفشل. لطال نموذج البحث عن طريقة تجعل عمليات البحث هذه تعمل دون الحاجة إلى هذا التدريب المخصص الثقيل، آملين في إنشاء نظام يمكنه فهم أي طلب جديد فوراً، بمجرد استخدام الأدوات القوية التي يمتلكها بالفعل.
لقد أظهر فريق من الباحثين في جامعة لوكسمبورغ الآن طريقة لتحقيق ذلك دون أي تدريب جديد. لقد طوروا طريقة تسمى "PeFuse"، والتي تعمل كمترجم ذكي بين العالمين البصري والنصي. بدلاً من محاولة إجبار الحاسوب على تعلم كيفية دمج صورة وجملة معاً من الصقف، يستخدم نظامهم أداتين من أدوات الذكاء الاصطني- الاصطناعي الموجودة والمُدربة مسبقاً لإعادة كتابة الطلب بالكامل. إحدى هاتين الأداتين، وهي نموذج لغوي كبير متعدد الوسائط، بارع للغاية في قراءة الصور وكتابة الأوصاف. والأخرى، هي نموذج انتشار (diffusion model)، وهو مولد صور قوي يمكنه إنشاء صور جديدة بناءً على النص. وجد الباحثون أنه باستخدام هذه الأدوات لتحويل الطلب المختلط إلى شكل واحد نقي — إما بتحويل الطلب بأكمله إلى صورة جديدة أو تحويله إلى وصف نصي مفصل — يمكنهم توصيل النتيجة بمحركات بحث قياسية لم تُصمم لهذا الغرض أصلاً.
اختبر الباحثون هذا النهج على عدة مجموعات بيانات قياسية تحتوي على عناصر أزياء، وصور عامة، ومشاهد معقدة. واكتشفوا أن الاستراتيجية الأكثر فعالية كانت تحويل الطلب المختلط إلى وصف نصي ثم البحث عن صور تطابق ذلك النص. في هذا السيناريو، يقرأ النموذج اللغوي الصورة المرجعية والتعليمات الخاصة بالمستخدم، ثم يكتب جملة جديدة ودقيقة تلتقط بالضبط ما يبحث عنه المستخدم. يتم بعد ذلك تغذية هذه الجملة الجديدة في محرك بحث عن الصور قياسي. ومن المثير للدهشة أن خطوة الترجمة البسيطة هذه حققت نتائج أفضل من محاولة توليد صورة جديدة من الطلب والبحث عن صور مشابهة. فرغم قدرة أداة توليد الصور على إنشاء صور جديدة، إلا أن تلك الصور غالباً ما كانت تحتوي على عيوب طفيفة وغير طبيعية تربك محرك البحث. أما الأوصاف النصية، فقد ظلت واضحة ودقيقة دلالياً، مما سمح لمحرك البحث بالعثور على المطابقات الصحيحة بدقة عالية.
كما استكشفت الدراسة ما يحدث عندما يحاول النظام القيام بالعكس: تحويل الصور المستهدفة في قاعدة البيانات إلى نص للمطابقة مع طلب المستخدم. وبينما كان هذا يعمل بشكل أفضل من محاولة مطابقة الصور مع الصور مباشرة، إلا أنه ظل دون مستوى نهج "النص إلى الصورة". ووجد الباحثون أن جودة نتيجة البحث النهائية تعتمد بشكل كبير على الأدوات المحددة المختارة. فعلى سبيل المثال، استخدام نموذج لغوي أكبر وأكثر قوة أدى عموماً إلى تحسين النتائج، وإن كانت المكاسب أحياناً ضئيلة. كما فحصوا كيف أثرت الإعدادات المختلفة لمولد الصور على النتيجة، ووجدوا أن استخدام عدد كبير من الخطوات لتوليد صورة أو محاولة إجبار الصورة على أن تبدو مشابهة جداً للمرجع الأصلي أدى في الواقع إلى إضعاف أداء البحث. كانت "النقطة المثالية" هي عدد متوسط من الخطوات وإعداد منخفض لمدى التزام المولد بالصورة الأصلية، مما يمنحه الحرية الكافية لدمج التعليمات النصية الجديدة.
إن ما يجعل هذا العمل مهماً بشكل خاص هو أنه لا يتطلب بيانات جديدة ولا إعادة تدريب للنماذج الأساسية. فالنظام "خالٍ من التدريب" تماماً، مما يعني أنه يمكن نشره فوراً على مجموعات بيانات جديدة أو في مجالات جديدة دون شهور من التحضير التي تتطلبها العادة. وقد أظهر الباحثون أنه من خلال مجرد ربط هذه الأدوات الموجودة مسبقاً معاً، يمكنهم مطابقة أو حتى تجاوز أداء الأنظمة المعقدة التي تم تدريبها خصيصاً لهذه المهمة. وهذا يشير إلى أن مستقبل هذه التكنولوجيا قد لا يكمن في بناء نماذج أكبر وأكثر تخصصاً، بل في إيجاد طرق أذكى لاستخدام الأدوات العامة القوية التي نمتلكها بالفعل. ومن خلال التعامل مع المشكلة كمسألة ترجمة بدلاً من مسألة دمج، فتح الباحثون مساراً لأنظمة بحث عن الصور أكثر مرونة وقابلية للتكيف، يمكنها فهم القصد البشري دون الحاجة إلى تعلمها من الصفر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.