Can Frontier LLMs Match Natively Multimodal Embeddings? A Comparison on Hard-Negative Text-to-Image Retrieval
تُظهر هذه الدراسة أن النماذج اللغوية الكبيرة الرائدة مثل GPT-4.1 وClaude Sonnet 4.6 تحقق أداء استرجاع يضاهي نموذج Gemini Embedding 2 متعدد الوسائط الأصلي من Google على مجموعة بيانات Flickr30k، رغم أن الأخير يظل متفوقاً في التطبيقات ذات زمن الاستجابة المنخفض بفضل التضمينات القابلة للحساب المسبق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول العثور على إبرة محددة في كومة قش ضخمة وفوضوية. لكن هنا تكمن الخدعة: الإبرة ليست مجرد قطعة من المعدن؛ بل هي صورة، وأنت تصفها باستخدام الكلمات. هذا هو عالم الاسترجاع متعدد الوسائط (multimodal retrieval)، وهو فرع من علوم الحاسوب حيث تتعلم الآلات كيفية الربط بين ما تراه (الصور) وما تقرأه (النصوص). لسنوات طويلة، كانت الطريقة القياسية للقيام بذلك هي بناء "عقلين" منفصلين: أحدهما يقرأ النص ويحوله إلى شفرة سرية، والآخر ينظر إلى الصور ويحولها إلى شفرة سرية مختلفة. ثم يحاول الكمبيوتر مطابقة هاتين الشفرتين، تماماً مثل محاولة ملاءمة وتد مربع في ثقب مستدير عبر تضييق العينين بشدة.
مؤخراً، دخل أداتان خارقتان إلى الحلبة. أولاً، هناك نماذج اللغات الكبيرة المتطورة (Frontier LLMs). فكر فيها كأمناء مكتبات أذكياء للغاية وشاملين للمعرفة، يمكنهم النظر إلى كومة من 25 صورة وجملة واحدة، ثم قراءة كل صورة فوراً، والمقارنة بينها، واختيار المطابقة الأفضل. ثانياً، هناك التضمينات متعددة الوسائط الأصلية (Natively Multimodal Embeddings). هذه بمثابة مترجم عالمي يتحدث لغتي "الصورة" و"النص" بطلاقة منذ البداية، حيث يحول كل شيء إلى شفرة سرية واحدة موحدة دون الحاجة إلى عقلين منفصلين للتواصل مع بعضهما البعض. السؤال الكبير الذي يطرحه الجميع هو: هل نحتاج إلى أمين المكتبة الفائق الذكاء ليقرأ كل صورة ويقارن بينها، أم أن المترجم العالمي سريع ودقيق بما يكفي للقيام بالمهمة بمفرده؟ هذا الأمر مهم لأن أمين المكتبة إذا كان بطيئاً جداً، فلن تتمكن من استخدامه في التطبيقات التي تعمل بالوقت الفعلي مثل البحث في معرض صورك أثناء السير في الشارع.
تضع هذه الورقة البحثية سباقاً عالي المخاطر بين هذين النهجين باستخدام مجموعة بيانات تسمى Flickr30k، والتي تحتوي على 31,000 صورة مع أوصاف مكتوبة بواسطة بشر. ولجعل السباق عادلاً وصعباً حقاً، لم يكتفِ الباحثون بإلقاء صور عشوائية على النماذج، بل أنشأوا "سلبيات صعبة" (hard negatives)—وهي صور تبدو مشابهة جداً للإجابة الصحيحة ولكنها ليست دقيقة تماماً، صُممت لتخدع حتى الأنظمة الأكثر ذكاءً. لقد اختبروا أربعة عمالقة: Gemini Embedding 2 و Amazon Nova 2 (المترجمان العالميان) مقابل GPT-4.1 و Claude Sonnet 4.6 (أمينا المكتبة فائقا الذكاء).
كانت النتة صدمة للمتسابقين السريعين، لكنها كانت مطمئنة لعشاق الدقة. عندما تعلق الأمر بالحصول على الإجابة الصحيحة، كان المترجمون العالميون وأمناء المكتبة الأذكاء متساوين في المستوى. وجدت الدراسة أن Gemini Embedding 2 و GPT-4.1 و Claude Sonnet 4.6 قدموا أداءً متماثلاً إحصائياً. لقد كانوا قريبين جداً لدرجة أنه لا يمكنك التمييز بينهم بناءً على الدقة وحدها؛ فقد تمكنوا جميعاً من اختيار الصورة الصحيحة بنسبة 80% تقريباً في هذه السيناريوهات الصعبة. وتستبعد الورقة البحثية صراحةً فكرة أن أمناء المكتبة يتفوقون بمراحل في الدقة، مما يظهر أن نماذج التضمين الجديدة لا تقل ذكاءً في العثور على الإبرة الصحيحة في كومة القش. ومع ذلك، تراجع أحد النماذج، وهو Amazon Nova 2، حيث حصل على الإجابة الصحيحة بنسبة أقل بنحو 13 نقطة مئوية، ويرجع ذلك على الأرجب إلى أنه صُمم للمهام العامة بدلاً من هذا النوع المحدد من البحث عن الصور.
لكن القصة الحقيقية ليست فقط في من يفوز بسباق الدقة؛ بل في من ينهي الماراثون. هنا تختلف المسارات بشكل جذري. فأمناء المكتبة الأذكاء (LLMs) يتعين عليهم النظر في كل صورة في المجموعة لكل سؤال. وقد قاس البحث هذا ووجد أن ترتيب 1,000 استعلام استغرق من أمناء المكتبة أكثر من 6,100 ثانية (بالنسبة لـ GPT-4.1) و 9,415 ثانية (بالنسبة لـ Claude Sonnet 4.6). إنها ساعات من الانتظار. في المقابل، يعمل المترجمون العالميون (نماذج التضمين) بشكل مختلف؛ إذ يمكنهم حساب الشفرات السرية لجميع الصور مسبقاً، مثل ختم كل كتاب في مكتبة بباركود قبل دخولك حتى. وبمجرد الانتهاء من عملية "الحساب المسبق" هذه، استغرق العثور على الصورة الصحيحة لـ 1,000 استعلام من نماذج التضمين أقل من ثانيتين.
يخلص المؤلفون إلى أنه بينما يتمتع أمناء المكتبة الأذكاء بقدرة فائقة على الاستنتاج والمقارنة بين الصور جنباً إلى جنب، فإن المترجمين العالميين هم الفائزون الواضحون لأي شيء يتطلب حدوثاً فورياً. إذا كنت تبني تطبيقاً يحتاج فيه المستخدم إلى البحث في مجموعة كبيرة من الصور في لمح البصر، فإن نماذج التضمين هي الخيار الأفضل. لا يزال أمناء المكتبة مفيدين إذا كانت مجموعة الصور الخاصة بك تتغير كل ثانية أو كانت صغيرة جداً، مما يجعل خطوة الحساب المسبق عديمة الفائدة، ولكن بالنسبة للسرعة والنطاق، فقد أثبتت نماذج التضمين الجديدة أنها تستطيع مضاهاة دقة العمالقة مع العمل بسرعة أكبر بألف مرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.