💻 computer science

FreeRet: MLLMs as Training-Free Retrievers

تُعد FreeRet إطار عمل يعمل بدون تدريب وقابل للتشغيل المباشر، حيث يستفيد من النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الجاهزة كأدوات استرجاع قوية ذات مرحلتين عبر توليد تضمينات دلالية مرتكزة للبحث عن المرشحين واستخدام قدراتها الاستنتاجية المتأصلة لإعادة التصنيف بدقة، مما يؤدي إلى التفوق على النماذج التي خضعت لتدريب مكثف دون الحاجة إلى أي ضبط دقيق إضافي.

المؤلفون الأصليون: Yuhan Zhu, Xiangyu Zeng, Chenting Wang, Xinhao Li, Chunxu Liu, Yicheng Xu, Ziang Yan, Yi Wang, Limin Wang

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuhan Zhu, Xiangyu Zeng, Chenting Wang, Xinhao Li, Chunxu Liu, Yicheng Xu, Ziang Yan, Yi Wang, Limin Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً، واسع الاطلاع، قرأ ملايين الكتب وشاهد عدداً لا يحصى من الصور. هذا الأمين ذكي للغاية، يستطيع فهم القصص المعقدة، بل ويمكنه حتى كتابة قصص جديدة. ومع ذلك، تقليدياً، إذا أردت من هذا الأمين أن يعمل كـ محرك بحث (لإيجاد عناصر محددة بناءً على استعلام)، كان عليك إخضاعه لسنوات من إعادة التدريب المرهقة والمكلفة. كان عليك إجباره على حفظ "قواعد بحث" محددة وتجاهل قدرته الطبيعية على مجرد "الدردشة" و"التفكير".

تطرح ورقة FreeRet سؤالاً بسيطاً: ماذا لو لم نكن بحاجة لإعادة تدريب أمين المكتبة على الإطلاق؟ ماذا لو استطعنا فقط أن نطلب منه القيام بوظيفة البحث باستخدام قدراته الذهنية الموجودة بالفعل؟

إليك كيف فعلوا ذلك، مشروحاً عبر ثلاث خطوات بسيطة:

1. مشكلة "المُرشح النهائي" (تخطي طبقة التنميط اللغوي)

التشبيه: تخيل أن أمين المكتبة يحاول تلخيص كتاب معقد. إنه يفهم المعنى العميق تماماً. لكن، قبل أن يتحدث مباشرة، يجب عليه تمرير أفكاره عبر "مترجم" يجبره على استخدام كلمات بسيطة وشائعة فقط (مثل "قط"، "يجري"، "سعيد") لتتوافق مع قاموس معين. هذا المترجم رائع للتحدث، لكنه يفسد المعنى العميق والدقيق للكتاب.

الحل: وجدت الورقة أن الجزء الأخير من عقل الذكاء الاصطناعي (طبقة الـ "final MLP layer") يعمل مثل هذا المترجم؛ فهو يجبر الذكاء الاصطناعي على التركيز على مطابقة الكلمات البسيطة بدلاً من المعنى العميق.

خدعة FreeRet: ببساطة، أخبروا الذكاء الاصطناعي أن يتخطى هذا المترجم النهائي. إنهم يأخذون "الفكرة" قبل أن تُجبر على التحول إلى كلمات بسيطة. هذا يمنحهم "ملخصاً" أغنى وأكثر دقة للصورة أو النص، مما يجعل عملية البحث الأولية أذكى بكداً دون تغيير سطر واحد من الكود.

2. مشكلة "الملخص الغامض" (التوليد المنضبط)

التشبيه: إذا سألت شخصاً ذكياً: "لخص هذه الصورة في كلمة واحدة"، فقد يقول "شيء" أو "أشياء". هي تقنياً كلمة، لكنها عديمة الفائدة للعثور على الصورة الصحيحة لاحقاً. أو قد يقول "ينمو" (مركزاً على الجزء الخاطئ من الصورة).

الحل: أدركت الورقة أن مجرد طلب "كلمة واحدة" هو أمر فضفاض للغاية.

خدعة FreeRet: يعطون الذكاء الاصطناعي مجموعة صارمة من التعليمات (Prompt) قبل أن يتحدث. يقولون له: "انظر إلى الصورة والنص. التقط المعنى الرئيسي. لا تستخدم كلمات صغيرة مثل 'الـ' أو 'يكون'. ركز على الموضوع."
من خلال تقديم هذه القواعد المحددة، يولد الذكاء الاصطناعي ملخصاً "بكلمة واحدة" أكثر دقة يساعد فعلياً في العثوة على المطابقة الصحيحة.

3. مشكلة "تأثير التأطير" (خدعة إعادة التصنيف)

التشبيه: تخيل أنك قاضٍ يقرر ما إذا كان المتهم مذنباً أم لا.

إذا سألت: "هل المتهم على حق أم على خطأ؟" فقد تشعر بضغط أخلاقي لقول "على حق" لأن ذلك يبدو كحكم أخلاقي.
أما إذا سألت: "هل المتهم صادق أم كاذب؟" فقد تشعر بأنك أكثر حياداً.
وجدت الورقة أن إجابة الذكاء الاصطناعي تتغير بناءً على كيفية طرحك للسؤال، حتى لو كان المعنى هو نفسه. وهذا ما يسمى بـ "تأثير التأثير" (Framing Effect).

الحل: اكتشفت الورقة أن طلب قول "نعم" أو "لا" من الذكاء الاصطناعي يسبب انحيازاً.

خدعة FreeRet: يحولون السؤال إلى سؤال اختيار من متعدد (MCQ). بدلاً من سؤال "هل هو ذو صلة؟"، يسألون: "هل يتطابق المرشح مع الاستعلام؟ أ. نعم، يتطابق. ب. لا، لا يتطابق."
هذا التنسيق هو شيء رآه الذكاء الاصطناعي ملايين المرات في بيانات تدريبه. إنه يجعل الذكاء الاصطناعي يعمل كقاضٍ محايد، متجاهلاً الثقل العاطفي لكلمات مثل "نعم" أو "خطأ"، مما يؤدي إلى نتائج نهائية أكثر دقة بكثير.

النتيجة: محرك بحث خارق "يعمل فور التوصيل"

اختبرت الورقة طريقتهم على معيار ضخم يسمى MMEB (والذي يحتوي على 36 نوعاً مختلفاً من مهام البحث، من البحث عن الصور إلى الإجابة على أسئلة الفيديو).

المفاجأة: طريقتهم، FreeRet، التي تستخدم صفر بيانات تدريب وصفر تكلفة إضافية، هزمت نماذج تم تدريبها على ملايين الأمثلة.
الفائدة: لأنهم لم يعيدوا تدريب النموذج، يحتفظ الذكاء الاصطناعي بجميع قدراته الخارقة الأصلية. لا يزال بإمكانه الدردشة، وكتابة القصص، والتفكير في مواضيع معقدة. ليس عليك الاختيار بين "بوت بحث" و"مساعد ذكي"؛ فـ FreeRet تجعل نفس النموذج يقوم بكلا الوظيفتين بإتقان.

باخت de مختصر: تظهر FreeRet أننا لسنا بحاجة لإجبار نماذج الذكاء الاصطناعي الذكية على تعلم كيفية البحث. نحن فقط بحاجة لطرح الأسئلة الصحيحة عليهم وتركهم يستخدمون عقولهم المدربة مسبقاً للقيام بالمهمة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "FreeRet: MLLMs as Training-Free Retrievers".

1. بيان المشكلة

تمتلك نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) قدرات قوية في الاستنتاج والفهم عبر الوسائط، ومع ذلك، نادراً ما تُستخدم مباشرة لمهام الاسترجاع (Retrieval). تعتمد النهج الحالية المتطورة على الضبط الدقيق اللاحق الثقيل (التعلم التبايني - Contrastive Learning) لتحويل هذه النماذج إلى أدوات استرجاع. يواجه هذا النموذج ثلاثة قيود حرجة:

التكلفة العالية: يتطلب كميات هائلة من البيانات متعددة الوسائط المقترنة وموارد حوسبة مكلفة لكل نموذج أساسي أو تكوين وسائط جديد.
ضعف التعميم: النماذج التي يتم ضبطها بدقة على معايير محددة (مثل MMEB) غالباً ما تفشل في التعميم على نطاقات أخرى أو مجموعات وسائط مختلفة دون إعادة تدريب.
البنية المجزأة: الحلول الحالية غالباً ما تفصل بين مراحل التضمين (البحث) وإعادة التصنيف (Reranking) في وحدات مختلفة أو تتطلب نماذج مساعدة، مما يكسر الطبيعة المتكاملة لنموذج الـ MLLM.

يتساءل المؤلفون: هل يمكن لنماذج MLLMs الجاهزة أن تعمل كمسترجعات قوية مكونة من مرحلتين دون أي تدريب إضافي؟

2. المنهجية: إطار عمل FreeRet

إن FreeRet هو إطار عمل يعمل بمبدأ "التوصيل والتشغيل" (Plug-and-play) ولا يتطلب تدريباً، حيث يحول أي نموذج MLLM مدرب مسبقاً إلى مسترجع مكون من مرحلتين (تضمين $\leftarrow$ إعادة تصنيف) من خلال الاستفادة من ثلاث ابتكارات تقنية جوهرية:

أ. تجاوز ضغط التجزئة اللغوية (استخراج التضمين)

حدد المؤلفون أن طبقة "المدرك متعدد الطبقات" (MLP) النهائية في نماذج MLLMs تمارس "ضغط تجزئة لغوية" (Lexicalization Pressure)، مما يجبر التمثيلات الدلالية على التوافق مع توقع الرموز (Tokens) المنفصلة بدلاً من الحفاظ على البنية الدلالية المستمرة.

التقنية: بدلاً من استخدام الحالة المخفية النهائية القياسية ( $h^L_{MLP}$ )، يقوم FreeRet باستخراج التضمينات من مخرجات طبقة الانتباه الفرعية ( $h^L_{Attn}$ ) في طبقة الـ Transformer النهائية.
الأثر: هذا يتجاوز عملية الإسقاط في فضاء المفردات، مما يحافظ على التجريدات الدلالية عالية المستوى ويمنع تشويه الاستمرارية الدلالية الناتج عن الحاجة للتنبؤ برموز محددة.

ب. توليد تضمين محكوم

غالباً ما تستخدم طرق "عدم التدريب" القياسية مطالبات بسيطة مثل "لخص في كلمة واحدة"، مما يؤدي إلى مخرجات غامضة أو مشوشة (مثل كلمات الربط أو الوظائف اللغوية).

التقنية: يستخدم FreeRet مطالبة توليد محكومة تتضمن ثلاثة قيود:
1. المواءمة مع المهمة: توجيه النموذج صراحةً لتقييم مدى الصلة بموضوع معين.
2. التأسيس الدلالي: ربط الملخص بالمحتوى المدخل.
3. كبح الضجيج: منع الكلمات الوظيفية، أو حروف الجر، أو الرموز صراحةً.
الأثر: هذا يوجه النموذج لتوليد رموز دلالية أمينة وذات صلة بالمهمة، مما ينتج عنه تضمينات عالية الجودة دون تحديث للمعلمات (Parameters).

ج. تخفيف تأثير التأطير (إعادة التصنيف)

اكتشف المؤلفون وجود "تأثير تأطير" (Framing Effect) في نماذج MLLMs، حيث تؤدي الملصقات الثنائية المتكافئة منطقياً (مثل Yes/No مقابل True/False) إلى نتائج دقة مختلفة تماماً بسبب انحيازات ما قبل التدريب والدلالات البراغماتية.

التقنية: بدلاً من مطالبات التصنيف الثنائي، يصيغ FreeRet مهمة إعادة التصنيف كـ سؤال اختيار من متعدد (MCQ):
- الخيار A: "نعم، المرشح يتطابق تماماً مع الاستعلام."
- الخيار B: "لا، المرشح لا يتطابق."
الأثر: يعمل تنسيق الاختيار من متعدد على تحييد الانحيازات الدلالية ويتوافق مع توزيع بيانات ما قبل التدريب، مما يؤدي إلى تسجيل درجات صلة أكثر استقراراً ودقة.

3. المساهمات الرئيسية

نموذج "عدم التدريب": يثبت أن نماذج MLLMs يمكنها تحقيق أداء استرجاع يضاهي الأداء الأمثل (SOTA) دون أي ضبط دقيق، أو نماذج مساعدة، أو بيانات خارجية.
رؤية معمارية: يحدد ويحل مشكلة "ضغط التجزئة اللغوية" عن طريق إزالة طبقة MLP النهائية لاستخراج التضمين، وهي نتيجة تم التحقق من صحتها عبر أحجام نماذج مختلفة (من 3B إلى 32B).
خط معالجة موحد (RAG Pipeline): يوحد عمليات التضمين، وإعادة التصنيف، والتوليد في نموذج واحد. هذا يحافظ على القدرات التوليدية والحوارية للـ MLLM مع إضافة قدرات الاسترجاع.
القابلية للتوسع: إطار العمل مستقل عن النموذج ويدعم تركيبات وسائط عشوائية (مثل صوت-إلى-فيديو، أو صورة+نص-إلى-فيديو) من خلال الاستفادة من الفهم الشامل للوسائط (Omni-modal) المتأصل في النموذج الأساسي.

4. النتائج التجريبية

تم تقييم الإطار على MMEB (36 مجموعة بيانات عبر 4 مهام ميتا) و MMEB-V2 (مجموعة فرعية للفيديو).

الأداء مقابل النماذج الخاضعة للإشراف:
- يحقق FreeRet-7B (باستخدام Qwen2.5-VL-7B) متوسط دقة (Precision@1) يبلغ 70.7% على MMEB.
- هو يتفوق على النماذج المدربة على ملايين الأزواج، مثل GME-7B (المدرب على 8 ملايين زوج) و MMRet-7B (المدرب على 26.2 مليون زوج).
- يضاهي أو يتجاوز الطرق التي خضعت للإشراف صراحةً على MMEB (مثل UniME-V2).
استرجاع الفيديو: في MMEB-V2، يتفوق FreeRet بشكل كبير على النماذج المرجعية الخاضعة للإشراف في كل من مهام تصنيف واسترجاع الفيديو.
الكفاءة: من خلال استخدام نموذج واحد لكلا المرحلتين وإعادة استخدام ذاكرة التخزين المؤقت (KV caches)، يقلل FreeRet من البصمة الذاكرية وزمن التأخير مقارنة بأنظمة المرحلة الثانية التي تستخدم نماذج تضمين وإعادة تصنيف منفصلة.
التعميم: تعمل الطريقة بفعالية عبر عائلات نماذج مختلفة (LLaVA, InternVL, Qwen) ومقاييس مختلفة (من 2B إلى 32B) دون الحاجة لإعادة الضبط.

5. الأهمية والأثر

ديمقراطية الاسترجاع: يزيل حاجز التقييم المكلف للبيانات والضبط الدقيق، مما يسمح بالنشر الفوري لقدرات الاسترجاع على أي نموذج MLLM مدرب مسبقاً.
تحول في النموذج المعرفي: يتحدى ضرورة التدريب التبايني واسع النطاق للاسترجاع متعدد الوسائط، مشيراً إلى أن قدرات الاستنتاج والتمثيل في النماذج التأسيسية كافية إذا تم تسخيرها بشكل صحيح.
فهم الفيديو الطويل: يوضح أن التركيز القائم على الاسترجاع (اختيار الإطارات ذات الصلة قبل الاستنتاج) يحسن بشكل كبير الأداء على معايير الفيديو الطويل (LVBench)، مما يقدم حلاً قابلاً للتوسع للاستنتاج الزمني.
الاتجاه المستقبلي: يشير إلى مستقبل حيث يوحد نموذج "عام" واحد عمليات الاسترجاع، وإعادة التصنيف، والتوليد، مما يبسط بنية الأنظمة الذكية المعقدة.

في الختام، يثبت FreeRet أنه مع هندسة المطالبات بعناية والتعديلات المعمارية (تجاوز MLP النهائي)، يمكن لنماذج MLLMs المدربة مسبقاً أن تعمل كمحركات قوية ومتعددة الاستخدامات ولا تتطلب تدريباً لعمليات الاسترجاع متعددة الوسائط.