← أحدث الأبحاث
🤖 machine learning

From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model

تقترح هذه الورقة إطار عمل كفؤ في استهلاك البيانات يعمل على تحويل النماذج اللغوية الكبيرة متعددة الوسائط التوليدية إلى نماذج تضمين تمييزية قوية تعمل بنمط الصفر من الأمثلة، وذلك عبر الاستفادة من مطالبات التضمين الهرمية للضبط الكامن واستراتيجية مبتكرة لأخذ عينات السلبيات الصعبة ذات الوعي الذاتي للقضاء على السلبيات الزائفة، محققةً أداءً تنافسياً بأقل قدر من بيانات التدريب.

المؤلفون الأصليون: Yeong-Joon Ju, Seong-Whan Lee

نُشر 2026-08-05
📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Yeong-Joon Ju, Seong-Whan Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يفهم العالم. هذا الروبوت، المسمى "نموذج لغوي كبير متعدد الوسائط" (MLLM)، يشبه فناناً بارعاً يمكنه النظر إلى صورة وكتابة قصيدة عنها، أو قراءة قصة ورسم مشهد لها. إنه مذهل في "ابتكار" الأشياء. ولكن الآن، يريد العلماء استخدام هذا الفنان للقيام بشيء مختلف: أن يعمل كأمين مكتبة. يريدون منه أن ينظر إلى كومة فوضوية من الصور والجمل ويقوم فوراً بفرزها في مجموعات مثالية، واكتشاف التطابق الدقيق لأي سؤال يُطرح. وهذا ما يسمى بـ "التضمين" (embedding).

المشكلة هي أن الروبوت تم تدريبه ليكون كاتباً مبدعاً، وليس أمين مكتبة صارماً. ولتحويله إلى أمين مكتبة، فإن الطريقة المعتادة هي جعله يقرأ ملايين الكتب ويمارس عملية الفرز لفترة طويلة جداً، وهو أمر يكلف ثروة من الكهرباء والوقت. والأسوأ من ذلك، أن الطرق القديمة في تعليمه غالباً ما تصاب بالارتباك. تخيل أن الروبوت يحاول البحث عن "وردة حمراء". يرى "وردة وردية" ويفكر: "هذه ليست وردة حمراء، إذن هي إجابة خاطئة!". لكن في الواقع، الوردة الوردية تشبه جداً الوردة الحمراء، ووصفها بأنها "إجابة خاطئة" يربك الروبوت. هذا يشبه معلماً يعاقب طالباً على تخمين كان في الواقع قريباً جداً من الحقيقة.

تقدم هذه الورقة البحثية طريقة جديدة ذكية لتحويل ذلك الفنان المبدع إلى أمين مكتبة حذق دون الحاجة إلى ماراثون التدريب الضخم والمكلف. فقد وجد الباحثون أنك لست بحاجة لإعادة تدريب عقل الروبوت من الصفر. بدلاً من ذلك، تحتاج فقط إلى إعطائه مجموعة محددة للغاية من التعليمات — "تلقين هرمي" (hierarchical prompt) — يخبره بالضبط كيف يتصرف حتى قبل أن ينظر إلى البيانات. فكر في الأمر كأنك تضع له نظارات طبية محددة تغير طريقة رؤيته للعالم فوراً، مما يجعله مستعداً لفرز الأشياء بشكل مثالي.

والأفضل من ذلك، فقد اخترعوا لعبة جديدة تسمى "أخذ العينات السلبية الصعبة ذات الوعي الذاتي" (SaHa) لمساعدة الروبوت على التعلم من أخطائه دون أن يتعرض للخداع. عادةً، عندما يحاول الروبوت التعلم، فإنه يختار أمثلة "صعبة" تشبه الهدف تماماً للتدرب عليها. ولكن في بعض الأحيان، قد يختار بالخطأ مثالاً "زائفاً" يبدو كأنه خطأ ولكنه في الواقع تطابق صحيح متنكر. الطرق القديمة كانت تكتفي بالتخمين والأمل في الأفضل. أما طريقة SaHa الجديدة فهي تشبه المحقق الذي يفحص بطاقة الهوية لكل مشتبه به. فقبل أن يقرر ما إذا كان المثال "سلبياً صعباً" (أي إجابة خاطئة ومخادعة)، يسأل الروبوت نفسه: "إلى من ينتمي هذا المثال في الواقع؟". إذا كان المثال ينتمي إلى نفس "عائلة" السؤال، يدرك الروبوت: "آه، هذا ليس خطأً؛ هذا في الواقع إجابة صحيحة!"، فيقوم باستبعاده من كومة "الأخطاء".

من خلال الجمع بين هذه النظارات الذكية والتحقق بأسلوب المحقق، أظهر الباحثون أن روبوتهم يمكنه أن يصبح أمين مكتبة من الطراز الرفيع باستخدام جزء ضئيل فقط من البيانات والوغة المعتادة. لقد اختبروه على مجموعة ضخمة تضم 36 مهمة مختلفة، من البحث عن الصور إلى الإجابة على أسئلة حول الصور، وقد تفوق في أدائه على أي طريقة أخرى تقريباً، حتى تلك التي تم تدريبها لفترات أطول بكثير. كما وجدوا أن أمين المكتبة الجديد هذا يمكنه فهم مقاطع الفيديو التي لم يراها من قبل، مما يثبت أنه تعلم حقاً كيف يفهم العالم، وليس مجرد حفظ قائمة محددة من الإجابات. وتشير الورقة البحثية إلى أنه باستخدام هذه الحيل البسيطة والقوية، يمكننا إطلاق العنان للإمكانات الخفية لهذه النماذج العملاقة دون الحاجة إلى استنزاف كميات هائلة من الموارد.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.LG →