Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini
تقدم الورقة البحثية نموذج Gemini Embedding 2، وهو نموذج تضمين متعدد الوسائط أصيل يوحد الفيديو والصوت والصورة والنص في فضاء تمثيل واحد، محققاً أداءً هو الأفضل في فئته عبر مهام الاسترجاع المتنوعة أحادية الوسائط، ومتعددة الوسائط، وعبر الوسائط، مع إظهار قدرات قوية في التعلم الصفري ضمن المجالات المتخصصة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة تحتوي على كتب، وأفلام، وتسجيلات موسيقية، وصور فوتوغرافية. في الوقت الحالي، إذا أردت العثور على أغنية محددة تشبه مشهداً سينمائياً، أو وصفة طعام تطابق صورة لطبق ما، فعادةً ما يتعين عليك تحويل كل شيء إلى نص أولاً. سيتعين عليك كتابة وصف للصورة، وتفريغ الصوت إلى كلمات، ثم البحث. الأمر يشبه محاولة العثور على لون محدد من خلال النظر فقط إلى قائمة بأسماء الألوان؛ حيث تفقد "إحساس" اللون الفعلي.
أداة Gemini Embedding 2 هي أداة جديدة من جوجل تغير قواعد اللعبة. فبدلاً من إجبار كل شيء على التحول إلى نص، تقوم هذه الأداة بإنشاء "لغة" عالمية واحدة حيث تتحدث الصور والأصوات ومقاطع الفيديو والكلمات جميعها نفس اللهجة.
إليك شرح لكيفية عملها ولماذا هي مهمة، باستخدام تشبيهات بسيطة:
١. المترجم العالمي (الفكرة الجوهرية)
فكر في الطريقة القديمة في التعامل مع الأمور كأنك تملك قواميس مختلفة للغات مختلفة. إذا أردت مقارنة كتاب فرنسي بفيلم ألماني، كان عليك ترجمة كليهما إلى الإنجليزية أولاً، وهو ما يؤدي غالباً إلى فقدان التفاصيل الدقيقة.
Gemini Embedding 2 يشبه مترجماً عالمياً يتحدث لغة "المعنى".
- هو يأخذ مقطع فيديو، أو أغنية، أو صورة، أو فقرة نصية، ويحولها جميعها إلى نوع واحد من "بطاقات الهوية" (متجه رياضي - vector).
- ولأنها جميعاً في نفس "اللغة"، يمكن للنموذج أن يدرك فوراً أن مقطع فيديو لكلب ينبح ونصاً يقول "كلب صاخب" مرتبطان ببعضهما، رغم أن أحدهما صوت والآخر كلمات. هو لا يحتاج لتحويل الصوت إلى كلمات أولاً؛ بل يفهم الصوت مباشرة.
٢. "الشيف" الشامل
النماذج السابقة كانت تشبه الطهاة الذين لا يجيدون سوى طبخ نوع واحد من الطعام. كان هناك شيف بارع في النصوص، وآخر في الصور، وآخر في الفيديو. وإذا أردت وجبة تجمع الثلاثة معاً، كان عليك استئجار ثلاثة طهاة مختلفين والأمل في أن يتفقوا على النكهة.
Gemini Embedding 2 هو شيف ماهر يمكنه التعامل مع أي مكون.
- لقد تم تدريبه على مزيج هائل من المهام: قراءة الأكواد البرمجية، وفهم الأفلام، والاستماع إلى الصوت، وتحليل المستندات.
- ولأنه تعلم من هذا التنوع الضخم، فإنه لا يرتبك عندما تخلط المكونات. يمكنك أن تطلب منه العثور على مقطع فيديو باستخدام مزيج من صورة وجملة، وسيفهم هذا المزيج بشكل مثالي.
٣. قوة الـ "Zero-Shot" الخارقة
عادةً، إذا أردت من الكمبيوتر أن يفهم موضوعاً محدداً للغاية (مثل علم الفلك أو الطبخ)، فعليك تعليمه خصيصاً لهذا الموضوع. الأمر يشبه استئجار مدرس خصوصي ليعلم طالباً عن المجموعة الشمسية فقط.
Gemini Embedding 2 يشبه طالباً هو بالفعل خبير في كل شيء.
- تُظهر الورقة البحثية أن هذا النموذج يعمل بشكل رائع في مواضيع متخصصة مثل المجهرية (علم الأحياء)، وعلم الفلك، والفنون الجميلة، والطبخ دون الحاجة إلى أي تدريب إضافي.
- إنه جاهز للاستخدام "مباشرة من الصندوق". إذا عرضت عليه صورة لخريطة نجوم أو وصفة طبخ معقدة، فإنه يفهم السياق فوراً بشكل أفضل من النماذج المتخصصة التي تدربت على واحد من هذه الأشياء فقط.
٤. الطفرة في مجال الصوت (لا مزيد من التفريغ النصي)
واحدة من أكبر المشكلات في البحث الصوتي هي أن الحواسيب عادة ما تضطر إلى "قراءة" الصوت أولاً (تحويل الكلام إلى نص) قبل أن تتمكن من البحث فيه. هذا يشبه محاولة العثوة عن أغنية من خلال قراءة كلماتها، ولكن إذا كان المغني يتمتم أو له لكنة ثقية، فإن الكمبيوتر سيخطئ في الكلمات ولن تجد الأغنية أبداً.
Gemini Embedding 2 يتخطى الوسيط.
- هو يستمع إلى الصوت الخام مباشرة. يفهم النبرة، وطبقة الصوت، والعاطفة في الصوت، وليس فقط الكلمات.
- وجدت الورقة البحثية أن البحث باستخدام الصوت الخام أكثر دقة بكثير من البحث باستخدام النص المفرغ. الأمر يشبه التعرف على صوت صديق في وسط الزحام دون الحاجة لسماع ما يقوله.
٥. كيف تم بناؤه (وصفة التدريب)
لبناء هذا "المترجم العالمي"، لم يقم الفريق بتعليمه شيئاً واحداً تلو الآخر. بل استخدموا عملية طهي من ثلاث خطوات:
- ما قبل الضبط الدقيق (Pre-Fine-Tuning): أعطوا النموذج كومة ضخمة وغير منظمة من البيانات (نصوص، أكواد، صور) ليتعود على فكرة "ترميز" المعلومات.
- الضبط الدقيق (Fine-Tuning): أعطوه أمثلة محددة وعالية الجودة لكيفية الربط بين الأشياء (مثل ربط سؤال بإجابة، أو فيديو بوصف).
- تجميع النماذج (Model Souping): هذه خدعة ذكية حيث أخذوا عدة نسخ مختلفة من النموذج المدرب و"مزجوها" معاً، مثل خلط دفعات مختلفة من الحساء للحصول على النكهة المثالية. جعل هذا النسخة النهائية أكثر استقراراً وأفضل في التعامل مع أنواع مختلفة من المهام في آن واحد.
الخلاصة
Gemini Embedding 2 هو محرك قوي يسمح للحواسيب بفهم العالم كما يفعل البشر: من خلال رؤية وسماع وقراءة كل شيء ككل مترابط. سواء كنت تبحث عن لحظة محددة في فيديو باستخدام وصف نصي، أو تبحث عن أغنية بناءً على دندنة، أو تبحث عن مستند يحتوي على رسوم بياسية ونصوص، فإن هذا النموذج يقوم بكل ذلك في مساحة موحدة واحدة، وغالباً ما يتفوق على الأدوات المتخصصة المصممة لمهمة واحدة فقط من تلك المهام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.