Douyin Multimodal Embedding Model Technical Report
تقدم الورقة البحثية نموذج "تضمين دوين متعدد الوسائط" (DME)، وهو نموذج مدرب على مرحلتين يحقق أداءً هو الأفضل في فئته وكفاءة إنتاجية من خلال الجمع بين التدريب المسبق التبايني واسع النطاق وآليات تدريب مبتكرة للاستدلال القائم على الأدلة وإعادة البناء المشروط متبادلاً، مما يوفر تمييزاً متعدد الوسائط دقيق التفاصيل دون المساس بسرعة الاستدلال عبر الإنترنت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول العثور على إبرة محددة في كومة قش، لكن كومة القش هي الإنترنت بأكمها، والإبرة قد تكون مقطع فيديو، أو صورة، أو مستنداً، أو مزيجاً من الثلاثة معاً. هذا هو الواقع اليومي لمحركات البحث وأنظمة التوصية الحديثة. ولجعل هذا ممكناً، تستخدم الحواسيب شيئاً يسمى التمثيل المتعدد الوسائط (multimodal embedding). فكر في هذا الأمر كأنه مترجم سحري يحول كل ما تراه، أو تقرأه، أو تشاهده إلى "بصمة" واحدة مدمجة (متجه/vector). عندما تبحث عن "قطة ترتدي قبعة"، فإن النظام لا يقرأ الكلمات؛ بل يحول طلبك إلى بصمة ويبحث عن بصمات أخرى في قاعدة بياناته تشبه بصمته تماماً.
لفترة طويلة، كان أمام هذه الأنظمة خيار صعب؛ فإما أن تكون سريعة ولكن غبية، حيث تجد الأشياء المتشابهة بشكل عام بسرعة ولكنها تفتقر إلى التفاصيل الدقيقة التي تهم حقاً. أو يمكن أن تكون ذكية ولكن بطيئة، حيث تستغرق وقتاً طويلاً للتفكير في كل تفصيل قبل تقديم الإجابة، وهو أمر بطيء جداً لمليارات المستخدمين الذين يتصفحون التطبيقات. تتناول هذه الورقة البحثية هذه المشكلة تحديداً: كيف نبني محرك بحث يكون سريعاً كالبرق ودقيقاً للغاية في آن واحد، وقادراً على تمييز الفرق بين فيديوهين أو مستندين متشابهين جداً دون إبطاء النظام بأكل؟
يقدم المؤلفون، من فريق "دوين" (Douyin) التابع لشركة "بايت دانس" (ByteDance) وجامعة رينمين الصينية، نموذجاً جديداً يسمى تمثيل دوين متعدد الوسائط (DME). ويرى المؤلفون أن المحاولات السابقة لجعل البحث "أكثر ذكاءً" غالباً ما فشلت لأنها حاولت إجبار الكمبيوتر على كتابة شرح طويل (مثل سلسلة استدلال خطوة بخطوة) قبل إعطاء الإجابة. وبينما يجعل هذا الإجابة أفضل، إلا أنه بطيء جداً للاستخدام في العالم الحقيقي. بدلاً من ذلك، يستخدم DME عملية تدريب من خطوتين لتعليم النموذج أن يكون "صانع بصمات فائق الذكاء" لا يحتاج إلى الكلام ليكون ذكياً.
أولاً، يمر النموذج بـ "معسكر تدريبي" ضخم (المرحلة الأولى) حيث يتعلم مطابقة مليارات الأنواع المختلفة من المحتوى — النصوص، والصور، والفيديوهات، والمستندات — تماماً مثل محرك البحث السريع التقليدي. وهذا يمنحه فهماً واسعاً للعالم. ثم في المرحلة الثانية، يحصل النموذج على ترقية خاصة. حيث يعلّم الباحثون النموذج حيلتين سريتين. الحيلة الأولى هي "الاستدلال الكامن المستند إلى الأدلة" (Evidence-Grounded Latent Reasoning). تخيل محققاً لا يكتب تقريراً طويلاً، بل يمتلك قائمة مرجعية ذهنية صغيرة وغير مرئية تساعده على التركيز على أهم الأدلة (مثل نص معين على لافتة أو إطار في فيديو) قبل تكوين رأي. يقوم DME بذلك داخلياً، حيث ينظم أفكاره في مساحة مخفية دون إبطاء عملية البحث.
أما الحيلة الثانية فهي "إعادة البناء المشروط المتبادل" (Cross-Conditional Reconstruction). وهي تشبه لعبة الذاكرة؛ حيث يتم تدريب النموذج على النظر إلى "بصمة" فيديو ومحاولة "إعادة بناء" الوصف النصي لهذا الفيديو من الصفر. إذا نجح في إعادة بناء الوصف، فهذا يثبت أن البصمة تحتوي على جميع التفاصيل الضرورية. هذا يجبر النموذج على حشد المزيد من المعلومات داخل بصمته، مما يضمن عدم تفويته للتفاصيل الدقيقة التي تجعل نتيجة البحث ذات صلة حقاً.
النتائج مبهرة. ففي اختبار رئيسي يسمى MMEB-v2، حقق DME أعلى الدرجات لكل من نسختيه ذات الـ 2 مليار والـ 9 مليارات معلمة (parameter)، متفوقاً على النماذج الأخرى من نفس الحجم، خاصة في المجالات الصعبة مثل البحث في الفيديو والوثائق المرئية. ولكن الاختبار الحقيقي كان في العالم الحقيقي؛ فعند نشره على منصة "دوين"، حسن النموذج جودة البحث الإجمالية بنسبة 2.92% في الاختبارات غير المتصلة بالإنترنت، وعزز تفاعل المستخدمين بنسبة 0.1% في الاختبارات الحية عبر الإنترنت. والأهم من ذلك، أن كل هذا الذكاء جاء دون أي عقوبة تذكر في السرعة؛ إذ أضافت "القائمة المرجعية الذهنية" أقل من ملي ثانية واحدة من التأخير لكل استعلام.
تشير الورقة البحثية إلى أنه من خلال الجمع بين سرعة المشفر البسيط والفهّم العميق لنموذج الاستدلال، يحل DME المقايضة الطويلة الأمد بين الكفاءة والدقة. وهو يثبت أنك لست بحاجة لجعل الكمبيوتر "يتكلم" لكي "يفكر"؛ فأحياناً، يحدث أفضل أنواع الاستدلال في صمت، مختبئاً داخل البصمة نفسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.