Giga-Embeddings: Mixture-of-Experts Encoders for High-Throughput Text Embeddings
تقدم الورقة البحثية Giga-Embeddings، وهي عائلة من نماذج تضمين النصوص التي تتميز بمُشفّر "خليط من الخبراء" (Mixture-of-Experts) متفرق يضم 10 مليارات معلمة، والذي يحقق جودة استرجاع رائدة وإنتاجية عالية عبر لغات متعددة، إلى جانب متغيرات كثيفة ومقطرة أصغر مُحسّنة للبيئات ذات الموارد المحدودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الرقمي، لا تفهم الحواسيب الكلمات كما يفعل البشر. فبالنسبة للآلة، الجملة ليست سوى سلسلة طويلة من الرموز. ولجعل النصوص مفهومة، طور الباحثون طريقة لتحويل الكلمات إلى قوائم من الأرقام، تُعرف باسم "التضمينات" (embeddings). تخيل هذه القوائم كعنوان فريد لكل نص، يضعه في فضاء شاسع متعدد الأبعاد حيث تتقارب الأفكار المتشابهة وتتباعد الأفكار المختلفة. هذا النظام هو ما يشغل الأدوات التي نستخدمها يومياً، من محركات البحث التي تجد المستند الصحيح إلى الذكاء الاصطنا الذي يجيب على الأسئلة بناءً على مكتبة من النصوص. ومع ذلك، هناك توتر مستمر في هذا المجال: فكلما زاد تعقيد النظام، زادت قدرته عادةً على فهم اللغة، ولكن زادت أيضاً متطلباته من قوة الحوسبة والذاكرة لتشغيله. وقد كان جعل هذه الأنظمة أسرع وأرخص دون فقدان ذكائها تحدياً كبيراً للعلماء.
قدم فريق من الباحثين عائلة جديدة من نماذج تضمين النصوص تسمى "جيجا-إمبيدينجز" (Giga-Embeddings)، صُممت لحل هذه المشكلة عبر الموازنة بين الجودة العالية والسرعة العالية. وأكثر ابتكاراتهم طموحاً هو نموذج ضخم يحتوي على عشرة مليارات معلمة (parameter)، وهي مقيما لتعقيده الداخلي. وبدلاً من استخدام جميع المعلمات العشر مليارات لمعالجة كل كلمة، يستخدم هذا النموذج تقنية تسمى "خليط الخبراء" (mixture of experts). تخيل مكتبة كبيرة حيث، لكل كتاب يطلبه الزائر، يتم استدعاء فريق صغير ومحدد فقط من أمناء المكتبة للمساعدة، بينما يظل بقية الموظفين في وضع الاستعداد. في هذا النموذج الحاسوبي، يتم تفعيل حوالي 1.8 مليار معلمة فقط لكل كلمة، بينما تظل العشر مليارات معلمة كاملة متاحة في الذاكرة. وهذا يسم يتيح للنظام حمل معرفة دماغ ضخم بينما يقوم بعمل دماغ أصغر في أي لحظة معينة.
اختبر الباحثون هذا النموذج الكبير مقابل عدة نماذج أخرى، بما في ذلك نموذج كثيف قياسي يحتوي على ثلاثة مليارات معلمة، ونسخة مصغرة (distilled) تحتوي على 480 مليون معلمة. وقاموا بتقييم الأنظمة في مجموعة واسعة من المهام المتعلقة باللغة الإنجليزية، والروسية، والنصوص متعددة اللغات، والبرمجيات (code). وأظهرت النتائج أن النموذج الكبير "المتفرق" (sparse model) حقق أعلى أداء إجمالي عبر جميع هذه الفئات. لم يكتفِ بفهم النص بشكل أفضل من النماذج الأصغر فحسب، بل عالج المعلومات بشكل أسرع أيضاً. وعند قياس عدد الكلمات التي يمكن للنظام معالجتها في الثانية، كان نموذج العشر مليارات معلمة أسرع بنسبة 25 بالمائة من النموذج ذي الثلاث مليارات معلمة، وأسرع بكثير من الأنظمة المتقدمة الأخرى التي تم اختبارها في نفس البيئة. وهذا يثبت أنه من الممكن بناء نظام يكون ضخماً للغاية في قدرته وفعالاً للغاية في تشغيله في آن واحد.
ولجعل هذه الأدوات القوية متاحة للأجهزة ذات القدرة الحوسبية الأقل، قام الفريق أيضاً بإنشاء نسخة أصغر بكثير من النموذج. وقد استخدموا طريقة تسمى "تقطير توزيع التشابه" (similarity-distribution distillation) لتعليم هذا النموذج المدمج. وبدلاً من محاولة نسخ الأرقام الداخلية الدقيقة لنموذج المعلم الكبير، تعلم النموذج الصغير محاكاة أحكام المعلم النهائية حول مدى تشابه القطع النصية المختلفة مع بعضها البعض. وقد سمح هذا للنموذج الصغير، الذي يمتلك 480 مليون معلمة فقط، بالأداء بشكل يقارب أداء النموذج الأكبر ذي الثلاث مليارات معلمة. وفي الاختبارات على النصوص الروسية، سجل النموذج الصغير درجة أعلى قليلاً من منافس معروف يبلغ حجمه ضعف حجمه تقريباً، مما يثبت أن النظام الأصغر يمكن أن يكون فعالاً للغاية إذا تم تعليمه بالطريقة الصحيحة.
أطلق الفريق النسخ الثلاث من نماذجهم للجمهور، مما يسمح للآخرين باستخدامها في تطبيقات متنوعة. ووجدوا أن النموذج الكبير "المتفرق" كان فعالاً بشكل خاص في التعامل مع النصوص الطويلة، حيث حافظ على سرعته حتى مع زيادة طول المدخلات. وبينما تطلبت النماذج الأصغر ذاكرة أقل للتخزين، قدم النموذج الكبير أفضل مزيج من السرعة والدقة للمهام الشاقة. وأشار الباحثون إلى أن قياساتهم أُخذت في بيئة اختبار محددة، لذا قد يختلف الأداء في العالم الحقيقي اعتماداً على الأجهزة المستخدمة. ومع ذلك، فإن هذا العمل يوضح مساراً واضحاً للمستقبل: فمن خلال استخدام خيارات معمارية ذكية وطرق تعليم دقيقة، يمكن إنشاء أنظمة لفهم النصوص تكون قوية بما يكفي للتعامل مع المهام المعقدة وفعالة بما يكفي للعمل بسرعة على الحواسيب الحديثة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.